近日，由ChatGPT點(diǎn)燃的大模型這把火，正在全球科技圈子里愈演愈烈。國(guó)內(nèi)，隨著多家互聯(lián)網(wǎng)大廠相繼官宣大模型動(dòng)態(tài)，創(chuàng)業(yè)領(lǐng)袖們紛紛緊急招兵買馬，一場(chǎng)大模型的“戰(zhàn)爭(zhēng)”一觸即發(fā)。

國(guó)內(nèi)外相關(guān)領(lǐng)域在此時(shí)形成了一種無(wú)言的默契——以ChatGPT為代表的AI大模型是一個(gè)劃時(shí)代的里程碑，將開(kāi)啟通用人工智能（AGI）時(shí)代。

站在歷史的關(guān)鍵節(jié)點(diǎn)，誰(shuí)能引領(lǐng)下一個(gè)人工智能黃金時(shí)代？決勝的關(guān)鍵又是什么？4月5日，ChatGPT官網(wǎng)宣布停止Plus付費(fèi)項(xiàng)目的購(gòu)買，業(yè)內(nèi)分析就是由其算力不足按下了暫停鍵。算力到底是什么？為什么會(huì)對(duì)人工智能發(fā)展產(chǎn)生重要影響？今天，我們就來(lái)聊一下被譽(yù)為人工智能“發(fā)動(dòng)機(jī)”的算力。

什么是算力？從大腦、算盤、計(jì)算器說(shuō)起

這幾年，“算力”的概念頻繁出現(xiàn)在互聯(lián)網(wǎng)圈，成為科技大佬們常掛在嘴邊的熱詞。但實(shí)際上，這并不是一個(gè)新概念，算力的本義也并不復(fù)雜，顧名思義，就是指計(jì)算的能力。如果用《中國(guó)算力白皮書(shū)（2022年）》來(lái)進(jìn)一步進(jìn)行專業(yè)解釋，就是指數(shù)據(jù)中心的服務(wù)器通過(guò)對(duì)數(shù)據(jù)進(jìn)行處理后實(shí)現(xiàn)結(jié)果輸出的一種能力。

人類的大腦就是天然的計(jì)算服務(wù)器。生活中，小到去菜市場(chǎng)買菜、大到破解一道數(shù)學(xué)難題，人類大腦每時(shí)每刻都在通過(guò)口算、心算的方式來(lái)為我們的需求提供算力。但這樣的算力有點(diǎn)低，尤其碰到非常復(fù)雜的計(jì)算問(wèn)題時(shí)，就這樣催生出了一代又一代計(jì)算工具。

首先當(dāng)然要從人類自己身上找工具，于是手指成為了最簡(jiǎn)單方便且一直沿用至今的計(jì)數(shù)工具，而這大概也是十進(jìn)制計(jì)算得以發(fā)明并且普及的根本原因。

到遠(yuǎn)古時(shí)期，人們開(kāi)始用繩子、石頭等自然物來(lái)計(jì)數(shù)。中國(guó)古籍《周易·系辭下》中就有“上古結(jié)繩而治”的說(shuō)法；在南美，古印加人也用繩子來(lái)記錄。

隨著生產(chǎn)實(shí)踐的不斷發(fā)展，人類終于發(fā)明了自己的計(jì)算工具。算籌就是中國(guó)早期的計(jì)算工具，一般由木棍、竹條或獸骨（稱為“籌”）等做成。

算籌采用十進(jìn)制記數(shù)法，有縱式和橫式兩種擺法。個(gè)、百、萬(wàn)位等用縱式，十、千、十萬(wàn)位等用橫式，空位表示零，這樣從右到左，縱橫相間，就可以表示任意自然數(shù)了。并且，中國(guó)古代的算籌，在整數(shù)四則運(yùn)算、分?jǐn)?shù)四則運(yùn)算、開(kāi)平方等問(wèn)題上均有成熟的法則，在問(wèn)題解決的每一步上都有規(guī)格化的程序，也因此被一些數(shù)學(xué)史學(xué)者認(rèn)為具有構(gòu)造性和“機(jī)械化”的特點(diǎn)。

不過(guò)，與機(jī)械時(shí)代工具的改良類似，隨著算籌的軟件，也就是運(yùn)算法則的發(fā)展越來(lái)越快，算籌的硬件，也就是“籌”雖然也一直在改進(jìn)，但終究跟不上算法的進(jìn)展，最終被更為方便的算盤取代了。

這也是計(jì)算工具發(fā)展史上的第一次重大改革。算盤的原理與算籌類似，但在操作上更加實(shí)用，尤其在熟練掌握珠算口訣和基本技巧之后，運(yùn)算速度更是驚人。15世紀(jì)左右，由中國(guó)人民發(fā)明的算盤傳入了日本、韓國(guó)等國(guó)家，又經(jīng)商路逐漸傳入西方，至今在一些地區(qū)仍有著廣泛的應(yīng)用。

17世紀(jì)之前，在手工計(jì)算時(shí)代，我國(guó)的算力和算法無(wú)疑走在前列，但隨著工業(yè)革命的到來(lái)，數(shù)學(xué)及計(jì)算工具的發(fā)展中心漸漸轉(zhuǎn)移到了西方，計(jì)算工具也從手工計(jì)算正式進(jìn)入機(jī)械計(jì)算時(shí)代。

世界上第一臺(tái)機(jī)械式計(jì)算工具——加法器，是由法國(guó)數(shù)學(xué)家、物理學(xué)家、思想家帕斯卡設(shè)計(jì)成功的，計(jì)算過(guò)程只需撥動(dòng)機(jī)器上的齒輪就能實(shí)現(xiàn)。盡管這臺(tái)機(jī)器只能進(jìn)行加減運(yùn)算，但完全不用再依賴人類大腦，其設(shè)計(jì)原理與現(xiàn)今計(jì)算機(jī)的原理也是相通的，為后人制造機(jī)械計(jì)算器邁出了開(kāi)拓性一步。

在他的基礎(chǔ)上，德國(guó)哲學(xué)家、數(shù)學(xué)家、“百科全書(shū)式”學(xué)者萊布尼茨對(duì)機(jī)械計(jì)算器進(jìn)行重大改進(jìn)，不僅研制了一臺(tái)能進(jìn)行四則運(yùn)算的機(jī)械式計(jì)算器，還有一個(gè)重大的發(fā)明——二進(jìn)制。雖然當(dāng)時(shí)萊布尼茲發(fā)明的計(jì)算器并沒(méi)有融入二進(jìn)制，但這種進(jìn)位規(guī)則卻被現(xiàn)代計(jì)算機(jī)一直采用至今。

算力的飛躍：現(xiàn)代計(jì)算機(jī)與摩爾定律

從遠(yuǎn)古時(shí)期結(jié)繩計(jì)數(shù)到手工計(jì)算時(shí)代，再到機(jī)械計(jì)算時(shí)代，計(jì)算工具的每一次變革都帶來(lái)了算力的極大躍遷，并進(jìn)一步推動(dòng)人類經(jīng)濟(jì)社會(huì)向前發(fā)展。

但過(guò)去人們對(duì)算力的感知并不明顯，直到電子計(jì)算機(jī)的誕生，才讓人們深刻感受到計(jì)算的威力——比如問(wèn)世于2016年的超級(jí)計(jì)算機(jī)“神威·太湖之光”，1分鐘的計(jì)算能力就相當(dāng)于全球72億人同時(shí)用計(jì)算器不間斷計(jì)算32年。在這樣的超強(qiáng)算力支持下，許多以前無(wú)法想象的難題頃刻就能得到解決。也正是這樣一代又一代越來(lái)越快的電子計(jì)算機(jī)的出現(xiàn)，才讓算力的重要性真正為人們所關(guān)注。

1946年，世界上第一臺(tái)電子計(jì)算機(jī)ENIAC在美國(guó)賓夕法尼亞大學(xué)問(wèn)世，其使用電子管作為開(kāi)關(guān)，可以進(jìn)行大量的計(jì)算操作，速度比之前的機(jī)械計(jì)算器快了很多。這臺(tái)計(jì)算機(jī)雖然能滿足不同計(jì)算需求，但不具備存儲(chǔ)的功能。

1950年前后，馮·諾伊曼主導(dǎo)制造完成了第一臺(tái)現(xiàn)代計(jì)算機(jī)EDVAC。這臺(tái)由運(yùn)算器、存儲(chǔ)器、控制器、輸入設(shè)備和輸出設(shè)備五大部件組成的計(jì)算機(jī)系統(tǒng)有兩大開(kāi)創(chuàng)性突破：一是采用了二進(jìn)制形式表示數(shù)據(jù)和指令，二是提出了“存儲(chǔ)程序”方式。直到今天，電子計(jì)算機(jī)的設(shè)計(jì)仍然是這種結(jié)構(gòu)。

現(xiàn)代計(jì)算機(jī)的算力是怎么衡量的？

簡(jiǎn)單來(lái)說(shuō)，當(dāng)人類使用計(jì)算機(jī)時(shí)，輸入的字符或者信息首先需要被轉(zhuǎn)化為電子計(jì)算機(jī)能夠處理的編碼：0或者1的排列組合。而電子晶體管就是作為0或者1進(jìn)行數(shù)值運(yùn)算的基本單元，此時(shí)電子晶體管的通路可以代表數(shù)值1，斷路就代表數(shù)值0，每一個(gè)0或1就是一比特（信息量的最小單位）。這也意味著，算力的大小與晶體管數(shù)量呈正相關(guān)，晶體管數(shù)量越多，就能表示越多的信息量。

第一臺(tái)電子計(jì)算機(jī)ENIAC就擁有18000多個(gè)電子管，占地面積達(dá)170m2，體重達(dá)30噸。如此龐然大物當(dāng)然不便推廣，一直到20世紀(jì)50年代，在ENIAC之后推出的新機(jī)如UNIVAC、IBM、Ferranti、Burroughs等都是大型機(jī)，價(jià)格昂貴，只有政府和大型企業(yè)等有實(shí)力的組織才能夠購(gòu)買和使用。

很快到來(lái)。1958年，工程師杰克·基爾比發(fā)明了一種能將一個(gè)電路中需要的晶體管、電阻、電容和電感等元件及布線連在一起的電子器件，也就是人們現(xiàn)在所熟悉的集成電路（同時(shí)期，羅伯特·諾伊斯也帶領(lǐng)仙童半導(dǎo)體公司發(fā)展出了近代實(shí)用的集成電路），而集成電路的載體就是“芯片”。

可以說(shuō)，芯片的出現(xiàn)真正推動(dòng)了現(xiàn)代計(jì)算機(jī)的飛速發(fā)展。1965年，時(shí)任仙童半導(dǎo)體公司研究開(kāi)發(fā)實(shí)驗(yàn)室主任的摩爾應(yīng)邀為《電子學(xué)》雜志35周年?？珜?xiě)評(píng)論。在繪制數(shù)據(jù)時(shí)，他發(fā)現(xiàn)了一個(gè)驚人的趨勢(shì)：每個(gè)新芯片大體上包含其前任兩倍的容量，每個(gè)芯片的產(chǎn)生都是在前一個(gè)芯片產(chǎn)生后的18-24個(gè)月內(nèi)。按照這一趨勢(shì)，芯片的密度還有計(jì)算力相對(duì)于時(shí)間周期都將呈指數(shù)式的上升。這一發(fā)現(xiàn)也就是現(xiàn)在大名鼎鼎的“摩爾定律”。

半個(gè)多世紀(jì)以來(lái)，電子計(jì)算機(jī)的發(fā)展基本都遵循著摩爾定律。20世紀(jì)七八十年代，隨著芯片的性能不斷提升、體積不斷減小，計(jì)算機(jī)終于實(shí)現(xiàn)了小型化，PC（個(gè)人電腦）誕生了。這也標(biāo)志著電子計(jì)算機(jī)的算力終于不再僅為少數(shù)有實(shí)力的機(jī)構(gòu)服務(wù)，而是開(kāi)始真正走向千家萬(wàn)戶，進(jìn)而推動(dòng)全民信息化時(shí)代到來(lái)。

人工智能時(shí)代的算力挑戰(zhàn)

按照摩爾定律，算力基本每?jī)赡昃鸵环?。但這樣恐怖的增長(zhǎng)速度也無(wú)法滿足人類對(duì)算力的需求，尤其是2012年深度學(xué)習(xí)的發(fā)展帶領(lǐng)人工智能崛起以后。

早在2019年，OpenAI就在其更新的AI計(jì)算量報(bào)告中分析了AI算法消耗算力的情況，并發(fā)現(xiàn)在之前的幾十年中，AI計(jì)算量的增長(zhǎng)速度基本和摩爾定律保持同步，而2012年成為了AI兩個(gè)時(shí)期的分水嶺。2012年之后，最先進(jìn)AI模型的計(jì)算量每三四個(gè)月就翻一番，也就是每年增長(zhǎng)近10倍，比摩爾定律2年增長(zhǎng)一倍快得多。

在此情況下，如何才能提高算力以滿足智能計(jì)算的需求？目前有兩大方面可供突破。

第一種方法，找更多人一起計(jì)算，也就是借助高性能計(jì)算和分布式計(jì)算提高算力，也是現(xiàn)在最為主要的提高算力的方法。

其中，高性能計(jì)算的最核心技術(shù)就是并行計(jì)算，即同時(shí)使用多種計(jì)算資源解決計(jì)算問(wèn)題的過(guò)程。從架構(gòu)上看，并行計(jì)算又分為同構(gòu)并行計(jì)算——把計(jì)算任務(wù)分配給一系列相同的計(jì)算單元，如多核CPU（中央處理器，計(jì)算機(jī)系統(tǒng)的運(yùn)算和控制核心）架構(gòu)；還有異構(gòu)并行計(jì)算——把計(jì)算任務(wù)分配給不同制程架構(gòu)、不同指令集、不同功能的計(jì)算單元，如CPU+GPU（圖形處理器，又稱顯示核心、視覺(jué)處理器、顯示芯片）的架構(gòu)。

這里簡(jiǎn)單介紹一下CPU與GPU的差別，雖然總體上兩者都包括運(yùn)算器、控制單元、高速緩存器和動(dòng)態(tài)隨機(jī)存取存儲(chǔ)器，但這些成分的構(gòu)成比例卻是不同的。CPU中控制單元和存儲(chǔ)單元占的比例較大，計(jì)算單元?jiǎng)t比例較小且不多，而GPU正好與之相反，這就造成了CPU長(zhǎng)于控制和存儲(chǔ)，而GPU則擅長(zhǎng)計(jì)算，兩者的組合正好形成互補(bǔ)關(guān)系。

2012年深度學(xué)習(xí)崛起之后，人們發(fā)現(xiàn)GPU非常適合用來(lái)訓(xùn)練神經(jīng)網(wǎng)絡(luò)模型。因?yàn)槠浣^大部分工作都是將不同的矩陣進(jìn)行相乘或者矩陣和向量進(jìn)行相乘，而GPU在矩陣相乘上就是非常高效，因此GPU開(kāi)始被廣泛地應(yīng)用于人工智能。

與此同時(shí)，GPU的主要生產(chǎn)商如英偉達(dá)等也成為了人工智能時(shí)代重點(diǎn)關(guān)注對(duì)象。如運(yùn)行ChatGPT的微軟數(shù)據(jù)中心就用了上萬(wàn)塊英偉達(dá)H100 GPU，這也是英偉達(dá)去年發(fā)布的最新旗艦AI芯片，接替了原本被稱為AI應(yīng)用“主力軍”芯片的A100。根據(jù)英偉達(dá)的說(shuō)法，與A100相比，H100的能效提高了3.5倍。并且，在今年3月剛剛召開(kāi)的GTC 2023大會(huì)上，英偉達(dá)宣布圍繞AI又推出了一個(gè)全新的H100 NVL GPU芯片，據(jù)說(shuō)可將算力提速10倍。

然而，從2022年9月開(kāi)始，無(wú)論是A100、H100還是AMD（另一家GPU巨頭生產(chǎn)商）生產(chǎn)的MI250人工智能芯片都被禁止向中國(guó)進(jìn)行出售，最新發(fā)布的H100 NVL GPU芯片同樣如此。據(jù)公開(kāi)信息顯示，英偉達(dá)專供中國(guó)且完全符合出口規(guī)定的A800芯片，其傳輸速度只有A100的70%。這也是目前制約國(guó)內(nèi)人工智能發(fā)展的關(guān)鍵因素之一。

再來(lái)介紹一下第一種提高算力方法中的分布式計(jì)算，即將分散在不同物理區(qū)域的計(jì)算單位聚集起來(lái)共同完成某一計(jì)算任務(wù)的方法，其典型代表就是現(xiàn)在經(jīng)常聽(tīng)說(shuō)的云計(jì)算。在云計(jì)算中，CPU、內(nèi)存、硬盤、GPU等計(jì)算資源都被整合起來(lái)，通過(guò)軟件的方式，組成一個(gè)虛擬的可無(wú)限擴(kuò)展的“算力資源池”。用戶需要算力時(shí)，無(wú)需自購(gòu)設(shè)備、自建機(jī)房、自己運(yùn)維，通過(guò)“算力資源池”的調(diào)度就可以實(shí)現(xiàn)算力資源的分配，用戶直接按需付費(fèi)即可。

在云計(jì)算時(shí)代，數(shù)據(jù)中心就是算力的主要載體。這也是目前國(guó)內(nèi)各地開(kāi)始建設(shè)大數(shù)據(jù)中心、云計(jì)算中心、智算中心、超算中心等信息基礎(chǔ)設(shè)施的根本原因。

早在1961年，“人工智能之父”約翰·麥卡錫就曾預(yù)言，“有一天，計(jì)算可能會(huì)被組織成一個(gè)公共事業(yè)，就像電話系統(tǒng)是一個(gè)公共事業(yè)一樣”。而現(xiàn)在，這一天正在成為現(xiàn)實(shí)。

根據(jù)國(guó)家信息中心聯(lián)合相關(guān)部門于今年1月發(fā)布的《智能計(jì)算中心創(chuàng)新發(fā)展指南》顯示，目前全國(guó)有超過(guò)30個(gè)城市正在建設(shè)或提出建設(shè)智算中心。通過(guò)各級(jí)各類計(jì)算中心網(wǎng)絡(luò)，算力正像電力一樣被輸送進(jìn)千行百業(yè)，成為社會(huì)發(fā)展最基礎(chǔ)的公共資源。

第二種方法，從根本上改進(jìn)設(shè)備，實(shí)現(xiàn)計(jì)算模式上的突破。

盡管高性能計(jì)算及分布式計(jì)算是當(dāng)前人們提高算力的主要手段，但其制約因素比較多，而且算力的提升也有限。因此，提高算力的第二大方法成為了許多前沿科學(xué)家的追求，這其中典型代表就是量子計(jì)算。

過(guò)去幾十年來(lái)，芯片上的晶體管數(shù)量基本按照摩爾定律在演進(jìn)，也就是每?jī)赡昝芏仍黾右槐?。然而，這種趨勢(shì)不能一直持續(xù)。早在幾年前，英偉達(dá)創(chuàng)始人、CEO黃仁勛就曾表示：“摩爾定律已死?！笔聦?shí)上，近幾年芯片技術(shù)迭代的速度確實(shí)在放緩，這也是由于芯片微電路加工的光刻工藝不斷逼近光學(xué)衍射極限，很難按照摩爾定律持續(xù)演進(jìn)。

那么，還有什么辦法可以突破這一極限？實(shí)際上，早在20世紀(jì)80年代，就有學(xué)者提出了量子計(jì)算的思想。其“薛定諤的貓”一樣的疊加特性，使得每一個(gè)量子比特都可以當(dāng)作2個(gè)運(yùn)算單元，也就是說(shuō)傳統(tǒng)計(jì)算機(jī)需要2的N次方個(gè)晶體管來(lái)表示的計(jì)算量，量子計(jì)算機(jī)只需要N個(gè)就能完成。而當(dāng)N越大時(shí)，量子計(jì)算的威力也就越大。這樣一來(lái)，如果將晶體管計(jì)算機(jī)換成量子計(jì)算機(jī)，芯片工藝的難題就迎刃而解了。

不過(guò)，這里仍然面臨其他的問(wèn)題：一是找到適合并且可以通用的保持量子疊加態(tài)的物理載體，二是可廣泛應(yīng)用的計(jì)算場(chǎng)景。到目前為止，見(jiàn)諸報(bào)道的各種量子計(jì)算機(jī)都還只能執(zhí)行少數(shù)幾種特殊的場(chǎng)景，但未來(lái)發(fā)展前景非?？善?。

盡管算力并不是影響人工智能發(fā)展的唯一因素，但卻是其必要條件之一。號(hào)角已然吹響，下一個(gè)十年，要想在人工智能這條賽道上勝出，算力只怕是要攻破的第一道關(guān)了。