過(guò)去十年對(duì)于人工智能（AI）領(lǐng)域來(lái)說(shuō)是一段激動(dòng)人心的多事之秋。對(duì)深度學(xué)習(xí)潛力的適度探索變成了一個(gè)領(lǐng)域的爆炸性擴(kuò)散，現(xiàn)在包括從電子商務(wù)中的推薦系統(tǒng)到自動(dòng)駕駛汽車的對(duì)象檢測(cè)以及可以創(chuàng)建從逼真的圖像到連貫文本的所有內(nèi)容的生成模型。

在本文中，我們將沿著記憶之路漫步，并重新審視使我們走到今天這一步的一些關(guān)鍵突破。無(wú)論您是經(jīng)驗(yàn)豐富的AI從業(yè)者，還是只是對(duì)該領(lǐng)域的最新發(fā)展感興趣，本文都將為您提供有關(guān)使AI成為家喻戶曉的顯著進(jìn)展的全面概述。

2013年：AlexNet和變分自動(dòng)編碼器

2013年被廣泛認(rèn)為是深度學(xué)習(xí)的“成年”，由計(jì)算機(jī)視覺的重大進(jìn)步發(fā)起。根據(jù)Geoffrey Hinton最近的采訪，到2013年，“幾乎所有的計(jì)算機(jī)視覺研究都轉(zhuǎn)向了神經(jīng)網(wǎng)絡(luò)”。這一繁榮主要是由一年前圖像識(shí)別方面相當(dāng)令人驚訝的突破推動(dòng)的。

2012 年 5 月，深度卷積神經(jīng)網(wǎng)絡(luò) （CNN） AlexNet 在 ImageNet 大規(guī)模視覺識(shí)別挑戰(zhàn)賽 （ILSVRC） 中取得了破紀(jì)錄的表現(xiàn)，展示了深度學(xué)習(xí)在圖像識(shí)別任務(wù)中的潛力。它實(shí)現(xiàn)了15.3%的前10名錯(cuò)誤，比最接近的競(jìng)爭(zhēng)對(duì)手低9.<>%。

這一成功背后的技術(shù)改進(jìn)有助于人工智能的未來(lái)發(fā)展軌跡，并極大地改變了人們對(duì)深度學(xué)習(xí)的看法。

首先，作者應(yīng)用了一個(gè)由五個(gè)卷積層和三個(gè)全連接線性層組成的深度CNN——這種架構(gòu)設(shè)計(jì)在當(dāng)時(shí)被許多人認(rèn)為是不切實(shí)際的。此外，由于網(wǎng)絡(luò)深度產(chǎn)生的大量參數(shù)，訓(xùn)練是在兩個(gè)圖形處理單元（GPU）上并行完成的，展示了顯著加速大型數(shù)據(jù)集訓(xùn)練的能力。通過(guò)將傳統(tǒng)的激活函數(shù)（如 sigmoid 和 tanh）換成更高效的整流線性單元 （ReLU），進(jìn)一步縮短了訓(xùn)練時(shí)間。

這些共同導(dǎo)致了AlexNet成功的進(jìn)步標(biāo)志著人工智能歷史上的一個(gè)轉(zhuǎn)折點(diǎn)，并引發(fā)了學(xué)術(shù)界和技術(shù)界對(duì)深度學(xué)習(xí)的興趣激增。因此，2013年被許多人認(rèn)為是深度學(xué)習(xí)真正開始起飛的拐點(diǎn)。

同樣發(fā)生在2013年的，盡管有點(diǎn)被AlexNet的噪音淹沒了，但變分自動(dòng)編碼器（VAE）的發(fā)展 - 可以學(xué)習(xí)表示和生成圖像和聲音等數(shù)據(jù)的生成模型。它們通過(guò)在低維空間（稱為潛在空間）中學(xué)習(xí)輸入數(shù)據(jù)的壓縮表示來(lái)工作。這允許他們通過(guò)從這個(gè)學(xué)習(xí)到的潛在空間中采樣來(lái)生成新數(shù)據(jù)。后來(lái)，VAE為生成建模和數(shù)據(jù)生成開辟了新的途徑，在藝術(shù)、設(shè)計(jì)和游戲等領(lǐng)域都有應(yīng)用。

2014年：生成對(duì)抗網(wǎng)絡(luò)

第二年，即2014年<>月，隨著Ian Goodfellow及其同事引入生成對(duì)抗網(wǎng)絡(luò)（GAN），深度學(xué)習(xí)領(lǐng)域見證了另一項(xiàng)重大進(jìn)展。

GAN 是一種神經(jīng)網(wǎng)絡(luò)，能夠生成類似于訓(xùn)練集的新數(shù)據(jù)樣本。本質(zhì)上，兩個(gè)網(wǎng)絡(luò)同時(shí)訓(xùn)練：（1）生成器網(wǎng)絡(luò)生成假的或合成的樣本，（2）鑒別器網(wǎng)絡(luò)評(píng)估它們的真實(shí)性。這種訓(xùn)練是在類似游戲的設(shè)置中進(jìn)行的，生成器試圖創(chuàng)建欺騙鑒別器的樣本，而鑒別器試圖正確調(diào)用假樣本。

當(dāng)時(shí)，GAN 代表了一種強(qiáng)大而新穎的數(shù)據(jù)生成工具，不僅用于生成圖像和視頻，還用于生成音樂和藝術(shù)。他們還通過(guò)展示在不依賴顯式標(biāo)簽的情況下生成高質(zhì)量數(shù)據(jù)樣本的可能性，為無(wú)監(jiān)督學(xué)習(xí)的進(jìn)步做出了貢獻(xiàn)，這個(gè)領(lǐng)域在很大程度上被認(rèn)為是不發(fā)達(dá)和具有挑戰(zhàn)性的。

2015年：ResNets和NLP突破

2015年，人工智能領(lǐng)域在計(jì)算機(jī)視覺和自然語(yǔ)言處理（NLP）方面取得了相當(dāng)大的進(jìn)步。

Kaim He及其同事發(fā)表了一篇題為“圖像識(shí)別的深度殘差學(xué)習(xí)”的論文，其中他們介紹了殘差神經(jīng)網(wǎng)絡(luò)或ResNets的概念 - 通過(guò)添加快捷方式使信息更容易地流經(jīng)網(wǎng)絡(luò)的架構(gòu)。與常規(guī)神經(jīng)網(wǎng)絡(luò)不同，在常規(guī)神經(jīng)網(wǎng)絡(luò)中，每一層都將前一層的輸出作為輸入，而在 ResNet 中，添加了額外的殘差連接，這些連接跳過(guò)一個(gè)或多個(gè)層并直接連接到網(wǎng)絡(luò)中的更深層。

結(jié)果，ResNets能夠解決梯度消失的問題，這使得訓(xùn)練更深層次的神經(jīng)網(wǎng)絡(luò)超出了當(dāng)時(shí)的預(yù)期。這反過(guò)來(lái)又導(dǎo)致了圖像分類和對(duì)象識(shí)別任務(wù)的顯著改進(jìn)。

大約在同一時(shí)間，研究人員在遞歸神經(jīng)網(wǎng)絡(luò)（RNN）和長(zhǎng)短期記憶（LSTM）模型的開發(fā)方面取得了相當(dāng)大的進(jìn)展。盡管這些模型自 1990 年代以來(lái)一直存在，但直到 2015 年左右才開始引起一些轟動(dòng)，主要是由于以下因素：（1） 更大、更多樣化的數(shù)據(jù)集可用于訓(xùn)練，（2） 計(jì)算能力和硬件的改進(jìn)，這使得訓(xùn)練更深入、更復(fù)雜的模型成為可能，以及 （3） 在此過(guò)程中進(jìn)行的修改， 例如更復(fù)雜的門控機(jī)制。

因此，這些架構(gòu)使語(yǔ)言模型能夠更好地理解文本的上下文和含義，從而在語(yǔ)言翻譯、文本生成和情感分析等任務(wù)方面取得了巨大的改進(jìn)。當(dāng)時(shí)RNN和LSTM的成功為我們今天看到的大型語(yǔ)言模型（LLM）的發(fā)展鋪平了道路。

2016： 阿爾法圍棋 （電影）

在1997年加里·卡斯帕羅夫（Garry Kasparov）被IBM的深藍(lán)（Deep Blue）擊敗后，另一場(chǎng)人與機(jī)器的戰(zhàn)斗在2016年給游戲界帶來(lái)了沖擊波：谷歌的AlphaGo擊敗了圍棋的世界冠軍李世石（Lee Sedol）。

世石的失敗標(biāo)志著人工智能發(fā)展軌跡上的另一個(gè)重要里程碑：它表明，在一個(gè)曾經(jīng)被認(rèn)為過(guò)于復(fù)雜以至于計(jì)算機(jī)無(wú)法處理的游戲中，機(jī)器甚至可以勝過(guò)最熟練的人類玩家。AlphaGo結(jié)合了深度強(qiáng)化學(xué)習(xí)和蒙特卡洛樹搜索，分析了以前游戲中的數(shù)百萬(wàn)個(gè)位置，并評(píng)估了最佳可能的行動(dòng)——在這種情況下，這種策略遠(yuǎn)遠(yuǎn)超過(guò)了人類的決策。

2017年：轉(zhuǎn)換器體系結(jié)構(gòu)和語(yǔ)言模型

可以說(shuō)，2017年是最關(guān)鍵的一年，為我們今天目睹的生成AI的突破奠定了基礎(chǔ)。

2017年<>月，Vaswani及其同事發(fā)布了基礎(chǔ)論文“注意力就是你所需要的一切”，該論文介紹了利用自我注意的概念來(lái)處理順序輸入數(shù)據(jù)的轉(zhuǎn)換器架構(gòu)。這允許更有效地處理遠(yuǎn)程依賴關(guān)系，這在以前是傳統(tǒng)RNN架構(gòu)的挑戰(zhàn)。

變壓器由兩個(gè)基本組件組成：編碼器和解碼器。編碼器負(fù)責(zé)對(duì)輸入數(shù)據(jù)進(jìn)行編碼，例如，輸入數(shù)據(jù)可以是單詞序列。然后，它采用輸入序列并應(yīng)用多層自我注意和前饋神經(jīng)網(wǎng)絡(luò)來(lái)捕獲句子中的關(guān)系和特征，并學(xué)習(xí)有意義的表示。

從本質(zhì)上講，自我注意允許模型理解句子中不同單詞之間的關(guān)系。與以固定順序處理單詞的傳統(tǒng)模型不同，轉(zhuǎn)換器實(shí)際上一次檢查所有單詞。他們根據(jù)每個(gè)單詞與句子中其他單詞的相關(guān)性為每個(gè)單詞分配稱為注意力分?jǐn)?shù)的東西。

另一方面，解碼器從編碼器獲取編碼表示并生成輸出序列。在機(jī)器翻譯或文本生成等任務(wù)中，解碼器根據(jù)從編碼器接收的輸入生成翻譯后的序列。與編碼器類似，解碼器也由多層自我注意和前饋神經(jīng)網(wǎng)絡(luò)組成。但是，它包括一個(gè)額外的注意力機(jī)制，使其能夠?qū)Ｗ⒂诰幋a器的輸出。然后，這允許解碼器在生成輸出時(shí)考慮來(lái)自輸入序列的相關(guān)信息。

此后，轉(zhuǎn)換器架構(gòu)已成為L(zhǎng)LM開發(fā)的關(guān)鍵組件，并在整個(gè)NLP領(lǐng)域帶來(lái)了重大改進(jìn)，例如機(jī)器翻譯，語(yǔ)言建模和問答。

2018年：GPT-1，BERT和圖形神經(jīng)網(wǎng)絡(luò)

在Vaswani等人發(fā)表他們的基礎(chǔ)論文幾個(gè)月后，OpenAI于1年2018月推出了Generative P再訓(xùn)練Transformer或GPT-1，它利用轉(zhuǎn)換器架構(gòu)有效地捕獲文本中的長(zhǎng)期依賴關(guān)系。GPT-<> 是最早證明無(wú)監(jiān)督預(yù)訓(xùn)練有效性的模型之一，然后對(duì)特定的 NLP 任務(wù)進(jìn)行微調(diào)。

谷歌也利用了仍然相當(dāng)新穎的變壓器架構(gòu)，它在2018年底發(fā)布并開源了他們自己的預(yù)訓(xùn)練方法，稱為Bidirectional Encoder R來(lái)自Transformers或BERT的演示。與以前以單向方式處理文本的模型（包括 GPT-1）不同，BERT 同時(shí)考慮每個(gè)單詞在兩個(gè)方向上的上下文。為了說(shuō)明這一點(diǎn)，作者提供了一個(gè)非常直觀的示例：

    。在句子“我訪問了銀行賬戶”中，單向上下文模型將表示 基于“我訪問了”而不是“賬戶”的“銀行”。但是，BERT 使用其上一個(gè)和下一個(gè)上下文表示“銀行”——“我訪問了......帳戶“——從深度神經(jīng)網(wǎng)絡(luò)的最底部開始，使其深度雙向。

雙向性的概念是如此強(qiáng)大，以至于它使BERT在各種基準(zhǔn)任務(wù)上優(yōu)于最先進(jìn)的NLP系統(tǒng)。

除了GPT-1和BERT，圖神經(jīng)網(wǎng)絡(luò)或GNNs在那一年也引起了一些轟動(dòng)。它們屬于專門設(shè)計(jì)用于處理圖形數(shù)據(jù)的神經(jīng)網(wǎng)絡(luò)類別。GNN 利用消息傳遞算法在圖形的節(jié)點(diǎn)和邊緣之間傳播信息。這使網(wǎng)絡(luò)能夠以更直觀的方式學(xué)習(xí)數(shù)據(jù)的結(jié)構(gòu)和關(guān)系。

這項(xiàng)工作允許從數(shù)據(jù)中提取更深入的見解，從而擴(kuò)大了深度學(xué)習(xí)可以應(yīng)用于的問題范圍。有了GNN，在社交網(wǎng)絡(luò)分析、推薦系統(tǒng)和藥物發(fā)現(xiàn)等領(lǐng)域取得了重大進(jìn)展。

2019 年：GPT-2 和改進(jìn)的生成模型

2019 年標(biāo)志著生成模型的幾項(xiàng)顯著進(jìn)步，尤其是 GPT-2 的引入。該模型在許多NLP任務(wù)中實(shí)現(xiàn)了最先進(jìn)的性能，并且能夠生成高度逼真的文本，事后看來(lái)，這確實(shí)使同行望而卻步。

該領(lǐng)域的其他改進(jìn)包括DeepMind的BigGAN和NVIDIA的StyleGAN，它可以生成與真實(shí)圖像幾乎無(wú)法區(qū)分的高質(zhì)量圖像，以及NVIDIA的StyleGAN，它可以更好地控制這些生成的圖像的外觀。

總的來(lái)說(shuō)，現(xiàn)在被稱為生成人工智能的這些進(jìn)步進(jìn)一步推動(dòng)了這一領(lǐng)域的界限，而且......

2020 年：GPT-3 和自監(jiān)督學(xué)習(xí)

...不久之后，另一種模型誕生了，即使在技術(shù)社區(qū)之外，它也已成為家喻戶曉的名字：GPT-3。該模型代表了LLM的規(guī)模和能力的重大飛躍。為了將事情放在上下文中，GPT-1 具有可憐的 117.1 億個(gè)參數(shù)。GPT-5 的這一數(shù)字上升到 2 億，GPT-175 的這一數(shù)字上升到 3 億。

大量的參數(shù)空間使 GPT-3 能夠在各種提示和任務(wù)中生成非常連貫的文本。它還在各種NLP任務(wù)中表現(xiàn)出令人印象深刻的表現(xiàn)，例如文本完成，問答，甚至創(chuàng)意寫作。

此外，GPT-3 再次強(qiáng)調(diào)了使用自監(jiān)督學(xué)習(xí)的潛力，它允許在大量未標(biāo)記的數(shù)據(jù)上訓(xùn)練模型。這樣做的好處是，這些模型可以獲得對(duì)語(yǔ)言的廣泛理解，而無(wú)需進(jìn)行廣泛的特定于任務(wù)的訓(xùn)練，這使得它更加經(jīng)濟(jì)。

從蛋白質(zhì)折疊到圖像生成和自動(dòng)編碼輔助，2021 年是多事之秋，這要?dú)w功于 AlphaFold 2、DALL·E和GitHub Copilot。

AlphaFold 2被譽(yù)為數(shù)十年來(lái)的蛋白質(zhì)折疊問題的長(zhǎng)期解決方案。DeepMind的研究人員擴(kuò)展了變壓器架構(gòu)，以創(chuàng)建evoformer塊 - 利用進(jìn)化策略進(jìn)行模型優(yōu)化的架構(gòu) - 以構(gòu)建能夠根據(jù)其3D氨基酸序列預(yù)測(cè)蛋白質(zhì)1D結(jié)構(gòu)的模型。這一突破具有巨大的潛力，可以徹底改變藥物發(fā)現(xiàn)、生物工程等領(lǐng)域，以及我們對(duì)生物系統(tǒng)的理解。

OpenAI今年也再次登上新聞，發(fā)布了DALL·E. 從本質(zhì)上講，該模型結(jié)合了 GPT 樣式語(yǔ)言模型和圖像生成的概念，以便從文本描述中創(chuàng)建高質(zhì)量的圖像。

為了說(shuō)明這個(gè)模型有多強(qiáng)大，請(qǐng)考慮下面的圖像，它是在提示“飛行汽車的未來(lái)世界油畫”下生成的。

最后，GitHub發(fā)布了后來(lái)成為每個(gè)開發(fā)人員最好的朋友的東西：Copilot。這是與OpenAI合作實(shí)現(xiàn)的，OpenAI提供了底層語(yǔ)言模型Codex，該模型在大量公開可用的代碼語(yǔ)料庫(kù)上進(jìn)行訓(xùn)練，進(jìn)而學(xué)會(huì)了理解和生成各種編程語(yǔ)言的代碼。開發(fā)人員只需提供代碼注釋即可使用Copilot，說(shuō)明他們?cè)噲D解決的問題，然后模型將建議代碼來(lái)實(shí)現(xiàn)解決方案。其他功能包括用自然語(yǔ)言描述輸入代碼以及在編程語(yǔ)言之間翻譯代碼的能力。

2022 年：聊天GPT 和穩(wěn)定擴(kuò)散

人工智能在過(guò)去十年中的快速發(fā)展最終帶來(lái)了突破性的進(jìn)步：OpenAI 的 ChatGPT，這是一款聊天機(jī)器人，于 2022 年 <> 月發(fā)布到野外。該工具代表了NLP領(lǐng)域的一項(xiàng)前沿成就，能夠?qū)Ω鞣N查詢和提示生成連貫且上下文相關(guān)的響應(yīng)。此外，它可以參與對(duì)話，提供解釋，提供創(chuàng)造性建議，協(xié)助解決問題，編寫和解釋代碼，甚至模擬不同的個(gè)性或?qū)懽黠L(fēng)格。

人們可以與機(jī)器人交互的簡(jiǎn)單直觀的界面也刺激了可用性的急劇上升。以前，主要是技術(shù)社區(qū)會(huì)玩弄最新的基于人工智能的發(fā)明。然而，如今，人工智能工具幾乎滲透到每個(gè)專業(yè)領(lǐng)域，從軟件工程師到作家、音樂家和廣告商。許多公司還使用該模型來(lái)自動(dòng)化服務(wù)，例如客戶支持、語(yǔ)言翻譯或回答常見問題解答。事實(shí)上，我們看到的自動(dòng)化浪潮重新引發(fā)了一些擔(dān)憂，并激發(fā)了關(guān)于哪些工作可能面臨自動(dòng)化風(fēng)險(xiǎn)的討論。

盡管 ChatGPT 在 2022 年占據(jù)了大部分風(fēng)頭，但在圖像生成方面也取得了重大進(jìn)展。穩(wěn)定擴(kuò)散是一種潛在的文本到圖像擴(kuò)散模型，能夠從文本描述中生成逼真的圖像，由Stability AI發(fā)布。

穩(wěn)定擴(kuò)散是傳統(tǒng)擴(kuò)散模型的擴(kuò)展，傳統(tǒng)擴(kuò)散模型的工作原理是迭代地向圖像添加噪聲，然后逆轉(zhuǎn)恢復(fù)數(shù)據(jù)的過(guò)程。它旨在通過(guò)不直接在輸入圖像上操作，而是在它們的低維表示或潛在空間上操作來(lái)加速此過(guò)程。此外，通過(guò)將變壓器嵌入的文本提示從用戶添加到網(wǎng)絡(luò)來(lái)修改擴(kuò)散過(guò)程，使其能夠在每次迭代中指導(dǎo)圖像生成過(guò)程。

總體而言，2022 年 ChatGPT 和穩(wěn)定擴(kuò)散的發(fā)布凸顯了多模式、生成式 AI 的潛力，并引發(fā)了該領(lǐng)域進(jìn)一步發(fā)展和投資的巨大推動(dòng)力。

2023年：法學(xué)碩士和機(jī)器人

毫無(wú)疑問，今年已成為L(zhǎng)LM和聊天機(jī)器人的一年。越來(lái)越多的模型正在以快速增長(zhǎng)的速度開發(fā)和發(fā)布。

例如，24 月 3 日，Meta AI 發(fā)布了 LLaMA——盡管參數(shù)數(shù)量要少得多，但在大多數(shù)基準(zhǔn)測(cè)試中性能優(yōu)于 GPT-14 的 LLM。不到一個(gè)月后，即 4 月 3 日，OpenAI 發(fā)布了 GPT-4——GPT-<> 的更大、功能更強(qiáng)大、多模式版本。雖然 GPT-<> 的確切參數(shù)數(shù)量未知，但據(jù)推測(cè)為數(shù)萬(wàn)億。

15月21日，斯坦福大學(xué)的研究人員發(fā)布了Alpaca，這是一種輕量級(jí)語(yǔ)言模型，由LLaMA在教學(xué)演示中進(jìn)行了微調(diào)。幾天后，在2月10日，谷歌推出了ChatGPT的競(jìng)爭(zhēng)對(duì)手：巴德。谷歌也剛剛在本月<>月<>日早些時(shí)候發(fā)布了最新的LLM，PaLM-<>。隨著該領(lǐng)域無(wú)情的發(fā)展步伐，在您閱讀本文時(shí)，很可能已經(jīng)出現(xiàn)了另一種模型。

我們也看到越來(lái)越多的公司將這些模型整合到他們的產(chǎn)品中。例如，Duolingo宣布了其GPT-4驅(qū)動(dòng)的Duolingo Max，這是一個(gè)新的訂閱層，旨在為每個(gè)人提供量身定制的語(yǔ)言課程。Slack還推出了一個(gè)名為Slack GPT的人工智能助手，它可以做一些事情，比如起草回復(fù)或總結(jié)線程。此外，Shopify在公司的Shop應(yīng)用程序中引入了一個(gè)由ChatGPT驅(qū)動(dòng)的助手，該應(yīng)用程序可以幫助客戶使用各種提示來(lái)識(shí)別所需的產(chǎn)品。

有趣的是，人工智能聊天機(jī)器人現(xiàn)在甚至被認(rèn)為是人類治療師的替代品。例如，美國(guó)聊天機(jī)器人應(yīng)用程序Replika為用戶提供了一個(gè)“關(guān)心的AI伴侶，總是在這里傾聽和交談，總是站在你身邊”。其創(chuàng)始人尤金妮婭·庫(kù)伊達(dá)（Eugenia Kuyda）表示，該應(yīng)用程序擁有各種各樣的客戶，從自閉癥兒童，他們將其作為“在人類互動(dòng)之前熱身”的一種方式，到孤獨(dú)的成年人，他們只是需要朋友。

在我們結(jié)束之前，我想強(qiáng)調(diào)一下過(guò)去十年人工智能發(fā)展的高潮：人們實(shí)際上正在使用Bing！今年早些時(shí)候，微軟推出了其GPT-4驅(qū)動(dòng)的“網(wǎng)絡(luò)副駕駛”，該副駕駛已針對(duì)搜索進(jìn)行了定制，并且首次在...永遠(yuǎn)（？）已經(jīng)成為谷歌在搜索業(yè)務(wù)中長(zhǎng)期統(tǒng)治地位的有力競(jìng)爭(zhēng)者。

回顧和展望

當(dāng)我們回顧過(guò)去十年的人工智能發(fā)展時(shí)，很明顯，我們一直在見證一種轉(zhuǎn)變，這對(duì)我們的工作、業(yè)務(wù)和互動(dòng)方式產(chǎn)生了深遠(yuǎn)的影響。最近在生成模型，特別是LLM方面取得的大多數(shù)重大進(jìn)展似乎都堅(jiān)持“越大越好”的普遍信念，指的是模型的參數(shù)空間。這在 GPT 系列中尤其明顯，它從 117.1 億個(gè)參數(shù) （GPT-4） 開始，在每個(gè)連續(xù)模型增加大約一個(gè)數(shù)量級(jí)后，最終產(chǎn)生具有潛在數(shù)萬(wàn)億個(gè)參數(shù)的 GPT-<>。

然而，根據(jù)最近的一次采訪，OpenAI首席執(zhí)行官Sam Altman認(rèn)為，我們已經(jīng)走到了“越大越好”時(shí)代的盡頭。展望未來(lái)，他仍然認(rèn)為參數(shù)計(jì)數(shù)將呈上升趨勢(shì)，但未來(lái)模型改進(jìn)的主要重點(diǎn)將是提高模型的能力、實(shí)用性和安全性。

后者特別重要?？紤]到這些強(qiáng)大的人工智能工具現(xiàn)在掌握在公眾手中，不再局限于研究實(shí)驗(yàn)室的受控環(huán)境，現(xiàn)在比以往任何時(shí)候都更加重要的是，我們要謹(jǐn)慎行事，確保這些工具是安全的，并符合人類的最佳利益。希望我們能看到人工智能安全方面的發(fā)展和投資，就像我們?cè)谄渌I(lǐng)域看到的那樣。