ChatGPT是如何“煉成”的？

《更新書堂》·第504篇

內容來源| 本文摘編自湛廬文化書籍

《奧爾特曼傳》周恆星 著

責編| 金木研排版| 衛莊

第8674篇深度好文：12797字 | 32 分鐘閱讀

雖然ChatGPT已在全球掀起顛覆性的AI革命，然而很少有人瞭解ChatGPT背後誕生的秘辛。

近日，湛廬文化推出“ChatGPT之父”山姆·奧爾特曼的全新傳記《奧爾特曼傳》。本書作者周恆星基於與奧爾特曼近10年的交流，首次全方位、近距離地揭秘了這位科技巨頭的Ai帝國、權力之路和未來藍圖。

在ChatGPT發佈2週年之際，讓我們共同走進書中的世界，跟隨奧爾特曼的腳步，探尋GPT模型“從零到一”的誕生歷程，致敬那些在創新道路上勇往直前的探索者們！

以下內容，引自周恆星《奧爾特曼傳》。

一、西部世界

2016年初的硅谷，空氣中瀰漫着焦慮的氣息。公開和私下裡，人們都在討論科技泡沫是不是要破了。

一方面，整個2015年科技公司IPO（首次公開募股）的比例跌至過去7年來最低點，一些小型科技公司（如yelp）的市值遭受了重創；另一方面，科技巨頭（如蘋果和谷歌）的股價卻屢創新高。

這年秋天，在硅谷的一處豪宅裡，舉行了一場私人放映活動，播放的是探討人工智能意識的科幻電視劇《西部世界》。

這場活動的召集人是時年31歲的奧爾特曼。活動地點在奧爾特曼的朋友、俄羅斯籍猶太裔風險投資家尤里·米爾納(Yuri Milner)位於洛斯阿爾託斯山上的豪宅裡。

受邀參加活動的嘉賓都收到了這樣一封邀請函：

參加放映活動的嘉賓都是硅谷赫赫有名的人物，包括谷歌聯合創始人謝爾蓋·布林，以及許多從YC孵化器中脫穎而出的年輕創始人。

作爲硅谷社交圈的中心，奧爾特曼希望通過這場放映活動，一方面引起人們對AI技術和安全性的關注，另一方面，他希望引導人們將注意力從對互聯網轉移到對硬科技(hard tech)上。

“硬科技”指的是依靠科學技術的突破和工程能力的發展，帶來重大創新和變革的高科技領域。而AI毫無疑問是硬科技“皇冠”上的“明珠”。

奧爾特曼認爲並不存在科技泡沫，當時是處在科技低迷期。在一篇名爲《硬科技回來了》(Hard Tech is Back)的博客文章中，奧爾特曼寫道：

把那些關於股市何時崩盤以及融資環境受到影響的無聊文章留給其他人寫吧，歷史也會忘記那些人。現在是採取長期主義並利用技術解決重大問題的最佳時機，我們比以往任何時候都更需要這些問題的解決方案。

在這篇文章的最後，奧爾特曼特別提到了AI：AGI和特定場景下的AI，在當前創業領域中似乎是最明顯的贏家。

他顯然是在暗示OpenAI將成爲贏家之一，雖然當時它還默默無聞。

二、打造現代版施樂PARC

2016年1月4日，新年伊始的第一個週一，OpenAI創始團隊的10個人就開始在布羅克曼的家中工作了。

第一次開會的時候，蘇茨克弗轉身想在白板上寫些東西，卻發現布羅克曼家中並沒有白板。布羅克曼只好趕快去購置了一些辦公用品。

OpenAI 前員工皮特·阿貝爾(Pieter Abbeel)回憶稱：

舊金山市中心的房價很高，布羅克曼的公寓也不算大，只有一個較大的廚房和一間帶沙發的客廳。有時團隊成員找不到地方，只好坐在臥室的牀上工作。但團隊的氛圍非常好，這10個人可以說是世界上最聰明的羣體。

接下來的一個月裡，布羅克曼的帶領下，團隊就願景、工作方式和目標進行了深入討論，並制定了一套面試流程。

接下來，他們購置了服務器，創建了一系列的賬號。剩餘時間，布羅克曼拼命學習深度學習的教材。布羅克曼說：

在OpenAI成立的頭兩年，布羅克曼和蘇茨克弗共同做出了大部分日常決策，布羅克曼管理初創公司的軟件工程師，蘇茨克弗則帶領研究人員開展研究。

與此同時，布羅克曼一直在與奧爾特曼通過電話保持溝通。奧爾特曼說：

布羅克曼必須解決的一個難題是，如何讓研究人員和工程師從同樣的角度出發進行工作。據內部人士透露，一些OpenAI的工程師低估了研究人員貢獻的重要性，研究人員則有時將工程師視爲技術人員而非科學家。

同爲OpenAI董事會成員的Quora的CEO亞當·丹吉洛(Adam D’Angelo)說，過去的AI研究大多在實驗室裡進行，要把技術轉化爲產品很難，布羅克曼是那個讓AI成功產品化的人。

馬斯克和奧爾特曼每週都會來探班。阿貝爾回憶稱，馬斯克經常一進客廳就往沙發上一坐，然後說：“好吧，最近都發生了什麼？”布羅克曼便會向他介紹最近一週的工作進展。

自從跟施樂的計算機科學家艾倫·凱共進晚餐後，布羅克曼和蘇茨克弗就開始計劃打造一家現代版的施樂PARC：PARC的開放和自由研究催生了從圖形用戶界面到激光打印機再到面向對象編程等一系列創新；儘管PARC雖然屬於施樂公司，但它的研究成果也惠及了包括蘋果在內的衆多公司，史蒂夫·喬布斯也能夠接觸PARC的研究成果。

布羅克曼也希望每個人都能接觸到OpenAI的研究成果。

布羅克曼說道：

三、“OpenAI”是最好的去處

2016年4月，團隊終於告別了布羅克曼的家，搬進了位於舊金山教會區的一家小型巧克力工廠的樓上。這間辦公室是奧爾特曼從紅杉資本那裡租來的。

搬進新辦公室後，奧爾特曼做的第一件事是在牆上寫下美國海軍上將海曼·里科弗（Hyman Rickover）的名言：

生命的偉大之處不在於知識，而在於行動。

在《硬科技回來了》這篇博客中，奧爾特曼並沒有提到OpenAI，因爲在當時的環境下，OpenAI顯然不是贏家。在與科技巨頭爭奪人才的戰爭中，OpenAI處於下風。

早在2014年，微軟副總裁彼得·李(Peter Lee)就表示，一位頂級AI研究員的成本已經超過了美國國家橄欖球聯盟(NFL)中一位頂級四分衛的成本。

作爲一家非營利性組織，OpenAI的資金有限，不能像許多創業公司那樣提供股權激勵。在OpenAI成立當月，奧爾特曼接受媒體採訪時承認，自己在營利性的初創企業方面積累了豐富的經驗，而在非營利性組織方面的經驗很少。

但他相信，即使是一家非營利性組織，組織的質量也是由人才決定的。

由於奧爾特曼和馬斯克都有全職工作，蘇茨克弗將主要重心放在了研究上，招聘的重任便落在了布羅克曼肩上。

奧爾特曼曾形容布羅克曼是“世界級”的招聘高手：“他會精心策劃面試的每個細節，深入研究候選人的背景，並進行周到而持久的後續跟進。”

“他非常願意接受反饋。無論是大事小情，他總是樂於傾聽，從不生氣，並且能夠迅速處理。”奧爾特曼在自己的博客中對布羅克曼大加讚賞。

而且布羅克曼工作非常勤奮。他的同事回憶說，即使在OpenAI搬出他家的公寓後，他依然幾乎住在辦公室裡。一位前員工說，當他們早上到達辦公室時，布羅克曼已經在伏案工作，當他們晚上離開時，他仍在敲擊鍵盤。

2016年5月，當時在谷歌大腦工作的頂尖人工智能研究員達里奧·阿莫代(Dario Amodei)到OpenAI的辦公室拜訪。

奧爾特曼試圖說服他加入，但阿莫代告訴奧爾特曼和布羅克曼，沒有人理解他們在做什麼：OpenAI籌集了10億美元並僱用了一個有30名研究員的團隊，這令人印象深刻——但這是爲了什麼？

“AI領域內有二三十個人，還有哈佛大學哲學家尼克·博斯特羅姆(Nick Bostrom)和維基百科的文章都在說，OpenAI的目標是構建友好型AI然後將源代碼發佈給全世界。”阿莫代疑惑地看着奧爾特曼和布羅克曼。

“我們不打算髮布所有的源代碼，”奧爾特曼說，“但請不要試圖在維基百科上糾正這一點。通常情況下，這隻會讓事情變得更糟。”

“那你們的目標是什麼？”阿莫代繼續追問。

布羅克曼有點無奈地回答說：“我們現在的目標是……盡最大的努力。這有點模糊。”

阿莫代走後，奧爾特曼和布羅克曼開始思考，如果想招募最優秀的團隊，就必須有清晰的使命和價值觀。

“我們應該傳達一個足夠大膽的願景。”奧爾特曼建議說。

2016年6月，在一篇名爲《我們的技術目標》(OpenAI Technical Goals)的公告中，OpenAI詳細列出了公司的使命和幾大技術目標。其中第一句就是：

OpenAI的使命是構建安全的AI，並確保AI的好處儘可能廣泛而平等地分佈。

這篇文章的署名是OpenAI的4位創始人：蘇茨克弗、布羅克曼、奧爾特曼、馬斯克。

《紐約時報》記者凱德·梅茨(Cade Metz)評論說：

從一開始，他們就設立了非常崇高的目標，這些目標容易衡量、容易理解，並保證能夠吸引注意力，即使他們實際上還沒有做任何實質性的事情。

OpenAI聯合創始人、研究員沃伊切赫·扎倫巴(WojciechZaremba)回憶說，來自科技巨頭的工作邀約金簡直高到離譜。

儘管他對谷歌和Facebook等公司非常尊重，但那些近乎瘋狂的報價實際上讓他感到厭惡。他更加傾向於加入OpenAI這樣具有宏偉使命的創業公司。

“我意識到，”扎倫巴說，“OpenAI是最好的去處。”

在OpenAI的官網上，這家初創組織的網頁設計顯得有些過於花哨，並且公告更新頻繁，每一篇文章都配有精美的插圖——我相信這些插圖至少在早期是手工繪製的，而非AI所作。

在當時，OpenAI的官網上每隔幾天就會發布新成員加入的公告，公告中會詳細列出新成員的名字和簡介，連實習生也未遺漏。這很可能是奧爾特曼的主意。

一方面，這種儀式感增強了團隊的凝聚力；另一方面，也吸引了潛在的招聘對象。（“哇，又一個行業大咖加入了OpenAI，我是不是也應該考慮一下？”）

比如2016年3月，他們公佈了4位全職研究員的加入，這些研究員都是在華盛頓瑰麗酒店的一次晚宴上招募的，其中就包括機器學習領域的領軍人物伊恩·古德費洛(Ian Goodfellow)；還有一位華人實習生範林曦(Linxi “Jim” Fan)，他後來成了英偉達的AI科學家，在社交媒體上非常活躍。

5月加入的員工中，有幾位是布羅克曼在Stripe的舊部，包括設計團隊主管路德維格·彼得鬆(Ludwig Pettersson)和工程師喬納斯·施奈德(Jonas Schneider)。

8月的公告顯示，奧爾特曼一直想招募的達里奧·阿莫代加入了公司，出任首席研究員。他的妹妹丹妮拉·阿莫代(Daniela Amodei)之前就與布羅克曼合作過，兩年後，在布羅克曼的邀請下，丹妮拉也加入了團隊。

2017年1月的公告顯示，前谷歌科學家、機器學習領域的重量級人物雅羅斯拉夫·布拉托夫(Yaroslav Bulatov)加入了團隊，還有幾位YC的骨幹成員也加入進來。

這篇公告還透露，OpenAI團隊現在有45名成員，團隊的目標是：

齊心協力，不斷推進AI能力的發展前沿——無論是驗證新的想法、創建新的軟件系統，還是在機器人上部署機器學習。

四、“我們從零開始”

OpenAI看似目標明確，實則缺乏方向。

奧爾特曼在YC的經歷似乎並沒有派上用場。在YC，奧爾特曼總是告訴創始人，要打破常規快速行動，迅速推出產品。然而，他後來承認：

OpenAI做了很多與YC建議的標準相反的事情。成立之初，我們對產品沒有任何概念，也沒有與用戶進行交流。

奧爾特曼擅長向投資人推銷項目，但在OpenAI這裡卻行不通，因爲OpenAI靠的是捐贈而非投資。要持續獲得捐贈，就必須拿出實實在在的研究成果，而不是承諾投資回報。

由於缺乏明確的方向，團隊在布羅克曼和蘇茨克弗的帶領下，確定了幾個關鍵的研究方向來探索AI的可能性。

第一，OpenAI推出了“Universe”平臺，旨在創建一個虛擬世界，讓AI可以像人類一樣操作電腦，通過虛擬的鍵盤和鼠標來玩遊戲、瀏覽網頁和觀看視頻。

這個平臺的靈感來源於成功推動圖像識別技術發展的ImageNet。Universe提供了一個通用接口，通過VNC服務器連接無限的互聯網環境，使AI能夠在多種遊戲和應用中進行訓練，包括EA、MicrosoftStudios和Valve等公司授權的遊戲。

第二，OpenAI在機器人技術方面取得了顯著進展。

沃伊切赫·扎倫巴帶領的團隊開發了一個能夠自學還原魔方的五指機械手。這個項目通過數字仿真，在虛擬現實中訓練機器手，讓它在相當於一萬年的時間裡學會了還原魔方的各種動作。這種方法的巨大優勢在於，機器人能夠在虛擬環境中學習技能，然後將這些技能應用到現實世界中，處理各種不確定性。

第三，他們嘗試在複雜的遊戲環境中訓練AI。

布羅克曼認爲，DOTA（《魔獸爭霸》）是一個極佳的訓練場，因爲它涉及團隊合作、實時策略、不完全信息以及龐大的英雄和物品組合。

布羅克曼領導的DOTA2項目幫助打破了僵局。爲了推動這項工作，布羅克曼與DOTA2的開發人員進行了數小時的電話交談，以弄清楚如何讓玩遊戲的軟件工作，這是一個技術挑戰，因爲遊戲和OpenAI的算法是用不同的編程語言編寫的。

OpenAI的AI首次亮相是在2017年的DOTA 2國際邀請賽上，它在1v1的對決中戰勝了頂尖選手登迪(Dendi)。

如果我們回頭看，實際上OpenAI的方向是錯的：當時OpenAI內部以及業內的普遍觀點是，要想做出強大的AI，有時需要從瑣碎的事情開始。

電子遊戲和機器人手臂，將爲自動駕駛汽車和治癒癌症的AI鋪平道路。

所以當時這些系統都是窄領域的，非常有針對性——下圍棋的系統甚至不能下國際象棋，更不用說理解語言了。預測機票價格波動的系統，卻不能處理文本。

因此，每次有一個新的應用程序，都需要訓練一個新的系統。這需要很長時間以及大量標註數據等。

OpenAI的前員工回憶當時的情景：

我們在做一些隨機的事情，看看會發生什麼。有時感覺構建的東西和想象的目標之間有很大的差距。上班時大家編程讓機器人玩電子遊戲，午餐時則圍坐在桌旁，談論着如何拯救人類。

客觀地說，通過在虛擬世界和複雜遊戲環境中訓練AI，OpenAI展示了其在AI領域的野心和創新。但他們並沒有取得突破性的進展，最初捐贈的資金也在一點點耗盡。雖然團隊的幹勁非常高漲，但馬斯克和奧爾特曼卻在暗暗着急。

奧爾特曼承認：

我們什麼都不順利，而谷歌擁有一切：所有的人才、所有的人力、所有的資金。

布羅克曼後來回憶說：

我們已經成立了兩年，我們做了什麼？

我們取得了什麼成就？我們有一支很棒的團隊，但是我們有出色的結果嗎？

我認爲我們都非常雄心勃勃。我們都真誠地希望能在這個領域產生影響。我們都渴望感覺到自己能夠引導它，讓情況與沒有我們時有所不同。這就是我們聚集在這裡的原因。然而，當時我們還不清楚這一切能否實現。

這種焦慮甚至讓布羅克曼開始練習舉重，他開玩笑說，即使OpenAI倒閉了，至少在這段時間裡還能有個可以交代的事情。

在那段時間，OpenAI還進行了一次小規模的裁員，暫停了機器人手臂的項目。機器學習領域的領軍人物伊恩·古德費洛也在這段時間重新回到了谷歌。奧爾特曼後來回憶道：

我們太早開始研究機器人了，所以不得不擱置那個項目。

那個項目也因爲錯誤的原因而變得困難，無助於我們在機器學習研究的困難部分取得進展。我們一直在處理糟糕的模擬器和肌腱斷裂之類的問題。

隨着時間的推移，我們也越來越意識到，我們首先需要的是智能和認知，然後才能想辦法讓它適應物理特性。從我們構建這些語言模型的方式來看，從那兒開始更容易。但我們一直計劃回到這個問題上來。

與谷歌的競爭漸漸演變成了一場軍備競賽。資金難題並不是蘇茨克弗和布羅克曼可以解決的，於是問題拋到了奧爾特曼和馬斯克兩位聯合主席這裡。

奧爾特曼後來坦誠，“我們並沒有直觀意識到這個項目會有多昂貴”，他補充道，“我們現在仍然不知道”。

在YC的經歷讓奧爾特曼更善於傾聽並想方設法解決問題。他明白，爲了提高算力必須籌措更多的資金。爲此，奧爾特曼研究了多種爲OpenAI籌集資金的方案，例如獲得美國政府的資金支持和推出新的加密貨幣。

然而，他也承認：“沒有人願意以任何方式資助這個項目，那段時間真的很艱難。”

布羅克曼有些無奈地說：

想象一下——我們從零開始，“我們只是有這樣一個理想，希望AGI能夠順利發展。”

就在此時，他們的競爭對手谷歌給了他們一次關鍵助攻。

五、Transformer論文和GPT-1發佈

2017年初，蘇茨克弗與OpenAI的研究科學家亞歷克·拉德福德(Alec Radford)開展了一系列關於神經網絡在自然語言處理領域的研究。

拉德福德很年輕，當時只有23歲。拉德福德的模型足夠直觀，當他審視模型的隱藏層時，他意外地發現了一個專門用於分析評論情感的特定神經元。

以往的神經網絡雖然也能進行情感分析，但它們需要明確的指示並接受特殊訓練，還要使用標記了情感的數據。然而，拉德福德的神經網絡卻自發地學會了這項技能。

他們的第一個實驗是掃描20億條Reddita的評論，用神經網絡訓練一個語言模型。像OpenAI早期的很多實驗一樣，這個實驗失敗了。這個模型只能偶爾生成一個通順的句子，而且要很費力才能理解它。蘇茨克弗和布羅克曼鼓勵拉德福德不要泄氣，繼續嘗試。

“我們覺得亞歷克斯很棒，就讓他按自己的想法去做吧。”布羅克曼說。

後來拉德福德收集了大約1億條亞馬遜購物網站上的產品評論，訓練了另一個語言模型。這次的結果比上次要好很多。

於是，蘇茨克弗想，如果在更廣泛的語言數據上訓練一個神經網絡，是否能夠揭示出更豐富的世界意義結構。如果其隱藏層能積累足夠多的概念知識，它們或許能成爲超級智能形成的基礎學習模塊。

蘇茨克弗鼓勵拉德福德將視野擴大，不應僅限於亞馬遜的評論。他提議，他們應該培養一個AI，讓它從全球最大、最多樣化的數據源，也就是互聯網中進行學習。

但在2017年初，基於當時的神經網絡架構，這個想法看上去顯得不切實際，因爲這可能需要數年的時間來實現。

然而，恰恰在這時，谷歌的“Transformer論文”出現了。

2017年6月，一篇由8位谷歌研究人員合著、具有里程碑意義的論文橫空出世，它的正式標題是《我注意力是你所需要的全部》(Attention Is All You Need)。

這篇論文所提出的Transformer模型是一個超級高效的學習者，它不僅能夠一次性把整句話都看進去，還能理解每個詞和句子中其他詞之間的關係。

就像是有一個超級記憶力的人，不僅記得每個人說的每句話，還理解他們之間的關係。它賦予了計算機類似人類的語言理解能力。

Transformer模型用了一種特別的技巧——“自我注意力”，它能夠一眼就看到句子中所有的詞，並且理解它們之間的聯繫。這樣，它就能夠很好地處理那些需要長時間記憶的信息，並且學習速度飛快。

Transformer模型做了一件對當時來說非常重要的事情。在過去，AI系統需要輸入非常具體的數據，每條數據必須被標註：這個是正確的，這個是錯誤的；這個是垃圾郵件，這個不是垃圾郵件；這個是癌症，這個不是癌症……

但Transformer模型允許AI接收混亂的、未標記的數據。而且它可以比預期更高效地做到這一點，使用的算力更少。

Transformer模型的出現，極大地提升了計算機處理語言的能力，使得機器翻譯、語音識別和文本摘要等任務變得更加高效和精確，這對整個行業來說是一個巨大的飛躍。

現在，這些基於Transformer的模型可以自我學習。於是業內領悟到：最好的AI並不來自最專業的訓練技術，而是來自擁有最多數據的技術。

然而，Transformer模型剛開始並沒有馬上征服世界，甚至連谷歌都沒有徵服。當時只有少數幾個人理解這一突破有多麼強大，蘇茨克弗就是其中之一。

在OpenAI的早期，蘇茨克弗就一直有一個預感，即AI的重大進展不會來自某個特定的調整或新發明，而是來自更多的數據，就像是向引擎中倒入越來越多的燃料。現在，Transformer論文支持了他的這個預感。

“當這篇論文發佈的第二天，我們就意識到，這正是我們所需要的，”蘇茨克弗回憶道，“它具備了我們所追求的一切特性。”正如他的老師辛頓所說，蘇茨克弗有非常好的技術直覺。

而布羅克曼把這看作是運氣和努力的結合：“這一直是我們的策略——努力解決問題，然後相信我們或者領域內的某個人將設法找到缺失的要素。”

蘇茨克弗建議拉德福德開始嘗試使用Transformer架構。結果不出所料，在接下來的兩週裡，取得的進展比過去兩年還要多。

就像奧爾特曼在2023年所說的那樣：“Transformer論文發表時，我覺得谷歌沒人意識到它會產生怎樣深遠的影響。”

2018年6月，在Transformer論文發表的一年後，OpenAI發佈了GPT-1，“GPT”是“generatively pretrained transformer”（生成式預訓練變換器）的首字母縮寫。

最終，這個模型被普遍稱爲“生成式人工智能”(generativeAI)。

爲了開發出這個模型，他們收集了7000本未出版的書籍，其中有很多屬於浪漫、奇幻、冒險的類型，並根據Quora網站上的問答以及從初中和高中考試裡摘錄的數千篇文章對其進行了完善。

總而言之，這個模型包含了1.17億個參數或變量。它在理解語言與生成答案方面超越了之前的所有產品。

GPT-1模型最令人驚奇的是它的廣泛適用性，它是一個“通才”。

無論哪個話題，你都可以向它提問，而它總能給出令人驚歎的高質量答案。這是因爲GPT-1經過了廣泛的訓練，涵蓋了人類可用的整個文本語料庫，包括數十億個句子。

無論是你閱讀過的文件、備忘錄、瑣事，還是《哈利·波特》系列小說，所有這些內容都被納入了模型的訓練之中。

這是我們第一次擁有這樣一個系統。這標誌着人工智能正在從狹窄領域向通用領域轉變。

六、規模法則：大力出奇跡

OpenAI團隊很快發現，充分發揮Transformer新模型潛力的關鍵是擴大規模——在龐大的數據集上訓練模型。這一事實證明OpenAI已經找到了突破點。蘇茨克弗說：

我們已經找到了進步的公式，現在每個人都知道——深度學習的氧和氫就是大規模神經網絡和數據計算。

而奧爾特曼後來在與比爾·蓋茨對話時這樣總結道：

構建GPT-1的那個人（拉德福德）基本上是獨立完成的，他獨自解決了這個問題，這在某種程度上是令人印象深刻的，但他並沒有深入理解GPT-1是如何工作的或者爲什麼有效。隨後我們掌握了規模法則(Scaling Law)。

我們能夠預測它會變得多麼出色。這就是爲什麼，當我們告訴你我們可以做一個演示時，我們相當有信心它會成功。我們還沒有訓練模型，但我們相當有信心。

這導致我們進行了一系列的嘗試，並逐漸獲得了更好的科學理解，瞭解到底發生了什麼。但這確實首先來自於經驗結果。

後來，OpenAI專門發表了一篇論文《神經語言模型的規模法則》(Scaling Laws for Neural Language Models)來系統闡述規模法則。

此後，規模法則成爲AI領域的第一性原理，這個詞也成爲這波AI浪潮中最常被提及的關鍵詞。

規模法則其實就是俗話說的“大力出奇跡”，依靠的是從量變到質變，它之所以能成爲AI時代的第一性原理，主要基於以下兩個方面：

首先是足夠通用，不管是文本、音頻還是視頻，所有的問題都可以被轉換爲“預測下一個token”。這裡的“token”指的是文本數據的基本單位。

在一次播客中，蘇茨克弗詳細闡述了他爲何認爲像大型語言模型這樣本質上只是預測下一個字符的工具，卻能夠產生超越人類智慧總和的智能。他解釋說：很多人認爲，大模型只是通過像統計學一樣的方式來模仿人類現有的知識和能力，沒有辦法超越人類。

但是，如果你的基礎神經網絡足夠聰明，你只需問它——一個具有偉大洞察力、智慧和能力的人會怎麼做？也許這樣的人並不存在，但神經網絡很有可能能夠推斷出這樣的人的行爲方式。

其次是可規模化——只要投入足夠多的算力、數據，模型就會變得更強大。只要在較小的參數規模上驗證了效果，就可以通過增加計算資源和數據量，以“大力出奇跡”的方式獲得更好的性能。

這進一步使得我們能夠模擬整個物理世界——無論是自動駕駛還是機器人等場景，都可以一併得到解決。

正如蘇茨克弗總結的那樣：

只要能夠非常好地預測下一個token，就能幫助人類達到AGI。

2017年12月，奧爾特曼在一篇博客裡暗示了這一改變：

硬件正在以指數級的速度改進，在OpenAI工作期間，最令我驚訝的發現是：計算能力的增強與AI突破之間有着密切關聯，從事AI研究的聰明人的數量也在呈指數級增長。

這種方法還要求OpenAI改變公司文化。任OpenAI董事、Quora創始人亞當·丹吉洛表示：“爲了充分利用Transformer，你需要將其擴大規模。”

他還說：“你需要像一個工程組織一樣運行它。不能讓每個研究人員都各自爲戰，訓練自己的模型，製作那些只爲了發表論文的漂亮東西。你必須進行更加繁瑣、不那麼優雅的工作。”他補充說，這正是OpenAI能夠做到而其他人無法做到的事情。

但這一改變帶來了一個新問題，奧爾特曼和馬斯克很快發現，光有人才遠遠不夠，還需要有大量的算力。

就在OpenAI和行業內其它公司都在爲缺乏算力發愁時，一個傳奇創業者敏銳捕捉到了其中的機會。

七、黃仁勳押注AI，英偉達迎接挑戰

黃仁勳，這位手臂上有刺青、愛穿黑色皮衣的創業者，自30歲那年創立英偉達以來，20多年間，經歷了芯片半導體領域的起起落落。

截至目前，在美國市值一萬億美元以上的公司裡，英偉達是唯一一家曾兩次從高點下跌超過85%的公司。

在標準計算機架構中，一個被稱爲“中央處理單元”（central processing unit，CPU）的微芯片承擔了大部分工作。程序員編寫程序，這些程序將數學問題交給CPU，後者一次產生一個解決方案。

幾十年來，CPU的主要製造商是英特爾，英特爾曾多次試圖將英偉達逼出市場。黃仁勳說：“我絕不接近英特爾”。他形容他們之間的關係就像貓和老鼠，“每當他們靠近我們，我就抓起我的芯片跑掉。”

黃仁勳決定用差異化的產品與巨頭競爭，那就是“圖形處理單元”（graphics-processing unit，GPU）。

1999年，英偉達在上市後不久推出了一款名爲GeForce的顯卡，也就是後人常說的GPU。與通用的CPU不同，GPU將複雜的數學任務分解爲小計算，然後以並行計算的方法同時處理所有任務。

CPU就像一輛遞送貨物的卡車，一次只能送出一個包裹；而GPU更像是一個遍佈整個城市的摩托車隊。

正是基於這種特性，GPU可以完成複雜的運算，這是加密貨幣市場、深度神經網絡以及大屏幕上呈現絢麗色彩所必需的。

同樣，這些技術可以讓殘酷的射擊遊戲無比逼真，讓自動駕駛汽車在沒有協助的情況下做出S型拐彎。它們可以賦予計算機視力、聽力、理解能力和學習能力。

很快，一羣人工智能研究員發現了英偉達GPU在訓練神經網絡過程中的潛力。

2012年，辛頓帶領兩位愛徒亞歷克斯·克里澤夫斯基和伊利亞·蘇茨克弗推出AlexNet，相比谷歌用了16000顆CPU，AlexNet只用了4顆英偉達GPU，在學術界和產業界引發了轟動。

AlexNet完成了計算機視覺領域的巨大突破，它成功證明了深度神經網絡（DNN）可以有效地對許多對象進行分類，而增加訓練數據量可以提高DNN的有效性。

開發和訓練這些神經網絡需要大量計算資源，並且如果使用大規模並行性的GPU，可以比單獨使用多核CPU實現更短的訓練週期。

黃仁勳敏銳地意識到，英偉達的下一個增長點在人工智能領域。黃仁勳打賭英偉達的計算機芯片可以成爲人工智能的大腦，他決定將自己所有的籌碼放上賭桌。

黃仁勳後來回憶說：

我們有幸退後一步，問自己這對計算機未來意味着什麼。我們得出了正確的結論，這將改變計算方式，這將改變軟件編寫方式，這將改變我們可以編寫的應用程序類型。

黃仁勳開始積極佈局面向人工智能的GPU。英偉達差不多花了5年時間製作出了DGX，這個GPU重達31.75千克，黃仁勳把它形容爲一輛電動汽車。馬斯克聽說這個消息後，找到了黃仁勳，表示OpenAI想要一個這樣的GPU。

於是，在2016年8月的一天，黃仁勳造訪了OpenAI在舊金山的辦公室。他在一間會議室裡將這臺超級計算機（屬於最新推出的DGX-1系列）親手交給了馬斯克。

那一刻，黃仁勳突發奇想，隨手拿起一支馬克筆，在這臺超級計算機的機身上寫道：

爲了埃隆和OpenAI團隊！爲了計算機和人類的未來！我將世界上第一臺DGX-1作爲禮物送給你們！

寫完後，他把筆交給馬斯克和圍過來的OpenAI團隊成員，所有人逐一在機箱上籤了名。

當天晚上馬斯克在X上寫道：

十分感謝英偉達和Jensen（黃仁勳英文名）將第一臺DGX-1超級計算機捐贈給OpenAI，以推動AI技術的普及。

DGX-1超級計算機擁有高達170TFLOPS的半精度浮點運算能力，相當於250臺傳統服務器，可以將深度學習的訓練速度加快75倍，使CPU性能提升56倍，報價12.9萬美元。

據黃仁勳介紹，這是由3000人耗時3年時間研發出的，開發成本巨大。“如果這個項目只爲打造一臺這樣的超級計算機，那麼這個項目的成本將高達20億美元。”

當時OpenAI和英偉達均未解釋這臺超級計算機的準確用途。但英偉達稱，DGX-1是爲處理深度學習等AI問題而量身打造的超級計算機。黃仁勳稱：

世界上第一臺專爲AI打造的超級計算機即將落戶於一家專注於開放式AI研究的實驗室，這簡直是天作之合。

此後幾年，隨着利用GPU訓練大模型成爲行業共識，越來越多的公司開始追逐高端GPU，導致GPU稀缺。馬斯克曾說，現在它們“比毒品還難搞”。這些芯片成爲了一場淘金熱的鎬和鏟。

2022年，黃仁勳第一次嘗試使用ChatGPT，他讓它寫一首關於他的公司的詩。ChatGPT返回的結果讓他很滿意：

英偉達迎接挑戰。

憑藉強大的GPU和人工智能，

它正在推動技術邊界。

看到這首詩，黃仁勳開心的笑了，他知道自己賭對了。

隨着最大規模的AI訓練規模大約每6個月翻一番，英偉達成爲了這場戰爭裡唯一的“軍火商”。

幾年後隨着ChatGPT的走紅和英偉達市值突破2萬億美元，馬斯克和黃仁勳出神的看着這臺超級計算器的照片在網上流傳，背後是奧爾特曼寫在牆上的那句名言。那句名言的後半句是：

我們每個人都有責任把世界的命運寄託在自己身上。

時代的鐘聲從遠處傳來，當算法（Transformer模型）、算力（英偉達）和數據（互聯網）都萬事俱備的時候，一個新時代的大門敞開了。

奧爾特曼後來回憶，在一個夏日涼爽的黃昏時分，OpenAI研究團隊完成了一個關於規模法則的實驗，這個實驗揭示了用於訓練人工智能的計算能力與其結果能力之間的關係，併產生了一系列“完美、平滑的曲線”，這些指數曲線看起來更像是宇宙基本定律而不是實驗數據。

奧爾特曼和一羣研究人員走到辦公室外，望着遠處的夕陽。他們共同意識到，AGI不僅是可能實現的，而且它的來臨可能比他們先前所預期的要快得多。

奧爾特曼後來回憶說：

我們都在想，這一切真的會發生，不是嗎？

這就像是科學史上的一個轉折點。我們已經洞悉了一種全新的事物，即將向全人類宣告它的來臨。

*文章爲作者獨立觀點，不代表筆記俠立場。

好文閱讀推薦：