作者 | 周恒星
雖然 ChatGPT 已在全球掀起顛覆性的 AI 革命，然而很少有人了解 ChatGPT 背后誕生的秘辛。近日，湛廬文化推出“ChatGPT 之父”山姆奧爾特曼的全新傳記《奧爾特曼傳》。作者周恒星基于與奧爾特曼近 10 年的交流，首次全方位、近距離地揭秘了這位科技巨頭的 Ai 帝國(guó)、權(quán)力之路和未來藍(lán)圖。
西部世界
2016 年初的硅谷，空氣中彌漫著焦慮的氣息。公開和私下里，人們都在討論科技泡沫是不是要破了。
一方面，整個(gè) 2015 年科技公司 IPO（首次公開募股）的比例跌至過去 7 年來最低點(diǎn)，一些小型科技公司（如 yelp）的市值遭受了重創(chuàng)；另一方面，科技巨頭（如蘋果和谷歌）的股價(jià)卻屢創(chuàng)新高。
這年秋天，在硅谷的一處豪宅里，舉行了一場(chǎng)私人放映活動(dòng)，播放的是探討人工智能意識(shí)的科幻電視劇《西部世界》。
這場(chǎng)活動(dòng)的召集人是時(shí)年 31 歲的奧爾特曼。活動(dòng)地點(diǎn)在奧爾特曼的朋友、俄羅斯籍猶太裔風(fēng)險(xiǎn)投資家尤里米爾納 (Yuri Milner) 位于洛斯阿爾托斯山上的豪宅里。
受邀參加活動(dòng)的嘉賓都收到了這樣一封邀請(qǐng)函：
山姆奧爾特曼和尤里米爾納邀請(qǐng)您參加《西部世界》首播集上映前的觀影會(huì)，這是一部 HBO 發(fā)行的，探索人工意識(shí)和人工智能未來的新連續(xù)劇。
參加放映活動(dòng)的嘉賓都是硅谷赫赫有名的人物，包括谷歌聯(lián)合創(chuàng)始人謝爾蓋布林，以及許多從 YC 孵化器中脫穎而出的年輕創(chuàng)始人。
作為硅谷社交圈的中心，奧爾特曼希望通過這場(chǎng)放映活動(dòng)，一方面引起人們對(duì) AI 技術(shù)和安全性的關(guān)注，另一方面，他希望引導(dǎo)人們將注意力從對(duì)互聯(lián)網(wǎng)轉(zhuǎn)移到對(duì)硬科技 (hard tech) 上�！坝部萍肌敝傅氖且揽靠茖W(xué)技術(shù)的突破和工程能力的發(fā)展，帶來重大創(chuàng)新和變革的高科技領(lǐng)域。而 AI 毫無疑問是硬科技“皇冠”上的“明珠”。
奧爾特曼認(rèn)為并不存在科技泡沫，當(dāng)時(shí)是處在科技低迷期。在一篇名為《硬科技回來了》(Hard Tech is Back) 的博客文章中，奧爾特曼寫道：
把那些關(guān)于股市何時(shí)崩盤以及融資環(huán)境受到影響的無聊文章留給其他人寫吧，歷史也會(huì)忘記那些人。現(xiàn)在是采取長(zhǎng)期主義并利用技術(shù)解決重大問題的最佳時(shí)機(jī)，我們比以往任何時(shí)候都更需要這些問題的解決方案。
在這篇文章的最后，奧爾特曼特別提到了 AI：AGI 和特定場(chǎng)景下的 AI，在當(dāng)前創(chuàng)業(yè)領(lǐng)域中似乎是最明顯的贏家。
他顯然是在暗示 OpenAI 將成為贏家之一，雖然當(dāng)時(shí)它還默默無聞。
打造現(xiàn)代版施樂 PARC
2016 年 1 月 4 日，新年伊始的第一個(gè)周一，OpenAI 創(chuàng)始團(tuán)隊(duì)的 10 個(gè)人就開始在布羅克曼的家中工作了。
第一次開會(huì)的時(shí)候，蘇茨克弗轉(zhuǎn)身想在白板上寫些東西，卻發(fā)現(xiàn)布羅克曼家中并沒有白板。布羅克曼只好趕快去購(gòu)置了一些辦公用品。
OpenAI 前員工皮特阿貝爾 (Pieter Abbeel) 回憶稱：
舊金山市中心的房?jī)r(jià)很高，布羅克曼的公寓也不算大，只有一個(gè)較大的廚房和一間帶沙發(fā)的客廳。有時(shí)團(tuán)隊(duì)成員找不到地方，只好坐在臥室的床上工作。但團(tuán)隊(duì)的氛圍非常好，這 10 個(gè)人可以說是世界上最聰明的群體。
接下來的一個(gè)月里，布羅克曼的帶領(lǐng)下，團(tuán)隊(duì)就愿景、工作方式和目標(biāo)進(jìn)行了深入討論，并制定了一套面試流程。接下來，他們購(gòu)置了服務(wù)器，創(chuàng)建了一系列的賬號(hào)。剩余時(shí)間，布羅克曼拼命學(xué)習(xí)深度學(xué)習(xí)的教材。布羅克曼說：
我只是一個(gè)解決問題的人，花上幾周時(shí)間找到一個(gè)工程問題，然后成為這個(gè)問題的解決者。
在 OpenAI 成立的頭兩年，布羅克曼和蘇茨克弗共同做出了大部分日常決策，布羅克曼管理初創(chuàng)公司的軟件工程師，蘇茨克弗則帶領(lǐng)研究人員開展研究。
與此同時(shí)，布羅克曼一直在與奧爾特曼通過電話保持溝通。奧爾特曼說：
布羅克曼具有很強(qiáng)的能力，既能洞察技術(shù)問題每一部分的細(xì)枝末節(jié)，又能把握每個(gè)層面的重點(diǎn)，然后還能從戰(zhàn)略層面思考如何將所有部分整合在一起。
布羅克曼必須解決的一個(gè)難題是，如何讓研究人員和工程師從同樣的角度出發(fā)進(jìn)行工作。據(jù)內(nèi)部人士透露，一些 OpenAI 的工程師低估了研究人員貢獻(xiàn)的重要性，研究人員則有時(shí)將工程師視為技術(shù)人員而非科學(xué)家。
同為 OpenAI 董事會(huì)成員的 Quora 的 CEO 亞當(dāng)?shù)ぜ?(Adam D’Angelo) 說，過去的 AI 研究大多在實(shí)驗(yàn)室里進(jìn)行，要把技術(shù)轉(zhuǎn)化為產(chǎn)品很難，布羅克曼是那個(gè)讓 AI 成功產(chǎn)品化的人。
馬斯克和奧爾特曼每周都會(huì)來探班。阿貝爾回憶稱，馬斯克經(jīng)常一進(jìn)客廳就往沙發(fā)上一坐，然后說：“好吧，最近都發(fā)生了什么？”布羅克曼便會(huì)向他介紹最近一周的工作進(jìn)展。
自從跟施樂的計(jì)算機(jī)科學(xué)家艾倫凱共進(jìn)晚餐后，布羅克曼和蘇茨克弗就開始計(jì)劃打造一家現(xiàn)代版的施樂 PARC：PARC 的開放和自由研究催生了從圖形用戶界面到激光打印機(jī)再到面向?qū)ο缶幊痰纫幌盗袆?chuàng)新；盡管 PARC 雖然屬于施樂公司，但它的研究成果也惠及了包括蘋果在內(nèi)的眾多公司，史蒂夫喬布斯也能夠接觸 PARC 的研究成果。布羅克曼也希望每個(gè)人都能接觸到 OpenAI 的研究成果。布羅克曼說道：
RARC 真正特別的地方在于，他們聚集了一群聰明人，并賦予他們自由發(fā)揮的空間。我們希望構(gòu)建一個(gè)共同的愿景，同時(shí)避免中央控制。放棄控制是開源理念的核心。秉持開源理念的人相信，如果有足夠多的人致力于一個(gè)共同目標(biāo)，最終的成果將超過任何封閉性環(huán)境中構(gòu)思出來的東西。
“OpenAI 是最好的去處”
2016 年 4 月，團(tuán)隊(duì)終于告別了布羅克曼的家，搬進(jìn)了位于舊金山教會(huì)區(qū)的一家小型巧克力工廠的樓上。這間辦公室是奧爾特曼從紅杉資本那里租來的。
搬進(jìn)新辦公室后，奧爾特曼做的第一件事是在墻上寫下美國(guó)海軍上將海曼里科弗（Hyman Rickover）的名言：
生命的偉大之處不在于知識(shí)，而在于行動(dòng)。
在《硬科技回來了》這篇博客中，奧爾特曼并沒有提到 OpenAI，因?yàn)樵诋?dāng)時(shí)的環(huán)境下，OpenAI 顯然不是贏家。在與科技巨頭爭(zhēng)奪人才的戰(zhàn)爭(zhēng)中，OpenAI 處于下風(fēng)。早在 2014 年，微軟副總裁彼得李 (Peter Lee) 就表示，一位頂級(jí) AI 研究員的成本已經(jīng)超過了美國(guó)國(guó)家橄欖球聯(lián)盟 (NFL) 中一位頂級(jí)四分衛(wèi)的成本。
作為一家非營(yíng)利性組織，OpenAI 的資金有限，不能像許多創(chuàng)業(yè)公司那樣提供股權(quán)激勵(lì)。在 OpenAI 成立當(dāng)月，奧爾特曼接受媒體采訪時(shí)承認(rèn)，自己在營(yíng)利性的初創(chuàng)企業(yè)方面積累了豐富的經(jīng)驗(yàn)，而在非營(yíng)利性組織方面的經(jīng)驗(yàn)很少。但他相信，即使是一家非營(yíng)利性組織，組織的質(zhì)量也是由人才決定的。
由于奧爾特曼和馬斯克都有全職工作，蘇茨克弗將主要重心放在了研究上，招聘的重任便落在了布羅克曼肩上。奧爾特曼曾形容布羅克曼是“世界級(jí)”的招聘高手：“他會(huì)精心策劃面試的每個(gè)細(xì)節(jié)，深入研究候選人的背景，并進(jìn)行周到而持久的后續(xù)跟進(jìn)�！�
“他非常愿意接受反饋。無論是大事小情，他總是樂于傾聽，從不生氣，并且能夠迅速處理�！眾W爾特曼在自己的博客中對(duì)布羅克曼大加贊賞。
而且布羅克曼工作非常勤奮。他的同事回憶說，即使在 OpenAI 搬出他家的公寓后，他依然幾乎住在辦公室里。一位前員工說，當(dāng)他們?cè)缟系竭_(dá)辦公室時(shí)，布羅克曼已經(jīng)在伏案工作，當(dāng)他們晚上離開時(shí)，他仍在敲擊鍵盤。
2016 年 5 月，當(dāng)時(shí)在谷歌大腦工作的頂尖人工智能研究員達(dá)里奧阿莫代 (Dario Amodei) 到 OpenAI 的辦公室拜訪。奧爾特曼試圖說服他加入，但阿莫代告訴奧爾特曼和布羅克曼，沒有人理解他們?cè)谧鍪裁矗篛penAI 籌集了 10 億美元并雇用了一個(gè)有 30 名研究員的團(tuán)隊(duì)，這令人印象深刻但這是為了什么？
“AI 領(lǐng)域內(nèi)有二三十個(gè)人，還有哈佛大學(xué)哲學(xué)家尼克博斯特羅姆 (Nick Bostrom) 和維基百科的文章都在說，OpenAI 的目標(biāo)是構(gòu)建友好型 AI 然后將源代碼發(fā)布給全世界�！卑⒛苫蟮乜粗鴬W爾特曼和布羅克曼。
“我們不打算發(fā)布所有的源代碼，”奧爾特曼說，“但請(qǐng)不要試圖在維基百科上糾正這一點(diǎn)。通常情況下，這只會(huì)讓事情變得更糟�！�
“那你們的目標(biāo)是什么？”阿莫代繼續(xù)追問。
布羅克曼有點(diǎn)無奈地回答說：“我們現(xiàn)在的目標(biāo)是……盡最大的努力。這有點(diǎn)模糊�！�
阿莫代走后，奧爾特曼和布羅克曼開始思考，如果想招募最優(yōu)秀的團(tuán)隊(duì)，就必須有清晰的使命和價(jià)值觀。
“我們應(yīng)該傳達(dá)一個(gè)足夠大膽的愿景。”奧爾特曼建議說。
2016 年 6 月，在一篇名為《我們的技術(shù)目標(biāo)》(OpenAI Technical Goals) 的公告中，OpenAI 詳細(xì)列出了公司的使命和幾大技術(shù)目標(biāo)。其中第一句就是：
OpenAI 的使命是構(gòu)建安全的 AI，并確保 AI 的好處盡可能廣泛而平等地分布。
這篇文章的署名是 OpenAI 的 4 位創(chuàng)始人：蘇茨克弗、布羅克曼、奧爾特曼、馬斯克。
《紐約時(shí)報(bào)》記者凱德梅茨 (Cade Metz) 評(píng)論說：
從一開始，他們就設(shè)立了非常崇高的目標(biāo)，這些目標(biāo)容易衡量、容易理解，并保證能夠吸引注意力，即使他們實(shí)際上還沒有做任何實(shí)質(zhì)性的事情。
OpenAI 聯(lián)合創(chuàng)始人、研究員沃伊切赫扎倫巴 (WojciechZaremba) 回憶說，來自科技巨頭的工作邀約金簡(jiǎn)直高到離譜。盡管他對(duì)谷歌和 Facebook 等公司非常尊重，但那些近乎瘋狂的報(bào)價(jià)實(shí)際上讓他感到厭惡。他更加傾向于加入 OpenAI 這樣具有宏偉使命的創(chuàng)業(yè)公司。
“我意識(shí)到，”扎倫巴說，“OpenAI 是最好的去處。”
在 OpenAI 的官網(wǎng)上，這家初創(chuàng)組織的網(wǎng)頁設(shè)計(jì)顯得有些過于花哨，并且公告更新頻繁，每一篇文章都配有精美的插圖我相信這些插圖至少在早期是手工繪制的，而非 AI 所作。
在當(dāng)時(shí)，OpenAI 的官網(wǎng)上每隔幾天就會(huì)發(fā)布新成員加入的公告，公告中會(huì)詳細(xì)列出新成員的名字和簡(jiǎn)介，連實(shí)習(xí)生也未遺漏。這很可能是奧爾特曼的主意。一方面，這種儀式感增強(qiáng)了團(tuán)隊(duì)的凝聚力；另一方面，也吸引了潛在的招聘對(duì)象。（“哇，又一個(gè)行業(yè)大咖加入了 OpenAI，我是不是也應(yīng)該考慮一下？”）
比如 2016 年 3 月，他們公布了 4 位全職研究員的加入，這些研究員都是在華盛頓瑰麗酒店的一次晚宴上招募的，其中就包括機(jī)器學(xué)習(xí)領(lǐng)域的領(lǐng)軍人物伊恩古德費(fèi)洛 (Ian Goodfellow)；還有一位華人實(shí)習(xí)生范林曦 (Linxi “Jim” Fan)，他后來成了英偉達(dá)的 AI 科學(xué)家，在社交媒體上非�；钴S。
5 月加入的員工中，有幾位是布羅克曼在 Stripe 的舊部，包括設(shè)計(jì)團(tuán)隊(duì)主管路德維格彼得松 (Ludwig Pettersson) 和工程師喬納斯施奈德 (Jonas Schneider)。
8 月的公告顯示，奧爾特曼一直想招募的達(dá)里奧阿莫代加入了公司，出任首席研究員。他的妹妹丹妮拉阿莫代 (Daniela Amodei) 之前就與布羅克曼合作過，兩年后，在布羅克曼的邀請(qǐng)下，丹妮拉也加入了團(tuán)隊(duì)。
2017 年 1 月的公告顯示，前谷歌科學(xué)家、機(jī)器學(xué)習(xí)領(lǐng)域的重量級(jí)人物雅羅斯拉夫布拉托夫 (Yaroslav Bulatov) 加入了團(tuán)隊(duì)，還有幾位 YC 的骨干成員也加入進(jìn)來。這篇公告還透露，OpenAI 團(tuán)隊(duì)現(xiàn)在有 45 名成員，團(tuán)隊(duì)的目標(biāo)是：
齊心協(xié)力，不斷推進(jìn) AI 能力的發(fā)展前沿?zé)o論是驗(yàn)證新的想法、創(chuàng)建新的軟件系統(tǒng)，還是在機(jī)器人上部署機(jī)器學(xué)習(xí)。
“我們從零開始”
OpenAI 看似目標(biāo)明確，實(shí)則缺乏方向。
奧爾特曼在 YC 的經(jīng)歷似乎并沒有派上用場(chǎng)。在 YC，奧爾特曼總是告訴創(chuàng)始人，要打破常規(guī)快速行動(dòng)，迅速推出產(chǎn)品。然而，他后來承認(rèn)：
OpenAI 做了很多與 YC 建議的標(biāo)準(zhǔn)相反的事情。成立之初，我們對(duì)產(chǎn)品沒有任何概念，也沒有與用戶進(jìn)行交流。
奧爾特曼擅長(zhǎng)向投資人推銷項(xiàng)目，但在 OpenAI 這里卻行不通，因?yàn)?OpenAI 靠的是捐贈(zèng)而非投資。要持續(xù)獲得捐贈(zèng)，就必須拿出實(shí)實(shí)在在的研究成果，而不是承諾投資回報(bào)。
由于缺乏明確的方向，團(tuán)隊(duì)在布羅克曼和蘇茨克弗的帶領(lǐng)下，確定了幾個(gè)關(guān)鍵的研究方向來探索 AI 的可能性。
第一，OpenAI 推出了“Universe”平臺(tái)，旨在創(chuàng)建一個(gè)虛擬世界，讓 AI 可以像人類一樣操作電腦，通過虛擬的鍵盤和鼠標(biāo)來玩游戲、瀏覽網(wǎng)頁和觀看視頻。這個(gè)平臺(tái)的靈感來源于成功推動(dòng)圖像識(shí)別技術(shù)發(fā)展的 ImageNet。Universe 提供了一個(gè)通用接口，通過 VNC 服務(wù)器連接無限的互聯(lián)網(wǎng)環(huán)境，使 AI 能夠在多種游戲和應(yīng)用中進(jìn)行訓(xùn)練，包括 EA、MicrosoftStudios 和 Valve 等公司授權(quán)的游戲。
第二，OpenAI 在機(jī)器人技術(shù)方面取得了顯著進(jìn)展。沃伊切赫扎倫巴帶領(lǐng)的團(tuán)隊(duì)開發(fā)了一個(gè)能夠自學(xué)還原魔方的五指機(jī)械手。這個(gè)項(xiàng)目通過數(shù)字仿真，在虛擬現(xiàn)實(shí)中訓(xùn)練機(jī)器手，讓它在相當(dāng)于一萬年的時(shí)間里學(xué)會(huì)了還原魔方的各種動(dòng)作。這種方法的巨大優(yōu)勢(shì)在于，機(jī)器人能夠在虛擬環(huán)境中學(xué)習(xí)技能，然后將這些技能應(yīng)用到現(xiàn)實(shí)世界中，處理各種不確定性。
第三，他們嘗試在復(fù)雜的游戲環(huán)境中訓(xùn)練 AI。布羅克曼認(rèn)為，DOTA（《魔獸爭(zhēng)霸》）是一個(gè)極佳的訓(xùn)練場(chǎng)，因?yàn)樗婕皥F(tuán)隊(duì)合作、實(shí)時(shí)策略、不完全信息以及龐大的英雄和物品組合。布羅克曼領(lǐng)導(dǎo)的 DOTA2 項(xiàng)目幫助打破了僵局。為了推動(dòng)這項(xiàng)工作，布羅克曼與 DOTA2 的開發(fā)人員進(jìn)行了數(shù)小時(shí)的電話交談，以弄清楚如何讓玩游戲的軟件工作，這是一個(gè)技術(shù)挑戰(zhàn)，因?yàn)橛螒蚝?OpenAI 的算法是用不同的編程語言編寫的。
OpenAI 的 AI 首次亮相是在 2017 年的 DOTA 2 國(guó)際邀請(qǐng)賽上，它在 1v1 的對(duì)決中戰(zhàn)勝了頂尖選手登迪 (Dendi)。
如果我們回頭看，實(shí)際上 OpenAI 的方向是錯(cuò)的：當(dāng)時(shí) OpenAI 內(nèi)部以及業(yè)內(nèi)的普遍觀點(diǎn)是，要想做出強(qiáng)大的 AI，有時(shí)需要從瑣碎的事情開始。
電子游戲和機(jī)器人手臂將為自動(dòng)駕駛汽車和治愈癌癥的 AI 鋪平道路。所以當(dāng)時(shí)這些系統(tǒng)都是窄領(lǐng)域的，非常有針對(duì)性下圍棋的系統(tǒng)甚至不能下國(guó)際象棋，更不用說理解語言了。預(yù)測(cè)機(jī)票價(jià)格波動(dòng)的系統(tǒng)，卻不能處理文本。因此，每次有一個(gè)新的應(yīng)用程序，都需要訓(xùn)練一個(gè)新的系統(tǒng)。這需要很長(zhǎng)時(shí)間以及大量標(biāo)注數(shù)據(jù)等。
OpenAI 的前員工回憶當(dāng)時(shí)的情景：
我們?cè)谧鲆恍╇S機(jī)的事情，看看會(huì)發(fā)生什么。有時(shí)感覺構(gòu)建的東西和想象的目標(biāo)之間有很大的差距。上班時(shí)大家編程讓機(jī)器人玩電子游戲，午餐時(shí)則圍坐在桌旁，談?wù)撝绾握热祟悺?br/>
客觀地說，通過在虛擬世界和復(fù)雜游戲環(huán)境中訓(xùn)練 AI，OpenAI 展示了其在 AI 領(lǐng)域的野心和創(chuàng)新。但他們并沒有取得破性的進(jìn)展，最初捐贈(zèng)的資金也在一點(diǎn)點(diǎn)耗盡。雖然團(tuán)隊(duì)的干勁非常高漲，但馬斯克和奧爾特曼卻在暗暗著急。
奧爾特曼承認(rèn)：
我們什么都不順利，而谷歌擁有一切：所有的人才、所有的人力、所有的資金。
布羅克曼后來回憶說：
我們已經(jīng)成立了兩年，我們做了什么？我們?nèi)〉昧耸裁闯删�？我們有一支很棒的團(tuán)隊(duì)，但是我們有出色的結(jié)果嗎？我認(rèn)為我們都非常雄心勃勃。我們都真誠(chéng)地希望能在這個(gè)領(lǐng)域產(chǎn)生影響。我們都渴望感覺到自己能夠引導(dǎo)它，讓情況與沒有我們時(shí)有所不同。這就是我們聚集在這里的原因。然而，當(dāng)時(shí)我們還不清楚這一切能否實(shí)現(xiàn)。
這種焦慮甚至讓布羅克曼開始練習(xí)舉重，他開玩笑說，即使 OpenAI 倒閉了，至少在這段時(shí)間里還能有個(gè)可以交代的事情。
在那段時(shí)間，OpenAI 還進(jìn)行了一次小規(guī)模的裁員，暫停了機(jī)器人手臂的項(xiàng)目。機(jī)器學(xué)習(xí)領(lǐng)域的領(lǐng)軍人物伊恩古德費(fèi)洛也在這段時(shí)間重新回到了谷歌。奧爾特曼后來回憶道：
我們太早開始研究機(jī)器人了，所以不得不擱置那個(gè)項(xiàng)目。那個(gè)項(xiàng)目也因?yàn)殄e(cuò)誤的原因而變得困難，無助于我們?cè)跈C(jī)器學(xué)習(xí)研究的困難部分取得進(jìn)展。我們一直在處理糟糕的模擬器和肌腱斷裂之類的問題。隨著時(shí)間的推移，我們也越來越意識(shí)到，我們首先需要的是智能和認(rèn)知，然后才能想辦法讓它適應(yīng)物理特性。從我們構(gòu)建這些語言模型的方式來看，從那兒開始更容易。但我們一直計(jì)劃回到這個(gè)問題上來。
與谷歌的競(jìng)爭(zhēng)漸漸演變成了一場(chǎng)軍備競(jìng)賽。資金難題并不是蘇茨克弗和布羅克曼可以解決的，于是問題拋到了奧爾特曼和馬斯克兩位聯(lián)合主席這里。奧爾特曼后來坦誠(chéng)，“我們并沒有直觀意識(shí)到這個(gè)項(xiàng)目會(huì)有多昂貴”，他補(bǔ)充道，“我們現(xiàn)在仍然不知道”。
在 YC 的經(jīng)歷讓奧爾特曼更善于傾聽并想方設(shè)法解決問題。他明白，為了提高算力必須籌措更多的資金。為此，奧爾特曼研究了多種為 OpenAI 籌集資金的方案，例如獲得美國(guó)政府的資金支持和推出新的加密貨幣。然而，他也承認(rèn)：“沒有人愿意以任何方式資助這個(gè)項(xiàng)目，那段時(shí)間真的很艱難。”
布羅克曼有些無奈地說：
想象一下我們從零開始，“我們只是有這樣一個(gè)理想，希望 AGI 能夠順利發(fā)展�！�
就在此時(shí)，他們的競(jìng)爭(zhēng)對(duì)手谷歌給了他們一次關(guān)鍵助攻。
Transformer 論文和 GPT-1 發(fā)布
2017 年初，蘇茨克弗與 OpenAI 的研究科學(xué)家亞歷克拉德福德 (Alec Radford) 開展了一系列關(guān)于神經(jīng)網(wǎng)絡(luò)在自然語言處理領(lǐng)域的研究。拉德福德很年輕，當(dāng)時(shí)只有 23 歲。拉德福德的模型足夠直觀，當(dāng)他審視模型的隱藏層時(shí)，他意外地發(fā)現(xiàn)了一個(gè)專門用于分析評(píng)論情感的特定神經(jīng)元。以往的神經(jīng)網(wǎng)絡(luò)雖然也能進(jìn)行情感分析，但它們需要明確的指示并接受特殊訓(xùn)練，還要使用標(biāo)記了情感的數(shù)據(jù)。然而，拉德福德的神經(jīng)網(wǎng)絡(luò)卻自發(fā)地學(xué)會(huì)了這項(xiàng)技能。
他們的第一個(gè)實(shí)驗(yàn)是掃描 20 億條 Reddita 的評(píng)論，用神經(jīng)網(wǎng)絡(luò)訓(xùn)練一個(gè)語言模型。像 OpenAI 早期的很多實(shí)驗(yàn)一樣，這個(gè)實(shí)驗(yàn)失敗了。這個(gè)模型只能偶爾生成一個(gè)通順的句子，而且要很費(fèi)力才能理解它。蘇茨克弗和布羅克曼鼓勵(lì)拉德福德不要泄氣，繼續(xù)嘗試。
“我們覺得亞歷克斯很棒，就讓他按自己的想法去做吧�！辈剂_克曼說。
后來拉德福德收集了大約 1 億條亞馬遜購(gòu)物網(wǎng)站上的產(chǎn)品評(píng)論，訓(xùn)練了另一個(gè)語言模型。這次的結(jié)果比上次要好很多。
于是，蘇茨克弗想，如果在更廣泛的語言數(shù)據(jù)上訓(xùn)練一個(gè)神經(jīng)網(wǎng)絡(luò)，是否能夠揭示出更豐富的世界意義結(jié)構(gòu)。如果其隱藏層能積累足夠多的概念知識(shí)，它們或許能成為超級(jí)智能形成的基礎(chǔ)學(xué)習(xí)模塊。
蘇茨克弗鼓勵(lì)拉德福德將視野擴(kuò)大，不應(yīng)僅限于亞馬遜的評(píng)論。他提議，他們應(yīng)該培養(yǎng)一個(gè) AI，讓它從全球最大、最多樣化的數(shù)據(jù)源，也就是互聯(lián)網(wǎng)中進(jìn)行學(xué)習(xí)。
但在 2017 年初，基于當(dāng)時(shí)的神經(jīng)網(wǎng)絡(luò)架構(gòu)，這個(gè)想法看上去顯得不切實(shí)際，因?yàn)檫@可能需要數(shù)年的時(shí)間來實(shí)現(xiàn)。
然而，恰恰在這時(shí)，谷歌的“Transformer 論文”出現(xiàn)了。
2017 年 6 月，一篇由 8 位谷歌研究人員合著、具有里程碑意義的論文橫空出世，它的正式標(biāo)題是《我注意力是你所需要的全部》(Attention Is All You Need)。
這篇論文所提出的 Transformer 模型是一個(gè)超級(jí)高效的學(xué)習(xí)者，它不僅能夠一次性把整句話都看進(jìn)去，還能理解每個(gè)詞和句子中其他詞之間的關(guān)系。就像是有一個(gè)超級(jí)記憶力的人，不僅記得每個(gè)人說的每句話，還理解他們之間的關(guān)系。它賦予了計(jì)算機(jī)類似人類的語言理解能力。
Transformer 模型用了一種特別的技巧“自我注意力”，它能夠一眼就看到句子中所有的詞，并且理解它們之間的聯(lián)系。這樣，它就能夠很好地處理那些需要長(zhǎng)時(shí)間記憶的信息，并且學(xué)習(xí)速度飛快。
Transformer 模型做了一件對(duì)當(dāng)時(shí)來說非常重要的事情。在過去，AI 系統(tǒng)需要輸入非常具體的數(shù)據(jù)，每條數(shù)據(jù)必須被標(biāo)注：這個(gè)是正確的，這個(gè)是錯(cuò)誤的；這個(gè)是垃圾郵件，這個(gè)不是垃圾郵件；這個(gè)是癌癥，這個(gè)不是癌癥……
但 Transformer 模型允許 AI 接收混亂的、未標(biāo)記的數(shù)據(jù)。而且它可以比預(yù)期更高效地做到這一點(diǎn)，使用的算力更少。
Transformer 模型的出現(xiàn)，極大地提升了計(jì)算機(jī)處理語言的能力，使得機(jī)器翻譯、語音識(shí)別和文本摘要等任務(wù)變得更加高效和精確，這對(duì)整個(gè)行業(yè)來說是一個(gè)巨大的飛躍。
現(xiàn)在，這些基于 Transformer 的模型可以自我學(xué)習(xí)。于是業(yè)內(nèi)領(lǐng)悟到：最好的 AI 并不來自最專業(yè)的訓(xùn)練技術(shù)，而是來自擁有最多數(shù)據(jù)的技術(shù)。
然而，Transformer 模型剛開始并沒有馬上征服世界，甚至連谷歌都沒有征服。當(dāng)時(shí)只有少數(shù)幾個(gè)人理解這一突破有多么強(qiáng)大，蘇茨克弗就是其中之一。
在 OpenAI 的早期，蘇茨克弗就一直有一個(gè)預(yù)感，即 AI 的重大進(jìn)展不會(huì)來自某個(gè)特定的調(diào)整或新發(fā)明，而是來自更多的數(shù)據(jù)，就像是向引擎中倒入越來越多的燃料�，F(xiàn)在，Transformer 論文支持了他的這個(gè)預(yù)感。
“當(dāng)這篇論文發(fā)布的第二天，我們就意識(shí)到，這正是我們所需要的，”蘇茨克弗回憶道，“它具備了我們所追求的一切特性。”正如他的老師辛頓所說，蘇茨克弗有非常好的技術(shù)直覺。
而布羅克曼把這看作是運(yùn)氣和努力的結(jié)合：“這一直是我們的策略努力解決問題，然后相信我們或者領(lǐng)域內(nèi)的某個(gè)人將設(shè)法找到缺失的要素�！�
蘇茨克弗建議拉德福德開始嘗試使用 Transformer 架構(gòu)。結(jié)果不出所料，在接下來的兩周里，取得的進(jìn)展比過去兩年還要多。
就像奧爾特曼在 2023 年所說的那樣：“Transformer 論文發(fā)表時(shí)，我覺得谷歌沒人意識(shí)到它會(huì)產(chǎn)生怎樣深遠(yuǎn)的影響。”
2018 年 6 月，在 Transformer 論文發(fā)表的一年后，OpenAI 發(fā)布了 GPT-1，“GPT”是“generatively pretrained transformer”（生成式預(yù)訓(xùn)練變換器）的首字母縮寫。最終，這個(gè)模型被普遍稱為“生成式人工智能”(generativeAI)。
為了開發(fā)出這個(gè)模型，他們收集了 7000 本未出版的書籍，其中有很多屬于浪漫、奇幻、冒險(xiǎn)的類型，并根據(jù) Quora 網(wǎng)站上的問答以及從初中和高中考試?yán)镎浀臄?shù)千篇文章對(duì)其進(jìn)行了完善�？偠灾@個(gè)模型包含了 1.17 億個(gè)參數(shù)或變量。它在理解語言與生成答案方面超越了之前的所有產(chǎn)品。
GPT-1 模型最令人驚奇的是它的廣泛適用性，它是一個(gè)“通才”。無論哪個(gè)話題，你都可以向它提問，而它總能給出令人驚嘆的高質(zhì)量答案。這是因?yàn)?GPT-1 經(jīng)過了廣泛的訓(xùn)練，涵蓋了人類可用的整個(gè)文本語料庫，包括數(shù)十億個(gè)句子。無論是你閱讀過的文件、備忘錄、瑣事，還是《哈利波特》系列小說，所有這些內(nèi)容都被納入了模型的訓(xùn)練之中。
這是我們第一次擁有這樣一個(gè)系統(tǒng)。這標(biāo)志著人工智能正在從狹窄領(lǐng)域向通用領(lǐng)域轉(zhuǎn)變。
規(guī)模法則：大力出奇跡
OpenAI 團(tuán)隊(duì)很快發(fā)現(xiàn)，充分發(fā)揮 Transformer 新模型潛力的關(guān)鍵是擴(kuò)大規(guī)模在龐大的數(shù)據(jù)集上訓(xùn)練模型。這一事實(shí)證明 OpenAI 已經(jīng)找到了突破點(diǎn)。蘇茨克弗說：
我們已經(jīng)找到了進(jìn)步的公式，現(xiàn)在每個(gè)人都知道深度學(xué)習(xí)的氧和氫就是大規(guī)模神經(jīng)網(wǎng)絡(luò)和數(shù)據(jù)計(jì)算。
而奧爾特曼后來在與比爾蓋茨對(duì)話時(shí)這樣總結(jié)道：
構(gòu)建 GPT-1 的那個(gè)人（拉德福德）基本上是獨(dú)立完成的，他獨(dú)自解決了這個(gè)問題，這在某種程度上是令人印象深刻的，但他并沒有深入理解 GPT-1 是如何工作的或者為什么有效。隨后我們掌握了規(guī)模法則（Scaling Law）。我們能夠預(yù)測(cè)它會(huì)變得多么出色。這就是為什么，當(dāng)我們告訴你我們可以做一個(gè)演示時(shí)，我們相當(dāng)有信心它會(huì)成功。我們還沒有訓(xùn)練模型，但我們相當(dāng)有信心。這導(dǎo)致我們進(jìn)行了一系列的嘗試，并逐漸獲得了更好的科學(xué)理解，了解到底發(fā)生了什么。但這確實(shí)首先來自于經(jīng)驗(yàn)結(jié)果。
后來，OpenAI 專門發(fā)表了一篇論文《神經(jīng)語言模型的規(guī)模法則》(Scaling Laws for Neural Language Models) 來系統(tǒng)闡述規(guī)模法則。
此后，規(guī)模法則成為 AI 領(lǐng)域的第一性原理，這個(gè)詞也成為這波 AI 浪潮中最常被提及的關(guān)鍵詞。
規(guī)模法則其實(shí)就是俗話說的“大力出奇跡”，依靠的是從量變到質(zhì)變，它之所以能成為 AI 時(shí)代的第一性原理，主要基于以下兩個(gè)方面：
首先是足夠通用，不管是文本、音頻還是視頻，所有的問題都可以被轉(zhuǎn)換為“預(yù)測(cè)下一個(gè) token”。這里的“token”指的是文本數(shù)據(jù)的基本單位。在一次播客中，蘇茨克弗詳細(xì)闡述了他為何認(rèn)為像大型語言模型這樣本質(zhì)上只是預(yù)測(cè)下一個(gè)字符的工具，卻能夠產(chǎn)生超越人類智慧總和的智能。他解釋說：很多人認(rèn)為，大模型只是通過像統(tǒng)計(jì)學(xué)一樣的方式來模仿人類現(xiàn)有的知識(shí)和能力，沒有辦法超越人類。但是，如果你的基礎(chǔ)神經(jīng)網(wǎng)絡(luò)足夠聰明，你只需問它一個(gè)具有偉大洞察力、智慧和能力的人會(huì)怎么做？也許這樣的人并不存在，但神經(jīng)網(wǎng)絡(luò)很有可能能夠推斷出這樣的人的行為方式。
其次是可規(guī)�；灰度胱銐蚨嗟乃懔�、數(shù)據(jù)，模型就會(huì)變得更強(qiáng)大。只要在較小的參數(shù)規(guī)模上驗(yàn)證了效果，就可以通過增加計(jì)算資源和數(shù)據(jù)量，以“大力出奇跡”的方式獲得更好的性能。這進(jìn)一步使得我們能夠模擬整個(gè)物理世界無論是自動(dòng)駕駛還是機(jī)器人等場(chǎng)景，都可以一并得到解決。
正如蘇茨克弗總結(jié)的那樣：
只要能夠非常好地預(yù)測(cè)下一個(gè) token，就能幫助人類達(dá)到 AGI。
2017 年 12 月，奧爾特曼在一篇博客里暗示了這一改變：
硬件正在以指數(shù)級(jí)的速度改進(jìn)，在 OpenAI 工作期間，最令我驚訝的發(fā)現(xiàn)是：計(jì)算能力的增強(qiáng)與 AI 突破之間有著密切關(guān)聯(lián)，從事 AI 研究的聰明人的數(shù)量也在呈指數(shù)級(jí)增長(zhǎng)。
這種方法還要求 OpenAI 改變公司文化。任 OpenAI 董事、Quora 創(chuàng)始人亞當(dāng)?shù)ぜ灞硎荆骸盀榱顺浞掷?Transformer，你需要將其擴(kuò)大規(guī)模�！彼�說：“你需要像一個(gè)工程組織一樣運(yùn)行它。不能讓每個(gè)研究人員都各自為戰(zhàn)，訓(xùn)練自己的模型，制作那些只為了發(fā)表論文的漂亮東西。你必須進(jìn)行更加繁瑣、不那么優(yōu)雅的工作�！彼a(bǔ)充說，這正是 OpenAI 能夠做到而其他人無法做到的事情。
但這一改變帶來了一個(gè)新問題，奧爾特曼和馬斯克很快發(fā)現(xiàn)，光有人才遠(yuǎn)遠(yuǎn)不夠，還需要有大量的算力。
就在 OpenAI 和行業(yè)內(nèi)其它公司都在為缺乏算力發(fā)愁時(shí)，一個(gè)傳奇創(chuàng)業(yè)者敏銳捕捉到了其中的機(jī)會(huì)。
黃仁勛押注 AI，英偉達(dá)迎接挑戰(zhàn)
黃仁勛，這位手臂上有刺青、愛穿黑色皮衣的創(chuàng)業(yè)者，自 30 歲那年創(chuàng)立英偉達(dá)以來，20 多年間，經(jīng)歷了芯片半導(dǎo)體領(lǐng)域的起起落落。截至目前，在美國(guó)市值一萬億美元以上的公司里，英偉達(dá)是唯一一家曾兩次從高點(diǎn)下跌超過 85% 的公司。
在標(biāo)準(zhǔn)計(jì)算機(jī)架構(gòu)中，一個(gè)被稱為“中央處理單元”（central processing unit，CPU）的微芯片承擔(dān)了大部分工作。程序員編寫程序，這些程序?qū)?shù)學(xué)問題交給 CPU，后者一次產(chǎn)生一個(gè)解決方案。幾十年來，CPU 的主要制造商是英特爾，英特爾曾多次試圖將英偉達(dá)逼出市場(chǎng)。黃仁勛說：“我絕不接近英特爾”。他形容他們之間的關(guān)系就像貓和老鼠，“每當(dāng)他們靠近我們，我就抓起我的芯片跑掉�！�
黃仁勛決定用差異化的產(chǎn)品與巨頭競(jìng)爭(zhēng)，那就是“圖形處理單元”（graphics-processing unit，GPU）。1999 年，英偉達(dá)在上市后不久推出了一款名為 GeForce 的顯卡，也就是后人常說的 GPU。與通用的 CPU 不同，GPU 將復(fù)雜的數(shù)學(xué)任務(wù)分解為小計(jì)算，然后以并行計(jì)算的方法同時(shí)處理所有任務(wù)。CPU 就像一輛遞送貨物的卡車，一次只能送出一個(gè)包裹；而 GPU 更像是一個(gè)遍布整個(gè)城市的摩托車隊(duì)。
正是基于這種特性，GPU 可以完成復(fù)雜的運(yùn)算，這是加密貨幣市場(chǎng)、深度神經(jīng)網(wǎng)絡(luò)以及大屏幕上呈現(xiàn)絢麗色彩所必需的。同樣，這些技術(shù)可以讓殘酷的射擊游戲無比逼真，讓自動(dòng)駕駛汽車在沒有協(xié)助的情況下做出 S 型拐彎。它們可以賦予計(jì)算機(jī)視力、聽力、理解能力和學(xué)習(xí)能力。
很快，一群人工智能研究員發(fā)現(xiàn)了英偉達(dá) GPU 在訓(xùn)練神經(jīng)網(wǎng)絡(luò)過程中的潛力。2012 年，辛頓帶領(lǐng)兩位愛徒亞歷克斯克里澤夫斯基和伊利亞蘇茨克弗推出 AlexNet，相比谷歌用了 16000 顆 CPU，AlexNet 只用了 4 顆英偉達(dá) GPU，在學(xué)術(shù)界和產(chǎn)業(yè)界引發(fā)了轟動(dòng)。AlexNet 完成了計(jì)算機(jī)視覺領(lǐng)域的巨大突破，它成功證明了深度神經(jīng)網(wǎng)絡(luò)（DNN）可以有效地對(duì)許多對(duì)象進(jìn)行分類，而增加訓(xùn)練數(shù)據(jù)量可以提高 DNN 的有效性。開發(fā)和訓(xùn)練這些神經(jīng)網(wǎng)絡(luò)需要大量計(jì)算資源，并且如果使用大規(guī)模并行性的 GPU，可以比單獨(dú)使用多核 CPU 實(shí)現(xiàn)更短的訓(xùn)練周期。
黃仁勛敏銳地意識(shí)到，英偉達(dá)的下一個(gè)增長(zhǎng)點(diǎn)在人工智能領(lǐng)域。黃仁勛打賭英偉達(dá)的計(jì)算機(jī)芯片可以成為人工智能的大腦，他決定將自己所有的籌碼放上賭桌。
黃仁勛后來回憶說：
我們有幸退后一步，問自己這對(duì)計(jì)算機(jī)未來意味著什么。我們得出了正確的結(jié)論，這將改變計(jì)算方式，這將改變軟件編寫方式，這將改變我們可以編寫的應(yīng)用程序類型。
黃仁勛開始積極布局面向人工智能的 GPU。英偉達(dá)差不多花了 5 年時(shí)間制作出了 DGX，這個(gè) GPU 重達(dá) 31.75 千克，黃仁勛把它形容為一輛電動(dòng)汽車。馬斯克聽說這個(gè)消息后，找到了黃仁勛，表示 OpenAI 想要一個(gè)這樣的 GPU。
于是，在 2016 年 8 月的一天，黃仁勛造訪了 OpenAI 在舊金山的辦公室。他在一間會(huì)議室里將這臺(tái)超級(jí)計(jì)算機(jī)（屬于最新推出的 DGX-1 系列）親手交給了馬斯克。
那一刻，黃仁勛突發(fā)奇想，隨手拿起一支馬克筆，在這臺(tái)超級(jí)計(jì)算機(jī)的機(jī)身上寫道：
為了埃隆和 OpenAI 團(tuán)隊(duì)！為了計(jì)算機(jī)和人類的未來！我將世界上第一臺(tái) DGX-1 作為禮物送給你們！
寫完后，他把筆交給馬斯克和圍過來的 OpenAI 團(tuán)隊(duì)成員，所有人逐一在機(jī)箱上簽了名。
當(dāng)天晚上馬斯克在 X 上寫道：
十分感謝英偉達(dá)和 Jensen（黃仁勛英文名）將第一臺(tái) DGX-1 超級(jí)計(jì)算機(jī)捐贈(zèng)給 OpenAI，以推動(dòng) AI 技術(shù)的普及。
DGX-1 超級(jí)計(jì)算機(jī)擁有高達(dá) 170TFLOPS 的半精度浮點(diǎn)運(yùn)算能力，相當(dāng)于 250 臺(tái)傳統(tǒng)服務(wù)器，可以將深度學(xué)習(xí)的訓(xùn)練速度加快 75 倍，使 CPU 性能提升 56 倍，報(bào)價(jià) 12.9 萬美元。據(jù)黃仁勛介紹，這是由 3000 人耗時(shí) 3 年時(shí)間研發(fā)出的，開發(fā)成本巨大�！叭绻@個(gè)項(xiàng)目只為打造一臺(tái)這樣的超級(jí)計(jì)算機(jī)，那么這個(gè)項(xiàng)目的成本將高達(dá) 20 億美元。”
當(dāng)時(shí) OpenAI 和英偉達(dá)均未解釋這臺(tái)超級(jí)計(jì)算機(jī)的準(zhǔn)確用途。但英偉達(dá)稱，DGX-1 是為處理深度學(xué)習(xí)等 AI 問題而量身打造的超級(jí)計(jì)算機(jī)。黃仁勛稱：
世界上第一臺(tái)專為 AI 打造的超級(jí)計(jì)算機(jī)即將落戶于一家專注于開放式 AI 研究的實(shí)驗(yàn)室，這簡(jiǎn)直是天作之合。
此后幾年，隨著利用 GPU 訓(xùn)練大模型成為行業(yè)共識(shí)，越來越多的公司開始追逐高端 GPU，導(dǎo)致 GPU 稀缺。馬斯克曾說，現(xiàn)在它們“比毒品還難搞”。這些芯片成為了一場(chǎng)淘金熱的鎬和鏟。
2022 年，黃仁勛第一次嘗試使用 ChatGPT，他讓它寫一首關(guān)于他的公司的詩。ChatGPT 返回的結(jié)果讓他很滿意：
