“o1發(fā)布后，一個(gè)新的范式產(chǎn)生了”。
其中關(guān)鍵，OpenAI研究科學(xué)家、o1核心貢獻(xiàn)者Hyung Won Chung，剛剛就此分享了他在MIT的一次演講。
演講主題為“Don’t teach. Incentivize（不要教，要激勵(lì)），核心觀點(diǎn)是：
激勵(lì)A(yù)I自我學(xué)習(xí)比試圖教會(huì)AI每一項(xiàng)具體任務(wù)更重要
思維鏈作者Jason Wei迅速趕來(lái)打call：
Hyung Won識(shí)別新范式并完全放棄任何沉沒(méi)成本的能力給我留下了深刻的印象。2022年底，他意識(shí)到了強(qiáng)化學(xué)習(xí)的力量，并從那時(shí)起就一直在宣揚(yáng)它。
在演講中，Hyung Won還分享了：
技術(shù)人員過(guò)于關(guān)注問(wèn)題解決本身，但更重要的是發(fā)現(xiàn)重大問(wèn)題；
硬件進(jìn)步呈指數(shù)級(jí)增長(zhǎng)，軟件和算法需要跟上；
當(dāng)前存在一個(gè)誤區(qū)，即人們正在試圖讓AI學(xué)會(huì)像人類一樣思考；
“僅僅擴(kuò)展規(guī)模” 往往在長(zhǎng)期內(nèi)更有效；
……
下面奉上演講主要內(nèi)容。
對(duì)待AI：授人以魚(yú)不如授人以漁先簡(jiǎn)單介紹下Hyung Won Chung，從公布的o1背后人員名單來(lái)看，他屬于推理研究的基礎(chǔ)貢獻(xiàn)者。
資料顯示，他是MIT博士（方向?yàn)榭稍偕茉春湍茉聪到y(tǒng)），去年2月加入OpenAI擔(dān)任研究科學(xué)家。
加入OpenAI之前，他在Google Brain負(fù)責(zé)大語(yǔ)言模型的預(yù)訓(xùn)練、指令微調(diào)、推理、多語(yǔ)言、訓(xùn)練基礎(chǔ)設(shè)施等。
在谷歌工作期間，曾以一作身份，發(fā)表了關(guān)于模型微調(diào)的論文。（思維鏈作者Jason Wei同為一作）
回到正題。在MIT的演講中，他首先提到：
通往AGI唯一可行的方法是激勵(lì)模型，使通用技能出現(xiàn)。
在他看來(lái)，AI領(lǐng)域正處于一次范式轉(zhuǎn)變，即從傳統(tǒng)的直接教授技能轉(zhuǎn)向激勵(lì)模型自我學(xué)習(xí)和發(fā)展通用技能。
理由也很直觀，AGI所包含的技能太多了，無(wú)法一一學(xué)習(xí)。（主打以不變應(yīng)萬(wàn)變）
具體咋激勵(lì)呢？？
他以下一個(gè)token預(yù)測(cè)為例，說(shuō)明了這種弱激勵(lì)結(jié)構(gòu)如何通過(guò)大規(guī)模多任務(wù)學(xué)習(xí)，鼓勵(lì)模型學(xué)習(xí)解決數(shù)萬(wàn)億個(gè)任務(wù)的通用技能，而不是單獨(dú)解決每個(gè)任務(wù)。
他觀察到：
如果嘗試以盡可能少的努力解決數(shù)十個(gè)任務(wù)，那么單獨(dú)模式識(shí)別每個(gè)任務(wù)可能是最簡(jiǎn)單的；如果嘗試解決數(shù)萬(wàn)億個(gè)任務(wù)，通過(guò)學(xué)習(xí)通用技能（例如語(yǔ)言、推理等）可能會(huì)更容易解決它們。
對(duì)此他打了個(gè)比方，“授人以魚(yú)不如授人以漁”，用一種基于激勵(lì)的方法來(lái)解決任務(wù)。
Teach him the taste of fish and make him hungry.（教AI嘗嘗魚(yú)的味道，讓他餓一下）
然后AI就會(huì)自己出去釣魚(yú)，在此過(guò)程中，AI將學(xué)習(xí)其他技能，例如耐心、學(xué)習(xí)閱讀天氣、了解魚(yú)等。
其中一些技能是通用的，可以應(yīng)用于其他任務(wù)。
面對(duì)這一“循循善誘”的過(guò)程，也許有人認(rèn)為還不如直接教來(lái)得快。
但在Hyung Won看來(lái)：
對(duì)于人類來(lái)說(shuō)確實(shí)如此，但是對(duì)于機(jī)器來(lái)說(shuō)，我們可以提供更多的計(jì)算來(lái)縮短時(shí)間。
換句話說(shuō)，面對(duì)有限的時(shí)間，人類也許還要在專家 or 通才之間做選擇，但對(duì)于機(jī)器來(lái)說(shuō)，算力就能出奇跡。
他又舉例說(shuō)明，《龍珠》里有一個(gè)設(shè)定：在特殊訓(xùn)練場(chǎng)所，角色能在外界感覺(jué)只是一天的時(shí)間內(nèi)獲得一年的修煉效果。
對(duì)于機(jī)器來(lái)說(shuō)，這個(gè)感知差值要高得多。因此，具有更多計(jì)算能力的強(qiáng)大通才通常比專家更擅長(zhǎng)特殊領(lǐng)域。
原因也眾所周知，大型通用模型能夠通過(guò)大規(guī)模的訓(xùn)練和學(xué)習(xí)，快速適應(yīng)和掌握新的任務(wù)和領(lǐng)域，而不需要從頭開(kāi)始訓(xùn)練。
他還補(bǔ)充道，數(shù)據(jù)顯示計(jì)算能力大約每5年提高10倍。
總結(jié)下來(lái)，Hyung Won認(rèn)為核心在于：
模型的可擴(kuò)展性
算力對(duì)加速模型進(jìn)化至關(guān)重要
此外，他還認(rèn)為當(dāng)前存在一個(gè)誤區(qū)，即人們正在試圖讓AI學(xué)會(huì)像人類一樣思考。
但問(wèn)題是，我們并不知道自己在神經(jīng)元層面是如何思考的。
機(jī)器應(yīng)該有更多的自主性來(lái)選擇如何學(xué)習(xí)，而不是被限制在人類理解的數(shù)學(xué)語(yǔ)言和結(jié)構(gòu)中。
在他看來(lái)，一個(gè)系統(tǒng)或算法過(guò)于依賴人為設(shè)定的規(guī)則和結(jié)構(gòu)，那么它可能難以適應(yīng)新的、未預(yù)見(jiàn)的情況或數(shù)據(jù)。
造成的結(jié)果就是，面對(duì)更大規(guī)模或更復(fù)雜的問(wèn)題時(shí)，其擴(kuò)展能力將會(huì)受限。
回顧AI過(guò)去70年的發(fā)展，他總結(jié)道：
AI的進(jìn)步與減少人為結(jié)構(gòu)、增加數(shù)據(jù)和計(jì)算能力息息相關(guān)。
與此同時(shí)，面對(duì)當(dāng)前人們對(duì)scaling Law的質(zhì)疑，即認(rèn)為僅僅擴(kuò)大計(jì)算規(guī)�？赡鼙徽J(rèn)為不夠科學(xué)或有趣。
Hyung Won的看法是：
在擴(kuò)展一個(gè)系統(tǒng)或模型的過(guò)程中，我們需要找出那些阻礙擴(kuò)展的假設(shè)或限制條件。
舉個(gè)例子，在機(jī)器學(xué)習(xí)中，一個(gè)模型可能在小數(shù)據(jù)集上表現(xiàn)良好，但是當(dāng)數(shù)據(jù)量增加時(shí)，模型的性能可能會(huì)下降，或者訓(xùn)練時(shí)間會(huì)變得不可接受。
這時(shí)，可能需要改進(jìn)算法，優(yōu)化數(shù)據(jù)處理流程，或者改變模型結(jié)構(gòu)，以適應(yīng)更大的數(shù)據(jù)量和更復(fù)雜的任務(wù)。
也就是說(shuō)，一旦識(shí)別出瓶頸，就需要通過(guò)創(chuàng)新和改進(jìn)來(lái)替換這些假設(shè)，以便模型或系統(tǒng)能夠在更大的規(guī)模上有效運(yùn)行。
訓(xùn)練VS推理：效果相似，推理成本卻便宜1000億倍除了上述，o1另一核心作者Noam Brown也分享了一個(gè)觀點(diǎn)：
訓(xùn)練和推理對(duì)模型性能提升作用相似，但后者成本更低，便宜1000億倍。
這意味著，在模型開(kāi)發(fā)過(guò)程中，訓(xùn)練階段的資源消耗非常巨大，而實(shí)際使用模型進(jìn)行推理時(shí)的成本則相對(duì)較低。
有人認(rèn)為這凸顯了未來(lái)模型優(yōu)化的潛力。
不過(guò)也有人對(duì)此持懷疑態(tài)度，認(rèn)為二者壓根沒(méi)法拿來(lái)對(duì)比。
這是一個(gè)奇怪的比較。一個(gè)是邊際成本，另一個(gè)是固定成本。這就像說(shuō)實(shí)體店比其中出售的商品貴500000倍
對(duì)此，你怎么看？
