夢(mèng)晨 發(fā)自 凹非寺量子位 | 公眾號(hào) QbitAI
猛料來(lái)了，OpenAI下一代旗艦?zāi)Ｐ捅黄靥嵘蝗珙A(yù)期。
消息來(lái)自The Information，具體指代號(hào)“獵戶座”（Orion）的模型相對(duì)GPT-4的提升幅度，小于GPT-4相對(duì)GPT-3，已進(jìn)入收益遞減階段。
或許這也是奧特曼曾說(shuō)，可能不會(huì)把新模型命名為GPT-5的原因之一。
消息一出，著名悲觀派學(xué)者Gary Marcus直接半場(chǎng)開(kāi)香檳，宣布自己勝利。
在更詳細(xì)的一篇文章中，他認(rèn)為整個(gè)AI行業(yè)公司的高估值建立在模型能力不斷增強(qiáng)、迅速達(dá)到AGI的預(yù)期之上。
如果改進(jìn)放慢了，多數(shù)AI公司都能趕上最前沿模型的水平。從此行業(yè)進(jìn)入價(jià)格戰(zhàn)，收入保持在低位。同時(shí)因芯片成本高昂，利潤(rùn)也將難以獲得。
當(dāng)每個(gè)人都意識(shí)到這一點(diǎn)時(shí)，金融泡沫可能會(huì)迅速破滅，即使是英偉達(dá)也可能受到打擊。
并且遇到瓶頸的或許不只是OpenAI，此前Anthropic沒(méi)有如期發(fā)布Claude 3.5 Opus，并且從官網(wǎng)刪除了相關(guān)描述。
以及谷歌Gemini 2雖然計(jì)劃很快發(fā)布，但也被曝性能提升也不及DeepMind創(chuàng)始人的預(yù)期。
大模型Scaling Law真的撞墻了嗎？
“獵戶座”被曝不及預(yù)期，奧特曼：AGI 2025根據(jù)目前消息，長(zhǎng)期跟蹤C(jī)hatGPT進(jìn)展和網(wǎng)頁(yè)源碼的“光頭哥”Tibor Blaho總結(jié)如下：
參與測(cè)試新模型的OpenAI員工稱， “獵戶座”僅完成20%訓(xùn)練時(shí)就達(dá)到了GPT-4級(jí)別的性能。
但最終質(zhì)量提升小于從GPT-3到GPT-4的飛躍，這表明傳統(tǒng)的Scaling可能由于高質(zhì)量數(shù)據(jù)變得有限而放緩。
訓(xùn)練“獵戶座”使用了先前模型（GPT-4和o1）生成的數(shù)據(jù)，可能導(dǎo)致它重現(xiàn)舊模型的一些行為。
OpenAI創(chuàng)建了一個(gè)“基礎(chǔ)團(tuán)隊(duì)”，在高質(zhì)量數(shù)據(jù)供應(yīng)減少的情況下尋找新方法。
o1類(lèi)模型成本是傳統(tǒng)模型的6倍，“獵戶座”可能提高OpenAI數(shù)據(jù)中心的運(yùn)營(yíng)成本，進(jìn)一步增加財(cái)務(wù)壓力。
OpenAI正在做“獵戶座”的安全測(cè)試，計(jì)劃于明年初發(fā)布，可能不會(huì)再命名為GPT系列
與此同時(shí)，從OpenAI CEO和許多資深員工那里，傳來(lái)的卻是不同的故事。
首先是奧特曼接受YC總裁Garry Tan采訪，在回答最后一個(gè)問(wèn)題“2025年什么會(huì)讓你興奮”時(shí)，脫口而出“AGI”，沒(méi)有半秒猶豫。
這段采訪引起爭(zhēng)議后，強(qiáng)化學(xué)習(xí)大牛Noam Brown發(fā)聲：
我聽(tīng)人們說(shuō)奧特曼只是在炒作，但從我的觀察來(lái)看，他說(shuō)的一切都符合OpenAI一線研究員的中位數(shù)觀點(diǎn)。
今年1月才入職OpenAI的特斯拉前工程師也表達(dá)了認(rèn)同：
自從我加入以來(lái)，我的觀點(diǎn)已經(jīng)從“這是毫無(wú)成效的炒作”轉(zhuǎn)變成“AGI基本就在這里”
恕我直言，接下來(lái)的科學(xué)創(chuàng)新會(huì)相對(duì)很少，將由多年的艱苦工程代替。
那么，究竟發(fā)生了什么？
在Garry Tan與奧特曼的對(duì)話中，兩人從奧特曼早期在YC的經(jīng)歷，談到OpenAI的創(chuàng)立、發(fā)展過(guò)程，以及給如今創(chuàng)業(yè)公司的建議等等。
在接近結(jié)束的時(shí)候，Garry Tan拋出了這樣的問(wèn)題：你從去年秋天的動(dòng)蕩中學(xué)到了什么？你對(duì)一些人員離職有什么感受？
奧特曼回答：很累，但感覺(jué)很好。
ChatGPT還不到兩歲，我們有點(diǎn)像在兩年內(nèi)速通了中型甚至大型科技公司的發(fā)展歷程，通常需要十年時(shí)間。
這帶來(lái)了很多痛苦的事情。任何公司在擴(kuò)張時(shí)，都會(huì)以某種速度經(jīng)歷管理團(tuán)隊(duì)的更替。擅長(zhǎng)從0到1的人不一定適合從1到10或從10到100的階段。
……我希望我們現(xiàn)在正走向一個(gè)更平穩(wěn)的時(shí)期，但我確信將來(lái)還會(huì)有其他時(shí)期，事情會(huì)再次變化劇烈。
Garry Tan接著提問(wèn)：我想知道OpenAI現(xiàn)在運(yùn)作的如何？目前的質(zhì)量和推進(jìn)速度如何？
奧特曼接下來(lái)的回答雖然一如既往的打太極，但引起很多關(guān)注：
這是我們第一次真正知道該做什么。構(gòu)建AGI仍然需要大量的工作，有一些已知和未知，還需要一段時(shí)間，而且會(huì)很困難，但這非常令人興奮。
……我們的研究路徑相當(dāng)清晰，我們的基礎(chǔ)設(shè)施路徑相當(dāng)清晰，產(chǎn)品路徑也越來(lái)越清晰……很長(zhǎng)一段時(shí)間，我們都不是這樣。
評(píng)論區(qū)網(wǎng)友顯然不買(mǎi)賬，有人懷疑這只是奧特曼在試圖修改AGI的定義，按照合同，一旦董事會(huì)宣布AGI達(dá)成，就可以停止與微軟分享技術(shù)了。
也有人指出，這無(wú)法解釋最近OpenAI人才頻繁出走。
對(duì)于人才流動(dòng)，OpenAI模型架構(gòu)研究員Rohan Pandey表示并沒(méi)有人們以為的那么嚴(yán)重。
今年早些時(shí)候OpenAI員工總數(shù)被曝已超過(guò)1700，比去年董事會(huì)叛變時(shí)期增加了上千人。
也有網(wǎng)友認(rèn)為，反過(guò)來(lái)也說(shuō)得通：
OpenAI高管看到技術(shù)進(jìn)展很快，所以提前離開(kāi)去創(chuàng)辦AI智能體公司。
參考鏈接：[1]https://www.theinformation.com/articles/openai-shifts-strategy-as-rate-of-gpt-ai-improvements-slows[2]https://www.youtube.com/watch?v=xXCBz_8hM9w[3]https://garymarcus.substack.com/p/confirmed-llms-have-indeed-reached[4]https://www.theverge.com/2024/10/25/24279600/google-next-gemini-ai-model-openai-december[5]https://x.com/btibor91/status/1855381376054251654
