大模型預(yù)訓(xùn)練“縮放定律”定律失效？模型推理成“解藥”，英偉達(dá)一家獨(dú)大格局要變天？
“縮放定律”指導(dǎo)下，AI大模型預(yù)訓(xùn)練目前遭遇瓶頸。據(jù)路透12日?qǐng)?bào)道，硅谷主要AI實(shí)驗(yàn)室的新模型訓(xùn)練計(jì)劃目前普遍進(jìn)展不順，新模型訓(xùn)練遭遇拖延和令人失望的結(jié)果。比起GPT-4o，Orion被曝幾乎沒有任何改進(jìn)，谷歌的Gemini 2.0也存在類似問題。
為克服瓶頸，OpenAI正探索“測(cè)試時(shí)計(jì)算”（training runs）技術(shù)，讓模型不再受限于預(yù)訓(xùn)練，而能夠以多步驟方法思考問題（推理）來提升表現(xiàn)。報(bào)道稱，相關(guān)技術(shù)的應(yīng)用最終推動(dòng)OpenAI發(fā)布o(jì)1模型。
這可能會(huì)改變?nèi)斯ぶ悄苡布母?jìng)爭(zhēng)格局。
目前為止，AI硬件市場(chǎng)主要由對(duì)英偉達(dá)訓(xùn)練芯片的無限需求主導(dǎo)。但如果通過增加訓(xùn)練時(shí)間和測(cè)試（推理）時(shí)間，模型就能獲得更好的結(jié)果，那新一代模型可能就不再需要那么大的參數(shù)，較小的模型將直接降低成本。市場(chǎng)需求或?qū)拇笠?guī)模預(yù)訓(xùn)練集群轉(zhuǎn)向推理云，英偉達(dá)在推理芯片市場(chǎng)可能會(huì)面臨更多競(jìng)爭(zhēng)。
“縮放定律”面臨挑戰(zhàn)
硅谷主要AI實(shí)驗(yàn)室的新模型訓(xùn)練目前普遍進(jìn)展不順。
據(jù)科技媒體The Information報(bào)道，OpenAI開發(fā)的下一個(gè)旗艦?zāi)Ｐ汀癘rion”，目前已經(jīng)完成20%的訓(xùn)練。盡管表現(xiàn)已接近現(xiàn)有的GPT-4，但進(jìn)步幅度卻遠(yuǎn)不如前兩代旗艦?zāi)Ｐ椭g的飛躍。
Orion在語言任務(wù)上表現(xiàn)更好，但在編碼等任務(wù)上可能不會(huì)優(yōu)于以前的模型。且與最近發(fā)布的其他模型相比，OpenAI在其數(shù)據(jù)中心運(yùn)行 Orion 的成本可能更高。
Orion的進(jìn)展放緩直接挑戰(zhàn)了人工智能領(lǐng)域一直奉行的“縮放定律”，即在數(shù)據(jù)量和計(jì)算資源不斷增加的前提下，模型性能將持續(xù)大幅度提升。
當(dāng)年最早將“縮放定律”應(yīng)用于實(shí)踐，并最終成功創(chuàng)造出ChatGPT的前Open AI聯(lián)合創(chuàng)始人Ilya Sutskever在接受路透采訪時(shí)直言，AI模型擴(kuò)展訓(xùn)練的結(jié)果，已經(jīng)趨于平穩(wěn)。通過在預(yù)訓(xùn)練中使用更多的數(shù)據(jù)和算力，讓AI模型性能暴漲的階段可能已經(jīng)到頭了：
2010年代是“縮放定律”的時(shí)代，現(xiàn)在，我們?cè)俅位氐搅似孥E和發(fā)現(xiàn)的時(shí)代。每個(gè)人都在尋找下一個(gè)奇跡。
現(xiàn)在重要的是“擴(kuò)大正確的規(guī)�！薄�
Ilya透露，他的團(tuán)隊(duì)正在研究一種全新的替代方法，來擴(kuò)展預(yù)訓(xùn)練。
“測(cè)試時(shí)計(jì)算”會(huì)是破局方法嗎？
OpenAI則極力否認(rèn)AI模型訓(xùn)練面臨瓶頸。作為應(yīng)對(duì)，OpenAI研究人員正在探索一項(xiàng)“測(cè)試時(shí)計(jì)算”（training runs）的技術(shù)。十幾位AI科學(xué)家、研究人員和投資者告訴路透社，他們認(rèn)為正是這些技術(shù)，推動(dòng)了OpenAI發(fā)布o(jì)1模型。
所謂測(cè)試時(shí)計(jì)算技術(shù)，是指在推理階段（模型被使用時(shí)）就將模型增強(qiáng)，讓模型可以實(shí)時(shí)生成和評(píng)估多種可能性，而不是理解選擇單一答案，最終選擇出最佳路徑。
這種方法可以允許模型將更多的處理能力，用于數(shù)學(xué)、編碼問題等具有挑戰(zhàn)性的任務(wù)，及需要類人推理和決策的復(fù)雜操作。
在新技術(shù)的運(yùn)用下，o1在GPT-4等基礎(chǔ)模型上進(jìn)行另一套訓(xùn)練。該模型不再受限于預(yù)訓(xùn)練，而能夠以多步驟方法思考問題（類似于人類推理）來提升表現(xiàn)。o1還涉及了來自博士和行業(yè)專家策劃的數(shù)據(jù)和反饋。
參與o1開發(fā)的OpenAI 研究員在上個(gè)月TEDAI大會(huì)上直言：
讓AI在一手撲克牌中思考20秒，所獲得的性能提升，與將模型擴(kuò)大10萬倍、訓(xùn)練時(shí)間延長(zhǎng)10萬倍的效果相同。
英偉達(dá)壟斷地位有望打破？
其他科技巨頭也在積極跟進(jìn)。
路透援引多名知情人士報(bào)道稱，來自Anthropic、xAI 和 Google DeepMind 等其他頂尖人工智能實(shí)驗(yàn)室的研究人員也在開發(fā)自己的技術(shù)版本的“測(cè)試時(shí)計(jì)算”。
這可能會(huì)改變?nèi)斯ぶ悄苡布母?jìng)爭(zhēng)格局。
目前為止，AI硬件市場(chǎng)主要由對(duì)英偉達(dá)訓(xùn)練芯片的無限需求主導(dǎo)。但如果通過增加訓(xùn)練時(shí)間和測(cè)試（推理）時(shí)間，模型就能獲得更好的結(jié)果，那新一代模型可能就不再需要那么大的參數(shù)，較小的模型將直接降低成本。
從紅杉資本到 Andreessen Horowitz 等知名風(fēng)險(xiǎn)投資公司，他們已經(jīng)投入數(shù)十億美元資助 OpenAI 和 xAI 等多個(gè)人工智能實(shí)驗(yàn)室昂貴的人工智能模型開發(fā)，他們正在關(guān)注這一轉(zhuǎn)變，并權(quán)衡其昂貴賭注的影響。
紅杉資本合伙人 Sonya Huang 向路透社表示：
這種轉(zhuǎn)變將使我們從大規(guī)模預(yù)訓(xùn)練集群的世界轉(zhuǎn)向推理云，即用于推理的分布式云服務(wù)器。
這或許打破英偉達(dá)在訓(xùn)練芯片領(lǐng)域的壟斷地位，公司在推理芯片市場(chǎng)可能會(huì)面臨更多競(jìng)爭(zhēng)。類似Groq的推理芯片公司或能“撕開”行業(yè)缺口。
英偉達(dá)也坦誠推理芯片需求的變化，在上個(gè)月印度演講中，黃仁勛談到了新技術(shù)對(duì)芯片進(jìn)行推理的需求不斷增加，強(qiáng)調(diào)了 o1 模型背后的技術(shù)的重要性：
我們現(xiàn)在發(fā)現(xiàn)了第二條“縮放定律”，這是推理時(shí)的“縮放定律”……所有這些因素都導(dǎo)致對(duì) Blackwell 的需求非常高。
本文來自華爾街見聞，歡迎下載APP查看更多
