OpenAI最強(qiáng)模型o1的護(hù)城河已經(jīng)沒有了?
僅在OpenAI發(fā)布最新推理模型o1幾日之后，海外社交平臺(tái)Reddit上有網(wǎng)友發(fā)帖稱谷歌Deepmind在8月發(fā)表的一篇論文內(nèi)容與o1模型原理幾乎一致，OpenAI的護(hù)城河不復(fù)存在。
澎湃科技（www.thepaper.cn)注意到，谷歌DeepMind團(tuán)隊(duì)于今年8月6日發(fā)布上述論文，題為《優(yōu)化LLM測試時(shí)計(jì)算比擴(kuò)大模型參數(shù)規(guī)模更高效》（Scaling LLM Test-Time Compute Optimally can be More Effective than Scaling Model Parameters）。
谷歌DeepMind團(tuán)隊(duì)于今年8月6日發(fā)布的論文
在這篇論文中，研究團(tuán)隊(duì)探討了大模型（LLM）在面對復(fù)雜問題時(shí)，是否可以通過增加測試時(shí)的計(jì)算量來提高決策質(zhì)量。這項(xiàng)研究表明，增加測試時(shí)（test-timecompute）計(jì)算比擴(kuò)展模型參數(shù)更有效�；谡撐奶岢龅挠�(jì)算最優(yōu)（compute-optimal）測試時(shí)計(jì)算擴(kuò)展策略，規(guī)模較小的基礎(chǔ)模型在一些任務(wù)上可以超越一個(gè)14倍大的模型。
無獨(dú)有偶，另一篇由谷歌和斯坦福大學(xué)研究人員于今年1月發(fā)表的論文《思維鏈賦能Transformer解決本質(zhì)上的串行問題》（Chain of Thought Empowers Transformers to Solve Inherently Serial Problems）也提出了類似的觀點(diǎn)。該論文探討了“思維鏈”（Chain of Thought，簡稱CoT）技術(shù)，旨在突破Transformer模型在串行推理方面的限制。
傳統(tǒng)的Transformer模型擅長并行計(jì)算，但在處理需要邏輯推理的復(fù)雜問題時(shí)表現(xiàn)欠佳。CoT的核心思想是讓模型模擬人類的思考方式，通過生成一系列中間推理步驟，來解決復(fù)雜問題。
OpenAI近期發(fā)布的o1模型，或正是上述理念的實(shí)踐。o1模型在給出答案之前，會(huì)生成一系列中間推理步驟，不斷完善自己的思維過程，嘗試不同的策略，并能識別自身錯(cuò)誤。隨著更多的強(qiáng)化學(xué)習(xí)和思考時(shí)間，o1的性能持續(xù)提升。
有網(wǎng)友表示，“所有的秘密突破和算法最終都會(huì)隨著頂尖開發(fā)者在行業(yè)內(nèi)的流動(dòng)而傳播到其他公司和開源社區(qū)。”谷歌也表示沒有人擁有護(hù)城河，這也促使OpenAI將o1-mini的速度提高7倍，每天都能使用50條；o1-preview則提高每周50條。
有網(wǎng)友評論道：“唯一可能形成護(hù)城河的是硬件，至少在可預(yù)見的未來是這樣。”也有人認(rèn)為，如果AI大模型公司無法解決對顯存的依賴，英偉達(dá)可能會(huì)直接掌控誰能夠獲得計(jì)算能力。而如果微軟或谷歌開發(fā)出在自研芯片上運(yùn)行速度快10倍的模型，情況也會(huì)變化。
目前，英偉達(dá)在AI大模型算力的分配上占據(jù)主導(dǎo)地位。值得注意的是，OpenAI近期也被曝出其首款芯片計(jì)劃，采用臺(tái)積電最先進(jìn)的A16級工藝，專為Sora視頻應(yīng)用打造。這些跡象表明，大模型的競爭已不僅局限于模型本身，硬件能力也成為關(guān)鍵因素。在AI領(lǐng)域，誰能擁有更強(qiáng)大的算力，誰就可能在下一階段的競爭中占據(jù)優(yōu)勢。
