本文作者：李丹
來源：硬AI
不止是OpenAI備受關(guān)注的下一代模型“獵戶座”（Orion），谷歌和OpenAI的勁敵、另一明星人工智能（AI）初創(chuàng)Anthropic也傳出了先進AI模型開發(fā)遭遇瓶頸的消息。
美東時間11月13日周三，彭博社報道援引兩名知情者的消息稱，OpenAI今年9月完成了獵戶座的首輪訓練，希望它能大大超越此前的一些版本，更接近AI超越人類這一目標，但獵戶座未能達到公司期望的性能，比如截至夏末，該模型在嘗試回答未經(jīng)訓練的編碼問題時還表現(xiàn)不佳。
知情者評價，總體而言，到目前為止，相比GPT-4超越GPT-3.5的表現(xiàn)，獵戶座和OpenAI現(xiàn)有模型相比進步?jīng)]那么大。
報道還援引其他三名知情者消息的稱，谷歌即將推出的新版Gemini并未達到內(nèi)部預(yù)期，Anthropic也推遲了被稱為的3.5 Opus的Claude模型計劃發(fā)布時間。
報道認為上述三家公司開發(fā)AI模型面臨多重挑戰(zhàn)，他們越來越難以找到尚未開發(fā)的高質(zhì)量人造訓練數(shù)據(jù)。例如獵戶座的編碼性能未能令人滿意就部分源于缺乏足夠的編碼數(shù)據(jù)進行訓練。即使是適度的模型性能提升也可能不足以證明，打造和運行新模型的巨大成本合理，或者無法滿足重大升級的期望。
AI模型開發(fā)瓶頸的問題挑戰(zhàn)了被很多初創(chuàng)甚至科技巨頭都奉為圭臬的定律Scaling law，也讓AI大舉投資即實現(xiàn)通用人工智能（AGI）的可行性遭到質(zhì)疑。
華爾街見聞曾提到，OpenAI早在2020年就提出的該定律是指，大模型的最終性能主要與計算量、模型參數(shù)量和訓練數(shù)據(jù)量三者的大小相關(guān)，而與模型的具體結(jié)構(gòu)（層數(shù)/深度/寬度）基本無關(guān)。今年7月微軟的首席技術(shù)官（CTO）Kevin Scott還為這個定律辯護，稱Scaling law仍適用于當前業(yè)態(tài)在擴張大模型的同時，邊際效益并沒有遞減。
巧的是，上周就有媒體爆料，OpenAI發(fā)現(xiàn)獵戶座“沒有那么大飛躍”，進步幅度遠不如前兩代旗艦?zāi)Ｐ�。這一發(fā)現(xiàn)直接挑戰(zhàn)了AI領(lǐng)域一直奉行的Scaling law。由于高質(zhì)量訓練數(shù)據(jù)減少以及計算成本增加，OpenAI的研究人員不得不開始探討是否有其他改進模型性能的方法。
例如，OpenAI正在將更多代碼編寫功能嵌入其模型并試圖開發(fā)一種軟件，可以接管個人電腦，通過執(zhí)行點擊、 光標移動等其他操作， 完成網(wǎng)絡(luò)瀏覽器活動或應(yīng)用程序的任務(wù)。
OpenAI還成立了一個專門團隊，由之前負責預(yù)訓練的Nick Ryder領(lǐng)導(dǎo)，負責探索如何優(yōu)化有限的訓練數(shù)據(jù)和調(diào)整擴展法的應(yīng)用，保持模型改進的穩(wěn)定性。
對于本周三的彭博報道，谷歌DeepMind 發(fā)言人表示，公司“對 Gemini 的進展感到滿意，我們會在準備就位時分享更多信息�！監(jiān)penAI 拒絕置評。Anthropic 也未置評，但提到了周一發(fā)布的一段博客內(nèi)容，在那段長達五小時的播客中，有 Anthropic CEO Dario Amodei的發(fā)言。
Amodel稱，人們所說的scaling law并不是一種定律，這是用詞不當，它不是通用的定律，而是經(jīng)驗規(guī)律。Amodel預(yù)計scaling law會繼續(xù)存在，不過并不確定。他說未來幾年有“很多事”可能會“破壞”實現(xiàn)更強大 AI 的進程，包括“我們可能會耗盡數(shù)據(jù)�！钡麡酚^地認為 AI 公司會找到克服一切阻礙的方法。
對于彭博的報道，提供企業(yè)定制AI解決方案的公司NossonAI的創(chuàng)始人Nosson Weissman評論稱，報道并未讓他困惑，因為首先，他沒有看到在AI領(lǐng)域做出過重大貢獻的真正的專家表達過同樣看法，其次，我們經(jīng)�？吹侥Ｐ头矫嫒〉弥卮筮M展，最后，他認為新聞媒體喜歡制造戲劇效果，這篇報道看來只是起了一個漂亮的戲劇性標題。
