克雷西 發(fā)自 凹非寺量子位 | 公眾號(hào) QbitAI
OpenAI傳說(shuō)中的“草莓”終于正式上線(xiàn)！
不僅可以勝任更復(fù)雜的推理任務(wù)，在數(shù)學(xué)、代碼和其他科學(xué)領(lǐng)域也能解決更難的問(wèn)題。
OpenAI這次“無(wú)預(yù)警發(fā)布”震撼了科技圈，o1更是被CEO奧特曼稱(chēng)它為了一種新范式的開(kāi)始。
發(fā)布之后，各路大神和網(wǎng)友都紛紛用各種問(wèn)題測(cè)試OpenAI o1的表現(xiàn)：
還有人進(jìn)行了花式考驗(yàn)，結(jié)果被o1強(qiáng)大的推理能力秀到了。
Q：你的回復(fù)中有幾個(gè)字？A1：這句話(huà)有七個(gè)字A2：一共五個(gè)字
量子位也進(jìn)行了一番實(shí)測(cè)，下面就一起來(lái)了解。
推理能力大進(jìn)化，但還是難敵弱智吧該說(shuō)不說(shuō)，o1雖然在推理能力上取得了很大進(jìn)步，但面對(duì)充滿(mǎn)心機(jī)的弱智吧問(wèn)題，還是掉進(jìn)了人類(lèi)挖的陷阱。
當(dāng)然了，對(duì)于正經(jīng)問(wèn)題，o1的表現(xiàn)還是很強(qiáng)的，首先看看邏輯推理能力。
思考這道題時(shí)，preview和mini分別用時(shí)21秒和14秒，不過(guò)從文本上看mini思考得反而更多。
其中還出現(xiàn)了一些西里爾字母亂入，不過(guò)對(duì)整體影響不大。
最終，二者也都給出了正確的答案丙。
值得注意的是，mini（右）的解答當(dāng)中還出現(xiàn)了修正的過(guò)程。
接下來(lái)看下o1在大學(xué)數(shù)理化題目上的表現(xiàn)。
首先是這道考研數(shù)學(xué)真題，涉及的知識(shí)點(diǎn)是曲面積分、高斯定理等內(nèi)容：
還是分別看下preview和mini的思考，可以看到mini的思考過(guò)程大概是preview的簡(jiǎn)略版，當(dāng)然速度也快了不少。
不過(guò)preview給的思考過(guò)程當(dāng)中再次出現(xiàn)亂入，這次是泰語(yǔ)。
實(shí)際解答過(guò)程也是preview比mini更加詳細(xì)，不過(guò)不知道為什么preview用了英文回答。
最后的計(jì)算結(jié)果化簡(jiǎn)方式也有所不同，但數(shù)值上是相等的，而且也做對(duì)了。
對(duì)比4o這邊，先偷懶后作弊（調(diào)用了代碼解釋器），結(jié)果最后答案還是錯(cuò)的。
第二道數(shù)學(xué)題關(guān)于概率。
這道題preview依然是用英語(yǔ)進(jìn)行了作答，步驟比mini更加詳細(xì)，當(dāng)然都是對(duì)的。
而4o的答案前面的過(guò)程倒是基本都對(duì)，但是最后一步的求解出現(xiàn)了問(wèn)題，只給出了1這一個(gè)解，并且不是本題答案。
物理方面，這里選擇了一道大學(xué)物理中的光學(xué)題：
preview（左）和mini都給出了正確解答，內(nèi)容也基本一致。
化學(xué)的題目是一道物化題，主要涉及電化學(xué)等內(nèi)容。
這里把AgCl/Ag的標(biāo)準(zhǔn)電極電勢(shì)作為已知條件一同輸入給模型。
Preview（左）和mini大致的解題思路還是差不多，在計(jì)算步驟上有指對(duì)運(yùn)算先后的差別，當(dāng)然最后的結(jié)果還是對(duì)的。
最后一項(xiàng)測(cè)試就不再做考試題了，而是看看模型編寫(xiě)代碼的能力如何。
這里選擇的題目難度非常高，真人的通過(guò)率只有14%。
以下是preview（左）和mini的解題思路：
從代碼上看，兩者核心邏輯相似，但在具體操作上略有區(qū)別。
兩套代碼均通過(guò)了測(cè)試，內(nèi)存消耗也比較接近，而mini給出的代碼運(yùn)行時(shí)間更短（38毫秒）。
o1的編程能力除了用來(lái)解題，也可以快速構(gòu)建出實(shí)用的應(yīng)用程序。
知名AI配音工具ElevenLabs設(shè)計(jì)部門(mén)負(fù)責(zé)人Ammaar Reshi，就利用o1搭配Cursor Composer，用了不到10分鐘的時(shí)間制作了一款iOS天氣應(yīng)用。
小數(shù)比較還是不會(huì)？測(cè)試發(fā)現(xiàn)，對(duì)于大模型難以答對(duì)的名場(chǎng)面小數(shù)比大小，preview（左）和mini都答不對(duì)。
甚至preview在思考過(guò)程中明明已經(jīng)提到過(guò)9.8比9.11大。
但同時(shí)preview在思考過(guò)程中表示，9.8和9.11有可能指的是日期，所以做不對(duì)也許另有原因。
針對(duì)這個(gè)問(wèn)題，大神謝賽寧也曬出了他的測(cè)試結(jié)果，發(fā)現(xiàn)o1在思考過(guò)程中將9.8當(dāng)成了重力常數(shù)，而9.11是一個(gè)“意義不明的數(shù)字”。
所以o1可能不是不會(huì)，而是把這個(gè)問(wèn)題想復(fù)雜了。
為了進(jìn)一步探究，我們把問(wèn)題改得具體些，強(qiáng)調(diào)一下9.8和9.11都是數(shù)字，這下沒(méi)有了歧義之后就能一次做對(duì)了。
可以看出，提示詞的影響還是不小的。
由于o1在內(nèi)部采用了一些類(lèi)思維鏈過(guò)程，因此prompt的設(shè)計(jì)和普通版本也有所區(qū)別，OpenAI官方發(fā)布了一則提示：
提示詞應(yīng)簡(jiǎn)單且直接
避免在提示詞中使用思維鏈
使用分隔符讓prompt更清晰
控制RAG內(nèi)容的長(zhǎng)度
回到我們的測(cè)試，面對(duì)其他幾個(gè)大模型敗北名場(chǎng)面，o1也有不小的進(jìn)步。
比如在數(shù)字母的任務(wù)上就有所進(jìn)化，即使是一串亂打的字母也能數(shù)對(duì)。
還有面對(duì)經(jīng)典的“反轉(zhuǎn)詛咒”（即知道A是B卻不知道B是A）問(wèn)題，也終于一次性答對(duì)了Mary Lee Pfeiffer（湯姆克魯斯的母親）的兒子是誰(shuí)。
One More Thing關(guān)于這次發(fā)布的o1，除了各個(gè)方面的成績(jī)之外，還有一些其他的發(fā)現(xiàn)。
比如前特斯拉自動(dòng)駕駛負(fù)責(zé)人、兩度進(jìn)入OpenAI又兩度離職的大神Andrej Karpathy發(fā)現(xiàn)，o1-mini在被要求證明黎曼猜想的時(shí)候出現(xiàn)了拒絕回答的情況，表示大模型“犯懶”依然是一個(gè)大問(wèn)題。
還有網(wǎng)友說(shuō)覺(jué)得mini的表現(xiàn)比preview好，想問(wèn)下有沒(méi)有人知道原因或者有啥看法。
這條消息也把奧特曼吸引了過(guò)來(lái)，回復(fù)了一句“Yes I have one”。
根據(jù)OpenAI內(nèi)部員工Kevin Lu發(fā)布的一則推文來(lái)看，mini的性?xún)r(jià)比確實(shí)比preview更高。
根據(jù)這張圖顯示，preview版本論性能比不上尚未公布的滿(mǎn)血o1，論經(jīng)濟(jì)性又比不上mini。
順便提一句，preview版本存在消息數(shù)量限制，并且數(shù)量是按周進(jìn)行重置的，幾輪測(cè)試下來(lái)已經(jīng)快要用盡了。
參考鏈接：[1]https://x.com/rowancheung/status/1834300353619075494[2]https://x.com/karpathy/status/1834374965942255835[3]https://x.com/sama/status/1834381401380294685[4]https://x.com/_kevinlu/status/1834278160038592633
