“也許很快OpenAI將能證明陶哲軒是錯的�！�
好家伙！隔著屏幕都能聞到“硝煙”味了(bu shi~
事情是這樣的。數(shù)學(xué)大佬陶哲軒和OpenAI兩位高管最近進(jìn)行了一場線上對談，主題為“The Future of Math with o1 Reasoning”，即以推理為主的o1模型如何與數(shù)學(xué)融合，從而解鎖突破性的科學(xué)進(jìn)步。
其中陶哲軒認(rèn)為，人擅長從非常少量的數(shù)據(jù)中推斷出下一步該做什么，這是AI不擅長的領(lǐng)域。
但OpenAI高管Mark Chen針鋒相對地指出，一旦OpenAI研究項目成功，人們將擁有非常高效的推理器，AI也能做數(shù)據(jù)稀疏推理，也許很快OpenAI將能證明陶哲軒是錯的。
BTW，本次活動由Natalie Cone（創(chuàng)立并管理著OpenAI論壇）主持，除了2006年菲爾茲獎得主陶哲軒，還有OpenAI研究高級副總裁Mark Chen、以及OpenAI科學(xué)政策&合作伙伴關(guān)系負(fù)責(zé)人James Donovan。
有意思的是，Ilya Sutskever（OpenAI前聯(lián)創(chuàng)&首席科學(xué)家，右下角）去年也參加了這個活動，甚至當(dāng)時Jakub Pachocki（OpenAI現(xiàn)任首席科學(xué)家，右上角）也在。
鑒于直播內(nèi)容較長，這里直接為大家奉上省流版：
AI可以將數(shù)學(xué)工作模塊化，比如模式識別、形成猜想、驗證等；
形式證明助手不可或缺，是進(jìn)行數(shù)學(xué)研究和使用大語言模型之間的必要中間層；
論文是否給AI署名？當(dāng)前AI的貢獻(xiàn)仍難以界定；
目前對數(shù)學(xué)結(jié)果進(jìn)行搜索的最好方式是眾包，比如Math Overflow；
AI在競賽中的表現(xiàn)，既出人意料，也低于陶哲軒預(yù)期；
……
話不多說，1小時嘉賓對談+30分鐘觀眾問答，干貨這就整理出來了！
陶哲軒對談OpenAI兩位高管先來看幾位嘉賓這次都談了哪些內(nèi)容，大致分為以下幾個方面：
AI在數(shù)學(xué)證明和發(fā)現(xiàn)方面的潛力
將AI融入傳統(tǒng)數(shù)學(xué)研究所面臨的挑戰(zhàn)
AI在科學(xué)發(fā)現(xiàn)與創(chuàng)新中的逐漸演變的作用
AI系統(tǒng)與人類數(shù)學(xué)家之間的合作機(jī)會
以下為重點內(nèi)容整理。
AI可以幫助同時推進(jìn)成百上千個數(shù)學(xué)問題，思考也更深入了James Donovan:你們目前在各自的研究領(lǐng)域中最關(guān)注哪些問題，以及為什么解決這些問題如此重要。
陶哲軒：我有很多想要解決的技術(shù)性數(shù)學(xué)問題。更貼近今天會議主題的是，我非常感興趣我們?nèi)绾螐母旧现厮軘?shù)學(xué)，以及如何利用所有這些新工具以前所未有的方式進(jìn)行協(xié)作，以前所未有的規(guī)模開展數(shù)學(xué)研究。
我認(rèn)為這可能是一個新的發(fā)現(xiàn)時代�，F(xiàn)在的數(shù)學(xué)家一次只研究一個問題，在一個問題上花費數(shù)月時間，然后再轉(zhuǎn)向下一個問題。有了這些工具，我們可能可以同時掃描成百上千個問題，并進(jìn)行不同類型的數(shù)學(xué)研究。我對這種可能性感到非常興奮。
Mark Chen: 過去一年，我們的一個主要關(guān)注點是推理。不過自GPT-4以來，我們略微改變了關(guān)注點。
GPT-4包含了大量的原始知識，但它在很多方面也存在不足。它會被簡單的謎題難倒，并且經(jīng)常依賴于先驗知識。如果它對一個謎題的解法有先驗知識，它通常會犯同樣的模式匹配錯誤。這些都表明模型在深度推理能力上的不足。
因此，我們一直專注于開發(fā)o系列模型。這些模型更像是系統(tǒng)2思考者，而不是系統(tǒng)1思考者。它們不會經(jīng)常給出直覺的快速反應(yīng)，而是在生成回應(yīng)之前花一些時間思考問題。
我想強(qiáng)調(diào)我們研究議程中的另外兩個關(guān)鍵問題：數(shù)據(jù)效率和如何為用戶創(chuàng)造直觀愉悅的體驗。
AI可以將數(shù)學(xué)工作模塊化James Donovan: Terry，你多次提到一種潛在的新型數(shù)學(xué)，也談到過不同的數(shù)學(xué)合作方式，能否為我們詳細(xì)解釋一下？
陶哲軒: 數(shù)學(xué)一直被認(rèn)為是一項非常困難的活動，現(xiàn)在也是如此。原因有很多，其中之一是我們依賴一個人或一小部分人來完成許多不同的任務(wù)以實現(xiàn)一個復(fù)雜的目標(biāo)。
如果你想在數(shù)學(xué)上取得進(jìn)展，你必須首先提出一個好問題，然后找到解決它的工具，學(xué)習(xí)文獻(xiàn)，嘗試一些論證，進(jìn)行計算，檢查論證以確保其正確性，然后以可以解釋的方式將其寫下來，然后你必須做報告，申請資助，還有很多其他的事情要做。這些都是不同的技能。但在其他行業(yè)，我們有勞動分工。
我認(rèn)為現(xiàn)在我們有了這些工具，原則上你可以進(jìn)行一種合作，其中一個人有遠(yuǎn)見，一個人或一個AI進(jìn)行計算，然后另一個工具撰寫論文等等。因此，你不需要一個人在所有方面都是專家。
我認(rèn)為很多人因為看到成為一名優(yōu)秀的數(shù)學(xué)家所需做的所有事情而感到氣餒，這確實令人望而生畏。但也許有些人擅長查看數(shù)據(jù)和檢查模式，然后要求AI檢查這種模式是否存在。也許他們不擅長找到正確的問題，但他們可以在一個更大的項目中處理一些非常狹窄的特定部分。
我認(rèn)為這些工具可以將數(shù)學(xué)工作模塊化，一些任務(wù)由AI完成，一些任務(wù)由人類完成，一些任務(wù)由形式證明助手完成，一些任務(wù)由公眾完成。在其他學(xué)科中，我們有公民科學(xué)，例如業(yè)余天文學(xué)家發(fā)現(xiàn)彗星，或業(yè)余生物學(xué)家收集蝴蝶。我們還沒有一種方法可以利用業(yè)余數(shù)學(xué)家的力量，除了一些非常小的邊緣項目。因此，我認(rèn)為有很多潛力，我們必須嘗試很多東西，看看哪些有效。
AI與人類具體如何分工James Donovan: Terence，你似乎默認(rèn)假設(shè)人類仍然會劃分任務(wù)，他們?nèi)匀粚α鞒逃凶銐虻牧私鈦頉Q定誰做什么，你是否認(rèn)為因此會出現(xiàn)不同的數(shù)學(xué)家角色，不同的專業(yè)方向？
陶哲軒: 我認(rèn)為軟件工程可以作為數(shù)學(xué)發(fā)展方向的模板。過去，可能有一位英雄般的程序員包攬一切，就像數(shù)學(xué)家一樣。但現(xiàn)在，你有項目經(jīng)理、程序員和質(zhì)量保證團(tuán)隊等等。因此，我們可以想象在數(shù)學(xué)領(lǐng)域也這樣做。
我現(xiàn)在參與了幾個合作項目，它們既包含理論數(shù)學(xué)部分，也包含形式證明部分，還有人運行各種代碼算法等等。它已經(jīng)像我預(yù)期的那樣專業(yè)化了。有些人不懂?dāng)?shù)學(xué)，但他們非常擅長形式化定理，對他們來說就像解決謎題一樣。還有一些人擅長運行GitHub，進(jìn)行項目管理，確保所有后端順利運行，也有人做數(shù)據(jù)可視化等等。我們都在協(xié)調(diào)工作。
到目前為止，主要是人類和一些比較老式的AI類型，比如改進(jìn)器，通常只是運行Python代碼之類的東西。但我認(rèn)為這是一個范式，一旦AI足夠好，它將非常適合其中。
James Donovan: 你是否認(rèn)為這些角色總是由人類擔(dān)任，或者你是否看到了一個由o系列模型本身分解問題的未來？
Mark Chen: 我現(xiàn)在幾乎把AI當(dāng)作我的同事。有很多我不擅長的事情，我可以交給AI去做。我只是在推測，因為我不是數(shù)學(xué)家，但就AI在幫助解決數(shù)學(xué)問題方面的優(yōu)勢而言，首先可能是識別模式。機(jī)器非常擅長這一點，尤其是有大量數(shù)據(jù)或大量需要篩選的內(nèi)容時。
我認(rèn)為從識別模式開始，你可以開始形成猜想。我認(rèn)為它們在這方面可能有獨特的優(yōu)勢提出證明策略。我認(rèn)為今天人類仍然可能對前進(jìn)的正確步驟有更好的直覺，但在特定步驟上可能存在盲點。我想上次我們提到了一種生成函數(shù)方法，一個模型在一個你試圖解決的玩具問題中建議了這種方法，結(jié)果證明這在那種情況下其實還不錯。
此外還有驗證。模型可能能夠驗證你確信正確的某些步驟，但你只是想再找一雙眼睛來確認(rèn)。也許還有生成反例。如果你想考慮一個定理可能是錯誤的許多潛在方式，一個模型可能能夠比你更有效地窮舉這些可能性。
形式證明助手不可或缺James Donovan: 你們都提到了定理證明器和形式化的作用，是否可以公平地說，你們都認(rèn)為這是進(jìn)行數(shù)學(xué)研究和使用大語言模型或同等技術(shù)之間的必要中間層？
陶哲軒: 基本上是的。證明必須是正確的。數(shù)學(xué)證明的特點是，如果一個證明有100個步驟，其中一個步驟是錯誤的，那么整個證明就可能崩潰。AI當(dāng)然會犯所有這些錯誤。有一些類型的數(shù)學(xué)可以接受一定的錯誤率，就像Mark說的，比如尋找模式，尋找猜想。
如果有AI只有50%的正確率，但你有其他方法來檢查它，那么也沒關(guān)系。特別是如果它想輸出一個論證，那么強(qiáng)制AI以類似Lean的形式輸出是一個非常自然的協(xié)同作用。如果它編譯成功，那就太好了；如果沒有，它會返回一條錯誤消息，并更新它的答案。
人們已經(jīng)實現(xiàn)了這一點，他們可以用這種迭代技術(shù)證明一些簡短的證明，但這還遠(yuǎn)沒有達(dá)到你可以問它一個高級數(shù)學(xué)問題，它就能輸出一個巨大證明的程度。
AlphaFold可以用3天的計算時間做到這一點，但它無法擴(kuò)展。對于某些軟性任務(wù)，可以接受正錯誤率，你不需要形式證明助手。但對于任何真正復(fù)雜的、一個錯誤就可能傳播的任務(wù)，它基本上是不可或缺的。
Mark Chen: 在OpenAI，我們在不同的時期或多或少地關(guān)注形式化數(shù)學(xué)。我認(rèn)為今天我們做的少了一些，主要是因為我們想探索更普遍的推理。我們確實希望你在計算機(jī)科學(xué)等領(lǐng)域?qū)W到的推理與你在數(shù)學(xué)等領(lǐng)域?qū)W到的推理非常相似。所以我當(dāng)然理解進(jìn)行形式化數(shù)學(xué)的優(yōu)勢。
數(shù)學(xué)家的“失敗”是AI寶貴的訓(xùn)練數(shù)據(jù)James Donovan: 即使在訓(xùn)練過程中，可能有很多不正確的解決方法沒有進(jìn)入訓(xùn)練模型，因為數(shù)學(xué)家通常不會發(fā)布和糾正錯誤的東西，這對于更廣泛的科學(xué)領(lǐng)域也是如此。你們兩位認(rèn)為這會產(chǎn)生很大的影響嗎？我們是否應(yīng)該努力推動人們也發(fā)布失敗的答案？
陶哲軒: 我認(rèn)為這是一個好主意。鼓勵這樣做很困難，人們不喜歡承認(rèn)自己的錯誤。但這對AI來說可能是非常寶貴的訓(xùn)練數(shù)據(jù)。
當(dāng)我教課時，有時最有效的課是偶然發(fā)生的，我準(zhǔn)備了一個證明，然后在課堂上講，結(jié)果證明是錯的，我必須實時修改它。課堂上看到我嘗試各種方法，比如，如果我改變這個假設(shè)，這個例子可能會有效。后來我得到了反饋，說那些是我最寶貴的課。那是因為我犯了錯誤。我認(rèn)為這些數(shù)據(jù)在很大程度上是你們無法獲得的。
事實上，許多領(lǐng)域?qū)＜业膶I(yè)知識是建立在幾十年錯誤的基礎(chǔ)上的，這些錯誤教會了他們什么不該做，即負(fù)空間。隨著我們轉(zhuǎn)向更正式的環(huán)境，我認(rèn)為這方面開始有所改變。
