劃重點(diǎn)
01兩位機(jī)器學(xué)習(xí)先驅(qū)John J. Hopfield和Geoffrey E. Hinton榮獲2024諾貝爾物理學(xué)獎，引發(fā)AI領(lǐng)域熱議。
02Hopfield網(wǎng)絡(luò)和Hinton的工作影響了統(tǒng)計(jì)物理學(xué)、計(jì)算機(jī)科學(xué)與AI、神經(jīng)科學(xué)等多個領(lǐng)域。
03由于他們的貢獻(xiàn)，許多物理學(xué)家進(jìn)入了神經(jīng)科學(xué)和AI領(lǐng)域，為物理學(xué)博士創(chuàng)造了大量就業(yè)機(jī)會。
04此外，Hopfield網(wǎng)絡(luò)還為后續(xù)許多記憶計(jì)算模型奠定了基礎(chǔ)，將記憶回憶概念化為能量曲線向下滾動的想法成為神經(jīng)科學(xué)中的典型隱喻。
以上內(nèi)容由騰訊混元大模型生成，僅供參考
編輯：杜偉、陳陳
昨天，兩位機(jī)器學(xué)習(xí)先驅(qū) John J. Hopfield 和 Geoffrey E. Hinton 獲得 2024 諾貝爾物理學(xué)獎的消息引爆了整個 AI 領(lǐng)域，讓很多人直呼「物理學(xué)不存在了」。
就連 AI（GPT-4o）都不敢相信今年的物理諾獎會花落機(jī)器學(xué)習(xí)和人工神經(jīng)網(wǎng)絡(luò)領(lǐng)域，認(rèn)為這些領(lǐng)域通常不屬于物理學(xué)范疇。
諾貝爾獎官方推特（X）也發(fā)起了一項(xiàng)問卷調(diào)查，「你知道機(jī)器學(xué)習(xí)模型是基于物理等式嗎？」從結(jié)果來看，不知道的人占比更高。
但無論如何，兩位泰斗級人物的獲獎成為了 AI 圈的又一盛事。各路大佬紛紛為他們送上了祝賀，包括同為 2018 年圖靈獎得主的 Meta 首席 AI 科學(xué)家 Yann LeCun 和 UdeM 全職教授、Mila 創(chuàng)始人和科學(xué)主任 Yoshua Bengio。
Yann LeCun 表示，「恭喜我的兩位前同事 John 和 Geoff。我在多倫多做過 Geoff 實(shí)驗(yàn)室的博士后，之后加入了貝爾實(shí)驗(yàn)室，而 John 在那里擔(dān)任兼職科學(xué)家。事實(shí)上，正是因?yàn)?John，我才加入了神經(jīng)網(wǎng)絡(luò)研究部門。我第一次見到他們二人都是在 1985 年，其中 1985 年初在 Les Houches 的一個研討會上遇到了 John，1985 年 6 月在巴黎的 Cognitiva 會議上遇到了 Geoff。」
Yoshua Bengio 表示，「John 和 Geoff 及其合作者在物理學(xué)和 AI 之間架起了一座美麗且富有洞察力的橋梁。他們發(fā)明的神經(jīng)網(wǎng)絡(luò)不僅受到大腦的啟發(fā)，還受到物理學(xué)中核心概念的啟發(fā)，例如能量、溫度、系統(tǒng)動力學(xué)、能量屏障、隨機(jī)性和噪聲的作用，將局部屬性（如原子或神經(jīng)元）與全局屬性（如熵和吸引子）聯(lián)系起來。他們超越了物理學(xué)，展示了這些想法如何產(chǎn)生記憶、學(xué)習(xí)和生成模型。這些概念仍然處于現(xiàn)代 AI 研究的前沿。」
此外，他們二人的想法給了 Bengio 深刻的啟發(fā)，以至于他決定選擇神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)作為自己的研究生課題。他們激勵 Bengio 探索抽象的原理，這些原理可以像物理定律一樣簡單，但又可以解釋生物和 AI。Bengio 由衷地為他們二人以及所在的領(lǐng)域感到高興。
與此同時，谷歌首席科學(xué)家 Jeff Dean、SSI 創(chuàng)始人 Ilya Sutskever、「AI 教母」李飛飛教授、Coursera 聯(lián)合創(chuàng)始人吳恩達(dá)等也對他們二人表達(dá)了祝賀。
Jeff Dean：祝賀我的好朋友兼前谷歌同事 Geoff Hinton 獲得 2024 年諾貝爾物理學(xué)獎（與 John Hopfield 一起）！隨著神經(jīng)網(wǎng)絡(luò)應(yīng)用于越來越多的領(lǐng)域，Geoff 對許多科學(xué)領(lǐng)域的影響不斷增長。
Ilya Sutskever 祝賀 Geoff Hinton 獲得諾貝爾物理學(xué)獎。
李飛飛這太令人興奮了！AI 的深遠(yuǎn)影響才剛剛開始。祝賀他們。
吳恩達(dá)：我是第一個稱 Geoff Hinton 為「深度學(xué)習(xí)教父」的人，后來被稱為「AI 教父」。很高興看到他和 John Hopfield 一道為 AI 領(lǐng)域贏得諾貝爾獎。
凌晨兩點(diǎn)接到電話，Hinton 以為是惡作劇
「我怎么能確定這不是一個惡作劇電話呢？」在得獎的第一時間，Hinton 正在加州的一個酒店房間里，然后他接到了這個電話，當(dāng)時大約是在凌晨 2 點(diǎn)。
有趣的是，當(dāng)時 Hinton 并不相信自己得獎了，而是電話那頭多個瑞典的口音幫他確認(rèn)了他獲得諾貝爾物理學(xué)獎是真實(shí)的。
下面是電話連線內(nèi)容。
主持人：你好 Geoffrey Hinton，我是諾貝爾獎官網(wǎng)的工作人員 Adam Smith，從諾貝爾獎網(wǎng)站打來電話。我們可以聊幾分鐘嗎？首先當(dāng)然是恭喜你獲獎，請問你是從哪里得到這個消息的？
Hinton：我是在加州的一家廉價旅館里。沒有互聯(lián)網(wǎng)連接，手機(jī)信號也不太好，我原本打算今天去做核磁共振掃描，但我想我必須取消了，我甚至不知道我會被提名為諾貝爾物理學(xué)獎，這讓我感到非常驚訝。
并且現(xiàn)在是凌晨兩點(diǎn)。我的第一個想法是我怎么能確定這不是一個惡作劇電話。
主持人：你怎么確定的呢？
Hinton：瑞典口音，那個人有著濃重的瑞典口音，而且有這種口音的人不止一個，是好幾個。如果電話是假的，那么必須有人故意模仿，這種情況我認(rèn)為不太可能。
主持人：你怎么形容你自己？是一名計(jì)算機(jī)科學(xué)家？還是一名物理學(xué)家？
Hinton：我會說我是一個不真正知道自己處于哪個領(lǐng)域的人，但我想要理解大腦是如何工作的。在試圖理解大腦工作機(jī)制的過程中，幫助創(chuàng)造了一種表現(xiàn)出奇的好的技術(shù) 。
主持人：值得注意的是，我想您已經(jīng)公開表達(dá)了對技術(shù)可能帶來的危害的擔(dān)憂，您認(rèn)為需要做什么才能減輕您和其他人所表達(dá)的擔(dān)憂。
Hinton：我認(rèn)為這和氣候變化的情況大不相同。在氣候變化問題上，每個人都知道需要做什么 我們需要停止燃燒碳。問題只在于大公司為了巨額利潤不愿意采取行動。但在這里，我們面臨的是一個我們對將會發(fā)生什么以及如何應(yīng)對都知之甚少的問題。因此，我希望我有一個簡單的方案，如果做了就能保證一切都會好轉(zhuǎn)，但我沒有。特別是關(guān)于這些事物失控并取代我們的存在威脅，我認(rèn)為我們正處于歷史的一個分岔點(diǎn)，未來幾年我們需要找出是否有辦法應(yīng)對這一威脅。因此，我認(rèn)為現(xiàn)在對于人們來說，研究如何保持控制非常重要，我們需要投入大量研究努力。我認(rèn)為政府可以做的一件事是迫使大公司投入更多資源進(jìn)行安全研究，這樣像 OpenAI 這樣的公司就不能把安全研究置于次要地位。
主持人：在生物技術(shù)革命期間，那些頂尖的科技公司在阿西洛馬會議中聚集起來，并坐下來討論，指出這里存在潛在的危險，我們需要自己來關(guān)注這一點(diǎn)。
Hinton：是的，我認(rèn)為與此有一些相似之處，我認(rèn)為他們做的非常好。遺憾的是，AI 領(lǐng)域的應(yīng)用更為廣泛和復(fù)雜，這使得管理和監(jiān)控潛在風(fēng)險更具挑戰(zhàn)性。
對于像克隆這樣的事情，生物學(xué)家們一直在努力控制。我覺得生物學(xué)家們的做法是一個很好的典型，他們能夠達(dá)成一致且令人印象深刻的結(jié)果。
主持人：關(guān)于大語言模型，我猜想這可能是你的擔(dān)憂之一，當(dāng)涉及諾貝爾獎在這一領(lǐng)域的影響時，你認(rèn)為它會帶來改變嗎？
Hinton：是的，我認(rèn)為這會有所改變。希望這能使我在說這些事情時更有信譽(yù)，真的能理解它們的本質(zhì)。
有一整個語言學(xué)派別來自喬姆斯基，他們認(rèn)為這些模型理解語言是完全沒有意義的，因?yàn)檫@些模型并不像我們?nèi)祟愐粯犹幚碚Z言。我認(rèn)為這個學(xué)派是錯誤的，現(xiàn)在很明顯，神經(jīng)網(wǎng)絡(luò)在處理語言方面遠(yuǎn)勝于喬姆斯基語言學(xué)派所產(chǎn)生的任何東西。但是，關(guān)于這一點(diǎn)在語言學(xué)家中仍然有很多爭論。
主持人：現(xiàn)在，我只是想回到你在酒店房間里半夜接到這個消息的情況，某種程度上，在這樣一個孤獨(dú)的地方聽到這樣的消息，沒有人可以分享，只能自己慶祝。
Hinton：嗯，我和我的伴侶在一起，她很興奮。
主持人：再次祝賀你。
Hinton：謝謝，再見。
Hopfield 網(wǎng)絡(luò)：它影響了很多領(lǐng)域
雖然今年的諾貝爾物理學(xué)獎頒給了兩位享譽(yù)盛名的 AI 科學(xué)家，但他們的工作尤其是 Hopfield 網(wǎng)絡(luò)產(chǎn)生的影響已經(jīng)足夠大。比如 MIT 沃森人工智能實(shí)驗(yàn)室的 Dmitry Krotov 認(rèn)為，Hopfield 網(wǎng)絡(luò)至少對統(tǒng)計(jì)物理學(xué)、計(jì)算機(jī)科學(xué)與 AI、神經(jīng)科學(xué)具有巨大的影響。
Dmitry Krotov 是一位在 AI 和神經(jīng)科學(xué)領(lǐng)域有重要貢獻(xiàn)的科學(xué)家。他投稿的論文「Can a Fruit Fly Learn Word Embeddings?」曾在 ICLR 2021 會議上引起廣泛關(guān)注。
在統(tǒng)計(jì)物理學(xué)中，Hopfield 模型成為最常研究的 Hamiltonians 學(xué)派之一，關(guān)于它的論文和書籍已有數(shù)萬篇。這個想法為數(shù)百名物理學(xué)家進(jìn)入神經(jīng)科學(xué)和 AI 領(lǐng)域提供了切入點(diǎn)，Dmitry Krotov 自己就是其中之一。
在計(jì)算機(jī)科學(xué)中，Hopfield 網(wǎng)絡(luò)是促使 AI 寒冬（1974-1981 年）結(jié)束以及隨后人工神經(jīng)網(wǎng)絡(luò)復(fù)興的主要驅(qū)動思想。Hopfield 在 1982 年發(fā)表的論文標(biāo)志著現(xiàn)代神經(jīng)網(wǎng)絡(luò)時代的開始。
論文地址：https://www.pnas.org/doi/pdf/10.1073/pnas.79.8.2554
此外，AI 頂會之一 NeurIPS 的歷史可追溯到 1984-1986 年在加州理工學(xué)院召開的會議，當(dāng)時這些會議被稱為「Hopfests」，具體參閱 John Moody 撰寫的 NIPS 1991 會議記錄。
Hopfield 網(wǎng)絡(luò)還是受限玻爾茲曼機(jī)開發(fā)的主要靈感來源，而受限玻爾茲曼機(jī)在深度學(xué)習(xí)的早期發(fā)揮了重要作用�；谀芰康慕Ｊ峭怀龅� AI 范例，是 Hopfield 基于能量的記憶的發(fā)展。
最后在神經(jīng)科學(xué)中，Hopfield 網(wǎng)絡(luò)為后續(xù)許多記憶計(jì)算模型奠定了基矗并且將記憶回憶概念化為能量曲線向下滾動的想法也成為了神經(jīng)科學(xué)中的典型隱喻。
正如有人評價稱，John Hopfield 獲獎當(dāng)之無愧，他為 AI 領(lǐng)域的物理學(xué)博士創(chuàng)造了大量的就業(yè)機(jī)會，從而保持了物理學(xué)的活力。
Pedro Domingos 為華盛頓大學(xué)計(jì)算機(jī)科學(xué)教授。
