劃重點
01OpenAI資深研究者Miles Brundage因個人原因離職，撰寫博客分享離職原因和對AI的看法。
02Brundage表示，他希望在行業(yè)外部影響和推動AI的發(fā)展，減少偏見和發(fā)表限制。
03他計劃創(chuàng)辦非營利機構或加入現(xiàn)有非營利組織，專注于人工智能政策研究和倡導。
04Brundage對AI的優(yōu)點和缺點都有深刻認識，認為政策制定者需要迅速采取行動。
05此外，他還對AI的經(jīng)濟影響、有益AI應用的加速推進等方面表達了看法。
以上內(nèi)容由騰訊混元大模型生成，僅供參考
OpenAI 的離職潮仍未止息。
這一次離開的是 Miles Brundage，他是 OpenAI 一位資深研究者和管理者，于 2018 年加入 OpenAI，離職前擔任 AGI Readiness 團隊的高級顧問，之前還曾領導過 Policy Research 團隊。更早之前，他曾在牛津大學人類未來研究所從事研究工作。
這次離開 OpenAI，他寫了一篇超過 5000 詞的博客，回顧了他在 OpenAI 的工作歷程，并分享了自己離職的原因、對 AI 的看法以及未來計劃，其中還涉及到 OpenAI 工作方式和企業(yè)文化方面的一些隱秘。
消息發(fā)布后，許多 AI 領域的人士都留言表示祝福，包括仍然還在 OpenAI 的著名研究者 Noam Brown、a16z 合伙人和 Fellow AI 創(chuàng)始人 Marco Mascorro、谷歌 AI Studio 產(chǎn)品負責人 Logan Kilpatrick 以及大量 AI 領域的研究者和創(chuàng)業(yè)者。
劍橋大學 AI 治理與政策研究者 Haydn Belfield 甚至認為 Miles Brundage 離開 OpenAI 就相當于一個時代的終結。
下面我們來看看 Miles Brundage 的「長篇離職公開信」里面究竟寫了些什么。
離職公開信概覽
2015 年 12 月，OpenAI 作為一個組織宣布成立；自那以來，我都一直為它感到興奮。OpenAI 宣布成立之后，我徹夜不眠，寫下了我對其重要性的看法。甚至在那之前，大約 12 年前，我就決定將自己的一生奉獻給與 OpenAI 的大致使命（確保 AGI 造福全人類）相關的領域。
所以這幾乎就是我夢想中的工作（為 OpenAI 高管和董事會提供 AGI 達成進度方面的建議），所以離開它并不是一個容易的決定，而且我確信有些人對此有很多疑問。下面我將回答一些問題，希望借此引導人們更準確地討論我的離開及各種相關話題。
太長不讀版：
我想把更多時間投入到涉及整個 AI 行業(yè)的問題上，擁有更多發(fā)表的自由，更加獨立；
我將創(chuàng)立一家和 / 或加入一家已有的非營利機構，并且將把關注重心放在 AI 政策研究和倡導上，因為我認為，如果我們不齊心協(xié)力，AI 不太可能盡可能地安全和有益；
我感興趣的一些研究領域包括評估和預測 AI 進展、前沿 AI 安全的監(jiān)管問題、AI 的經(jīng)濟影響、有益 AI 應用的加速推進、計算治理；
我認為，對于許多研究和工作而言，OpenAI 依然是一個激動人心的地方，我很高興看到團隊繼續(xù)加大對安全文化和過程的投資。
我是誰？我在 OpenAI 做什么？
在本周五結束之前，我都是 OpenAI 的一位研究員和管理者。我在這里 6 年多了，按照 OpenAI 的標準來說是很長一段時間了（過去 6 年來它真的成長了很多！）。一開始，我是政策團隊的一位研究科學家，之后變成了政策研究團隊負責人，現(xiàn)在則是 AGI Readiness（AGI 達成進度）團隊的高級顧問。在此之前，我在學術界 先從亞利桑那州立大學獲得了科學與技術的人文與社會維度博士學位，然后在牛津大學擔任博士后，并在美國能源部政府部門工作過一段時間。
在我看來，我領導過的團隊（政策研究和 AGI 達成進度）做了很多非常重要的工作，這些工作塑造了 OpenAI 的部署實踐，例如啟動我們的外部紅隊項目并推動前幾張 OpenAI 系統(tǒng)卡，并發(fā)表了許多有影響力的著作，主題包括語言模型和 AI 智能體的社會影響、前沿人工智能監(jiān)管、計算治理等。
我非常感謝我在 OpenAI 的時光，也非常感謝我的管理者們多年來的信任，讓我承擔越來越多的責任，感謝我有幸管理的數(shù)十名員工，我從他們身上學到了很多東西，感謝我在各個團隊中共事的無數(shù)才華橫溢的同事，他們使在 OpenAI 工作成為一次如此迷人和有益的經(jīng)歷。
我為什么離開？
我決定從行業(yè)外部而不是行業(yè)內(nèi)部來影響和推動 AI 的發(fā)展。這是我基于以下考慮得出的結論：
機會成本已經(jīng)變得非常高：我沒有時間研究我認為重要的各種研究課題，在某些情況下，我認為如果我在行業(yè)之外研究它們，所得成果的影響力會更大。OpenAI 現(xiàn)在如此引人注目，人們會從許多不同的角度審視其成果，因此我很難發(fā)表所有文章，但一些主題在我看來很重要。需要明確的是，雖然我不會說我一直同意 OpenAI 對發(fā)表審查的立場，但我確實認為行業(yè)中存在一些發(fā)表限制是合理的（我曾幫助編寫過幾個版本的 OpenAI 政策），但對我來說，限制已然太多。
我想減少偏見：當你是某個組織機構的一部分并每天與那里的人密切合作時，就很難對該組織保持公正客觀的立場，而且考慮到經(jīng)濟利益沖突，人們有權質(zhì)疑來自行業(yè)的政策想法。我已經(jīng)嘗試過在分析中做到盡可能公正，但我確信其中存在一些偏見，而且在 OpenAI 工作肯定會影響人們對我的言論以及業(yè)內(nèi)其他人的言論的看法。我認為在政策對話中擁有比現(xiàn)在更多的行業(yè)獨立聲音至關重要，我計劃成為其中之一。
我在 OpenAI 已經(jīng)完成了我之前計劃要做的大部分工作：自從開始擔任 AGI 達成進度高級顧問以來，我開始更明確地思考兩種 AGI 達成進度 OpenAI 是否準備好管理日益強大的 AI 能力，以及世界是否準備好有效管理這些能力（包括通過監(jiān)管 OpenAI 和其他公司）。關于前者，我已經(jīng)告訴高管和董事會（我的建議的受眾）我認為 OpenAI 需要什么以及還有什么差距，而對于后者，我認為我可以在外部更有效地完成它。
上面哪一點最重要？這很難說。它們以各種方式互相關聯(lián)，但每一個都在我的決定中發(fā)揮了一定作用。
OpenAI 和世界在迎接 AGI 方面準備得如何了？
簡而言之，OpenAI 和任何其它前沿實驗室都沒有準備好，世界也沒有準備好。
確切地講，我認為這個說法在 OpenAI 領導層中沒有爭議。需要說明，這不同于這個問題：該公司和世界是否將在某個時間做好準備？（但我認為仍待填補的差距還非常大，足以讓我將余生都投入 AI 政策事業(yè)中）。
該公司和世界是否在向著做好準備前進？這個問題很復雜，涉及到安全文化隨時間的變化（最近董事會的新增成員是朝著正確方向邁出的一步）、監(jiān)管對組織激勵的影響、有關 AI 能力和安全難度的各種事實的影響，以及其他各種因素。
順帶一提，我認為 AGI 是一個含義過多的短語，它暗示了一種超乎實際的二元化思維方式。我的團隊最近一直在研究的課題之一是充實「AI 分級」框架。我希望 OpenAI 和我能夠很快發(fā)表一篇相關論文。但現(xiàn)在我只想指出，當我說「為 AGI 做好準備」時，我的意思是：「準備好安全、可靠且有益地開發(fā)、部署和管理日益強大的 AI 系統(tǒng)」。
人們應該在 OpenAI 工作嗎？
在 OpenAI 工作是大多數(shù)人希望做的最有影響力的事情之一，所以在很多情況下，這個問題的答案是肯定的。當然，人們擁有不同的技能和機會，很難做出籠統(tǒng)的陳述，但我認為 OpenAI 的每一個角色及其工作的慎重性都很重要，對 OpenAI 企業(yè)文化的貢獻也很重要。在通往更強大的人工智能的道路上，每一個產(chǎn)品的部署都通過影響規(guī)范、人工智能的感知和監(jiān)管方式等而發(fā)揮重要作用。我很遺憾失去了一些我在這里擁有影響力的機會，盡管我希望更大程度地影響更大的生態(tài)系統(tǒng)。
我認為，在 OpenAI 致力于安全方面的工作尤其具有影響力。
在 OpenAI 工作的任何人都應該認真對待一個事實：他們的行為和言論有助于企業(yè)文化，并且當 OpenAI 開始管理極其先進的能力時，可能會產(chǎn)生積極或消極的路徑依賴。文化對任何機構都很重要，在前沿人工智能的背景下尤其重要，因為大部分決策不是由法規(guī)決定，而是由公司員工決定。
正如我上面提到的以及我的決定所表明的那樣，我認為某些政策研究最好在外部進行。我認為政策研究可能比安全和保障工作更常見，OpenAI 內(nèi)部確實需要一些人推動良好的政策立常
AGI Readiness 團隊發(fā)生了什么？
經(jīng)濟研究團隊直到最近還是由 Pamela Mishkin 領導的 AGI Readiness 子團隊，但現(xiàn)在將由 OpenAI 新任首席經(jīng)濟學家 Ronnie Chatterji 領導。AGI Readiness 團隊的其余成員將分布在其他團隊中。
接下來我要做什么？
我計劃創(chuàng)辦一個新的非營利組織或加入現(xiàn)有的非營利組織，并將從事人工智能政策研究和宣傳工作。我可能會做一些研究和宣傳的結合，但細節(jié)待定，這將取決于未來幾個月我與潛在聯(lián)合創(chuàng)始人和合作者的對話。
我對人工智能政策有何看法？
AI 的經(jīng)濟影響
我認為，在未來幾年（而不是幾十年），人工智能很可能會帶來足夠的經(jīng)濟增長，從而使人們可以輕松地提前退休，過上高標準的生活（假設有適當?shù)恼邅泶_保公平分配這些財富）。在此之前，可能會有一段時期，可以遠程完成的任務更容易實現(xiàn)自動化。在短期內(nèi)，我非常擔心人工智能會擾亂那些迫切想要工作的人的機會，但我同時認為，人類最終應該消除為生活而工作的義務，而這樣做也是構建 AI 和 AGI 的最有力論據(jù)之一。從長遠來看，有些人可能會繼續(xù)工作，但這樣做的動力可能會比以前更弱（這是否正確取決于各種文化和政策因素）。就這件事而言，我們在政治、文化或其他方面都還沒有做好準備，這需要成為政策對話的一部分。簡單地轉向「后工作世界」有可能導致文明停滯（參見《機器人總動員》），我們需要對此進行更多的思考和討論。
我們還需要對人工智能的稅收政策影響進行創(chuàng)新分析。例如，有人建議征收「機器人稅」，但這究竟會產(chǎn)生什么影響？它與計算稅或 AI 增值稅等相比有何不同？我們是否不應該做任何專門針對 AI 的事情，而只需要意識到 AI 會讓其他類型的稅收變得更加緊迫（例如，如果資本和勞動力的回報出現(xiàn)巨大差異）？
加速有益的 AI 應用
雖然 AI 會帶來一些好處，而且這些好處正在「自動」出現(xiàn)（通過許多人的辛勤工作），不需要太多的政府參與或支持，但我認為這種情況還沒有達到足夠的程度。對于從事工業(yè)工作的人來說，我們離理想有多遠是顯而易見的，而受限的 AI 素養(yǎng)和有限的資源又在多大程度上阻礙了 AI 收益的全面普及。
我認為，即使對（幾乎）只專注于降低 AI 風險的人來說，認真考慮 AI 的有益應用也是有意義的，因為它們可能會改變不同競爭方對共同利益的看法，從而影響他們是否傾向于采取捷徑的可能性。而且有益的應用也可能在降低風險方面提供更大的容錯空間（例如，通過使社會對更高級別的人工智能部署或濫用具有更強的適應能力）。
此外，在默認情況下，免費和付費 AI 功能之間的差距很可能會越來越大。曾經(jīng)有一段短暫的時期，這兩者之間是完全等同的（除了次數(shù)限制），比如有段時間 4o 是最好的付費模型，用戶也可以免費使用。但那個時代已經(jīng)過去，很快就會成為遙遠的記憶，因為各家公司都在爭相為愿意支付更多費用的用戶提供 test-time 計算服務。我并不是說不應該存在這樣的差異，而是我們應該深思熟慮，找到合適的平衡點，以及我們是否可能在不知不覺中走向一個知識擁有者和非擁有者的世界。
在我看來，「AI for good」的初衷是好的，但目前卻效率低下，這主要是由于民間社會和政府缺乏足夠的專業(yè)技術知識，以及良好的規(guī)范和理論基矗例如，如果能對以下問題進行更多分析就好了：哪些問題應該 / 不應該期望市場提供解決方案；對于特定問題，是應該構建定制的專用 AI 解決方案，還是應該提高通用 AI 系統(tǒng)處理這些問題的能力；何時應該補貼現(xiàn)有技術，何時應該創(chuàng)造全新的技術等。
當然，也有一些令人興奮的新想法和新框架被提出來，但我們也希望看到圍繞這些更大的問題進行更多的辯論（除了為促進特定有益應用而采取的一次性舉措之外），我們也希望看到「AI for good」社區(qū)、更注重理論的群體（他們正在思考風險敏感型創(chuàng)新、「d/acc」和社會對人工智能影響的適應力等想法）以及致力于縮小數(shù)字鴻溝的群體之間進行更多的相互交流。
計算治理
與軟件、數(shù)據(jù)和人才相比，計算硬件具有獨特的屬性，使其成為人工智能政策的一個重要焦點：「它是可檢測、可排除、可量化的，而且是通過極其集中的供應鏈生產(chǎn)出來的」。
學術文獻對計算治理進行了認真的分析，但一般都遠遠落后于產(chǎn)業(yè)界的發(fā)展。例如，對于那些前沿人工智能公司來說，近年來有一個越來越明顯的趨勢，即擴大推理（而不僅僅是訓練）規(guī)�？梢詫崿F(xiàn)更高的性能，但對其政策影響的公開分析直到最近才真正開始。更廣泛地分配計算能力（以及人工智能的相關優(yōu)勢）的想法，例如通過政府為學術界提供更多的計算能力，通常都太少太遲，而且忽視了不斷發(fā)展變化的世界中的特定問題。
我將如何保持獨立性？
我希望這項工作在研究和建議方面是（并且被視為）獨立的，我也希望自己是這樣被看待的，盡管在實踐中這樣做并不容易，同時保持接近人工智能的 SOTA 水平。我將繼續(xù)建設性地與對人工智能有不同看法的部門接觸，包括工業(yè)、學術界、民間社會和政府的人。
OpenAI 表示愿意為這項新工作提供資金、API 額度和早期模型訪問權，并向我保證不會對這項支持進行出版前審查，我對此表示感謝。不過，考慮到接受這些提議可能會損害獨立性的現(xiàn)實和 / 或感知，我還沒有做出任何最終決定。我將與我的同事共同做出決定。
原文鏈接：https://milesbrundage.substack.com/p/why-im-leaving-openai-and-what-im
