（來源：MIT TR）
被稱為現(xiàn)代人工智能領(lǐng)域的“教父”之一、身為圖靈獎得主的 Yoshua Bengio，正在全力支持一個為人工智能系統(tǒng)嵌入安全機制的項目，該項目由英國政府出資。
這個名為“安全守護 AI”（Safeguarded AI）的項目旨在構(gòu)建一個人工智能系統(tǒng)，能夠檢查在關(guān)鍵領(lǐng)域部署的其他 AI 系統(tǒng)的安全性。Bengio 將作為科學(xué)總監(jiān)加入這一項目，并將提供關(guān)鍵性意見和科學(xué)建議。該項目將在未來四年獲得 5900 萬英鎊的資金，這些資金來自英國高級研究與發(fā)明署（Advanced Research and Invention Agency, ARIA），該機構(gòu)于去年一月成立，目的是投資具有潛在變革性的科學(xué)研究。
相關(guān)項目（來源：ARIA）
“安全守護 AI”的目標是構(gòu)建能夠提供定量保證的人工智能系統(tǒng)，例如風(fēng)險評分，以評估其對現(xiàn)實世界的影響，根據(jù) ARIA 的“安全守護 AI”計劃負責(zé)人 David Dalrymple 所說，該想法是利用數(shù)學(xué)分析來補充人工測試，評估新系統(tǒng)的潛在危害。
該項目希望通過結(jié)合本質(zhì)上是世界模擬的科學(xué)模型與數(shù)學(xué)證明相結(jié)合，來構(gòu)建 AI 安全機制。這些證明將包括對 AI 工作的解釋，而人類的任務(wù)是驗證 AI 模型的安全檢查是否正確。
Bengio 表示，他希望確保未來的 AI 系統(tǒng)不會帶來嚴重損害。“我們正沖向一片迷霧，迷霧背后可能就是懸崖，”他說，“我們不知道懸崖有多遠，甚至不確定是否存在這樣的懸崖，這可能是幾年后，也可能是幾十年后的事情，我們也不知道它會有多么嚴重……我們需要開發(fā)工具來驅(qū)散這片迷霧，確保我們不會沖向懸崖。”
“科技公司目前無法在數(shù)學(xué)上確保 AI 系統(tǒng)會按照預(yù)定的方式運行，”他補充道，“這種不可靠可能會導(dǎo)致災(zāi)難性的后果。”
Dalrymple 和 Bengio 認為，當(dāng)前用來緩解高級 AI 系統(tǒng)風(fēng)險的技術(shù)手段（例如紅隊測試，即人們探測人工智能系統(tǒng)是否存在缺陷），存在嚴重的局限性，不能完全依賴它們來確保關(guān)鍵系統(tǒng)不偏離軌道。
相反，他們希望該計劃能提供新的方式來保障 AI 系統(tǒng)的安全，減少對人力的依賴，更多地依賴數(shù)學(xué)確定性。他們的愿景是建立一個“守門員” AI，負責(zé)理解和降低其他 AI 代理的安全風(fēng)險。這個守門員 AI 將確保那些在高風(fēng)險領(lǐng)域運作的 AI 代理，如交通或能源系統(tǒng)，能夠按預(yù)期運行。Dalrymple 說，該計劃的想法是盡早與企業(yè)合作，了解 AI 安全機制如何適用于不同的行業(yè)。
Bengio 認為高級系統(tǒng)的復(fù)雜性意味著我們別無選擇，只能使用 AI 來保障 AI 的安全。“這是唯一的方法，因為到了某個階段，當(dāng)這些 AI 變得過于復(fù)雜，即使是現(xiàn)在我們所擁有的 AI，也無法真正將答案分解成人類可以理解的推理步驟序列。”他說。
下一步是實際構(gòu)建能夠檢查其他 AI 系統(tǒng)的模型，這也是“安全守護 AI”和 ARIA 希望改變 AI 行業(yè)現(xiàn)狀的地方。
ARIA 還向運輸、電信、供應(yīng)鏈和醫(yī)學(xué)研究等高風(fēng)險行業(yè)的個人或組織提供資金，幫助他們開發(fā)可能受益于 AI 安全機制的應(yīng)用程序。第一年的總資金為 540 萬英鎊，之后一年再提供 820 萬英鎊，申請截止日期為 10 月 2 日。
該機構(gòu)也在廣泛尋找有興趣通過非營利組織來構(gòu)建“安全守護 AI”的安全機制的人才。ARIA 預(yù)計將投入高達 1800 萬英鎊設(shè)立這樣一個組織，并將在明年年初接受資金申請。
Dalrymple 表示，該計劃正在尋找提案來啟動一個擁有多元化董事會的非營利組織，該董事會涵蓋許多不同行業(yè)，以便以可靠和可信的方式開展這項工作。這類似于 OpenAI 在改變戰(zhàn)略更加注重產(chǎn)品和利潤之前、最初成立的目的。
該組織的董事會不僅將負責(zé)監(jiān)督 CEO，還將參與決定是否開展某些研究項目，以及是否發(fā)布特定論文和 API，他補充道。
“安全守護 AI”項目是英國將自己定位為“ AI 安全先驅(qū)”這一使命的一部分。2023 年 11 月，該國舉辦了首屆 AI 安全峰會，匯聚了世界領(lǐng)導(dǎo)人和技術(shù)專家討論如何以安全的方式構(gòu)建技術(shù)。
首屆 AI 安全峰會（來源：GOV.UK）
雖然資助計劃傾向于英國本地申請人，但 ARIA 正在全球范圍內(nèi)尋找有興趣來到英國的人才，Dalrymple 說。此外，ARIA 還有一個知識產(chǎn)權(quán)機制，用于資助海外營利性公司，允許版稅回歸英國。
Bengio 主導(dǎo)了《國際高級 AI 安全科學(xué)報告》，該報告涉及 30 個國家以及歐盟和聯(lián)合國。他表示，他被該項目吸引是因為它促進了國際間在 AI 安全方面的合作，而作為 AI 安全的積極倡導(dǎo)者，他曾參與了一個有影響力的游說團體，警告超級智能 AI 可能帶來生存風(fēng)險。
“我們需要將如何應(yīng)對 AI 風(fēng)險的討論擴大到更廣泛的全球參與者，”Bengio 說，“這個項目讓我們更接近這個目標。”
原文鏈接：
https://www.technologyreview.com/2024/08/07/1095879/ai-godfather-yoshua-bengio-joins-uk-project-to-prevent-ai-catastrophes/
