在最近上映的《復(fù)仇者聯(lián)盟2：奧創(chuàng)紀元》中，人工智能奧創(chuàng)立志要消滅人類。按照奧創(chuàng)自己的話說，“我本來是被設(shè)計用來拯救世界的”，但它最終得出結(jié)論，“只有一種方式能夠得到安寧：人類滅絕”。
科學(xué)家們在人工智能上取得的進展讓許多人擔(dān)心，我們可能馬上就能創(chuàng)造出比人類更智能的人工智能了。如果人類確實能開發(fā)出超級人工智能，我們怎么才能防范不出現(xiàn)一個奧創(chuàng)紀元呢？這也是牛津大學(xué)人類未來機構(gòu)主席 Nick Bostrom 所關(guān)注的問題。要知道，伊隆·馬斯克、史蒂芬·霍金以及比爾·蓋茨等杰出的科技人士紛紛對其表示了支持。
Bostrom 稱奧創(chuàng)想要通過滅絕人類來拯救世界的行為是“不當實現(xiàn)”，即人工智能通過違反定義其終極目標的程序員的意圖來實現(xiàn)其終極目標。比如，如果有人要求人工智能模仿人笑，人工智能或許會嘗試控制面部神經(jīng)來一直保持微笑。但如果這個人又要求人工智能讓我們快樂，人工智能或許就會在我們的神經(jīng)中樞里植入電極了。
Bostrom 表示，如果沒有經(jīng)過深思熟慮，即便是明顯無害的目標也會毀滅人類。比如，如果一個人工智能的任務(wù)是驗證黎曼假設(shè)，它可能會試圖將整個太陽系變成一臺計算機來實現(xiàn)這一目標，那些關(guān)心這一問題答案的人的身體也會成為這臺計算機的一部分。
管束超級智能正如雷鋒網(wǎng)一篇文章中所言，也許有人會說，笨人工智能的威脅要比超級人工智能的威脅更現(xiàn)實。然而，即便超級人工智能還很遙遠，Bostrom 對此也持謹慎態(tài)度，稱人們不應(yīng)該心存僥幸。笨人工智能也許會犯下戰(zhàn)爭罪行或摧毀股票市場，但超級人工智能也許會終結(jié)文明。Bostrom 表示道：“在某些人創(chuàng)造出超級人工智能之前解決這一問題很關(guān)鍵。我們現(xiàn)在就應(yīng)該開始做這一控制問題的研究，因為我們不知道這一問題究竟有多難，也不知道我們究竟還剩下多少時間來找到一個解決方案。”
Bostrom 表示，防止超級人工智能摧毀世界有兩大類方法。一是控制人工智能的能力，比如防止其連接互聯(lián)網(wǎng)或操縱機械臂等實體。
盡管限制超級人工智能的能力在開發(fā)超級人工智能的初期很有用，“我們不可能永遠限制住超級人工智能”，Bostrom 表示道。比如，超級人工智能也許會找到方法來繞過人類看守員逃出“盒子”。人類不是保安系統(tǒng)，尤其是在對抗超級人工智能時。
修改目標相反，Bostrom 建議塑造超級人工智能想要做的事情，這樣哪怕它們能造成巨大損失，也不會選擇這么干。其中一種方法是直接設(shè)置人工智能需要遵循的規(guī)則，比如艾薩克·阿西莫夫著名的機器人三定律。然而，這涉及到我們該選擇什么規(guī)則來指導(dǎo)人工智能，以及如何以代碼形式表現(xiàn)這些價值。
第二種方法是只給人工智能設(shè)定適當?shù)牟荒敲葱坌牟哪繕�。然而，人們也必須考慮如何讓人工智能對世界產(chǎn)生最小影響。第三種選擇是不創(chuàng)造超級人工智能，確保其天性仁慈，然后再將其補全為超級人工智能，同時確保它不會在這個過程中性情大變。
Bostrom 提到的最后一種方法是，讓超級人工智能自己找到一種讓自己安全的方法。不管怎樣，這種方法需要先開發(fā)出一個能知道我們想要什么，而不是按照我們所說的行事的超級人工智能。
不過，哪怕是這種方法可能也無法阻止機器人滅世。Bostrom 稱：“這還不足以讓人工智能了解我們的價值；其激勵系統(tǒng)也必須以這種方式構(gòu)建，從而讓它有動力去追求我們的價值。”
