光子盒研究院出品
近日,人工智能牢霸輿論。
OpenAI的ChatGPT以及MidJourney和Stable Diffusion等圖片生成的人工智能系統(tǒng)讓更多人對高級人工智能感興趣,并談?wù)撍。這是件好事;不過,如果未來二三十年發(fā)生的轉(zhuǎn)型變化讓我們大多數(shù)人措手不及,那就不妙了。
有一家公司開拓高級人工智能的時(shí)間比大多數(shù)公司都長IBM。近日,IBM最資深的高管之一Alessandro Curioni,討論了IBM目前在人工智能、量子計(jì)算和相關(guān)領(lǐng)域的項(xiàng)目。
Alessandro Curioni已經(jīng)在IBM工作了25年。他是IBM研究員、IBM研究部主任,以及歐洲和非洲的副總裁。
IBM的巨大挑戰(zhàn)
20世紀(jì)70年代以來,IBM一直在致力于計(jì)算的未來。
它發(fā)布了一系列令人印象深刻的產(chǎn)品,比如Deep Blue在1996年的國際象棋比賽中擊敗了Gary Kasparov,Watson在2011年的電視問答節(jié)目《危險(xiǎn)》中擊敗了Ken Jennings。最近,在2018年,該公司開發(fā)了一臺機(jī)器,能夠在與世界辯論冠軍的辯論中堅(jiān)持自己的觀點(diǎn)。
這些機(jī)器中的第一個(gè)是基于規(guī)則的,后來的機(jī)器使用深度學(xué)習(xí),創(chuàng)建了在大量數(shù)據(jù)上訓(xùn)練的模型。另一個(gè)范式轉(zhuǎn)變現(xiàn)在正在發(fā)生:大型語言模型(LLM)或基礎(chǔ)模型的到來,它們使用一種自我監(jiān)督技術(shù)來進(jìn)行訓(xùn)練。該系統(tǒng)將從網(wǎng)絡(luò)上獲取大量的句子:數(shù)以千億計(jì),從每個(gè)句子中隨機(jī)屏蔽一個(gè)詞,并嘗試猜測這個(gè)詞是什么。隨著時(shí)間的推移,系統(tǒng)會建立一個(gè)模型,知道哪些詞會出現(xiàn)在哪些句子中。訓(xùn)練過程的這種自動化是一個(gè)重大的進(jìn)步,并且,由于今天有大量的數(shù)據(jù)和計(jì)算能力而成為可能。
事實(shí)證明,這種方法并不限于文本。它可以用于任何類型的結(jié)構(gòu)化數(shù)據(jù),包括圖像、視頻或計(jì)算機(jī)代碼;或者由工業(yè)流程產(chǎn)生的數(shù)據(jù)流;或者科學(xué)的語言:翻譯成符號的分子。
建立專業(yè)化、大型語言模型
IBM正在建立大型的語言模型,但是為了特定的應(yīng)用,而不是像ChatGPT那樣的通用用途。
例如,它正在建立專門用于有機(jī)化學(xué)和商業(yè)的系統(tǒng)。通用系統(tǒng)的弱點(diǎn)是它們很膚淺。他們可以回答大多數(shù)高水平的問題,但如果深入了解,他們就會迷失方向。更加專業(yè)化的機(jī)器可以更深入,而且不那么脆。專業(yè)化往往意味著你可以獲得質(zhì)量更好的數(shù)據(jù),而且你可以更容易地消除偏見。
ChatGPT比GPT-3表現(xiàn)更好的原因之一是有人類反饋的強(qiáng)化學(xué)習(xí)(RLHF)。創(chuàng)建這些系統(tǒng)的OpenAI聘請了大量的人對系統(tǒng)的輸出進(jìn)行評論,并相應(yīng)地標(biāo)注有偏見或冒犯性的段落。這確實(shí)促使人們調(diào)侃說,AI代表的不是人工智能,而是負(fù)擔(dān)得起的印度人;不過,人類是在訓(xùn)練過程中被使用的,而不是在操作中。
IBM希望證明,它可以在某一特定領(lǐng)域開發(fā)一個(gè)大型模型,然后在該領(lǐng)域內(nèi)的客戶機(jī)構(gòu)的專有數(shù)據(jù)上進(jìn)行訓(xùn)練。與舊的方法(為每個(gè)應(yīng)用開發(fā)一個(gè)新的模型)相比,這將是成本和可持續(xù)性方面的重大改進(jìn)。
提升人工智能效率:更高效的芯片設(shè)計(jì)
IBM正在尋求提高人工智能和計(jì)算的效率和可持續(xù)性的另一個(gè)領(lǐng)域是芯片設(shè)計(jì)。
大型語言模型正在接近人腦內(nèi)部的計(jì)算規(guī)模,但它們使用的能量與一個(gè)小鎮(zhèn)相同,而大腦使用的能量與燈泡相同。Curioni說,IBM正在采取三個(gè)步驟來減少先進(jìn)的人工智能系統(tǒng)的電力需求:
第一步是神經(jīng)形態(tài)芯片。如IBM的True North和Loihi,它們比傳統(tǒng)的芯片設(shè)計(jì)更接近人類神經(jīng)元的模型。它們的計(jì)算不那么精確,而且更加模擬。
第二步是憶阻器(Memristor),在同一芯片上進(jìn)行處理和存儲,這減少了在計(jì)算之間檢索和重新存儲數(shù)據(jù)的能量。
第三步是脈沖神經(jīng)網(wǎng)絡(luò)(Spiking Neural Network, SNN),它只在需要其特定功能時(shí)傳輸信息,而在傳統(tǒng)芯片中,每個(gè)神經(jīng)元一直在傳輸信息。
這三個(gè)步驟加在一起,可以使能源效率提高兩到四個(gè)數(shù)量級。
量子計(jì)算的突破
IBM目前可能沒有被視為人工智能的全球領(lǐng)導(dǎo)者,但它被公認(rèn)為處于前列的一個(gè)領(lǐng)域是量子計(jì)算,與谷歌和微軟并列。它剛剛宣布了在量子密碼學(xué)方面的突破,這將使今天正在傳輸?shù)臄?shù)據(jù)保持安全,即使量子計(jì)算機(jī)被制造出來,可以打破今天的加密。運(yùn)行Shor算法的量子計(jì)算機(jī)可以有效地對數(shù)字進(jìn)行因式分解,當(dāng)它們擴(kuò)大規(guī)模時(shí),它們將能夠?qū)Ψ浅4蟮臄?shù)字進(jìn)行因式分解,而經(jīng)典機(jī)器無法在合理的時(shí)間內(nèi)完成。
IBM和一些學(xué)術(shù)伙伴所做的是開發(fā)一種稱為量子安全加密的新型加密方式。它是基于高維晶格密碼學(xué)的,據(jù)信它不能被量子計(jì)算機(jī)破解。在過去的十年中,進(jìn)行了一項(xiàng)大型研究計(jì)劃,以評估許多潛在的量子安全加密類型,去年7月,出現(xiàn)了四種算法是最強(qiáng)的。這四種算法中的三種是在蘇黎世的Curioni實(shí)驗(yàn)室開發(fā)的,而獲勝者剛剛被選中。
下一步是將數(shù)據(jù)從舊的加密形式遷移到這種新形式。
這項(xiàng)任務(wù)正變得緊迫。美國政府已經(jīng)指示,其所有機(jī)構(gòu)必須在2025年前實(shí)現(xiàn)量子安全,其他政府和公司也在這樣做;IBM的突破可能來得正是時(shí)候。
參考鏈接:
https://www.forbes.com/sites/calumchace/2023/01/19/ibm-and-the-grand-challenges-of-ai-and-quantum-computing/?sh=701f0e1d75e6