自 1990 年代以來，計(jì)算機(jī)科學(xué)家一直使用基準(zhǔn)測試任務(wù)評判世界上最強(qiáng)超級計(jì)算機(jī)的性能。每個(gè)月，他們都會(huì)發(fā)布排名前500位的計(jì)算機(jī)，這些超級計(jì)算機(jī)在各國之間的競爭非常激烈。這個(gè)排名的歷史表明，隨著時(shí)間的推移，超級計(jì)算機(jī)的性能按照摩爾定律增長，大約每14個(gè)月翻一番。（摩爾定律，即集成電路上可容納的晶體管數(shù)目，被認(rèn)為大約每隔18個(gè)月可增加一倍，同時(shí)性能也提升一倍）
然而，盡管深度學(xué)習(xí)技術(shù)導(dǎo)致了計(jì)算機(jī)性能的大步變化，但人工智能系統(tǒng)卻沒有同等的排名。這些機(jī)器已經(jīng)被證明能夠在物體識別、中國古代圍棋游戲、許多電子游戲和各種各樣的模式識別等任務(wù)上與人類匹敵，甚至打敗人類。
對于計(jì)算機(jī)科學(xué)家來說，這引發(fā)了一系列問題: 如何衡量這些人工智能系統(tǒng)的性能、如何研究提升速度，以及這些提升是否遵循摩爾定律，甚至超越摩爾定律。
現(xiàn)在，科學(xué)家終于破解了這些問題。英國阿伯丁大學(xué)(University of Aberdeen)的Jaime Sevilla團(tuán)隊(duì)研究了自1959年以來人工智能系統(tǒng)計(jì)算能力的增長方式。該團(tuán)隊(duì)表示，在過去10年里，人工智能系統(tǒng)的性能每六個(gè)月左右就會(huì)翻一番，遠(yuǎn)遠(yuǎn)超越了摩爾定律。
研究人員證實(shí)，這種提升與三個(gè)因素有關(guān)。首先是基于深度學(xué)習(xí)和神經(jīng)網(wǎng)絡(luò)的新算法技術(shù)的發(fā)展。第二個(gè)是訓(xùn)練這些機(jī)器的大型數(shù)據(jù)集的可用性。最后一個(gè)因素是計(jì)算能力的增強(qiáng)。
雖然新數(shù)據(jù)集的影響和改進(jìn)算法的性能很難衡量和排名，但計(jì)算能力相對容易確定。這使Sevilla團(tuán)隊(duì)找到了一種衡量人工智能系統(tǒng)性能的新方法。
他們的方法是測量訓(xùn)練一個(gè)人工智能系統(tǒng)所需的計(jì)算能力。Sevilla和他的同事已經(jīng)完成了123項(xiàng)人工智能系統(tǒng)，在計(jì)算史上取得里程碑式的成就。他們表示，1959年至2010年期間，用于訓(xùn)練人工智能系統(tǒng)的計(jì)算能力每17至29個(gè)月就翻一番。他們稱這個(gè)時(shí)代為前深度學(xué)習(xí)時(shí)代。研究人員認(rèn)為，前深度學(xué)習(xí)時(shí)代的趨勢是大致符合摩爾定律的。
該團(tuán)隊(duì)表示，當(dāng)前深度學(xué)習(xí)時(shí)代通常被認(rèn)為始于2012年，當(dāng)時(shí)創(chuàng)建了一個(gè)名為 AlexNet 的對象識別系統(tǒng)。然而，Sevill團(tuán)隊(duì)也認(rèn)為，人工智能性能的大幅提升可能開始于 2010 年或稍早一點(diǎn)。這標(biāo)志著深度學(xué)習(xí)時(shí)代的開始，此后進(jìn)展迅速。從 2010 年到 2022 年，改善率要高得多，即整體趨勢加快，大約每4到9 個(gè)月翻一番。這種進(jìn)步明顯優(yōu)于摩爾定律。
然而，鑒于芯片本身的改進(jìn)遵循著摩爾定律，這種進(jìn)步是如何實(shí)現(xiàn)的？
這個(gè)問題的答案部分來自于人工智能系統(tǒng)使用了圖形處理單元(GPU)，而不是中央處理單元，這使得他們能夠更有效地并行計(jì)算。這些處理器也可以大規(guī)模地連接在一起。因此，讓人工智能系統(tǒng)超越摩爾定律的另一個(gè)因素是，依賴于更多GPU的機(jī)器越來越大。這一趨勢帶動(dòng)了機(jī)器的發(fā)展，例如分別破解了圍棋和蛋白質(zhì)折疊的AlphaGo和AlphaFold。
該團(tuán)隊(duì)表示，自 2015 年以來，開發(fā)大型機(jī)器已經(jīng)成為一種趨勢，即大規(guī)模時(shí)代與深度學(xué)習(xí)時(shí)代并行，它揭示了人工智能在過去十年左右的巨大投資和成功。
