G ltz 和 Kriener 等人對陰陽數(shù)據(jù)集中的數(shù)據(jù)點進(jìn)行分類
說到大腦計算，時間就是一切。這就是神經(jīng)元連接到電路中的方式。這就是這些電路如何處理高度復(fù)雜的數(shù)據(jù)，從而導(dǎo)致可能意味著生死的行為。這就是我們的大腦如何做出瞬間決定的方式，即使面對全新的環(huán)境也是如此。我們這樣做不會因為大量的能源消耗而燒毀大腦。
換句話說，大腦是一個非常強(qiáng)大的計算機(jī)來模仿的一個很好的例子計算機(jī)科學(xué)家和工程師已經(jīng)邁出了第一步。神經(jīng)形態(tài)計算領(lǐng)域希望通過新穎的硬件芯片和軟件算法來重建大腦的架構(gòu)和數(shù)據(jù)處理能力。它可能是通往真正人工智能的途徑。
但是缺少一個關(guān)鍵要素。大多數(shù)為神經(jīng)形態(tài)芯片提供動力的算法只關(guān)心每個人工神經(jīng)元的貢獻(xiàn)即它們彼此連接的強(qiáng)度，稱為“突觸權(quán)重”。缺少的但等同于我們大腦的內(nèi)部工作是時間。
本月，隸屬于歐盟旗艦大數(shù)據(jù)神經(jīng)科學(xué)項目“人腦計劃”的一個團(tuán)隊為神經(jīng)擬態(tài)算法添加了時間元素。然后在物理硬件（BrainScaleS-2神經(jīng)形態(tài)平臺）上實施結(jié)果，并與最先進(jìn)的 GPU 和傳統(tǒng)的神經(jīng)形態(tài)解決方案進(jìn)行對比。
作者說：“與深度學(xué)習(xí)中使用的抽象神經(jīng)網(wǎng)絡(luò)相比，更多的生物原型……在性能和可擴(kuò)展性方面仍然落后”，因為它們固有的復(fù)雜性。
蘇黎世大學(xué)和瑞士蘇黎世聯(lián)邦理工學(xué)院的 Charlotte Frenkel 博士說，在幾項測試中，該算法“在準(zhǔn)確性、延遲和能源效率方面”與標(biāo)準(zhǔn)基準(zhǔn)測試進(jìn)行了比較，他沒有參與這項研究. 通過在神經(jīng)形態(tài)計算中添加時間組件，我們可以迎來一個高效 AI 的新時代，從靜態(tài)數(shù)據(jù)任務(wù)（例如圖像識別）轉(zhuǎn)向更好地封裝時間的任務(wù)。想想視頻、生物信號或大腦對計算機(jī)的語音。
對于主要作者 Mihai Petrovici 博士來說，潛力是雙向的。“我們的工作不僅對神經(jīng)形態(tài)計算和受生物啟發(fā)的硬件感興趣。它還承認(rèn)需要……將所謂的深度學(xué)習(xí)方法轉(zhuǎn)移到神經(jīng)科學(xué)，從而進(jìn)一步揭開人腦的秘密，”他說。
讓我們談?wù)劶夥?/p>
新算法的根源是大腦計算的一個基本原則：尖峰。
讓我們來看看一個高度抽象的神經(jīng)元。它就像一個tootsie卷，有一個球狀的中間部分，兩側(cè)是兩個向外延伸的包裝紙。一側(cè)是輸入一棵從前一個神經(jīng)元接收信號的復(fù)雜樹。另一個是輸出，使用裝滿化學(xué)物質(zhì)的氣泡狀船向其他神經(jīng)元發(fā)出信號，這反過來又在接收端觸發(fā)電響應(yīng)。
關(guān)鍵是：要使整個序列發(fā)生，神經(jīng)元必須“尖峰”。當(dāng)且僅當(dāng)神經(jīng)元接收到足夠高的輸入水平（一種很好的內(nèi)置降噪機(jī)制）時，球狀部分會產(chǎn)生一個尖峰，沿著輸出通道向下傳播以提醒下一個神經(jīng)元。
但是神經(jīng)元不僅僅使用一個尖峰來傳達(dá)信息。相反，它們按時間順序飆升。把它想象成摩爾斯電碼：電爆發(fā)發(fā)生的時間攜帶著大量的數(shù)據(jù)。它是神經(jīng)元連接到電路和層次結(jié)構(gòu)的基礎(chǔ)，從而實現(xiàn)高能效處理。
那么為什么不對神經(jīng)形態(tài)計算機(jī)采用相同的策略呢？
斯巴達(dá)式大腦芯片
與繪制單個人工神經(jīng)元的尖峰（一項艱巨的任務(wù)）不同，該團(tuán)隊專注于一個指標(biāo)：神經(jīng)元激活需要多長時間。
“首次尖峰時間”代碼背后的想法很簡單：神經(jīng)元尖峰所需的時間越長，其活動水平就越低。與計數(shù)尖峰相比，這是一種對神經(jīng)元活動進(jìn)行編碼的極其稀疏的方式，但也有好處。因為只有到神經(jīng)元第一次啟動時的延遲才用于編碼激活，所以它可以捕獲神經(jīng)元的響應(yīng)，而不會用太多數(shù)據(jù)點壓倒計算機(jī)。換句話說，它快速、節(jié)能且簡單。
該團(tuán)隊接下來將算法編碼到一個神經(jīng)形態(tài)芯片BrainScaleS-2 上，它大致模擬了其結(jié)構(gòu)內(nèi)部的簡單“神經(jīng)元”，但運(yùn)行速度比我們的生物大腦快 1000 多倍。該平臺擁有超過 500 個物理人工神經(jīng)元，每個神經(jīng)元能夠通過可配置的突觸接收 256 個輸入，生物神經(jīng)元在此處交換、處理和存儲信息。
設(shè)置是混合的。“學(xué)習(xí)”是在實現(xiàn)時間相關(guān)算法的芯片上實現(xiàn)的。然而，神經(jīng)回路的任何更新即一個神經(jīng)元與另一個神經(jīng)元的連接強(qiáng)度都是通過外部工作站實現(xiàn)的，這被稱為“在環(huán)訓(xùn)練”。
在第一次測試中，該算法接受了“陰陽”任務(wù)的挑戰(zhàn)，該任務(wù)要求算法解析傳統(tǒng)東方符號中的不同區(qū)域。該算法表現(xiàn)出色，平均準(zhǔn)確率為 95%。
該團(tuán)隊接下來用經(jīng)典的深度學(xué)習(xí)任務(wù)MNIST挑戰(zhàn)了設(shè)置，MNIST是一個手寫數(shù)字?jǐn)?shù)據(jù)集，徹底改變了計算機(jī)視覺。該算法再次表現(xiàn)出色，準(zhǔn)確率接近 97%。更令人印象深刻的是，BrainScaleS-2 系統(tǒng)用不到一秒的時間對 10,000 個測試樣本進(jìn)行分類，相對能耗極低。
將這些結(jié)果放入上下文中，該團(tuán)隊接下來將采用新算法的 BrainScaleS-2 的性能與商業(yè)和其他神經(jīng)形態(tài)平臺進(jìn)行了比較。以SpiNNaker 為例，這是一種大規(guī)模并行分布式架構(gòu)，它也模擬神經(jīng)計算和峰值。新算法在圖像識別方面的速度提高了 100 多倍，而消耗的功率僅為 SpiNNaker 的一小部分。類似的結(jié)果也出現(xiàn)在 True North，即 IBM 神經(jīng)形態(tài)芯片的先驅(qū)。
接下來是什么？
大腦的兩個最有價值的計算功能能源效率和并行處理現(xiàn)在極大地激發(fā)了下一代計算機(jī)芯片的發(fā)展。目標(biāo)？構(gòu)建與我們自己的大腦一樣靈活和適應(yīng)性強(qiáng)的機(jī)器，同時僅使用我們當(dāng)前基于硅的芯片所需的一小部分能量。
然而，與依賴人工神經(jīng)網(wǎng)絡(luò)的深度學(xué)習(xí)相比，生物學(xué)上合理的深度學(xué)習(xí)已經(jīng)衰落了。Frenkel 解釋說，部分原因是通過學(xué)習(xí)來“更新”這些電路的難度。但是，有了 BrainScaleS-2 和一些計時數(shù)據(jù)，現(xiàn)在就可以了。
同時，擁有一個“外部”仲裁器來更新突觸連接，讓整個系統(tǒng)有時間喘口氣。神經(jīng)形態(tài)硬件，類似于我們大腦計算的混亂，充滿了不匹配和錯誤。借助芯片和外部仲裁器，整個系統(tǒng)可以學(xué)會適應(yīng)這種可變性，并最終補(bǔ)償甚至利用其怪癖以實現(xiàn)更快、更靈活的學(xué)習(xí)。
對于 Frenkel 來說，該算法的強(qiáng)大之處在于它的稀疏性。她解釋說，大腦由稀疏代碼驅(qū)動，“可以解釋快速反應(yīng)時間……例如視覺處理。” 不需要激活整個大腦區(qū)域，只需要幾個神經(jīng)網(wǎng)絡(luò)就像在空曠的高速公路上呼嘯而過，而不是在高峰時段的交通中陷入困境。
盡管它很強(qiáng)大，但該算法仍然存在問題。盡管它在時間序列方面表現(xiàn)出色，例如語音或生物信號，但它很難解釋靜態(tài)數(shù)據(jù)。但對 Frenkel 來說，這是一個新框架的開始：重要的信息可以用靈活但簡單的指標(biāo)進(jìn)行編碼，并進(jìn)行概括，以豐富基于大腦和 AI 的數(shù)據(jù)處理，而只需傳統(tǒng)能源成本的一小部分。
“[它]……可能是刺激神經(jīng)形態(tài)硬件的重要墊腳石，最終證明其優(yōu)于傳統(tǒng)神經(jīng)網(wǎng)絡(luò)方法的競爭優(yōu)勢，”她說。
