劃重點
01未來芯片可能走向神經(jīng)擬態(tài)計算，模仿大腦的硬件設(shè)計和算法方法，以提高計算效率和能源利用率。
02神經(jīng)形態(tài)計算的一種方法是創(chuàng)建非常簡單、抽象的生物神經(jīng)元和突觸模型，如IBM的Hermes芯片。
03另一方面，模擬方法使用先進的材料，可以存儲0到1之間的連續(xù)電導值，并執(zhí)行多級處理。
04由于此，神經(jīng)形態(tài)計算在邊緣應(yīng)用中具有優(yōu)勢，如手機、自動駕駛汽車和店內(nèi)安全攝像頭等。
05目前，AI模型過于復雜，無法在傳統(tǒng)CPU或GPU上運行，需要新一代電路來運行這些龐大的模型。
以上內(nèi)容由騰訊混元大模型生成，僅供參考
本文由半導體產(chǎn)業(yè)縱橫（ID：ICVIEWS）綜合
未來的芯片可能會從我們的大腦結(jié)構(gòu)中汲取靈感。
神經(jīng)形態(tài)計算是一種旨在模仿大腦的硬件設(shè)計和算法方法。這一概念并不是描述一個精確的復制品，一個充滿合成神經(jīng)元和人工灰質(zhì)的機器人大腦。相反，從事這一領(lǐng)域的專家正在設(shè)計一個計算系統(tǒng)的所有層來反映大腦的效率。與傳統(tǒng)計算機相比，人腦幾乎不使用任何電力，即使面對模糊或定義不明確的數(shù)據(jù)和輸入，也能有效地解決任務(wù)。
在某些情況下，這些努力仍處于深入研發(fā)階段，目前它們大多存在于實驗室中。但在其中一個案例中，原型性能數(shù)據(jù)表明，受大腦啟發(fā)的計算機處理器很快就會上市。
什么是神經(jīng)形態(tài)計算？
從詞源上講，“神經(jīng)形態(tài)”一詞的字面意思是“大腦或神經(jīng)元形狀的特征”。但這個術(shù)語是否適合該領(lǐng)域或特定處理器可能取決于你問的對象。它可能意味著試圖重現(xiàn)人腦中突觸和神經(jīng)元行為的電路，也可能意味著從大腦處理和存儲信息的方式中獲取概念靈感的計算。
如果聽起來神經(jīng)形態(tài)計算（或大腦啟發(fā)式計算）領(lǐng)域有些懸而未決，那只是因為研究人員在構(gòu)建模擬大腦的計算機系統(tǒng)時采用了截然不同的方法。IBM 研究部門及其他機構(gòu)的科學家多年來一直在努力開發(fā)這些機器，但該領(lǐng)域尚未找到典型的神經(jīng)形態(tài)架構(gòu)。
一種常見的腦啟發(fā)計算方法是創(chuàng)建非常簡單、抽象的生物神經(jīng)元和突觸模型。這些模型本質(zhì)上是使用標量乘法的靜態(tài)非線性函數(shù)。在這種情況下，信息以浮點數(shù)的形式傳播。當信息被放大時，結(jié)果就是深度學習。簡單地說，深度學習是腦啟發(fā)的所有這些數(shù)學神經(jīng)元加起來就是模仿某些大腦功能的東西。
IBM 研究科學家 Abu Sebastian 表示：“在過去十年左右的時間里，這項技術(shù)取得了巨大成功，絕大多數(shù)從事與腦啟發(fā)計算相關(guān)工作的人實際上都在從事與此相關(guān)的工作�！彼硎�，通過結(jié)合神經(jīng)元或突觸動力學進行交流，可以用其他腦啟發(fā)方式來用數(shù)學模擬神經(jīng)元。
另一方面，模擬方法使用先進的材料，可以存儲 0 到 1 之間的連續(xù)電導值，并執(zhí)行多級處理使用歐姆定律進行乘法，并使用基爾霍夫電流總和累積部分和。
片上存儲器如何消除經(jīng)典瓶頸
類腦計算架構(gòu)方法的一個共同特點是片上內(nèi)存，也稱為內(nèi)存計算。與傳統(tǒng)微處理器相比，這是芯片結(jié)構(gòu)的根本性轉(zhuǎn)變。
大腦分為多個區(qū)域和電路，記憶形成和學習（實際上是數(shù)據(jù)處理和存儲）都位于同一位置。傳統(tǒng)計算機并非如此設(shè)置。使用傳統(tǒng)處理器時，內(nèi)存與進行計算的處理器是分開的，信息通過電路在兩者之間來回傳輸。但在包含片上內(nèi)存的神經(jīng)形態(tài)架構(gòu)中，記憶與精細處理緊密相關(guān)，就像在大腦中一樣。
這種架構(gòu)是 IBM 內(nèi)存計算芯片設(shè)計的主要特征，無論是模擬還是數(shù)字。
將計算和內(nèi)存放在一起的理由是，機器學習任務(wù)是計算密集型的，但任務(wù)本身并不一定很復雜。換句話說，有大量稱為矩陣乘法的簡單計算。限制因素不是處理器太慢，而是在內(nèi)存和計算之間來回移動數(shù)據(jù)需要太長時間并消耗太多能量，尤其是在處理繁重的工作負載和基于 AI 的應(yīng)用程序時。這種缺陷被稱為馮諾依曼瓶頸，以自微芯片時代開始以來幾乎每種芯片設(shè)計都采用的馮諾依曼架構(gòu)命名。借助內(nèi)存計算，可以通過從 AI 訓練和推理等數(shù)據(jù)密集型過程中消除這種混亂來節(jié)省大量能源和延遲。
在 AI 推理的情況下，突觸權(quán)重存儲在內(nèi)存中。這些權(quán)重決定了節(jié)點之間的連接強度，在神經(jīng)網(wǎng)絡(luò)的情況下，它們是應(yīng)用于通過它們運行的矩陣乘法運算的值。如果突觸權(quán)重存儲在與處理位置分開的地方，并且必須來回傳送，那么每個操作所花費的能量將始終在某個點穩(wěn)定下來，這意味著更多的能量最終不會帶來更好的性能。塞巴斯蒂安和他的同事開發(fā)了 IBM 的一種受大腦啟發(fā)的芯片Hermes，他們相信他們必須打破移動突觸權(quán)重所造成的障礙。目標是制造性能更高、占用空間更小的 AI 加速器。
“內(nèi)存計算將內(nèi)存和計算之間的物理分離最小化或減少到零，”神經(jīng)形態(tài)設(shè)備和系統(tǒng)小組的 IBM 研究科學家 Valeria Bragaglia 說。
以IBM 的 NrthPole 芯片為例，計算結(jié)構(gòu)是圍繞內(nèi)存構(gòu)建的。但 NorthPole 并沒有像模擬計算那樣將內(nèi)存和計算放在完全相同的空間中，而是將它們交織在一起，因此可以更具體地稱為“近內(nèi)存”。但效果本質(zhì)上是一樣的。
受大腦啟發(fā)的芯片如何模擬神經(jīng)元和突觸
加州理工學院電氣工程研究員卡弗米德 (Carver Mead) 早在 20 世紀 90 年代就對神經(jīng)形態(tài)計算領(lǐng)域產(chǎn)生了巨大影響，當時他和他的同事意識到有可能創(chuàng)建一種在現(xiàn)象學層面上類似于神經(jīng)元放電的模擬設(shè)備。
幾十年后，Hermes 和 IBM 的另一款原型模擬 AI 芯片基本上就是這么做的：模擬單元既執(zhí)行計算，又存儲突觸權(quán)重，就像大腦中的神經(jīng)元一樣。這兩種模擬芯片都包含數(shù)百萬個納米級相變存儲器 (PCM) 設(shè)備，這是一種模擬計算版本的腦細胞。
PCM 設(shè)備通過電流流過它們來分配權(quán)重，從而改變一塊硫?qū)倩锊ＡУ奈锢頎顟B(tài)。當更多的電壓通過它時，這種玻璃會從晶體重新排列成非晶態(tài)固體。這使其導電性降低，從而改變矩陣乘法運算通過它時的值。在軟件中訓練 AI 模型后，所有突觸權(quán)重都存儲在這些 PCM 設(shè)備中，就像記憶存儲在生物突觸中一樣。
“突觸不僅存儲信息，還有助于計算，”IBM 研究科學家 Ghazi Sarwat Syed 說道，他致力于設(shè)計 PCM 中使用的材料和設(shè)備架構(gòu)�！皩τ谀承┯嬎悖缟疃壬窠�(jīng)網(wǎng)絡(luò)推理，在 PCM 中共置計算和內(nèi)存不僅可以克服馮諾依曼瓶頸，而且這些設(shè)備還可以存儲中間值，而不僅僅是典型晶體管的 1 和 0�！� 目標是創(chuàng)建計算精度更高的設(shè)備，可以密集地封裝在芯片上，并且可以用超低電流和功率進行編程。
“此外，我們正在嘗試讓這些設(shè)備更具特色，”他說。“生物突觸可以長時間以非易失性的方式存儲信息，但它們也會發(fā)生短暫的變化。”因此，他的團隊正在研究如何改變模擬內(nèi)存，以更好地模擬生物突觸。一旦你有了這個，你就可以設(shè)計出新的算法來解決數(shù)字計算機難以解決的問題。
Bragaglia 指出，這些模擬設(shè)備的缺點之一是它們目前僅限于推理。“目前還沒有可用于訓練的設(shè)備，因為移動重量的準確性還不夠高，”她說。一旦人工智能模型在數(shù)字架構(gòu)上進行了訓練，重量就可以被固定到 PCM 單元中，但直接通過訓練來改變重量還不夠精確。此外，Syed 表示，PCM 設(shè)備的耐用性不足以讓其電導率改變一萬億次甚至更多次，就像在訓練期間發(fā)生的那樣。
IBM 研究部門的多個團隊正在努力解決材料特性不理想和計算保真度不足造成的問題。其中一種方法涉及新算法，該算法可以解決 PCM 中模型權(quán)重更新期間產(chǎn)生的錯誤。它們?nèi)蕴幱陂_發(fā)階段，但早期結(jié)果表明，很快就可以在模擬設(shè)備上進行模型訓練。
Bragaglia 參與了解決這個問題的材料科學方法：一種稱為電阻式隨機存取存儲器或 RRAM 的不同類型的存儲設(shè)備。RRAM 的工作原理與 PCM 類似，將突觸權(quán)重的值存儲在物理設(shè)備中。原子絲位于絕緣體內(nèi)部的兩個電極之間。在 AI 訓練期間，輸入電壓會改變絲的氧化，從而以非常精細的方式改變其電阻并且在推理過程中，該電阻被讀取為權(quán)重。這些單元以交叉陣列的形式排列在芯片上，形成了一個突觸權(quán)重網(wǎng)絡(luò)。到目前為止，這種結(jié)構(gòu)已經(jīng)顯示出在模擬芯片中執(zhí)行計算的同時保持更新靈活性的前景。這是在 IBM 的幾個研究團隊經(jīng)過多年的材料和算法共同優(yōu)化后才實現(xiàn)的。
除了存儲記憶的方式之外，一些神經(jīng)形態(tài)計算機芯片中數(shù)據(jù)流動的方式可能與傳統(tǒng)芯片中的流動方式存在根本區(qū)別。在典型的同步電路（大多數(shù)計算機處理器）中，數(shù)據(jù)流基于時鐘，具有連續(xù)振蕩電流來同步電路的動作。時鐘可以有不同的結(jié)構(gòu)和多層，包括時鐘倍頻器，使微處理器能夠以不同于電路其余部分的速率運行。但從根本上講，即使沒有數(shù)據(jù)正在處理，事情也會發(fā)生。
Syed 表示，生物學采用的是事件驅(qū)動的脈沖。“我們的神經(jīng)細胞很少進行交流，這就是我們?nèi)绱烁咝У脑颍彼a充道。換句話說，大腦只在必須工作時才工作，因此通過采用這種異步數(shù)據(jù)處理流，人工模擬可以節(jié)省大量能源。
不過，IBM 研究部門研發(fā)的所有三款受大腦啟發(fā)的芯片均采用標準時鐘流程進行設(shè)計。
在其中一個案例中，IBM 研究人員表示，他們在邊緣和數(shù)據(jù)中心應(yīng)用方面取得了重大進展。IBM 研究員 Dharmendra Modha 表示：“我們希望從大腦中學習，但我們希望以數(shù)學的方式從大腦中學習，同時針對硅進行優(yōu)化�！彼膶嶒炇议_發(fā)了 NorthPole，它不是通過晶體管物理學模擬神經(jīng)元和突觸的現(xiàn)象，而是以數(shù)字方式捕捉它們的近似數(shù)學。NorthPole 采用公理化設(shè)計，并融合了受大腦啟發(fā)的低精度；分布式、模塊化、核心陣列，在核心內(nèi)部和核心之間具有大規(guī)模計算并行性；近計算內(nèi)存；以及片上網(wǎng)絡(luò)。NorthPole 還從 TrueNorth 的脈沖神經(jīng)元和異步設(shè)計轉(zhuǎn)變?yōu)橥皆O(shè)計。
TrueNorth是一款實驗性處理器，也是更為復雜且可供商業(yè)化的 NorthPole 的早期跳板。對于這款處理器，莫德哈和他的團隊意識到，事件驅(qū)動的脈沖使用硅基晶體管的效率很低。大腦中的神經(jīng)元以大約 10 赫茲（每秒 10 次）的頻率發(fā)射，而當今的晶體管以千兆赫為單位運行 - IBM 的 Z 16 中的晶體管以 5 GHz 運行，MacBook 的六核 Intel Core i7 中的晶體管以 2.6 GHz 運行。如果人腦中的突觸以與筆記本電腦相同的速率運作，“我們的大腦就會爆炸”，賽義德說。在諸如 Hermes 之類的神經(jīng)形態(tài)計算機芯片中 - 或受大腦啟發(fā)的芯片（如 NorthPole）中，目標是將數(shù)據(jù)處理方式的生物啟發(fā)與 AI 應(yīng)用程序所需的高帶寬操作相結(jié)合。
由于他們選擇放棄類似神經(jīng)元的脈沖和其他模仿大腦物理的特征，莫德哈表示，他的團隊更傾向于使用“大腦啟發(fā)”計算一詞，而不是“神經(jīng)形態(tài)”。他預計 NorthPole 有很大的發(fā)展空間，因為他們可以以純數(shù)學和以應(yīng)用為中心的方式調(diào)整架構(gòu)，以獲得更多收益，同時還可以利用硅片的擴展和從用戶反饋中吸取的教訓。數(shù)據(jù)顯示，他們的策略奏效了：在莫德哈團隊的最新成果中，NorthPole 對 30 億參數(shù)模型的推理速度比下一個最節(jié)能的 GPU 快 46.9 倍，能效比下一個最低延遲的 GPU 高 72.7 倍。
邊緣思考：神經(jīng)形態(tài)計算應(yīng)用
Syed 表示，研究人員可能仍在定義什么是神經(jīng)形態(tài)計算，或者構(gòu)建大腦啟發(fā)電路的最佳方法，但他們傾向于認為它非常適合邊緣應(yīng)用手機、自動駕駛汽車和其他可以利用預先訓練的模型進行快速、高效的 AI 推理的應(yīng)用。Sebastian 表示，在邊緣使用 PCM 芯片的一個好處是，它們可以非常小巧、性能高且價格低廉。
Modha 表示，機器人應(yīng)用可能非常適合大腦啟發(fā)式計算，以及視頻分析，例如店內(nèi)安全攝像頭。Bragaglia 表示，將神經(jīng)形態(tài)計算應(yīng)用于邊緣應(yīng)用可以幫助解決數(shù)據(jù)隱私問題，因為設(shè)備內(nèi)推理芯片意味著數(shù)據(jù)不需要在設(shè)備之間或云端來回傳輸，即可進行 AI 推理。
無論最終哪種腦啟發(fā)式處理器或神經(jīng)形態(tài)處理器勝出，研究人員也一致認為，目前的 AI 模型過于復雜，無法在傳統(tǒng) CPU 或 GPU 上運行。需要有新一代電路來運行這些龐大的模型。
“這是一個非常激動人心的目標，”Bragaglia說�！斑@非常困難，但非常令人興奮。而且它正在進展中�！�
*聲明：本文系原作者創(chuàng)作。文章內(nèi)容系其個人觀點，我方轉(zhuǎn)載僅為分享與討論，不代表我方贊成或認同，如有異議，請聯(lián)系后臺。
