在過去十年左右的時間里，研究人員已經(jīng)開發(fā)了多種基于人工神經(jīng)網(wǎng)絡(luò)（ANN）的計算模型。盡管已發(fā)現(xiàn)許多這些模型在特定任務(wù)上表現(xiàn)良好，但它們并不總是能夠識別可應(yīng)用于新問題的迭代，順序或算法策略。
NHC體系結(jié)構(gòu)。
過去的研究發(fā)現(xiàn)，添加外部存儲器組件可以提高神經(jīng)網(wǎng)絡(luò)獲取這些策略的能力。但是，即使使用外部存儲器，它們也容易出錯，對提供給他們的數(shù)據(jù)變化敏感，并且需要大量的訓(xùn)練數(shù)據(jù)才能很好地發(fā)揮作用。
達(dá)姆施塔特技術(shù)大學(xué)的研究人員最近推出了一種新的基于記憶增強(qiáng)的基于ANN的體系結(jié)構(gòu)，該體系結(jié)構(gòu)可以學(xué)習(xí)解決問題的抽象策略。這種結(jié)構(gòu)在將算法計算與依賴于數(shù)據(jù)的操作分開，將算法處理的信息流劃分為兩個不同的“流”。
研究人員在論文中寫道：“擴(kuò)展具有外部記憶的神經(jīng)網(wǎng)絡(luò)已經(jīng)提高了他們學(xué)習(xí)這種策略的能力，但是它們?nèi)匀蝗菀壮霈F(xiàn)數(shù)據(jù)變化，難以學(xué)習(xí)可擴(kuò)展和可轉(zhuǎn)移的解決方案，并且需要大量的訓(xùn)練數(shù)據(jù)。” “我們提出了神經(jīng)哈佛計算機(jī)，這是一種基于內(nèi)存的基于網(wǎng)絡(luò)的體系結(jié)構(gòu)，該體系結(jié)構(gòu)通過將算法操作與數(shù)據(jù)操作解耦而采用抽象，通過拆分信息流和分離的模塊來實現(xiàn)。”
神經(jīng)哈佛計算機(jī)或NHC將輸入算法的信息流分為兩個不同的流，即數(shù)據(jù)流（包含特定于數(shù)據(jù)的操作）和控制流（包含算法操作）。最終，它可以區(qū)分與數(shù)據(jù)相關(guān)的模塊和算法模塊，從而創(chuàng)建兩個獨(dú)立但又耦合的存儲器。
NHC具有三個主要的算法模塊，分別稱為控制器，存儲器和總線。這三個組件具有不同的功能，但彼此交互以獲取可應(yīng)用于將來任務(wù)的抽象。研究人員在論文中解釋說：“這種抽象機(jī)制和進(jìn)化訓(xùn)練使學(xué)習(xí)健壯和可擴(kuò)展的算法解決方案成為可能。”
研究人員通過使用NHC訓(xùn)練和運(yùn)行11種不同的算法來評估NHC。然后，他們測試了這些算法的性能，以及它們的泛化和抽象能力。研究人員發(fā)現(xiàn)，NHC可以可靠地運(yùn)行所有11種算法，同時還可以使它們在比最初訓(xùn)練要完成的任務(wù)復(fù)雜的任務(wù)上表現(xiàn)出色。“在11種復(fù)雜程度各異的算法中，我們證明NHC可靠地學(xué)習(xí)了具有強(qiáng)大概括性和抽象性的算法解決方案，可以完美地概括和擴(kuò)展到任意任務(wù)配置和復(fù)雜性，而這些復(fù)雜性和復(fù)雜性遠(yuǎn)遠(yuǎn)超出了訓(xùn)練期間所看到的，并且與數(shù)據(jù)無關(guān)表示法和任務(wù)領(lǐng)域”，
該研究人員小組最近進(jìn)行的研究證實了使用外部存儲組件來增強(qiáng)復(fù)雜程度不同的任務(wù)中基于神經(jīng)網(wǎng)絡(luò)的體系結(jié)構(gòu)的性能和可推廣性的潛力。將來，NHC體系結(jié)構(gòu)可用于合并和改進(jìn)不同ANN的功能，從而幫助開發(fā)可識別有用策略的模型，從而基于新數(shù)據(jù)做出準(zhǔn)確的預(yù)測。
