人工神經(jīng)網(wǎng)絡簡介
二十世紀是科學技術大發(fā)展的世紀，是人類文明的新篇章。經(jīng)過近半個世紀的努力探索，一門嶄新的向人類自身大腦學習的新學科--人工神經(jīng)網(wǎng)絡（Artificial Neural Network, ANN），已經(jīng)誕生并正在茁壯成長。它是當今世界關注的高科技熱點，并開始顯示出美好的廣闊的應用前景。
一 當代信息高科技熱點--神經(jīng)網(wǎng)絡
自80年代中后期以來，全世界特別是一些工業(yè)發(fā)達國家，掀起了一股競相研究開發(fā)神經(jīng)網(wǎng)絡的熱潮。
在神經(jīng)網(wǎng)絡這個涉及多種學科的新的高科技領域中，吸引了眾多的神經(jīng)生理學家、心理學家、數(shù)理科學家、計算機與信息科學家，以及工程師和企業(yè)家等。大量的有關神經(jīng)網(wǎng)絡機理、模型、算法、特性分析，以及在各方面應用的學術論文，象雨后春筍般涌現(xiàn)在報刊雜志上和許多學術會議中。一時神經(jīng)網(wǎng)絡以及建立在神經(jīng)網(wǎng)絡原理基礎上的神經(jīng)計算機（Neurocomputer），成為當代高科技領域中方興未艾的競爭熱點。
人工神經(jīng)網(wǎng)絡應用于化工領域主要是：譜圖分析、結構與性能預測、信號處理、過程控制、故障診斷和化學反應產物估計等。關于過程控制和事故診斷是化工界非常重要的應用領域。用神經(jīng)網(wǎng)絡及時報告生產工況并進行控制信息反饋。國外已有人將神經(jīng)網(wǎng)絡用在蒸餾塔中，預測穩(wěn)態(tài)下的可能故障。
二 腦神經(jīng)信息處理機制
腦是人體的中樞神經(jīng)系統(tǒng)。外界環(huán)境以聲、光、熱化學分子等形式的信號，作用于人的感覺器官，形成聽覺、視覺、嗅覺和觸覺。感覺器官接受到的信號，以串并聯(lián)的方式，將信號傳至大腦，如下圖所示：
生理物理學家認為，神經(jīng)元是大腦的基本加工單元。大腦大約包含1012個神經(jīng)元，每個神經(jīng)元大約與102-104個其它神經(jīng)元相連接，形成極為復雜又靈活多樣的神經(jīng)網(wǎng)絡。
神經(jīng)元有興奮和抑制兩種狀態(tài)，每一個神經(jīng)元都是在與之相連的興奮性突觸（Synapse，神經(jīng)鍵是神經(jīng)元與其它神經(jīng)元的聯(lián)系部分）和抑制性突觸綜合作用下活動的。它的興奮和抑制狀態(tài)又對其它神經(jīng)元產生影響。當大量的興奮性突觸進行活動時，神經(jīng)元的膜電位升高超過一定的閾值后，神經(jīng)元就被激勵，細胞體產生信息輸出，此狀態(tài)相當于計算機中的"1"，當大量的抑制性突觸影響超過興奮性突觸影響時，神經(jīng)元膜電位降低，使神經(jīng)元受到抑制而不發(fā)生沖動，從而無信息輸出，此狀態(tài)相當于計算機中的"0"。
由于腦神經(jīng)系統(tǒng)按大量神經(jīng)元連成網(wǎng)絡的形式，所產生的連接主義（Connectionism）機制呈現(xiàn)出下面幾方面的特征：
1、處理信息的高度并行性
相當于統(tǒng)籌法的平行作業(yè)法。其特別是用一定的空間復雜性來有效地減低時間復雜性。如果我們將現(xiàn)行計算機按串行順序執(zhí)行已編程序的解題方法比擬為排隊投票來決定問題的話，那么，神經(jīng)網(wǎng)絡的信息處理方式就相當于眾多神經(jīng)元舉手表決，因而能以迅速得多的方式作出判斷或求得解答。
2、信息處理和信息存儲合二為一
神經(jīng)元既是信息處理單元，又是信息存儲單元。信息處理的結果，反映在突觸連接強度的變化上，作為神經(jīng)元間連接鍵的突觸，既是信號轉換站，又是信息存儲器。這種信息處理和存儲的合一，使人在思考和回憶事情時，就用不著像現(xiàn)行計算機那樣先找存儲地址，而后再提取存儲內容。也正是由于這個特別，人腦在回憶問題時，具有從部分信息恢復全部信息的能力。
例如在神經(jīng)網(wǎng)絡中要保存"他是工人"這樣一個概念，就需要有一個神經(jīng)元代表"他"，一個神經(jīng)元代表"工人"另一個神經(jīng)元代表"是"。當這三個神經(jīng)元之間的連接強度都同時使神經(jīng)元激勵時，便代表這個概率的輸出。如果要增加新的"知識"，神經(jīng)網(wǎng)絡就必需加入另外的神經(jīng)元及它與各神經(jīng)元之間的連接，數(shù)以萬計的神經(jīng)元互相連接，便構成了神經(jīng)網(wǎng)絡。
3、能接受和處理模擬的、模糊的和隨機的信息
人類從感觀所接受的視覺信息、聽覺信息和味覺信息等都是連續(xù)的，所見到的環(huán)境景物和所聽到的語言音響都帶有模糊的性質，每天所遇到的要解決的問題往往也都是隨機的。人類的腦神經(jīng)系統(tǒng)能得心應手地處理大量連續(xù)的、模糊的和隨機的信息，而現(xiàn)行計算機是難以具備這種智能和。
4、求滿意解而不是求精確解
人類的日常信息處理和運動控制，例如行走、拿取東西、用語言表達意見等，都不是按最優(yōu)或最精確的方式去求解，而是以能解決問題為原則，即求滿意解就可以。這也是電脈沖信號傳遞速度并不算快的腦神經(jīng)網(wǎng)絡，在識別決策智能方面遠快于光速傳遞信號的現(xiàn)行計算機的重要原因。
5、具有自組織自學習能力
腦神經(jīng)網(wǎng)絡可以根據(jù)外界環(huán)境輸入信息，改變突觸連接強度，重新安排神經(jīng)元的相互關系，從而達到自適應于環(huán)境變化的目的。
三 神經(jīng)網(wǎng)絡的多學科性
神經(jīng)網(wǎng)絡是一門涉及學科非常廣的新興高科技。概括起來，它與下列學科領域有著十分密切的關系。
1、神經(jīng)生理學科
若使人工神經(jīng)網(wǎng)絡能夠向生物神經(jīng)網(wǎng)絡學習，就必須通過神經(jīng)解剖學來了解神經(jīng)系統(tǒng)的結構，了解腦信息活動的生理特征，它是如何接收信息、傳遞信息和存儲信息的。研究表明，神經(jīng)系統(tǒng)是一個有層次的、多單元的動態(tài)信息處理系統(tǒng)，它接受生物體內外環(huán)境的輸入信息，加以綜合分析處理，然后調節(jié)控制機體對環(huán)境作出適當反應。
2、認知科學
認知科學對腦中物理平面到認知平面的映像表達、編碼理論、符號方法等一系列心理活動的觀點和方法進行研究。其中連接主義原理頗廣泛地為人們所重視和引用。按照這個原理，神經(jīng)網(wǎng)絡中所有處理器（即神經(jīng)元）的數(shù)字化活動形成一個巨大的狀態(tài)矢量空間�？刂铺幚砥飨嗷プ饔玫姆匠贪ㄟB接權值，這種權值在訓練過程中按照學習規(guī)則變化。
人工神經(jīng)網(wǎng)絡根據(jù)連接主義原理來模擬人腦神經(jīng)系統(tǒng)的活動。這種模擬模型中突出巨量并行性(Massively Parallelism)和信息分布存儲及處理兩大特點。
3、數(shù)理科學
神經(jīng)網(wǎng)絡運算操作和性態(tài)分析中，需要用到多方面的數(shù)學工具和物理原理。由于神經(jīng)網(wǎng)絡輸入--輸出函數(shù)的非線性特性，所建立的網(wǎng)絡模型具有非線性動態(tài)系統(tǒng)特性，方程迭代求解的收斂性分析，解的存在性和全局性、穩(wěn)定性等，要用到李雅普諾夫(Lyapunov)函數(shù)（關于穩(wěn)定性的判別準則）和相平面方法。
為了使迭代解能跳出局部極小而收斂至全局性的最優(yōu)解，常利用波耳茨曼機(Boltzmann machine)原理進行模擬退火(Simulated Annealing)，或采用帶噪聲干擾項的隨機模型。
此外，線性代數(shù)、組合數(shù)學、計算復雜性理論也常常要用到。
從物理學方面來說，熵(Entyopy)的概念、混沌(Chaos)現(xiàn)象，最小能量函數(shù)這些概念，都在神經(jīng)網(wǎng)絡的性態(tài)和求解分析過程中出現(xiàn)。（混沌現(xiàn)象的特征：對初值的敏感性，亦即軌道的不穩(wěn)定性。）
4、信息論與計算機科學
已有人將神經(jīng)網(wǎng)絡組合優(yōu)化問題，等效為信息論中的編碼問題。根據(jù)最小計算能量函數(shù)來求定優(yōu)化解的問題，可以從漢明(Hamming)距離來進行分析。（Hamming網(wǎng)絡常用于各種檢測問題。Hamming距離意指在兩個二進制信號a=(a1,…,an)與b=(b1,…,bn)中能使不等式ai≠bi成立的i(1≤I≤n)的個數(shù)。）當我們按照神經(jīng)網(wǎng)絡信息處理的原則來構造神經(jīng)計算機時，所有現(xiàn)行計算機科學與工程技術問題都可資借鑒。
另外，當由現(xiàn)有的電子、光子元件過渡到更深層次的分子器件、量子器件來構造神經(jīng)網(wǎng)絡時，還將涉及更多的微觀世界的知識。
四 神經(jīng)網(wǎng)絡的學習機理
人工神經(jīng)網(wǎng)絡是對生物神經(jīng)系統(tǒng)的模擬。其信息處理功能是由網(wǎng)絡的單元（神經(jīng)元）的輸入輸出特性（激活特性）、網(wǎng)絡的拓撲結構（神經(jīng)元的連接方式）、連接權的大小（突觸聯(lián)系強度）和神經(jīng)元的閾值（可視作特殊的連接權）所決定的。一般而言，神經(jīng)網(wǎng)絡在拓撲結構固定時，其學習歸結為連接權的變化。
1、學習算法
到目前為止，已經(jīng)出現(xiàn)許多神經(jīng)網(wǎng)絡模型及相應的學習算法。對學習算法的分類也有多種：
�。�1）聯(lián)想式與非聯(lián)想式學習
聯(lián)想即為映射，它將有限個輸入矢量變換成事先給定的矢量，若要求記憶具有容錯能力，那么輸入矢量鄰域同的一切矢量也都應該變換到相應輸出矢量的某個鄰域內。信息論認為，聯(lián)想即從信息的一種表示獲得另一種表示，從部分信息恢復整體信息。
�。�2）監(jiān)督與無監(jiān)督學習
監(jiān)督學習或稱有導師學習，這時利用給定的樣本標準進行分類或模仿，另一種是無監(jiān)督學習或稱無導師學習，這時只規(guī)定學習方式或某些規(guī)則，而具體的學習內容隨系統(tǒng)所處環(huán)境（即輸入信號情況）而異，系統(tǒng)可以自動發(fā)現(xiàn)環(huán)境特征和規(guī)律性，具有更近似于人腦的功能。
（3）階層式與相互連接式學習
相互連接式學習，即每個神經(jīng)元都和所有其它神經(jīng)元相連接，全互連網(wǎng)絡。而階層式學習，神經(jīng)元是分層排列的。
2、學習規(guī)則
幾種具有普通意義的學習規(guī)則為：
�。�1）隨機型學習(Stochastic learning)
