本文主要對人工神經(jīng)網(wǎng)絡基礎(chǔ)進行了描述，主要包括人工神經(jīng)網(wǎng)絡的概念、發(fā)展、特點、結(jié)構(gòu)、模型。

本文是個科普文，來自網(wǎng)絡資料的整理。
 

人工神經(jīng)網(wǎng)絡（ArTIficial Neural Network，ANN）簡稱神經(jīng)網(wǎng)絡(NN)，是基于生物學中神經(jīng)網(wǎng)絡的基本原理，在理解和抽象了人腦結(jié)構(gòu)和外界刺激響應機制后，以網(wǎng)絡拓撲知識為理論基礎(chǔ)，模擬人腦的神經(jīng)系統(tǒng)對復雜信息的處理機制的一種數(shù)學模型。該模型以并行分布的處理能力、高容錯性、智能化和自學習等能力為特征，將信息的加工和存儲結(jié)合在一起，以其獨特的知識表示方式和智能化的自適應學習能力，引起各學科領(lǐng)域的關(guān)注。它實際上是一個有大量簡單元件相互連接而成的復雜網(wǎng)絡，具有高度的非線性，能夠進行復雜的邏輯操作和非線性關(guān)系實現(xiàn)的系統(tǒng)。

神經(jīng)網(wǎng)絡是一種運算模型，由大量的節(jié)點（或稱神經(jīng)元）之間相互聯(lián)接構(gòu)成。每個節(jié)點代表一種特定的輸出函數(shù)，稱為激活函數(shù)（acTIvaTIon funcTIon）。每兩個節(jié)點間的連接都代表一個對于通過該連接信號的加權(quán)值，稱之為權(quán)重（weight），神經(jīng)網(wǎng)絡就是通過這種方式來模擬人類的記憶。網(wǎng)絡的輸出則取決于網(wǎng)絡的結(jié)構(gòu)、網(wǎng)絡的連接方式、權(quán)重和激活函數(shù)。而網(wǎng)絡自身通常都是對自然界某種算法或者函數(shù)的逼近，也可能是對一種邏輯策略的表達。神經(jīng)網(wǎng)絡的構(gòu)筑理念是受到生物的神經(jīng)網(wǎng)絡運作啟發(fā)而產(chǎn)生的。人工神經(jīng)網(wǎng)絡則是把對生物神經(jīng)網(wǎng)絡的認識與數(shù)學統(tǒng)計模型相結(jié)合，借助數(shù)學統(tǒng)計工具來實現(xiàn)。另一方面在人工智能學的人工感知領(lǐng)域，我們通過數(shù)學統(tǒng)計學的方法，使神經(jīng)網(wǎng)絡能夠具備類似于人的決定能力和簡單的判斷能力，這種方法是對傳統(tǒng)邏輯學演算的進一步延伸。

人工神經(jīng)網(wǎng)絡中，神經(jīng)元處理單元可表示不同的對象，例如特征、字母、概念，或者一些有意義的抽象模式。網(wǎng)絡中處理單元的類型分為三類：輸入單元、輸出單元和隱單元。輸入單元接受外部世界的信號與數(shù)據(jù)；輸出單元實現(xiàn)系統(tǒng)處理結(jié)果的輸出；隱單元是處在輸入和輸出單元之間，不能由系統(tǒng)外部觀察的單元。神經(jīng)元間的連接權(quán)值反映了單元間的連接強度，信息的表示和處理體現(xiàn)在網(wǎng)絡處理單元的連接關(guān)系中。人工神經(jīng)網(wǎng)絡是一種非程序化、適應性、大腦風格的信息處理，其本質(zhì)是通過網(wǎng)絡的變換和動力學行為得到一種并行分布式的信息處理功能，并在不同程度和層次上模仿人腦神經(jīng)系統(tǒng)的信息處理功能。

神經(jīng)網(wǎng)絡，是一種應用類似于大腦神經(jīng)突觸連接結(jié)構(gòu)進行信息處理的數(shù)學模型，它是在人類對自身大腦組織結(jié)合和思維機制的認識理解基礎(chǔ)之上模擬出來的，它是根植于神經(jīng)科學、數(shù)學、思維科學、人工智能、統(tǒng)計學、物理學、計算機科學以及工程科學的一門技術(shù)。

神經(jīng)網(wǎng)絡的發(fā)展有悠久的歷史。其發(fā)展過程大致可以概括為如下4個階段。

1. 第一階段----啟蒙時期

(1)、M-P神經(jīng)網(wǎng)絡模型：20世紀40年代，人們就開始了對神經(jīng)網(wǎng)絡的研究。1943 年，美國心理學家麥克洛奇（Mcculloch）和數(shù)學家皮茲（Pitts）提出了M-P模型，此模型比較簡單，但是意義重大。在模型中，通過把神經(jīng)元看作個功能邏輯器件來實現(xiàn)算法，從此開創(chuàng)了神經(jīng)網(wǎng)絡模型的理論研究。

(2)、Hebb規(guī)則：1949 年，心理學家赫布（Hebb）出版了《The Organization of Behavior》（行為組織學），他在書中提出了突觸連接強度可變的假設(shè)。這個假設(shè)認為學習過程最終發(fā)生在神經(jīng)元之間的突觸部位，突觸的連接強度隨之突觸前后神經(jīng)元的活動而變化。這一假設(shè)發(fā)展成為后來神經(jīng)網(wǎng)絡中非常著名的Hebb規(guī)則。這一法則告訴人們，神經(jīng)元之間突觸的聯(lián)系強度是可變的，這種可變性是學習和記憶的基礎(chǔ)。Hebb法則為構(gòu)造有學習功能的神經(jīng)網(wǎng)絡模型奠定了基礎(chǔ)。

(3)、感知器模型：1957 年，羅森勃拉特（Rosenblatt）以M-P 模型為基礎(chǔ)，提出了感知器（Perceptron）模型。感知器模型具有現(xiàn)代神經(jīng)網(wǎng)絡的基本原則，并且它的結(jié)構(gòu)非常符合神經(jīng)生理學。這是一個具有連續(xù)可調(diào)權(quán)值矢量的MP神經(jīng)網(wǎng)絡模型，經(jīng)過訓練可以達到對一定的輸入矢量模式進行分類和識別的目的，它雖然比較簡單，卻是第一個真正意義上的神經(jīng)網(wǎng)絡。Rosenblatt 證明了兩層感知器能夠?qū)斎脒M行分類，他還提出了帶隱層處理元件的三層感知器這一重要的研究方向。Rosenblatt 的神經(jīng)網(wǎng)絡模型包含了一些現(xiàn)代神經(jīng)計算機的基本原理，從而形成神經(jīng)網(wǎng)絡方法和技術(shù)的重大突破。