本文主要對人工神經(jīng)網(wǎng)絡基礎進行了描述，主要包括人工神經(jīng)網(wǎng)絡的概念、發(fā)展、特點、結構、模型。

本文是個科普文，來自網(wǎng)絡資料的整理。
 

人工神經(jīng)網(wǎng)絡（ArTIficial Neural Network，ANN）簡稱神經(jīng)網(wǎng)絡(NN)，是基于生物學中神經(jīng)網(wǎng)絡的基本原理，在理解和抽象了人腦結構和外界刺激響應機制后，以網(wǎng)絡拓撲知識為理論基礎，模擬人腦的神經(jīng)系統(tǒng)對復雜信息的處理機制的一種數(shù)學模型。該模型以并行分布的處理能力、高容錯性、智能化和自學習等能力為特征，將信息的加工和存儲結合在一起，以其獨特的知識表示方式和智能化的自適應學習能力，引起各學科領域的關注。它實際上是一個有大量簡單元件相互連接而成的復雜網(wǎng)絡，具有高度的非線性，能夠進行復雜的邏輯操作和非線性關系實現(xiàn)的系統(tǒng)。

神經(jīng)網(wǎng)絡是一種運算模型，由大量的節(jié)點（或稱神經(jīng)元）之間相互聯(lián)接構成。每個節(jié)點代表一種特定的輸出函數(shù)，稱為激活函數(shù)（acTIvaTIon funcTIon）。每兩個節(jié)點間的連接都代表一個對于通過該連接信號的加權值，稱之為權重（weight），神經(jīng)網(wǎng)絡就是通過這種方式來模擬人類的記憶。網(wǎng)絡的輸出則取決于網(wǎng)絡的結構、網(wǎng)絡的連接方式、權重和激活函數(shù)。而網(wǎng)絡自身通常都是對自然界某種算法或者函數(shù)的逼近，也可能是對一種邏輯策略的表達。神經(jīng)網(wǎng)絡的構筑理念是受到生物的神經(jīng)網(wǎng)絡運作啟發(fā)而產(chǎn)生的。人工神經(jīng)網(wǎng)絡則是把對生物神經(jīng)網(wǎng)絡的認識與數(shù)學統(tǒng)計模型相結合，借助數(shù)學統(tǒng)計工具來實現(xiàn)。另一方面在人工智能學的人工感知領域，我們通過數(shù)學統(tǒng)計學的方法，使神經(jīng)網(wǎng)絡能夠具備類似于人的決定能力和簡單的判斷能力，這種方法是對傳統(tǒng)邏輯學演算的進一步延伸。

人工神經(jīng)網(wǎng)絡中，神經(jīng)元處理單元可表示不同的對象，例如特征、字母、概念，或者一些有意義的抽象模式。網(wǎng)絡中處理單元的類型分為三類：輸入單元、輸出單元和隱單元。輸入單元接受外部世界的信號與數(shù)據(jù)；輸出單元實現(xiàn)系統(tǒng)處理結果的輸出；隱單元是處在輸入和輸出單元之間，不能由系統(tǒng)外部觀察的單元。神經(jīng)元間的連接權值反映了單元間的連接強度，信息的表示和處理體現(xiàn)在網(wǎng)絡處理單元的連接關系中。人工神經(jīng)網(wǎng)絡是一種非程序化、適應性、大腦風格的信息處理，其本質(zhì)是通過網(wǎng)絡的變換和動力學行為得到一種并行分布式的信息處理功能，并在不同程度和層次上模仿人腦神經(jīng)系統(tǒng)的信息處理功能。

神經(jīng)網(wǎng)絡，是一種應用類似于大腦神經(jīng)突觸連接結構進行信息處理的數(shù)學模型，它是在人類對自身大腦組織結合和思維機制的認識理解基礎之上模擬出來的，它是根植于神經(jīng)科學、數(shù)學、思維科學、人工智能、統(tǒng)計學、物理學、計算機科學以及工程科學的一門技術。

神經(jīng)網(wǎng)絡的發(fā)展有悠久的歷史。其發(fā)展過程大致可以概括為如下4個階段。

1. 第一階段----啟蒙時期

(1)、M-P神經(jīng)網(wǎng)絡模型：20世紀40年代，人們就開始了對神經(jīng)網(wǎng)絡的研究。1943 年，美國心理學家麥克洛奇（Mcculloch）和數(shù)學家皮茲（Pitts）提出了M-P模型，此模型比較簡單，但是意義重大。在模型中，通過把神經(jīng)元看作個功能邏輯器件來實現(xiàn)算法，從此開創(chuàng)了神經(jīng)網(wǎng)絡模型的理論研究。

(2)、Hebb規(guī)則：1949 年，心理學家赫布（Hebb）出版了《The Organization of Behavior》（行為組織學），他在書中提出了突觸連接強度可變的假設。這個假設認為學習過程最終發(fā)生在神經(jīng)元之間的突觸部位，突觸的連接強度隨之突觸前后神經(jīng)元的活動而變化。這一假設發(fā)展成為后來神經(jīng)網(wǎng)絡中非常著名的Hebb規(guī)則。這一法則告訴人們，神經(jīng)元之間突觸的聯(lián)系強度是可變的，這種可變性是學習和記憶的基礎。Hebb法則為構造有學習功能的神經(jīng)網(wǎng)絡模型奠定了基礎。

(3)、感知器模型：1957 年，羅森勃拉特（Rosenblatt）以M-P 模型為基礎，提出了感知器（Perceptron）模型。感知器模型具有現(xiàn)代神經(jīng)網(wǎng)絡的基本原則，并且它的結構非常符合神經(jīng)生理學。這是一個具有連續(xù)可調(diào)權值矢量的MP神經(jīng)網(wǎng)絡模型，經(jīng)過訓練可以達到對一定的輸入矢量模式進行分類和識別的目的，它雖然比較簡單，卻是第一個真正意義上的神經(jīng)網(wǎng)絡。Rosenblatt 證明了兩層感知器能夠?qū)斎脒M行分類，他還提出了帶隱層處理元件的三層感知器這一重要的研究方向。Rosenblatt 的神經(jīng)網(wǎng)絡模型包含了一些現(xiàn)代神經(jīng)計算機的基本原理，從而形成神經(jīng)網(wǎng)絡方法和技術的重大突破。