最簡(jiǎn)單的神經(jīng)網(wǎng)絡(luò)，僅由一個(gè)“神經(jīng)元”構(gòu)成，所謂神經(jīng)網(wǎng)絡(luò)就是將許多個(gè)單一“神經(jīng)元”聯(lián)結(jié)在一起，這樣，一個(gè)“神經(jīng)元”的輸出就可以是另一個(gè)“神經(jīng)元”的輸入。

　　文章描述采用反向傳播算法訓(xùn)練多層神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)過(guò)程。為了說(shuō)明這個(gè)過(guò)程，使用了具有兩個(gè)輸入和一個(gè)輸出的三層神經(jīng)網(wǎng)絡(luò)，如下圖所示：

　　每個(gè)神經(jīng)元由兩部分組成。第一部分是輸入信號(hào)和權(quán)重系數(shù)的加權(quán)和。第二部分是非線性函數(shù)，稱為神經(jīng)元激活函數(shù)。信號(hào)e是加權(quán)和的輸出（加法器的輸出）信號(hào)。y=f（e）是非線性函數(shù)（元件）的輸出信號(hào)。信號(hào)y也是神經(jīng)元的輸出信號(hào)。

　　要訓(xùn)練神經(jīng)網(wǎng)絡(luò)，我們需要“訓(xùn)練數(shù)據(jù)集”。訓(xùn)練數(shù)據(jù)集是由對(duì)應(yīng)目標(biāo)z（期望輸出）的輸入信號(hào)（x_1和 x_2）組成。神經(jīng)網(wǎng)絡(luò)的訓(xùn)練是一個(gè)迭代過(guò)程。在每個(gè)迭代中，使用來(lái)自訓(xùn)練數(shù)據(jù)集的新數(shù)據(jù)修改網(wǎng)絡(luò)節(jié)點(diǎn)的加權(quán)系數(shù)。整個(gè)迭代由前向計(jì)算和反向傳播兩個(gè)過(guò)程組成。

　　前向計(jì)算：每個(gè)學(xué)習(xí)步驟從來(lái)自訓(xùn)練集的兩個(gè)輸入信號(hào)開(kāi)始。前向計(jì)算完成之后，我們可以確定每層網(wǎng)絡(luò)中每個(gè)神經(jīng)元的輸出信號(hào)值（譯者注：隱藏層神經(jīng)元的誤差是沒(méi)有的，因?yàn)橛?xùn)練數(shù)據(jù)集中沒(méi)有隱藏層的目標(biāo)值）。下圖顯示了信號(hào)如何通過(guò)網(wǎng)絡(luò)傳播，符號(hào)w（xm） 表示網(wǎng)絡(luò)輸入x_m和神經(jīng)元n之間的連接權(quán)重。符號(hào)y_n 表示神經(jīng)元n的輸出信號(hào)。

　　隱藏層信號(hào)傳播。符號(hào)w_mn表示神經(jīng)元m的輸出和后一層神經(jīng)元n的輸入之間的連接權(quán)重 。

　　輸出層信號(hào)傳播：

　　在下一個(gè)算法步驟中，將網(wǎng)絡(luò)y的輸出信號(hào)與訓(xùn)練數(shù)據(jù)集中的輸出值（目標(biāo)）進(jìn)行比較。差異稱為輸出層神經(jīng)元的誤差信號(hào)δ。

　　因?yàn)殡[層神經(jīng)元的輸出值（訓(xùn)練集沒(méi)有隱藏層的目標(biāo)值）是未知的，所以不可能直接計(jì)算內(nèi)部神經(jīng)元的誤差信號(hào)。多年來(lái)，一直沒(méi)有找到訓(xùn)練多層神經(jīng)網(wǎng)絡(luò)的有效方法。直到在八十年代中期，反向傳播算法才被制定出來(lái)。反向傳播算法是將誤差信號(hào)δ（在單個(gè)訓(xùn)練步驟中計(jì)算）傳播回所有神經(jīng)元，對(duì)于神經(jīng)元來(lái)說(shuō)，誤差信號(hào)反向傳播。

　　用于傳播誤差的權(quán)重系數(shù)w_mn等于前向計(jì)算使用的權(quán)重系數(shù)，只是數(shù)據(jù)流的方向改變（信號(hào)從輸出到輸入一個(gè)接一個(gè)地傳播）。該技術(shù)用于所有網(wǎng)絡(luò)層。如果誤差是來(lái)自多個(gè)神經(jīng)元，則把它們加起來(lái)（譯者注：反向來(lái)看，也是加權(quán)和）。下圖所示：

　　計(jì)算每個(gè)神經(jīng)元的誤差信號(hào)，用于修改每個(gè)神經(jīng)元輸入連接的加權(quán)系數(shù)。在下面的公式中， df（e）/de表示神經(jīng)元激活函數(shù)的導(dǎo)數(shù)。影響權(quán)重的因素除了神經(jīng)元激活函數(shù)的導(dǎo)數(shù)之外，還有反向傳播的誤差信號(hào)，以及神經(jīng)元輸入方向連接的前一個(gè)神經(jīng)元。（譯者注：這里忽略了推導(dǎo)過(guò)程，直接給出權(quán)重的修改方法。具體的推導(dǎo)過(guò)程參考我的前一篇文章：《誤差反向傳播算法淺解》。原理是一樣的，影響權(quán)重的三個(gè)因素體現(xiàn)在下面的公式中。）。

　　其中系數(shù)η影響網(wǎng)絡(luò)訓(xùn)練速度。有幾種技術(shù)來(lái)選擇此參數(shù)。第一種方法是開(kāi)始具有較大參數(shù)值。當(dāng)權(quán)重系數(shù)正在建立時(shí)，參數(shù)逐漸減少。第二個(gè)方法是開(kāi)始用小參數(shù)值進(jìn)行訓(xùn)練。在訓(xùn)練過(guò)程中，參數(shù)逐漸增加，然后在最后階段再次下降。開(kāi)始具有低參數(shù)值的訓(xùn)練過(guò)程能夠確定權(quán)重系數(shù)。