1 引言
    人工神經(jīng)網(wǎng)絡最重要的功能之一是分類。對于線性可分問題，采用硬限幅函數(shù)的單個神經(jīng)元，通過簡單的學習算法就可成功實現(xiàn)分類。即對于兩個不同類中的輸入矢量，神經(jīng)元的輸出值為0或1。但對于大多數(shù)非線性可分類，硬限幅神經(jīng)元則無法完成分類功能。自適應線性元件Adaline(Adap-tive LiIlear Element)是一種具有線性功能函數(shù)的神繹元，在實際輸出與理想預期值的最小二乘LMS(Least Mean Square)的統(tǒng)計意義下進行學習，可以實現(xiàn)最佳的非線性可分集合的分類，即按照最小二乘的統(tǒng)計意義要求，實際輸出值與理想預期值之間的誤差均方值為最小，能夠?qū)崿F(xiàn)這一目的算法即稱為最小二乘學習算法或LMS算法。

2 Adaline的LMS算法原理
    設輸入矢量X=[x1，x2，…，xn]，加權矢量W=[ω1，ω2，…，ωn]，則神經(jīng)元的輸出為：

  
    定義ε(k)是理想輸出值d(k)與實際輸出值y(k)之間的誤差，即ε(k)=d(k)-y(k)，其均方值記作E[ε2(k)]，令ζ(k)=E[ε2(k)]，則：
  
    由式(2)可知必定存在最佳的加權矢量W*，使ζ(k)達到最小，此時ζ(k)相對于W的梯度等于零，從而可以得到：

  
    式(3)雖然給出了求最佳加權矢量的方法，但需要大量的統(tǒng)計計算，而且當輸入矢量X的維數(shù)很大時，需要解決高階矩陣求逆問題，這些在數(shù)學計算上都是非常閑難的。

3 隨機逼近LMS學習算法的提出
    為了解決式(3)存在的問題，有學者提出LMS學習問題的嚴格遞推算法和隨機逼近算法，這里簡要描述其算法原理。LMS學習問題的嚴格遞推算法是在任意設置初始加權矢量W(0)時，對于每一個時序變量k，對W調(diào)整：

  
    用這種方法可以保證求得嚴格的最佳解，而且避開矩陣求逆。但學習過程的每一步仍需大量的統(tǒng)計計算，仍需解決統(tǒng)計計算困難。
    LMS學習問題的隨機逼近算法則將權值調(diào)整公式修正為下列形式：

  
    該方法與前一算法區(qū)別在于：用ε(k)X(k)代替E[ε(k)X(k)]，從而避免統(tǒng)計計算的困難，但同時使加權矢量的變化趨向隨機性；步幅α變成一個隨時序k變化的量，可以證明，當α(k)滿足以下條件時，學習是收斂的：α(k)是時序k∞ ∞
的非增函數(shù)；在這樣k=0 k=0的條件下，W(k)隨著k增大而趨向W*的概率為1。

4 隨機逼近LMS算法仿真
    按以下步驟對隨機逼近算法編制程序進行仿真：
    (1)對圖1所示的正弦波和三角波分別進行64點均勻采樣，組成64維輸入樣本矢量。

    (2)W(0)選擇服從(0，1)之間均勻分布的隨機矢量，初始步長參數(shù)α選為0．03，選定誤差的平方臨界值ε02(k)=10-5，將X0，X1交替重復地送入采用線性函數(shù)的神經(jīng)元，反復訓練，直至ε2(k)≤ε02(k)，這樣可以得到誤差平方和學習次數(shù)之間的關系，如圖2所示。
    從圖2中可以看出．當α=0．03時，學習是收斂的，學習次數(shù)k=1 147，學習完成時ε(k)=3．2x10-3，其平方小于所確定的ε02(k)。把X0，X1重新送入神經(jīng)元，計算后得到實際輸出值Y0=0．003 9，Y1=0．999 9，這和預期輸出值相當接近，從而較好完成了X0，X1的分類。
    (3)設置不同的步幅α，分別計算并繪制ε2(k)變化曲線，觀察ε2(k)的收斂性、收斂速度與α的關系，試驗結(jié)果如圖3所示。從圖3中可以看出，當α 很小時，學習收斂，學習速度很慢，且收斂的穩(wěn)定性較好；當α增大，學習仍保持收斂，但學習速度加快，同時穩(wěn)定性降低；當α=0．08時，學習已不再收斂。

    (4)仿真正確性和抗噪性。產(chǎn)生一系列加噪的正弦波和三角波作為輸入矢量，所疊加的噪聲服從正態(tài)分布N(0，σ2)。規(guī)定Pn為正確識別X0的概率，P1 為正確識別X1的概率，ERR為輸出錯誤的個數(shù)(總樣本：1 000)，通過檢測可得表1。由表1可看出，當噪聲的方差σ2較小時，使用隨機逼近算法的Adaline神經(jīng)元幾乎可以無誤地識別輸入矢量；但當噪聲方差逐步加大時，錯判的概率也隨之加大。而在學習收斂的條件下，步幅α對神經(jīng)元輸出的正確性幾乎沒有影響。圖4是總樣本為200時，固定α=0．03．當α2 =3x10-3時的分類結(jié)果示意圖。

5 仿真結(jié)果和分析
    首先對兩種波形進行64點采樣，再利用隨機逼近算法對兩種波形進行分類，這也相當于一個64 維空間中兩個點的分類問題。仿真結(jié)果表明：對于不同的初始步幅α，神經(jīng)元完成學習任務的訓練時間不同；在保證學習收斂性的前提下，α越大，收斂速度越快，但收斂的穩(wěn)定性變差。權矢量的初始值W(0)對學習的收斂性沒有影響。最后，對神經(jīng)元的學習結(jié)果進行檢驗，檢驗結(jié)果驗證了經(jīng)學習訓練后，神經(jīng)元分類的正確性及抗噪性。從網(wǎng)絡的原理可看出，在隨機逼近算法中，若α(k)是時序k的非增函數(shù)，且有

    學習是收斂的。但本仿真中均采用恒定步幅值α，這樣只有在α的值比較小的情況下，才能保證學習收斂。為了改進算法，可采用時變的步幅α(k)=1/pk+q，則既滿足步幅因子收斂的條件，又保證步幅因子在學習開始時較大，而隨著學習的進行逐漸減小。