從受到人類大腦的啟發(fā),到發(fā)展出能夠獲得非凡成就的復雜模型,?神經(jīng)網(wǎng)絡 已經(jīng)走了很長一段路。在接下來的博客中,我們將深入討論神經(jīng)網(wǎng)絡的技術歷程--從基本感知器到先進的深度學習架構,推動人工智能的創(chuàng)新。

人類系統(tǒng)

人類大腦中估計有860億個神經(jīng)元,它們彼此相鄰,通過突觸連接。每個神經(jīng)元通過樹突接收信號,然后通過SOMA處理這些信號,然后將輸出的軸突向下發(fā)送到突觸后神經(jīng)元。這個復雜的網(wǎng)絡是大腦如何能夠處理大量信息和完成極其復雜的任務。

這是在人工智能的神經(jīng)網(wǎng)絡中復制的相同結(jié)構。相互連接的人工神經(jīng)元或節(jié)點能夠處理和傳遞信息;因此,它們構成任何機器學習模型的基本組成部分,以便從數(shù)據(jù)中學習并作出預測或決定。

神經(jīng)網(wǎng)絡在深度學習中的興起

深層次學習是?機器學習 這涉及到使用多層的神經(jīng)網(wǎng)絡--因此是深層的神經(jīng)網(wǎng)絡--來建模數(shù)據(jù)中的復雜模式。計算能力、數(shù)據(jù)可用性和算法創(chuàng)新的增加促進了相對簡單的神經(jīng)模型向深層架構的演變。

感知器:深層次學習的基礎

最簡單的神經(jīng)網(wǎng)絡是?感知器 ,由弗蘭克羅森布拉特在1957年提出。它被用作更復雜架構的基本模塊或構建塊。感知器是一種線性分類器,它映射輸入,X到輸出,Y的步驟如下:

1.加權和

計算輸入的加權和。

z=w T X+B

當W是權重向量時,X是輸入向量,B是偏置向量.

2.激活函數(shù)

對加權和應用激活函數(shù)來產(chǎn)生輸出.

y=?(z)

激活函數(shù)BU通常是二進制分類的一個步驟函數(shù):

感知器類型

1.單層感知器

單層感知器由直接連接到輸入節(jié)點的單層輸出節(jié)點組成。它只能解決線性可分問題。

2. Multi-Layer Perceptron (MLP)

多層感知通過在輸入和輸出層之間添加一個或多個隱藏層來擴展單層感知器。每個層都包含多個神經(jīng)元,激活功能可能是非線性的(例如。,乙狀結(jié)腸。

多層感知器及背向傳播

將隱藏層引入到mps中,可以對復雜的非線性關系進行建模。訓練一個MLP涉及調(diào)整權重和偏差,以盡量減少預測輸出和實際目標之間的錯誤。這是通過反向傳播算法實現(xiàn)的:

1. 前方通行證: 通過圖層傳播輸入來計算網(wǎng)絡的輸出。

2. 損失計算: 計算損失函數(shù)L(例如:,平均平方誤差,交叉熵)來測量預測產(chǎn)出和實際產(chǎn)出之間的差異。

3. 后傳: 使用鏈條規(guī)則計算損失與權重和偏差的梯度。

4. 重量更新: 通過梯度下降調(diào)整權重和偏差。

在哪里 n 是學習率。

深層次學習架構

深層次的學習產(chǎn)生了專門的架構,每個架構都是為具體任務量身定制的:

1.卷繞神經(jīng)網(wǎng)絡

設計為圖像處理,CNN使用卷繞層從輸入圖像中提取空間特征。卷積的數(shù)學運算被定義為:

對于圖像,以離散形式:

2.循環(huán)神經(jīng)網(wǎng)絡

適合連續(xù)數(shù)據(jù),?Rnns 維護一個從以前的時間步驟中捕獲信息的隱藏狀態(tài)。隱藏狀態(tài)h t 更新如下:

應用和影響

深入學習模式在許多工作領域都有所不同:

1. 計算機視覺: 應用包括圖像分類、目標檢測和面部識別.

2. 自然語言處理(NLP) : 在語言翻譯、情感分析和聊天機器人等任務上推動著變化的海洋

3. 保健: 它增加了改進疾病診斷、發(fā)現(xiàn)藥物和提供個性化藥物的可能性。

4. 財務: 改進欺詐檢測、算法交易和風險評估。

結(jié)論

這種從感知到深層次學習的演變,打開了神經(jīng)網(wǎng)絡的潛在能力,在那里復雜的問題甚至無法想象,并在經(jīng)濟的許多部門中形成了創(chuàng)新的趨勢。隨著對研究和技術發(fā)展的高度樂觀,神經(jīng)網(wǎng)絡的未來將使自己在應用中擁有更大的能力。