機(jī)器學(xué)習(xí)算法可以按照不同的標(biāo)準(zhǔn)來進(jìn)行分類。按照訓(xùn)練樣本提供的信息以及反饋方式的不同，將機(jī)器學(xué)習(xí)算法分為監(jiān)督學(xué)習(xí)、無監(jiān)督學(xué)習(xí)和強(qiáng)化學(xué)習(xí)。

監(jiān)督學(xué)習(xí)

監(jiān)督式學(xué)習(xí)(Supervised Learning)，是機(jī)器學(xué)習(xí)的一種方法，可以由訓(xùn)練資料中學(xué)到或建立一個(gè)模式(函數(shù)/learning model)，并依此模式推測新的實(shí)例[12]。訓(xùn)練資料是由輸入物

件(通常是向量)和預(yù)期輸出所組成。函數(shù)的輸出可以是一個(gè)連續(xù)的值，或是預(yù)測一個(gè)分類標(biāo)簽。一個(gè)監(jiān)督式學(xué)習(xí)者的任務(wù)在觀察一些事先標(biāo)記過的訓(xùn)練范例(輸入和預(yù)期輸出)后，去預(yù)測這個(gè)函數(shù)對任何可能出現(xiàn)的輸入的輸出。要達(dá)到此目的，學(xué)習(xí)者必須以“合理”(見歸納偏向)的方式從現(xiàn)有的資料中一般化到非觀察到的情況[13]

根據(jù)標(biāo)簽類型的不同，又可以將其分為分類問題和回歸問題兩類。分類問題的目標(biāo)是通過輸入變量預(yù)測出這一樣本所屬的類別，例如對于植物品種、客戶年齡和偏好的預(yù)測問題都可以被歸結(jié)為分類問題。這一領(lǐng)域中使用最多的模型便是支持向量機(jī)，用于生成線性分類的決策邊界。隨著深度學(xué)習(xí)的發(fā)展，很多基于圖像信號(hào)的分類問題越來越多地使用卷積神經(jīng)網(wǎng)絡(luò)來完成?；貧w主要用于預(yù)測某一變量的實(shí)數(shù)取值，其輸出的不是分類結(jié)果而是一個(gè)實(shí)際的值。常見的例子是包括市場價(jià)格預(yù)測、降水量預(yù)測等。人們主要通過線性回歸、多項(xiàng)式回歸以及核方法等來構(gòu)建回歸模型。

監(jiān)督式學(xué)習(xí)有兩種形態(tài)的模型：一種是全域模型，會(huì)將輸入物件對應(yīng)到預(yù)期輸出;另一種是將這種對應(yīng)實(shí)作在一個(gè)區(qū)域模型(如案例推論及最近鄰居法)。為了解決一個(gè)給定的監(jiān)督式學(xué)習(xí)的問題(手寫辨識(shí))，必須考慮以下步驟：

1)決定訓(xùn)練資料的范例的形態(tài)。在做其它事前，工程師應(yīng)決定要使用哪種資料為范例。譬如，可能是一個(gè)手寫字符，或一整個(gè)手寫的辭匯，或一行手寫文字。

2)搜集訓(xùn)練資料。這資料需要具有真實(shí)世界的特征。所以，可以由人類專家或機(jī)器(或感測器的)測量中得到輸入物件和其相對應(yīng)輸出。

3)決定學(xué)習(xí)函數(shù)的輸入特征的表示法。學(xué)習(xí)函數(shù)的準(zhǔn)確度與輸入的物件的表示方式有很大的關(guān)聯(lián)度。傳統(tǒng)上，輸入的物件會(huì)被轉(zhuǎn)成一個(gè)特征向量，包含了許多關(guān)于描述物件的特征。因?yàn)榫S數(shù)災(zāi)難的存在，特征的個(gè)數(shù)不宜太多，但也要足夠大，才能準(zhǔn)確地預(yù)測輸出。

4)決定要學(xué)習(xí)的函數(shù)和其對應(yīng)的學(xué)習(xí)算法所使用的數(shù)據(jù)結(jié)構(gòu)。譬如，工程師可能選擇人工神經(jīng)網(wǎng)絡(luò)和決策樹。

5)完成設(shè)計(jì)。工程師接著在搜集到的資料上跑學(xué)習(xí)算法?？梢越栌蓪①Y料跑在資料的子集(稱為驗(yàn)證集)或交叉驗(yàn)證(cross-validation)上來調(diào)整學(xué)習(xí)算法的參數(shù)。參數(shù)調(diào)整后，算法可以運(yùn)行在不同于訓(xùn)練集的測試集。

無監(jiān)督學(xué)習(xí)

無監(jiān)督學(xué)習(xí)(Unsupervised Learning)是機(jī)器學(xué)習(xí)的一種方法，沒有給定事先標(biāo)記過的訓(xùn)練示例，自動(dòng)對輸入的數(shù)據(jù)進(jìn)行分類或分群[15]。與監(jiān)督學(xué)習(xí)不同，非監(jiān)督學(xué)習(xí)并不需要完整的輸入輸出數(shù)據(jù)集，并且系統(tǒng)的輸出經(jīng)常是不確定的。它主要被用于探索數(shù)據(jù)中隱含的模式和分布。非監(jiān)督學(xué)習(xí)具有解讀數(shù)據(jù)并從中尋求解決方案的能力，通過將數(shù)據(jù)和算法輸入到機(jī)器中將能發(fā)現(xiàn)一些用其他方法無法見到的模式和信息。

常見的無監(jiān)督學(xué)習(xí)算法包括：稀疏自編碼(sparse auto-encoder)、主成分分析(Principal Component Analysis,PCA)、K-Means算法(K均值算法)、DBSCAN算法(Density-Based Spatial Clustering of Applications with Noise)、最大期望算法(Expectation-Maximization algorithm,EM)等。利用無監(jiān)督學(xué)習(xí)可以解決的問題可以分為關(guān)聯(lián)分析、聚類問題和維度約減。

?關(guān)聯(lián)分析是指發(fā)現(xiàn)不同事物之間同時(shí)出現(xiàn)的概率。在購物籃分析中被廣泛地應(yīng)用，如果發(fā)現(xiàn)買面包的客戶有百分之八十的概率買雞蛋，那么商家就會(huì)把雞蛋和面包放在相鄰的貨架上。

?聚類問題是指將相似的樣本劃分為一個(gè)簇(cluster)。與分類問題不同，聚類問題預(yù)先并不知道類別，自然訓(xùn)練數(shù)據(jù)也沒有類別的標(biāo)簽。

?維度約減是指減少數(shù)據(jù)維度的同時(shí)保證不丟失有意義的信息。利用特征提取方法和特征選擇方法，可以達(dá)到維度約減的效果。特征選擇是指選擇原始變量的子集。特征提取是將數(shù)據(jù)從高維度轉(zhuǎn)換到低維度。廣為熟知的主成分分析算法就是特征提取的方法。

強(qiáng)化學(xué)習(xí)

強(qiáng)化學(xué)習(xí)(Reinforcement learning,RL)是機(jī)器學(xué)習(xí)中的一個(gè)領(lǐng)域，強(qiáng)調(diào)如何基于環(huán)境而行動(dòng)才能取得最大化的預(yù)期利益。其靈感來源于心理學(xué)中的行為主義理論，即有機(jī)體如何在環(huán)境給予的獎(jiǎng)勵(lì)或懲罰的刺激下，逐步形成對刺激的預(yù)期，產(chǎn)生能獲得最大利益的習(xí)慣性行為。這個(gè)方法具有普適性，因此在其他許多領(lǐng)域都有研究，例如博弈論、控制論、運(yùn)籌學(xué)、信息論、仿真優(yōu)化、多主體系統(tǒng)學(xué)習(xí)、群體智能、統(tǒng)計(jì)學(xué)以及遺傳算法。在運(yùn)籌學(xué)和控制理論研究的語境下，強(qiáng)化學(xué)習(xí)被稱作“近似動(dòng)態(tài)規(guī)劃”。在最優(yōu)控制理論中也有研究這個(gè)問題，雖然大部分的研究是關(guān)于最優(yōu)解的存在和特性，并非是學(xué)習(xí)或者近似方面。在經(jīng)濟(jì)學(xué)和博弈論中，強(qiáng)化學(xué)習(xí)被用來解釋在有限理性的條件下如何出現(xiàn)平衡[17]。強(qiáng)化學(xué)習(xí)一般由5個(gè)構(gòu)成要素，包括：系統(tǒng)環(huán)境(System Environment)、參與者(Agent)、觀察(Observation)、行動(dòng)(Action)和獎(jiǎng)勵(lì)(Reward)。強(qiáng)化學(xué)習(xí)是參與者為了最大化長期回報(bào)的期望，通過觀察系統(tǒng)環(huán)境不斷試錯(cuò)進(jìn)行學(xué)習(xí)的過程[18]。從強(qiáng)化學(xué)習(xí)的定義可以看

出，強(qiáng)化學(xué)習(xí)具有兩個(gè)最主要的特征：通過不斷試錯(cuò)來學(xué)習(xí)、追求長期回報(bào)的最大化。在監(jiān)督學(xué)習(xí)或非監(jiān)督學(xué)習(xí)中，數(shù)據(jù)是靜態(tài)的，不需要與環(huán)境進(jìn)行交互，比如圖像識(shí)別，只要給出足夠的差異樣本，將數(shù)據(jù)輸入深度網(wǎng)絡(luò)中進(jìn)行訓(xùn)練即可。然而，強(qiáng)化學(xué)習(xí)的學(xué)習(xí)過程是動(dòng)態(tài)的、不斷交互的，所以需要的數(shù)據(jù)也是通過與環(huán)境不斷交互而產(chǎn)生的。