機器學(xué)習(xí)(Machine Learning, ML)是一門多領(lǐng)域交叉學(xué)科，涉及概率論、統(tǒng)計學(xué)、逼近論、凸分析、算法復(fù)雜度理論等多門學(xué)科。專門研究計算機怎樣模擬或?qū)崿F(xiàn)人類的學(xué)習(xí)行為，以獲取新的知識或技能，重新組織已有的知識結(jié)構(gòu)使之不斷改善自身的性能。

它是人工智能的核心，是使計算機具有智能的根本途徑，其應(yīng)用遍及人工智能的各個領(lǐng)域，它主要使用歸納、綜合而不是演繹。

綜合考慮各種學(xué)習(xí)方法出現(xiàn)的歷史淵源、知識表示、推理策略、結(jié)果評估的相似性、研究人員交流的相對集中性以及應(yīng)用領(lǐng)域等諸因素。將機器學(xué)習(xí)方法[1]區(qū)分為以下六類：

1）經(jīng)驗性歸納學(xué)習(xí) (empirical inducTIve learning)

經(jīng)驗性歸納學(xué)習(xí)采用一些數(shù)據(jù)密集的經(jīng)驗方法（如版本空間法、ID3法，定律發(fā)現(xiàn)方法）對例子進(jìn)行歸納學(xué)習(xí)。其例子和學(xué)習(xí)結(jié)果一般都采用屬性、謂詞、關(guān)系等符號表示。它相當(dāng)于基于學(xué)習(xí)策略分類中的歸納學(xué)習(xí)，但扣除聯(lián)接學(xué)習(xí)、遺傳算法、加強學(xué)習(xí)的部分。

2）分析學(xué)習(xí)（analyTIc learning）

分析學(xué)習(xí)方法是從一個或少數(shù)幾個實例出發(fā)，運用領(lǐng)域知識進(jìn)行分析。其主要特征為：

推理策略主要是演繹，而非歸納；

使用過去的問題求解經(jīng)驗（實例）指導(dǎo)新的問題求解，或產(chǎn)生能更有效地運用領(lǐng)域知識的搜索控制規(guī)則。

分析學(xué)習(xí)的目標(biāo)是改善系統(tǒng)的性能，而不是新的概念描述。分析學(xué)習(xí)包括應(yīng)用解釋學(xué)習(xí)、演繹學(xué)習(xí)、多級結(jié)構(gòu)組塊以及宏操作學(xué)習(xí)等技術(shù)。

3）類比學(xué)習(xí)

它相當(dāng)于基于學(xué)習(xí)策略分類中的類比學(xué)習(xí)。在這一類型的學(xué)習(xí)中比較引人注目的研究是通過與過去經(jīng)歷的具體事例作類比來學(xué)習(xí)，稱為基于范例的學(xué)習(xí)(case_based learning)，或簡稱范例學(xué)習(xí)。

4）遺傳算法（geneTIc algorithm）

遺傳算法模擬生物繁殖的突變、交換和達(dá)爾文的自然選擇（在每一生態(tài)環(huán)境中適者生存）。它把問題可能的解編碼為一個向量，稱為個體，向量的每一個元素稱為基因，并利用目標(biāo)函數(shù)（相應(yīng)于自然選擇標(biāo)準(zhǔn)）對群體（個體的集合）中的每一個個體進(jìn)行評價，根據(jù)評價值（適應(yīng)度）對個體進(jìn)行選擇、交換、變異等遺傳操作，從而得到新的群體。遺傳算法適用于非常復(fù)雜和困難的環(huán)境，比如，帶有大量噪聲和無關(guān)數(shù)據(jù)、事物不斷更新、問題目標(biāo)不能明顯和精確地定義，以及通過很長的執(zhí)行過程才能確定當(dāng)前行為的價值等。同神經(jīng)網(wǎng)絡(luò)一樣，遺傳算法的研究已經(jīng)發(fā)展為人工智能的一個獨立分支，其代表人物為霍勒德（J.H.Holland）。

5）聯(lián)接學(xué)習(xí)

典型的聯(lián)接模型實現(xiàn)為人工神經(jīng)網(wǎng)絡(luò)，其由稱為神經(jīng)元的一些簡單計算單元以及單元間的加權(quán)聯(lián)接組成。

6）增強學(xué)習(xí)（reinforcement learning）

增強學(xué)習(xí)的特點是通過與環(huán)境的試探性（trial and error）交互來確定和優(yōu)化動作的選擇，以實現(xiàn)所謂的序列決策任務(wù)。在這種任務(wù)中，學(xué)習(xí)機制通過選擇并執(zhí)行動作，導(dǎo)致系統(tǒng)狀態(tài)的變化，并有可能得到某種強化信號（立即回報），從而實現(xiàn)與環(huán)境的交互。強化信號就是對系統(tǒng)行為的一種標(biāo)量化的獎懲。系統(tǒng)學(xué)習(xí)的目標(biāo)是尋找一個合適的動作選擇策略，即在任一給定的狀態(tài)下選擇哪種動作的方法，使產(chǎn)生的動作序列可獲得某種最優(yōu)的結(jié)果（如累計立即回報最大）。

在綜合分類中,經(jīng)驗歸納學(xué)習(xí)、遺傳算法、聯(lián)接學(xué)習(xí)和增強學(xué)習(xí)均屬于歸納學(xué)習(xí)，其中經(jīng)驗歸納學(xué)習(xí)采用符號表示方式，而遺傳算法、聯(lián)接學(xué)習(xí)和加強學(xué)習(xí)則采用亞符號表示方式；分析學(xué)習(xí)屬于演繹學(xué)習(xí)。

實際上，類比策略可看成是歸納和演繹策略的綜合。因而最基本的學(xué)習(xí)策略只有歸納和演繹。

從學(xué)習(xí)內(nèi)容的角度看，采用歸納策略的學(xué)習(xí)由于是對輸入進(jìn)行歸納，所學(xué)習(xí)的知識顯然超過原有系統(tǒng)知識庫所能蘊涵的范圍,所學(xué)結(jié)果改變了系統(tǒng)的知識演繹閉包, 因而這種類型的學(xué)習(xí)又可稱為知識級學(xué)習(xí);而采用演繹策略的學(xué)習(xí)盡管所學(xué)的知識能提高系統(tǒng)的效率，但仍能被原有系統(tǒng)的知識庫所蘊涵,即所學(xué)的知識未能改變系統(tǒng)的演繹閉包,因而這種類型的學(xué)習(xí)又被稱為符號級學(xué)習(xí)。