決策樹（DT）在人工智能中所處的位置：人工智能－－＞機器學(xué)習(xí)－－＞監(jiān)督學(xué)習(xí)－－＞決策樹。決策樹主要用來解決分類和回歸問題，但是決策樹（DT）會產(chǎn)生過擬合現(xiàn)象，導(dǎo)致泛化能力變?nèi)?。過擬合是建立決策樹模型時面臨的重要挑戰(zhàn)之一。鑒于決策樹容易過擬合的缺點，由美國貝爾實驗室大牛們提出了采用隨機森林（RF）投票機制來改善決策樹。隨機森林（RF）則是針對決策樹（DT）的過擬合問題而提出的一種改進方法，而且隨機森林（RF）是一個最近比較火的算法。因此有必要對隨機森林（RF）作進一步探討。＾＿＾

隨機森林（RF）在人工智能中所處的位置：人工智能－－＞機器學(xué)習(xí)－－＞監(jiān)督學(xué)習(xí)－－＞決策樹－－＞隨機森林。

隨機森林（RF）指的是利用多棵樹對樣本進行訓(xùn)練并預(yù)測的一種分類器。該分類器最早由Leo Breiman和Adele Cutler提出，并被注冊成了商標(biāo)。

那么什么是隨機森林？

隨機森林（RandomForests）是一個包含多個決策樹的分類器，并且其輸出的類別是由個別樹輸出的類別的眾數(shù)而定。Leo Breiman和Adele Cutler發(fā)展并推論出隨機森林的算法。隨機森林（RF）這個術(shù)語是1995年由貝爾實驗室的TIn Kam Ho所提出的隨機決策森林（random decision forests）而來的。這個方法則是結(jié)合 Breimans 的 ＂Bootstrap aggregaTIng＂ 想法和 Ho 的＂random subspace method＂以建造決策樹的集合。

通過定義我們知道，隨機森林（RF）要建立了多個決策樹（DT），并將它們合并在一起以獲得更準(zhǔn)確和穩(wěn)定的預(yù)測。隨機森林的一大優(yōu)勢在于它既可用于分類，也可用于回歸問題，這兩類問題恰好構(gòu)成了當(dāng)前的大多數(shù)機器學(xué)習(xí)系統(tǒng)所需要面對的。

隨機森林是集成學(xué)習(xí)的一個子類，它依靠于決策樹的投票選擇來決定最后的分類結(jié)果。集成學(xué)習(xí)通過建立幾個模型組合的來解決單一預(yù)測問題。集成學(xué)習(xí)的簡單原理是生成多個分類器／模型，各自獨立地學(xué)習(xí)和作出預(yù)測。這些預(yù)測最后結(jié)合成單預(yù)測，因此優(yōu)于任何一個單分類的做出預(yù)測。

隨機森林的構(gòu)建過程：

假設(shè)N表示訓(xùn)練用例（樣本）個數(shù)，M表示特征數(shù)目，隨機森林的構(gòu)建過程如下：

1） 輸入特征數(shù)目m，用于確定決策樹上一個節(jié)點的決策結(jié)果；其中m應(yīng)遠小于M。

2） 從N個訓(xùn)練用例（樣本）中以有放回抽樣的方式，取樣N次，形成一個訓(xùn)練集，并用未抽到的用例（樣本）作預(yù)測，評估其誤差。

3） 對于每一個節(jié)點，隨機選擇m個特征，決策樹上每個節(jié)點的決定都是基于這些特征確定的。根據(jù)m個特征，計算其最佳的分裂方式。

4） 每棵樹都會完整成長而不會剪枝，這有可能在建完一棵正常樹狀分類器后會被采用。

5） 重復(fù)上述步驟，構(gòu)建另外一棵棵決策樹，直到達到預(yù)定數(shù)目的一群決策樹為止，即構(gòu)建好了隨機森林。

其中，預(yù)選變量個數(shù)（m）和隨機森林中樹的個數(shù)是重要參數(shù)，對系統(tǒng)的調(diào)優(yōu)非常關(guān)鍵。這些參數(shù)在調(diào)節(jié)隨機森林模型的準(zhǔn)確性方面也起著至關(guān)重要的作用?？茖W(xué)地使用這些指標(biāo)，將能顯著的提高隨機森林模型工作效率。