傳統(tǒng)的機(jī)器學(xué)習(xí)模型和人工智能技術(shù)往往存在一個(gè)嚴(yán)重的缺陷:它們?nèi)狈Σ淮_定性的量化。這些模型通常提供點(diǎn)估計(jì),而不考慮預(yù)測的不確定性。這種限制削弱了評(píng)估模型輸出可靠性的能力。此外,傳統(tǒng)的ML模型缺乏數(shù)據(jù),往往需要正確的標(biāo)記數(shù)據(jù),因此,往往難以解決數(shù)據(jù)有限的問題。此外,這些模型缺乏將專家領(lǐng)域知識(shí)或先前信念納入模型的系統(tǒng)框架。如果沒有利用特定領(lǐng)域的洞察力的能力,模型可能會(huì)忽略數(shù)據(jù)中的關(guān)鍵細(xì)微差別,并傾向于無法發(fā)揮其潛力。毫升模型變得越來越復(fù)雜和不透明,雖然越來越多的人要求在根據(jù)數(shù)據(jù)和大赦國際作出的決定中增加透明度和問責(zé)制。

概率方案擬訂:應(yīng)對(duì)這些挑戰(zhàn)的解決辦法

概率編程提供了一個(gè)解決這些挑戰(zhàn)的建模框架。其核心在于貝葉斯統(tǒng)計(jì)學(xué),它與統(tǒng)計(jì)學(xué)的頻率解釋不同。

貝葉斯統(tǒng)計(jì)

在頻率論統(tǒng)計(jì)中,概率被解釋為一個(gè)事件的長期相對(duì)頻率。數(shù)據(jù)被認(rèn)為是隨機(jī)的,是從固定定義分布中取樣的結(jié)果。因此,測量中的噪聲與采樣的變化有關(guān).頻繁的人相信概率是存在的,是固定的,無限的實(shí)驗(yàn)會(huì)收斂到固定的值。頻率論方法不給參數(shù)分配概率分布,它們對(duì)不確定性的解釋源于估計(jì)值的長期頻率屬性,而不是關(guān)于參數(shù)值的顯式概率語句。

在…中?貝葉斯統(tǒng)計(jì) ,概率被解釋為某一特定信念中的不確定性的尺度。數(shù)據(jù)被認(rèn)為是固定的,而系統(tǒng)的未知參數(shù)被看作是隨機(jī)的變量,并且使用概率分布來建模。貝葉斯方法捕捉參數(shù)本身的不確定性,從而提供了一種更直觀和靈活的不確定性量化方法。

頻率論者與貝葉斯統(tǒng)計(jì)

概率機(jī)器學(xué)習(xí)

在頻率型XML中,模型參數(shù)被看作是固定的,并通過最大似然估計(jì)來估計(jì),在這種情況下,似然函數(shù)量化了觀察統(tǒng)計(jì)模型數(shù)據(jù)的概率。多邊環(huán)境協(xié)議尋求參數(shù)點(diǎn)估計(jì),最大化這一概率。執(zhí)行《多邊環(huán)境法》:

· 假設(shè)一個(gè)模型和基礎(chǔ)模型參數(shù)。

· 推導(dǎo)基于假定模型的可能性函數(shù).

· 優(yōu)化概率函數(shù)以獲得參數(shù)的點(diǎn)估計(jì).

因此,包括深度學(xué)習(xí)在內(nèi)的頻率論模型依賴于優(yōu)化,通常是基于梯度的優(yōu)化,作為其基本工具。

相反,貝葉斯方法模型未知參數(shù)及其與概率分布的關(guān)系 使用貝葉斯定理來計(jì)算和更新這些概率,因?yàn)槲覀儷@得了新的數(shù)據(jù)。

貝葉斯定理: "貝葉斯法則告訴我們?nèi)绾螐囊粋€(gè)連接中推導(dǎo)出條件概率,條件作用告訴我們?nèi)绾卫硇缘馗挛覀兊男拍?而更新信念是學(xué)習(xí)和推理的全部內(nèi)容"[2]。

這是一個(gè)簡單但強(qiáng)大的方程。

· 先前表示對(duì)未知參數(shù)的最初信念

· 可能性表示基于假定模型的數(shù)據(jù)的概率

· 邊緣概率是模型證據(jù),是一個(gè)規(guī)范化系數(shù).

· 后向分布代表了我們對(duì)參數(shù)的最新認(rèn)識(shí),包括了先前的知識(shí)和觀察到的證據(jù)。

貝葉斯機(jī)器學(xué)習(xí)推理是貝葉斯機(jī)器學(xué)習(xí)的基本工具. 后向分布所代表的參數(shù)分布 用于推理,提供了一個(gè)更全面的不確定性的理解。

運(yùn)行中的貝葉斯更新: 下面的圖展示了一個(gè)簡單的拋硬幣實(shí)驗(yàn)的后向分布,它跨越不同的樣本尺寸和兩個(gè)不同的前向分布。這個(gè)可視化提供了對(duì)不同樣本尺寸和先前信念的組合如何影響結(jié)果的后向分布的洞察力。

樣本尺寸和樣本大小對(duì)后向分布的影響

如何模擬后向分布

在大多數(shù)情況下,表面上簡單的后向分布是難以計(jì)算的。特別是分母,即。邊緣似然積分往往是可插入的,特別是在使用更高維度參數(shù)空間時(shí)。在大多數(shù)情況下,沒有封閉形式的解,數(shù)值積分方法也是計(jì)算密集型的。為了應(yīng)對(duì)這個(gè)挑戰(zhàn)我們依靠一類特殊的算法 蒙特卡洛 模擬后向分布的模擬。這里的想法是從后面的分布中取樣,而不是顯式地建模,用這些樣本來表示模型參數(shù)的分布

馬爾可夫鏈蒙特卡洛(MMC)

" MMC方法包括一類從概率分布抽樣的算法.通過構(gòu)造以理想分布為均衡分布的馬爾可夫鏈,可以通過記錄來自該鏈的狀態(tài)來獲得所需分布的樣本 "[3]。一些常用的McMC采樣器是:

· 黑斯廷斯大都會(huì)

· 吉布斯采樣器

· 哈密頓指數(shù)蒙特卡洛(HMC)

· 無U型采樣器(堅(jiān)果)

· 連續(xù)蒙特卡洛

概率編程

概率規(guī)劃是貝葉斯統(tǒng)計(jì)的方案編制框架。它涉及語言的語法和語義的發(fā)展,這些語言表示條件推理問題和開發(fā)那些推理問題的"解決者"。 從本質(zhì)上講,概率編程是貝葉斯建模的工具,而自動(dòng)分化工具則是經(jīng)典的機(jī)器學(xué)習(xí)和深度學(xué)習(xí)模型 [2].

概率編程語言的生態(tài)系統(tǒng)多種多樣,每種語言都有自己的語法、語義和功能。一些最流行的語言包括:

· [4]: 巴格斯是最早的概率編程語言之一,以其方便用戶的接口和支持廣泛的概率模型而聞名。實(shí)現(xiàn)了吉布斯采樣和其他馬爾可夫鏈蒙特卡羅方法的推理.

· [5]: JGG是貝葉斯分層建模的專用語言,特別適合于嵌套結(jié)構(gòu)的復(fù)雜模型。它利用吉布斯采樣算法進(jìn)行后推理。

· 斯坦: 一種概率編程語言,以其表達(dá)建模語法和有效的抽樣算法而聞名。斯坦被廣泛應(yīng)用于學(xué)術(shù)界和工業(yè)界的各種貝葉斯建模任務(wù)。 斯坦在兩個(gè)主要方面不同于小蟲和小蟲。首先,斯坦是基于一種新的強(qiáng)制性概率編程語言,它比基于錯(cuò)誤或JTAG的聲明性圖形建模語言更靈活和更有表現(xiàn)力,其方式包括聲明帶有類型的變量,支持本地變量和條件語句。第二,斯坦的馬爾可夫鏈蒙特卡洛(MMC)技術(shù)是基于哈密頓量蒙特卡洛(HMC),這是一個(gè)比吉布斯取樣或米球-黑斯廷斯更高效和健壯的采樣器,用于復(fù)雜的后柱模型" [6].

· 巴耶茲達(dá)b: BYESDB是一個(gè)用于大規(guī)模數(shù)據(jù)分析和概率數(shù)據(jù)庫查詢的概率編程平臺(tái)。它使用戶能夠使用sql類查詢在關(guān)系數(shù)據(jù)庫上執(zhí)行概率推斷[7]

· 小冊子3: PYMC3是一個(gè)用于概率編程的比頓庫,它為構(gòu)建和分析概率模型提供了一個(gè)直觀和靈活的接口。它利用先進(jìn)的采樣算法如哈密頓數(shù)蒙特卡羅(HMC)和自動(dòng)分化變分推理(ADVI)進(jìn)行推理[8]。

· 張力流概率: " 張力流概率(TFP)是一個(gè)構(gòu)建在張力流基礎(chǔ)上的巨蛇庫,它可以很容易地將概率模型與現(xiàn)代硬件(TPU、GPU)上的深入學(xué)習(xí)結(jié)合起來。 [9] .

· 煙火: PERO是一種通用的概率編程語言(PPL),它寫在PUTUT的后端?？梢造`活和富有表現(xiàn)力的深度概率建模,統(tǒng)一現(xiàn)代深度學(xué)習(xí)和貝葉斯建模的最佳. [10].

這些語文共有一個(gè)共同的工作流程,概述如下:

1. 示范定義: 該模型定義了數(shù)據(jù)生成過程、潛在參數(shù)及其相互關(guān)系。這一步驟需要仔細(xì)考慮基本制度和對(duì)其所作的假設(shè)。 行為 .

2. 事先分發(fā)說明: 定義模型中未知參數(shù)的前置分布。這些前科在觀察任何數(shù)據(jù)之前編碼從業(yè)者的信念、領(lǐng)域或有關(guān)參數(shù)的事先知識(shí)。

3. 可能性說明: 描述可能性函數(shù),表示受未知參數(shù)影響的觀測數(shù)據(jù)的概率分布.可能性函數(shù)量化模型預(yù)測與觀測數(shù)據(jù)之間的一致性。

4. 后分布推斷: 用抽樣算法近似的模型參數(shù)的后分布所觀察到的數(shù)據(jù)。這通常涉及運(yùn)行馬爾可夫鏈蒙特卡羅(MMC)或變分推理(VI)算法從后分布產(chǎn)生樣本。

案例研究:預(yù)測股票指數(shù)波動(dòng)性

在本研究中,我們將采用貝葉斯建模技術(shù)來預(yù)測股票指數(shù)的波動(dòng)性。這里的波動(dòng)性是衡量股票價(jià)格隨時(shí)間變化的程度,是評(píng)估某一股票相關(guān)風(fēng)險(xiǎn)的一個(gè)重要指標(biāo)。

數(shù)據(jù) :為了進(jìn)行分析,我們將利用標(biāo)準(zhǔn)普爾500指數(shù)的歷史數(shù)據(jù)。標(biāo)準(zhǔn)普爾500指數(shù)是一種廣泛使用的基準(zhǔn)指數(shù),用來跟蹤美國500只大盤股票的表現(xiàn)。通過研究指數(shù)價(jià)格隨時(shí)間變化的百分比變化,我們可以深入了解其波動(dòng)性。

標(biāo)準(zhǔn)普爾500-股價(jià)和百分比變化

從上面的情節(jié)可以看出,時(shí)間序列----連續(xù)幾天間的價(jià)格變化:

· 不變平均值

· 隨著時(shí)間的推移改變差異,即:,時(shí)間序列顯示出異質(zhì)性

建模異變性: "在統(tǒng)計(jì)學(xué)中,如果所有隨機(jī)變量都有相同的有限方差,那么隨機(jī)變量的序列就是同構(gòu)的;這也被稱為方差的均勻性。互補(bǔ)的概念被稱為異質(zhì)性,也被稱為方差的異質(zhì)性"[11]。 自回歸條件異質(zhì)性 模型是專門設(shè)計(jì)來解決時(shí)間序列數(shù)據(jù)中的異變性。

貝葉斯,經(jīng)常采用拱形模型

貝葉斯建模的主要好處包括能夠在模型參數(shù)和預(yù)測中納入先前的信息和量化不確定性。在數(shù)據(jù)有限的情況下,以及在具備先前知識(shí)的情況下,這些方法特別有用。

總之,貝葉斯建模和概率編程為解決傳統(tǒng)機(jī)械電子學(xué)習(xí)方法的局限性提供了強(qiáng)有力的工具。這些技術(shù)采用了不確定性量化,吸收了先前的知識(shí),并提供了透明的推理機(jī)制,從而使數(shù)據(jù)科學(xué)家能夠在復(fù)雜的現(xiàn)實(shí)世界情景中做出更明智的決定。