www.久久久久|狼友网站av天堂|精品国产无码a片|一级av色欲av|91在线播放视频|亚洲无码主播在线|国产精品草久在线|明星AV网站在线|污污内射久久一区|婷婷综合视频网站

當(dāng)前位置:首頁(yè) > 智能硬件 > 人工智能AI
[導(dǎo)讀] 導(dǎo)讀: 人工智能之機(jī)器學(xué)習(xí)主要有三大類:1)分類;2)回歸;3)聚類。今天我們重點(diǎn)探討一下TD Learning算法。 TD Learning時(shí)序差分學(xué)習(xí)結(jié)合了動(dòng)態(tài)規(guī)劃DP

導(dǎo)讀: 人工智能之機(jī)器學(xué)習(xí)主要有三大類:1)分類;2)回歸;3)聚類。今天我們重點(diǎn)探討一下TD Learning算法。

TD Learning時(shí)序差分學(xué)習(xí)結(jié)合了動(dòng)態(tài)規(guī)劃DP和蒙特卡洛MC方法,且兼具兩種算法的優(yōu)點(diǎn),是強(qiáng)化學(xué)習(xí)的核心思想。

雖然蒙特卡羅MC方法僅在最終結(jié)果已知時(shí)才調(diào)整其估計(jì)值,但TD Learning時(shí)序差分學(xué)習(xí)調(diào)整預(yù)測(cè)以匹配后,更準(zhǔn)確地預(yù)測(cè)最終結(jié)果之前的未來預(yù)測(cè)。

TD Learning算法概念:

TD Learning(Temporal-Difference Learning) 時(shí)序差分學(xué)習(xí)指的是一類無模型的強(qiáng)化學(xué)習(xí)方法,它是從當(dāng)前價(jià)值函數(shù)估計(jì)的自舉過程中學(xué)習(xí)的。這些方法從環(huán)境中取樣,如蒙特卡洛方法,并基于當(dāng)前估計(jì)執(zhí)行更新,如動(dòng)態(tài)規(guī)劃方法。

TD Learning算法本質(zhì):

TD Learning(Temporal-DifferenceLearning)時(shí)序差分學(xué)習(xí)結(jié)合了動(dòng)態(tài)規(guī)劃和蒙特卡洛方法,是強(qiáng)化學(xué)習(xí)的核心思想。

時(shí)序差分不好理解。改為當(dāng)時(shí)差分學(xué)習(xí)比較形象一些,表示通過當(dāng)前的差分?jǐn)?shù)據(jù)來學(xué)習(xí)。

蒙特卡洛MC方法是模擬(或者經(jīng)歷)一段序列或情節(jié),在序列或情節(jié)結(jié)束后,根據(jù)序列或情節(jié)上各個(gè)狀態(tài)的價(jià)值,來估計(jì)狀態(tài)價(jià)值。TD Learning時(shí)序差分學(xué)習(xí)是模擬(或者經(jīng)歷)一段序列或情節(jié),每行動(dòng)一步(或者幾步),根據(jù)新狀態(tài)的價(jià)值,然后估計(jì)執(zhí)行前的狀態(tài)價(jià)值??梢哉J(rèn)為蒙特卡洛MC方法是最大步數(shù)的TD Learning時(shí)序差分學(xué)習(xí)。

TD Learning算法描述:

如果可以計(jì)算出策略價(jià)值(π狀態(tài)價(jià)值vπ(s),或者行動(dòng)價(jià)值qπ(s,a)),就可以優(yōu)化策略。

在蒙特卡洛方法中,計(jì)算策略的價(jià)值,需要完成一個(gè)情節(jié),通過情節(jié)的目標(biāo)價(jià)值Gt來計(jì)算狀態(tài)的價(jià)值。其公式:

MC公式:

V(St)←V(St)+αδt

δt=[Gt?V(St)]

這里:

δt – MC誤差

α – MC學(xué)習(xí)步長(zhǎng)

TD Learning公式:

V(St)←V(St)+αδt

δt=[Rt+1+γV(St+1)?V(St)]

這里:

δt – TD Learning誤差

α – TD Learning步長(zhǎng)

γ – TD Learning報(bào)酬貼現(xiàn)率

TD Learning時(shí)間差分方法的目標(biāo)為Rt+1+γ V(St+1),若V(St+1) 采用真實(shí)值,則TD Learning時(shí)間差分方法估計(jì)也是無偏估計(jì),然而在試驗(yàn)中V(St+1)  用的也是估計(jì)值,因此TD Learning時(shí)間差分方法屬于有偏估計(jì)。然而,跟蒙特卡羅MC方法相比,TD Learning時(shí)間差分方法只用到了一步隨機(jī)狀態(tài)和動(dòng)作,因此TD Learning時(shí)間差分方法目標(biāo)的隨機(jī)性比蒙特卡羅MC方法中的Gt 要小,因此其方差也比蒙特卡羅MC方法的方差小。

TD Learning分類:

1)策略狀態(tài)價(jià)值vπ的時(shí)序差分學(xué)習(xí)方法(單步多步)

2)策略行動(dòng)價(jià)值qπ的on-policy時(shí)序差分學(xué)習(xí)方法: Sarsa(單步多步)

3)策略行動(dòng)價(jià)值qπ的off-policy時(shí)序差分學(xué)習(xí)方法: Q-learning(單步),Double Q-learning(單步)

4)策略行動(dòng)價(jià)值qπ的off-policy時(shí)序差分學(xué)習(xí)方法(帶importance sampling): Sarsa(多步)

5)策略行動(dòng)價(jià)值qπ的off-policy時(shí)序差分學(xué)習(xí)方法(不帶importance sampling): Tree Backup Algorithm(多步)

6)策略行動(dòng)價(jià)值qπ的off-policy時(shí)序差分學(xué)習(xí)方法: Q(σ)(多步)

TD Learning算法流程:

1)單步TD Learning時(shí)序差分學(xué)習(xí)方法:

IniTIalizeV(s) arbitrarily ?s∈S+

Repeat(for each episode):

?IniTIalize S

?Repeat (for each step of episode):

?? A←acTIongiven by π for S

??Take acTIon A, observe R,S′

??V(S)←V(S)+α[R+γV(S′)?V(S)]

?? S←S′

?Until S is terminal

2)多步TD Learning時(shí)序差分學(xué)習(xí)方法:

Input:the policy π to be evaluated

InitializeV(s) arbitrarily ?s∈S

Parameters:step size α∈(0,1], a positive integer n

Allstore and access operations (for St and Rt) can take their index mod n

Repeat(for each episode):

?Initialize and store S0≠terminal

? T←∞

? Fort=0,1,2,?:

?? Ift<Tt<T, then:

???Take an action according to π( ˙|St)

???Observe and store the next reward as Rt+1 and the next state as St+1

???If St+1 is terminal, then T←t+1

?? τ←t?n+1(τ is the time whose state's estimate is being updated)

?? Ifτ≥0τ≥0:

??? G←∑min(τ+n,T)i=τ+1γi?τ?1Ri

???if τ+n≤Tτ+n≤T then: G←G+γnV(Sτ+n)(G(n)τ)

???V(Sτ)←V(Sτ)+α[G?V(Sτ)]

?Until τ=T?1

注意:V(S0)是由V(S0),V(S1),…,V(Sn)計(jì)算所得;V(S1)是由V(S1),V(S1),…,V(Sn+1)計(jì)算所得。

TD Learning理論基礎(chǔ)

TD Learning理論基礎(chǔ)如下:

1)蒙特卡羅方法

2)動(dòng)態(tài)規(guī)劃

3)信號(hào)系統(tǒng)

TD Learning算法優(yōu)點(diǎn):

1)不需要環(huán)境的模型;

2)可以采用在線的、完全增量式的實(shí)現(xiàn)方式;

3)不需等到最終的真實(shí)結(jié)果;

4)不局限于episode task;

5)可以用于連續(xù)任務(wù);

6)可以保證收斂到 vπ,收斂速度較快。

TD Learning算法缺點(diǎn):

1)    對(duì)初始值比較敏感;

2)    并非總是用函數(shù)逼近。

TD Learning算法應(yīng)用:

從應(yīng)用角度看,TD Learning應(yīng)用領(lǐng)域與應(yīng)用前景都是非常廣闊的,目前主要應(yīng)用于動(dòng)態(tài)系統(tǒng)、機(jī)器人控制及其他需要進(jìn)行系統(tǒng)控制的領(lǐng)域。

結(jié)語:

TD Learning是結(jié)合了動(dòng)態(tài)規(guī)劃DP和蒙特卡洛MC方法,并兼具兩種算法的優(yōu)點(diǎn),是強(qiáng)化學(xué)習(xí)的中心。TD Learning不需要環(huán)境的動(dòng)態(tài)模型,直接從經(jīng)驗(yàn)經(jīng)歷中學(xué)習(xí);也不需要等到最終的結(jié)果才更新模型,它可以基于其他估計(jì)值來更新估計(jì)值。輸入數(shù)據(jù)可以刺激模型并且使模型做出反應(yīng)。反饋不僅從監(jiān)督學(xué)習(xí)的學(xué)習(xí)過程中得到,還從環(huán)境中的獎(jiǎng)勵(lì)或懲罰中得到。TD Learning算法已經(jīng)被廣泛應(yīng)用于動(dòng)態(tài)系統(tǒng)、機(jī)器人控制及其他需要進(jìn)行系統(tǒng)控制的領(lǐng)域。

本站聲明: 本文章由作者或相關(guān)機(jī)構(gòu)授權(quán)發(fā)布,目的在于傳遞更多信息,并不代表本站贊同其觀點(diǎn),本站亦不保證或承諾內(nèi)容真實(shí)性等。需要轉(zhuǎn)載請(qǐng)聯(lián)系該專欄作者,如若文章內(nèi)容侵犯您的權(quán)益,請(qǐng)及時(shí)聯(lián)系本站刪除。
換一批
延伸閱讀

9月2日消息,不造車的華為或?qū)⒋呱龈蟮莫?dú)角獸公司,隨著阿維塔和賽力斯的入局,華為引望愈發(fā)顯得引人矚目。

關(guān)鍵字: 阿維塔 塞力斯 華為

倫敦2024年8月29日 /美通社/ -- 英國(guó)汽車技術(shù)公司SODA.Auto推出其旗艦產(chǎn)品SODA V,這是全球首款涵蓋汽車工程師從創(chuàng)意到認(rèn)證的所有需求的工具,可用于創(chuàng)建軟件定義汽車。 SODA V工具的開發(fā)耗時(shí)1.5...

關(guān)鍵字: 汽車 人工智能 智能驅(qū)動(dòng) BSP

北京2024年8月28日 /美通社/ -- 越來越多用戶希望企業(yè)業(yè)務(wù)能7×24不間斷運(yùn)行,同時(shí)企業(yè)卻面臨越來越多業(yè)務(wù)中斷的風(fēng)險(xiǎn),如企業(yè)系統(tǒng)復(fù)雜性的增加,頻繁的功能更新和發(fā)布等。如何確保業(yè)務(wù)連續(xù)性,提升韌性,成...

關(guān)鍵字: 亞馬遜 解密 控制平面 BSP

8月30日消息,據(jù)媒體報(bào)道,騰訊和網(wǎng)易近期正在縮減他們對(duì)日本游戲市場(chǎng)的投資。

關(guān)鍵字: 騰訊 編碼器 CPU

8月28日消息,今天上午,2024中國(guó)國(guó)際大數(shù)據(jù)產(chǎn)業(yè)博覽會(huì)開幕式在貴陽舉行,華為董事、質(zhì)量流程IT總裁陶景文發(fā)表了演講。

關(guān)鍵字: 華為 12nm EDA 半導(dǎo)體

8月28日消息,在2024中國(guó)國(guó)際大數(shù)據(jù)產(chǎn)業(yè)博覽會(huì)上,華為常務(wù)董事、華為云CEO張平安發(fā)表演講稱,數(shù)字世界的話語權(quán)最終是由生態(tài)的繁榮決定的。

關(guān)鍵字: 華為 12nm 手機(jī) 衛(wèi)星通信

要點(diǎn): 有效應(yīng)對(duì)環(huán)境變化,經(jīng)營(yíng)業(yè)績(jī)穩(wěn)中有升 落實(shí)提質(zhì)增效舉措,毛利潤(rùn)率延續(xù)升勢(shì) 戰(zhàn)略布局成效顯著,戰(zhàn)新業(yè)務(wù)引領(lǐng)增長(zhǎng) 以科技創(chuàng)新為引領(lǐng),提升企業(yè)核心競(jìng)爭(zhēng)力 堅(jiān)持高質(zhì)量發(fā)展策略,塑強(qiáng)核心競(jìng)爭(zhēng)優(yōu)勢(shì)...

關(guān)鍵字: 通信 BSP 電信運(yùn)營(yíng)商 數(shù)字經(jīng)濟(jì)

北京2024年8月27日 /美通社/ -- 8月21日,由中央廣播電視總臺(tái)與中國(guó)電影電視技術(shù)學(xué)會(huì)聯(lián)合牽頭組建的NVI技術(shù)創(chuàng)新聯(lián)盟在BIRTV2024超高清全產(chǎn)業(yè)鏈發(fā)展研討會(huì)上宣布正式成立。 活動(dòng)現(xiàn)場(chǎng) NVI技術(shù)創(chuàng)新聯(lián)...

關(guān)鍵字: VI 傳輸協(xié)議 音頻 BSP

北京2024年8月27日 /美通社/ -- 在8月23日舉辦的2024年長(zhǎng)三角生態(tài)綠色一體化發(fā)展示范區(qū)聯(lián)合招商會(huì)上,軟通動(dòng)力信息技術(shù)(集團(tuán))股份有限公司(以下簡(jiǎn)稱"軟通動(dòng)力")與長(zhǎng)三角投資(上海)有限...

關(guān)鍵字: BSP 信息技術(shù)
關(guān)閉
關(guān)閉