隨著電動汽車(Electric vehicle，EV)保有量的快速增長，公共充電設(shè)施得到了越來越多的關(guān)注[1]。常規(guī)的電動汽車充電站(Charging Station，CS)僅通過向電網(wǎng)購電、向電動汽車用戶售電來實現(xiàn)盈利，但其充電負荷可調(diào)節(jié)性差，晚間充電負荷與居民負荷疊加易形成“峰上加峰”現(xiàn)象[2-3]。在此背景下，一種在站內(nèi)配置了光伏(Photovoltaic，Pv)與儲能系統(tǒng)(Energy Storage System，ESS)的光儲充電站得到了發(fā)展。光伏系統(tǒng)的加入提高了充電站的能源自給率與碳減排效益，而儲能系統(tǒng)的調(diào)節(jié)作用起到了平滑配網(wǎng)(DistriBution Network，DN)供電功率和削峰填谷的作用。然而，光伏出力受多重因素影響，具有實時波動的特點，而電動汽車的隨機充電行為更加大了對光儲充電站實時調(diào)度的難度[4-5]。因此，本文提出了一種融合啟發(fā)式算法與深度強化學(xué)習(xí)算法的光儲充電站實時控制策略，通過粒子群算法(ParticleSwarmoptimization，PSo)拓展深度確定性策略梯度函數(shù)(Deep Deterministic Policy Gradient，DDPG)的探索性能，提高控制策略的求解質(zhì)量與實時性能。

1光儲充電站能量實時控制策略

為充分發(fā)揮光儲充電站的節(jié)能減排效益，選取充電站碳排放量最小與運行成本最低為優(yōu)化目標，建立光儲充電站能量調(diào)度模型。此外，為提高所建立優(yōu)化模型對復(fù)雜工況的實時應(yīng)對性能，本文進一步將該優(yōu)化模型建立為馬爾可夫決策過程(Markov Decision Process，MDP)[6]。

1.1光儲充電站能量調(diào)度模型

1.1.1目標函數(shù)

1)碳排放最小。為充分消納光伏，提高充電站的能源自給率與碳減排效益，本文考慮電網(wǎng)動態(tài)二氧化碳排放因子，將充電站碳排放最小作為優(yōu)化目標之一。

運行成本最低。光儲充電站通過能量管理系統(tǒng)對站內(nèi)能量流動進行控制，從而降低整站的運行成本，其中運行成本可以分為向電網(wǎng)購電成本以及儲能損耗成本兩部分：

1.1.2約束條件

1）充電站功率平衡：

上式中等號左側(cè)代表受電端，右側(cè)代表送電端。

2）儲能運行約束：

3）電網(wǎng)供電功率約束：

4）電動汽車充電約束：

1.2基于MDP的能量實時控制策略

為提高所提策略的實時性能，本文將所建立的優(yōu)化模型轉(zhuǎn)換為馬爾可夫決策過程，其核心思想如圖1所示。在訓(xùn)練過程中，智能體從環(huán)境中捕捉實時狀態(tài)st，依據(jù)當(dāng)前策略做出控制動作at從而改變當(dāng)前環(huán)境，而后通過獎勵rt給予智能體實時反績，引導(dǎo)智能體獲得更高的獎勵值以及更優(yōu)越的控制策略。

1）狀態(tài)st代表MDP模型中環(huán)境的實時信息。本文從電網(wǎng)、光伏、儲能、用戶四個角度構(gòu)建智能體的狀態(tài)空間，狀態(tài)st為：

動作at是針對環(huán)境狀態(tài)st所做出的控制決策。本文將儲能充放電功率以及用戶充電樁功率作為控制動作，即：

3）獎勵rt是環(huán)境對智能體動作at的及時反績。依據(jù)上文建立的優(yōu)化模型，本文設(shè)計獎勵rt包含二氧化碳排放成本CCO2以及運行成本兩項，其中運行成本包含購電成本C1與儲能損耗成本C2：

2基于PSO-DDPG的求解算法

DDPG是一種基于Actor-Critic架構(gòu)的深度強化學(xué)習(xí)算法，其在連續(xù)動作空間問題上具有良好的學(xué)習(xí)性能。然而，DDPG算法訓(xùn)練過程中的梯度方向固定，僅與所抽取的mini-batch中的樣本有關(guān)，這導(dǎo)致算法缺乏探索性，最終訓(xùn)練的智能體容易陷入局部最優(yōu)。為此，本文提出了一種基于樣本繼承機制的PSO-DDPG算法，通過引入粒子群算法提高DDPG算法的探索性能。

2.1 PSO算法基本原理

作為一種經(jīng)典的群體智能算法，PSO算法通過模擬自然界的鳥群捕食來實現(xiàn)優(yōu)化問題的求解。具體而言，粒子群中的所有粒子都被分配了速度與位置，通過粒子個體在解空間單獨尋優(yōu)pt，進而求得全局最優(yōu)解Gest。在選代過程中，粒子的位置xi，k與速度vi，k可由下式更新：

2.2 DDPG算法基本原理

DDPG算法通過Actor網(wǎng)絡(luò)μ（s|θμ)、目標Actor網(wǎng)絡(luò)μ/（s|θμ/）、critic網(wǎng)絡(luò)Q（s，a|θQ）與目標critic網(wǎng)絡(luò)Q/（s，a|θQ/）實現(xiàn)智能體的訓(xùn)練。在訓(xùn)練過程中，critic網(wǎng)絡(luò)通過損失函數(shù)LQ更新網(wǎng)絡(luò)參數(shù)：

2.3 PSO-DDPG算法訓(xùn)練流程

為解決DDPG算法探索性能不足的局限，本文提出了一種PSO-DDPG算法，其訓(xùn)練流程如圖2所示。首先，基于PSO算法對光儲充電站隨機場景進行求解，將滿足精度要求的全局最優(yōu)解Gest對應(yīng)的樣本存入經(jīng)驗池中，直至達到PSO模塊的最大回合NP。其次，運行DDPG算法模塊，智能體觀測充電站狀態(tài)st，做出對儲能系統(tǒng)與充電樁的控制動作at，在得到獎勵后將樣本存入經(jīng)驗池。然后，從PSO與DDPG的混合經(jīng)驗池中隨機抽取mini-batch樣本（sj，aj，rj，sj+1）更新Critic與Actor，并進一步軟更新兩個目標網(wǎng)絡(luò)。最后，重復(fù)DDPG的訓(xùn)練流程直至達到最大回合ND。這樣，探索性能優(yōu)越的PSO算法通過經(jīng)驗池將樣本繼承給DDPG智能體，增強了DDPG的探索性能與全局尋優(yōu)能力。

3算例分析

3.1參數(shù)設(shè)置

為了便于算例的量化分析，對光儲充電站設(shè)定如下條件：1）儲能容量取300 kw.h，額定充放電功率120 kw，光伏容量200 kw，站內(nèi)配置了12個60 kw快充樁；2）儲能損耗系數(shù)取0.06元/（kw.h），電網(wǎng)不同時段碳排放系數(shù)如圖3所示[7]，二氧化碳排放成本系數(shù)為0.04元/kg[8]。

3.2訓(xùn)練過程分析

設(shè)PSO算法的種群規(guī)模為100，最大選代次數(shù)為200，慣性因子取0.8，個體與群體加速因子均取1.8。此外，設(shè)DDPG算法折扣率為0.99，學(xué)習(xí)率為0.000 5，mini-batch容量為100，經(jīng)驗池容量為12 000，最大訓(xùn)練次數(shù)為1 000，可得所提PSO-DDPG算法的訓(xùn)練曲線如圖4所示。從圖中可見，智能體訓(xùn)練獎勵曲線快速上升，并在300回合左右進入穩(wěn)定范圍，獎勵曲線最終在-6.96左右小幅振蕩，證明了所提算法能夠通過PSO經(jīng)驗繼承機制快速幫助智能體探索訓(xùn)練環(huán)境。

3.3策略有效性分析

光儲充電站在無序與有序場景下的功率曲線如圖5所示，無序與有序場景的成本對比如表1所示。

由圖5（a）可見，無序場景的功率控制邏輯是當(dāng)有充電負荷時先由光伏供電，光伏不足時由儲能系統(tǒng)供電，而站內(nèi)光儲無法滿足充電需求則由電網(wǎng)供電，這導(dǎo)致充電站未完全發(fā)揮光儲的協(xié)調(diào)互補功能，全天向電網(wǎng)購電918.30 kw.h，花費662.78元。而所提策略充分發(fā)揮了儲能與充電樁的靈活調(diào)節(jié)能力，不僅削減了最大充電負荷，同時購電費用僅為499.04元，相較于前者降低了24.71%。值得注意的是，所提策略的儲能損耗成本要高于無序場景，這主要是由于對儲能更頻繁的調(diào)度，盡管如此，相較于購電成本的降低，儲能損耗增加21.94元仍是可以接受的。以上結(jié)果驗證了所提PSO—DDPG策略能夠更好地發(fā)揮儲能的靈活調(diào)整作用，利用峰谷電價降低光儲充電站的整體運行成本。

4結(jié)束語

在“雙碳”背景下，光伏等分布式可再生能源與電動汽車的協(xié)調(diào)發(fā)展無疑是大勢所趨。針對光儲充電站，本文提出了一種基于PSO改進深度強化學(xué)習(xí)的算法，基于經(jīng)驗繼承機制提高DDPG智能體的探索性能與求解能力。通過算例結(jié)果發(fā)現(xiàn)，本文所提PSO-DDPG策略能夠有效完成光儲充電站的實時能量控制，相較于無序場景降低了24.71%的購電成本，并能夠降低二氧化碳排放。下一步將考慮電動汽車集群的V2G能力，進一步優(yōu)化所提策略。