摘要:大量電動汽車(EV)用戶的無序充電可能造成電網負荷劇烈波動,危及電網的安全穩定。隨著EV入網(V2C)技術的應用,將EV充電站及其周邊的分布式新能源發電聚合為虛擬電廠(VPP)后進行優化調度,有助于改善EV用戶充放電的經濟性及滿意度,同時提高分布式新能源的利用率,平抑電網負荷波動,但EV充電站的整體充放電負荷是大量個體EV用戶隨機行為的聚合,難以用數學模型*描述。針對包含EV的VPP,提出一種基于深度強化學習的交互式調度框架,以大化VPP內EV用戶的總效益。VPP控制中心作為智能體決策EV個體的充放電動作,無需掌握個體詳細模型,而是通過與區域電網環境的交互,不斷學習和更新動作策略,從而克服集中式優化方法的局限性。該優化調度框架采用深度確定性策略梯度(DDPG)算法進行求解。仿真結果表明,與集中式優化方法相比,該優化算法提高了各EV用戶的效益,并使EV充放電負荷與分布式新能源發電協調配合實現削峰填谷，改善了VPP的整體運行性能。

關鍵詞:虛擬電廠;電動汽車;V2G;分布式新能源;深度確定性策略梯度算法;優化調度;強化學習

一、引言

大量電動汽車(Electric Vehicle,EV)的無序充電不僅會影響電網的安全穩定運行,而且會給用戶造成經濟損失。事實上,EV充電負荷不僅具有較大的調節彈性,而且可以基于E人網(Vehicle toGrid,V2G)技術實現發電和用電側的角色轉換,具備很大的優化調度潛力。通過搭建虛擬電廠(Virtual Power Plant,VPP)整合區域配電網中的EV充放電負荷及分布式新能源發電資源,合理引導EV用戶的充放電行為,不但可以降低EV車主的充電費用,提高充電需求滿足程度,同時可使EV充放電負荷與分布式新能源發電協調配合,提高新能源利用率,平抑 VPP整體負荷的波動。VPP是電力系統中智能配電網運行的重要技術,通過創建一個 VPP控制中心,可以將配電網中的EV充放電負荷與分布式新能源聚合為一個整體參與電網運行,更好地發掘EV充放電負荷與分布式新能源的價值和效益。

然而,在上述包含EV充放電負荷及分布式新能源的VPP中,EV充電站的總負荷特性是大量個體EV用戶隨機充放電行為的聚合,難以對其進行*的數學建模和準確預測,這給傳統的基于負荷預測進行優化計算的集中式調度模式帶來了挑戰。解決這一難點的一種有效途徑是采用基于強化學習(Reinforcement Leaming,RL)方法的交互式優化調度模式。該模式中,VPP控制中心作為智能體,包含EV個體用戶及分布式新能源的區域電網為智能體所在的環境。VPP控制中心在不掌握EV個體用戶詳細模型的情況下給出EV個體的充放電動作決策,并通過與區域電網的交互評估當前決策的性能,不斷學習和更新動作策略,直至得到令人滿意的優化決策?；谥悄荏w與環境之間信息交互的RL方法可以在缺乏*數學模型的情況下模擬順序決策問題并獲得對環境的響應。這種基于R的交互式調度模式克服了傳統集中式調度的局限性,有望在 VPP 優化調度中得到應用。

二、含 EV的 VPP 優化調度模型

考慮一個VPP,其中包含EV充電站及分布式新能源發電2類對象。對該VPP在T=24h范圍內進行優化調度,時間段表示為t=,決策間隔Δt=1 h。

假設 VPP中充電站內有足夠多的充電樁,在T時間范圍內共有I輛EV隨機進入充電站,每輛EV進站后即連接到充電樁變為上線狀態;當EV的電池荷電狀態(State of Charge,S0C)達到充電上限后即自動斷開充電樁連接,變為離線狀態。第i輛E在充電站內的在線時段表示為集合T_i^on={t_i^on,…,t_i^out},其中t_i^on和t_i^out分別為上線和離線時間。VPP控制中心作為智能體,在T_i^on時段內可以通過對充電樁的智能控制,決策第i輛EV的充放電功率，而在其他時段該EV不進行任何充放電行為。

VPP中的分布式新能源發電資源由若干分布式風機單元和分布式光伏板單元組成,VPP控制中心在分布式發電資源的可發電功率范圍內決策其實際出力。

三、基于RL的VPP優化調度方法

傳統的集中調度模式難以對EV個體用戶充放電負荷做出*預測,因此,本節基于方法,提出一種交互式的 VPP優化調度框架。VPP控制中心作為一個智能體,不需要事先掌握EV個體用戶及分布式新能源的*模型及負荷預測,而是通過充電樁與EV個體用戶交互,即下發充放電動作和獲取用戶獎勵值,經R逐步得到令人滿意的調度策略。

RL是一個包含(S,A,P,R,γ)5個元素的馬爾可夫決策過程,其中:S為智能體的狀態空間;A為智能體的動作空間;P為狀態轉移概率;R為獎勵函數;γ為折扣因子。本文建立的 VPP優化調度模型可描述為圖1所示的 RL框架,其中VPP控制中心為智能體(Agent),VPP區域電網為環境(Environment),包括狀態(State)、動作(Action)和獎勵(Reward)三大要素。

圖1 用于VPP優化調度的RL框架

四、解決方案

圖2 平臺結構圖

充電運營管理平臺是基于物聯網和大數據技術的充電設施管理系統，可以實現對充電樁的監控、調度和管理，提高充電樁的利用率和充電效率，提升用戶的充電體驗和服務質量。用戶可以通過APP或小程序提前預約充電，避免在充電站排隊等待的情況，同時也能為充電站提供更準確的充電需求數據，方便后續的調度和管理。通過平臺可對充電樁的功率、電壓、電流等參數進行實時監控，及時發現和處理充電樁故障和異常情況對充電樁的功率進行控制和管理，確保充電樁在合理的功率范圍內充電，避免對電網造成過大的負荷。

五、安科瑞充電樁云平臺具體的功能

平臺除了對充電樁的監控外，還對充電站的光伏發電系統、儲能系統以及供電系統進行集中監控和統一協調管理，提高充電站的運行可靠性，降低運營成本，平臺系統架構如圖3所示。

圖3 充電樁運營管理平臺系統架構

大屏顯示：展示充電站設備統計、使用率排行、運營統計圖表、節碳量統計等數據。

圖4 大屏展示界面

站點監控：顯示設備實時狀態、設備列表、設備日志、設備狀態統計等功能。

圖5 站點監控界面

設備監控：顯示設備實時信息、配套設備狀態、設備實時曲線、關聯訂單信息、充電功率曲線等。

圖6 設備監控界面

運營趨勢統計：顯示運營信息查詢、站點對比曲線、日月年報表、站點對比列表等功能。

圖7 運營趨勢界面

收益查詢：提供收益匯總、實際收益報表、收益變化曲線、支付方式占比等功能。

圖8 收益查詢界面

故障分析：提供故障匯總、故障狀態餅圖、故障趨勢分析、故障類型餅圖等功能。

圖9 故障分析界面

訂單記錄：提供實時/歷史訂單查詢、訂單終止、訂單詳情、訂單導出、運營商應收信息、充電明細、交易流水查詢、充值余額明細等功能。

圖10 訂單查詢界面

六、現場圖片

七、結論

本文基于R框架,研究了含EV充放電負荷與分布式新能源發電的 VPP優化調度問題,以大化VPP 運行總效益為目標。針對上述VPP,提出了基于R的交互式調度框架。交互式調度幫助EV用戶實現了較低的充電費用和較高的充電滿意度。后續會對電價動態變化機制下含EV充放電負荷的 VPP優化調度問題進行研究,將在 VPP 中加入儲能單元,與EV充放電負荷和分布式新能源發電配合,進一步改善 VPP運行性能。

作者介紹：

翟雪玲，任職安科瑞電氣股份有限公司，從事電動汽車有序充電的設計及商務咨詢。