強化學習在數(shù)據(jù)中心資源節(jié)能管理中的研究.pdf

1、隨著全球云計算技術日漸成熟和云服務的日益普及，作為云計算基礎設施的數(shù)據(jù)中心的能耗問題也日益突出。在我國，數(shù)據(jù)中心能耗目前占全國電力消耗的1％，雖然這一比例呈快速增長趨勢，不過總體能源利用率相對不高，有很大的節(jié)能空間和潛力。
　　 目前，數(shù)據(jù)中心節(jié)能的方案很多。但它們有些只考慮單一方面的節(jié)能優(yōu)化，缺乏對影響數(shù)據(jù)中心節(jié)能效果諸多因素的綜合考慮；有些雖然從全局考慮這些因素，卻未能提出整體的節(jié)能架構。同時，采用日漸成熟的虛擬化架構技術可

2、以將數(shù)據(jù)中心的大量相同類型的物理資源組建成同構或者近似同構的虛擬資源池，如計算資源池，數(shù)據(jù)資源池，存儲資源池等，進行統(tǒng)一資源管理，以極大地提高云計算服務質量，并提高數(shù)據(jù)中心資源利用率，節(jié)省能耗。
　　 本文采用虛擬化技術，結合強化學習和反饋控制機制，從節(jié)能和性能兩方面出發(fā)進行節(jié)能資源調度，研究了一種虛擬化數(shù)據(jù)中心的自主能耗感知和智能節(jié)能控制架構方案，主要研究包括以下幾點：
　　 1)研究了數(shù)據(jù)中心虛擬化架構技術。主要探討

3、了數(shù)據(jù)中心虛擬化架構技術以及虛擬化數(shù)據(jù)中心的模型結構，分析和比較了傳統(tǒng)數(shù)據(jù)中心和虛擬化數(shù)據(jù)中心的硬件設施和軟件節(jié)能技術。
　　 2)設計了數(shù)據(jù)中心節(jié)能回饋控制架構方案。以資源利用率與能耗的關系為基礎，結合對虛擬化資源池的監(jiān)控以及能耗回饋信號的接收，從上層服務到底層數(shù)據(jù)中心，從負載到虛擬機，從虛擬機到物理機映射等多個角度出發(fā)設計了一個整體的節(jié)能回饋控制架構方案。
　　 3)結合強化學習算法和閾值思想，提出了針對虛擬機部署的

4、資源調度優(yōu)化方法。通過強化學習，對數(shù)據(jù)中心復雜運行環(huán)境進行自適應學習，并評估預測虛擬機到物理機的映射方法；同時，為了避免資源競爭降低能效，根據(jù)實際能耗特征設置了虛擬機遷移的閾值，在必要時使用虛擬機遷移進一步優(yōu)化數(shù)據(jù)中心能效。
　　 最后，本文在CloudSim仿真平臺上，設計實現(xiàn)了不同節(jié)能策略之間的對比實驗。結果表明，本文提出的基于強化學習的虛擬化數(shù)據(jù)中心節(jié)能資源管理方法，在節(jié)能和性能上能達到一個相對平衡的狀態(tài)，比傳統(tǒng)節(jié)能方法，