面向超級計算機的自適應故障預測算法研究.pdf

1、隨著信息技術的發(fā)展,云計算等大型分布式系統開始廣泛投入部署和應用。然而隨著應用系統軟硬件復雜性的增加,如何保證系統能夠長時間正確運行,為廣大用戶提供高質量服務,成為了大型系統設計開發(fā)過程中需要考慮的問題。大型系統如果能夠通過故障預測策略實現自我診斷,那么其容錯能力和資源調度能力就能得到很大的提升,從而保證系統的高可用性和高可靠性。超級計算機擁有復雜的計算機系統,針對超級計算機的故障預測研究對于提高超級計算機的運算性能和系統容錯能力具有重

2、要意義,并且有效的故障預測策略也可以應用于其它大型系統中,以此提高這些系統的容錯能力。
　　本文以超級計算機的系統運行日志為基礎,首先設計并實現了基于語義和時間相關的過濾算法(Semantic Time Filter Algorithm,STF),對日志記錄進行預處理。STF算法考慮日志記錄之間的語義相關度和時間相關度,根據兩個相關度對原始日志記錄中的冗余記錄進行過濾。通過實驗發(fā)現,過濾后的日志記錄序列能夠有效地反映系統中非故障事

3、件到故障事件的演變過程,對于后續(xù)分析并建立故障預測模型有很大幫助。
　　通過對過濾后的日志記錄進行分析,本文運用數據挖掘中的分類預測思想,將時間軸劃分為一定大小的時間窗,針對時間窗進行特征提取,以時間窗為單位進行故障預測。本文使用AdaBoost算法在SVM分類器的訓練學習過程中,根據訓練集動態(tài)調整分類器核心參數?,使分類器進行自適應學習提升,建立了自適應故障預測模型AdaBoostSVM。
　　本文以超級計算機BlueGe