云計算中基于MapReduce集群模型的調(diào)度優(yōu)化與研究.pdf

1、隨著數(shù)據(jù)爆炸時代的到來，如何高效地對TB級甚至是PB的大規(guī)模數(shù)據(jù)進行處理是業(yè)界迫切急需解決的問題。在應用需求和技術推動下，云計算作為一種新的計算模式被提出來了，并逐步成為了IT界的主旋律。
　　MapReduce分布式計算框架作為云計算中處理大規(guī)模數(shù)據(jù)的利器而被各大企業(yè)廣泛應用。然而在實際的商業(yè)運用中，MapReduce仍然還有很多需要完善的地方，尤其是在調(diào)度機制如任務的分配不均衡，失敗任務的二次調(diào)度等方面，同時原有的調(diào)度處理方式

2、也不能很好的適應異構(gòu)環(huán)境。本文將MapReduce在異構(gòu)環(huán)境下的調(diào)度機制作為主要的研究方向。
　　本文針對異構(gòu)環(huán)境的特點，重點總結(jié)和分析了MapReduce框架存在的調(diào)度性能問題和目前主流調(diào)度算法存在的不足，特別是在本地執(zhí)行、數(shù)據(jù)不均衡等方面。針對上述問題本文提出了一種在異構(gòu)環(huán)境下基于蟻群算法的多任務集群調(diào)度算法MSBACO，該算法能夠評估集群中節(jié)點的處理能力；同時提出一種新的目標轉(zhuǎn)移函數(shù)，將任務快速的按照本地執(zhí)行原則分配到各個節(jié)

3、點上執(zhí)行，從而縮短了運行時間，提高了集群性能。本文在 MSBACO算法基礎之上提出了預失敗任務判定算法DAPT，該算法在任務執(zhí)行過程中通過對預失敗任務進行感知預判，從而將即將失敗的任務快速轉(zhuǎn)移給其他節(jié)點執(zhí)行，減輕了主節(jié)點的負載和網(wǎng)絡開銷?；谏鲜鰞煞N算法，本文提出了異構(gòu)環(huán)境下集群調(diào)度模型改進方案HNE-IMCSS。最后，通過程序編寫和集群平臺搭建，將作業(yè)執(zhí)行時間、負載度作為評估指標與主流算法進行對比，驗證了改進算法和調(diào)度模型在異構(gòu)環(huán)境中