基于異構計算平臺的MapReduce編程模型的研究.pdf

1、最近幾年對大規(guī)模處理和更復雜科學計算的需求，高性能計算的研究有了很大的發(fā)展，出現了一系列并行計算架構，如Nvidia公司的統(tǒng)一設備計算架構（CUDA）、Intel公司的集成眾核架構(MIC)、IBM公司的CELL架構。這些架構對應推出的加速器(Nvidia GPU，Intel Xeon Phi，IBM Cell)，具有很高峰值性能，高能效，較低功耗。異構計算主要是指采用不同指令集架構和體系結構的計算處理單元組成系統(tǒng)的計算方式。由于對并行

2、化的需求不斷增長，在高性能領域，異構計算系統(tǒng)已越來越多地被采用。然而，充分挖掘異構計算系統(tǒng)的能力，往往需要對異構平臺中各處理器架構的細節(jié)有很好的掌握，這對開發(fā)者來說，是一項非常沉重的工作。
　　MapReduce是Google公司提出的一個大數據處理框架。MapReduce向用戶提供自定義的Map和Reduce接口，開發(fā)者只需要針對特定的應用編寫Map和Reduce函數，就可以編寫并行分布式應用。自從Google提出MapRedu

3、ce框架之后，開發(fā)者和研究人員開展了大量的研究工作。MapReduce作為大數據處理框架，廣泛應用在數據挖掘、機器學習、生物信息學等領域。在異構系統(tǒng)上實現MapRedue編程模型，既能簡化異構系統(tǒng)上程序開發(fā)，充分利用異構系統(tǒng)中各設備的計算能力，又能在大量領域得到應用，具有很強的應用價值，對異構系統(tǒng)的研究具有重要意義。
　　在本文中，提出了一種基于異構計算平臺的MapReduce編程模型HyMR。HyMR能充分利用異構計算平臺中所有

4、計算設備的計算能力，如多核CPU，眾核GPU和Xeon Phi協(xié)處理器。我們將HyMR實現為一個可以擴展的框架來處理所有計算設備上的通用操作，并使用可擴展的運行時系統(tǒng)來對設備有關的操作進行擴展。為了將我們的框架很好的映射到異構架構上，我們采用了兩層設計的方案:高層設計實現了混合任務調度器，對不同設備間的計算任務進行分配調度;低層設計實現了HyMR適配器來作為底層MapReduce運行時系統(tǒng)的抽象，通過HyMR適配器針對特定設備擴展實現，

5、來實現HyMR編程模型對異構計算平臺的擴展。為了充分利用異構平臺各設備的計算能力，我們采用了協(xié)同計算的方案和混合并行。同時提出了混合任務調度器、中間鍵值處理優(yōu)化、數據傳輸優(yōu)化等方案，來提高HyMR模型的性能。
　　HyMR在使用幾個常用MapReduce程序的大數據集上的測試發(fā)現，與目前CPU上最快的MapReduce程序Phoenix++相比，HyMR在異構計算平臺上實現了高達18.7倍的加速，表現了較好的擴展性，并且能實現對大