面向Lustre文件系統(tǒng)的存儲系統(tǒng)模擬器的設(shè)計與實現(xiàn).pdf

1、近年來，高性能計算機技術(shù)和應(yīng)用技術(shù)飛速發(fā)展，在科學(xué)研究與國民經(jīng)濟(jì)建設(shè)中正發(fā)揮著日益重要的作用。以國家超級計算天津中心為例，該中心使用的天河一號超級計算機（TH-1A），應(yīng)用領(lǐng)域廣泛，主要應(yīng)用領(lǐng)域包括石油勘探數(shù)據(jù)處理、生物醫(yī)藥研發(fā)、氣象氣候和海洋環(huán)境研究、航空航天飛行器研制、工程仿真等。TH-1A超級計算機在天津超算中心運行已4年多，實際運行表明：系統(tǒng)設(shè)計合理、綜合性能好，系統(tǒng)穩(wěn)定可靠，成功地完成了許多大規(guī)模、典型和復(fù)雜的計算任務(wù)。TH-

2、1A采用Lustre文件系統(tǒng)作為存儲系統(tǒng)，實踐表明，Lustre系統(tǒng)為TH-1A的存儲系統(tǒng)提供了良好的性能支撐，Lustre配置的靈活性使得TH-1A在面對不同應(yīng)用時可以通過不同的配置參數(shù)實現(xiàn)應(yīng)用性能的調(diào)優(yōu)，特別是在超大規(guī)模的石油數(shù)據(jù)處理中的應(yīng)用，獲得了較好的應(yīng)用，對充分發(fā)揮TH-1A系統(tǒng)的整體應(yīng)用性能起到了非常重要的作用。
　　同時，隨著TH-1A應(yīng)用服務(wù)范圍的不斷擴(kuò)展，以及應(yīng)用程序所處理的數(shù)據(jù)量的不斷增加，TH-1A存儲系統(tǒng)在

3、海量數(shù)據(jù)存儲和處理上也表現(xiàn)出了一些問題。如某些I/O密集型應(yīng)用要求存儲系統(tǒng)具有較快的讀寫速度，而Lustre文件系統(tǒng)易于在元數(shù)據(jù)存儲和處理上形成瓶頸，影響存儲系統(tǒng)整體的讀寫速度。另外，由于受限于內(nèi)部高速互連網(wǎng)絡(luò)端口的數(shù)量，使得OST的數(shù)量難以大幅擴(kuò)充，以大容量磁盤（如3TB或者更大容量）替換目前的1-2TB磁盤來擴(kuò)大存儲系統(tǒng)的容量又會在磁盤失效時帶來過長的數(shù)據(jù)恢復(fù)時間，影響存儲系統(tǒng)的可維性，這兩個原因使得TH-1A的存儲系統(tǒng)在擴(kuò)充存儲容

4、量時遇到了困難。
　　TH-1A作為目前先進(jìn)的高性能計算機，在存儲系統(tǒng)方面表現(xiàn)出來的問題具有一定的代表性。在當(dāng)前HPC TOP50的超級計算機，存儲系統(tǒng)多采用Lustre，在面對相同的應(yīng)用情況時也會表現(xiàn)出與TH-1A相類似的技術(shù)問題。
　　由于超級計算機的Lustre系統(tǒng)在數(shù)據(jù)密集型應(yīng)用時表現(xiàn)出一些問題，同時，我們又在研制新一代的超級計算機，為了了解現(xiàn)有的存儲系統(tǒng)在各種典型的應(yīng)用過程中出現(xiàn)不同問題的原因，研究解決問題和優(yōu)化性

5、能的技術(shù)方法，并為研制新一代超級計算機的新型存儲系統(tǒng)提供研究和分析手段，有必要構(gòu)建面向存儲系統(tǒng)的功能和性能的模擬器，對目標(biāo)系統(tǒng)進(jìn)行模擬，分析存儲系統(tǒng)的運行特性，研究分析存儲系統(tǒng)的各種設(shè)計參數(shù)，優(yōu)化現(xiàn)有存儲系統(tǒng)，指導(dǎo)新的存儲系統(tǒng)的設(shè)計。
　　本文設(shè)計并實現(xiàn)了一種基于Lustre存儲系統(tǒng)的存儲系統(tǒng)模擬器，主要進(jìn)行了以下幾項研究工作：
　　（1）研究目前典型I/O密集型應(yīng)用對存儲系統(tǒng)的性能要求，結(jié)合Lustre文件系統(tǒng)的組成結(jié)構(gòu)和

6、I/O操作流程，分析Lustre文件系統(tǒng)在I/O密集型應(yīng)用時可能表現(xiàn)的問題。
　?。?）分析目前軟件模擬器設(shè)計的主要方法，提出了本文的Lustre系統(tǒng)模擬器的設(shè)計方法。
　?。?）設(shè)計并實現(xiàn)了以Lustre文件系統(tǒng)為目標(biāo)系統(tǒng)的存儲系統(tǒng)模擬器LustreSim，并通過與TH-1A超級計算機Lustre系統(tǒng)性能測試和逆時偏移抽道集應(yīng)用程序運行的對比分析，驗證了其正確性與可用性。
　　（4）研究了影響Lustre文件系統(tǒng)性能