分布式存儲系統中并行下載相關技術研究.pdf

1、當前，隨著信息化進程的不斷推進，需要存儲的各種數據量也不斷增加。。數據量的急劇增加給存儲系統的設計帶來了巨大挑戰(zhàn)。以往基于Client/Server的單點集中存儲已經不能滿足當前的存儲需求，與其對應的分布式存儲異軍突起。在分布式存儲中，數據經常是被多副本存儲，即一份數據存儲多份，目的是提高系統的數據可靠性和可用性。
　　 針對多個數據的副本，如何快速的從存儲系統中得到所需的數據，已經成為學術界的研究重點。目前主要可以采用兩種方式

2、快速獲得所需要的數據，一種是采用某種服務器選擇算法，選擇最優(yōu)的服務器進行數據的下載。另一種是采用多節(jié)點協作的并行下載技術。由于多節(jié)點協作的并行下載技術可以充分利用服務器的帶寬，避免復雜的服務器選擇算法，在存儲系統中采用該方法具有明顯的優(yōu)勢。本文就存儲系統中采用多節(jié)點協作并行下載的相關技術進行了研究。本文的主要工作和貢獻可歸納為以下幾點：
　　 1.分析了分布式存儲架構，對863項目(新一代業(yè)務運行管控協同支撐環(huán)境的開發(fā))中采用的

3、存儲架構和相關技術進行了研究，分析了在系統中采用并行下載的相關背景。
　　 2.分析研究了網絡帶寬和延時測量的機制，并采用網絡測量工具分析了延時、丟包等參數對帶寬的影響，而且采用NS2仿真的方式分析研究了TCP流量控制和擁塞控制對帶寬的影響。
　　 3.分析了常見并行套接字的機制，其中重點分析了流控制傳輸協議(SCTP)的多流和多宿主機制，并利用SCTP的多流機制提出一種改進的FTP的下載方式，并與基于TCP的FTP進行

4、了對比，下載文件時間明顯縮短。另外針對并行套接字庫Psock采用linux系統調用poll存在的問題，實驗分析表明采用epoll代替poll的具有明顯的性能優(yōu)勢。
　　 4.提出一種基于帶寬測量的多節(jié)點協作并行下載機制，主要是對文件分塊下載時的最后一塊采用動態(tài)調整的方式，這樣可以讓多個并行下載流盡可能的同時結束，加快下載速度。另外為了減少服務器端對硬盤的讀取，將服務器端緩存加入到了并行下載技術中，實驗表明此方法加快了下載速度。