大數(shù)據(jù)下重復數(shù)據(jù)刪除的關鍵技術研究.pdf

1、近年來，隨著與數(shù)據(jù)相關的信息技術的高速發(fā)展，全球數(shù)據(jù)量呈現(xiàn)爆炸式增長，大數(shù)據(jù)給我們帶來了很多方便，但也存在大量的重復數(shù)據(jù)存儲，因此有效的處理重復數(shù)據(jù)達到節(jié)省存儲空間的目的，在大數(shù)據(jù)環(huán)境下提出了新的挑戰(zhàn)。目前提出的重復數(shù)據(jù)刪除技術，能很大程度地節(jié)省系統(tǒng)的存儲空間，但是系統(tǒng)的性能、可靠性和擴展性也因此受到影響。本文對提升重復數(shù)據(jù)刪除系統(tǒng)的性能進行研究，提出一種基于指紋分類的索引方案，并在此基礎上設計和實現(xiàn)了一種新的重復數(shù)據(jù)刪除系統(tǒng)，主要工作

2、和創(chuàng)新點如下:
　　(1)為了減少磁盤訪問次數(shù)，提高重復數(shù)據(jù)刪除的性能，本文提出一種基于指紋分類的B樹二級索引方案SIAR(a Secondary Index Assisted Read scheme)。首先根據(jù)指紋的值域將其進行分類，對于每類指紋建立一顆B樹，相比于包含所有指紋的B樹，每一類指紋對應的B樹高度更小，由此可以減少磁盤隨機訪問的次數(shù)，提升系統(tǒng)的讀性能。此外，對SIAR方法中的性能提升和內存開銷的平衡關系進行了理論分析

3、，依據(jù)存儲系統(tǒng)的數(shù)據(jù)量大小，設置相應的參數(shù)，達到優(yōu)化系統(tǒng)的讀性能的目的。分析和實驗驗證了SIAR方法的有效性和高效性。
　　(2)設計并實現(xiàn)了一種新的重復數(shù)據(jù)刪除系統(tǒng)，系統(tǒng)由客戶端和服務器端兩部分構成，客戶端采用文件類型分類的方式對不同文件進行分類處理，不同類型的文件根據(jù)其內容特點采用與之適應的文件分塊算法，這樣可以保證重復刪除率的情況下減少計算開銷。客戶端首先發(fā)送數(shù)據(jù)塊指紋到服務端檢測，確保是非重復數(shù)據(jù)塊再傳輸數(shù)據(jù)到服務端，減少