HDFS元數(shù)據(jù)管理的高可用性優(yōu)化技術研究.pdf

1、隨著數(shù)據(jù)存儲設備的存儲成本不斷降低，數(shù)據(jù)存儲已經不再是決定系統(tǒng)性能的主要因素，轉而數(shù)據(jù)存儲系統(tǒng)的可用性成為了當前評價系統(tǒng)性能的重要指標。本文從高可用性的角度出發(fā)，依托于當前流行的大數(shù)據(jù)平臺Hadoop下部署的存儲系統(tǒng)HDFS，研究其上元數(shù)據(jù)管理的高可用性優(yōu)化技術，以此來提高當前HDFS HA方案的可用性。
　　本文主要從HDFS元數(shù)據(jù)管理中節(jié)點故障時系統(tǒng)的可用性狀態(tài)問題作為研究點，結合當前HDFS Federation與HA組織模

2、式，分析了在當前模式下單元數(shù)據(jù)節(jié)點故障時系統(tǒng)處于非高可用性階段，雙節(jié)點故障時管理員冷啟動新的節(jié)點所耗費的大量時間，以及集中式緩存未設置緩存替換策略的問題?；谏鲜鋈齻€問題，提出了本文的優(yōu)化技術，優(yōu)化技術的主要思想是結合了雙機熱備與雙機互備兩種冗余工作模式，將Federation模式下獨立的命名空間兩兩組合，當某個命名空間下的節(jié)點發(fā)生故障后，可以將系統(tǒng)配置的另一個命名空間下的備份節(jié)點與當前故障切換后的活躍節(jié)點形成新的高可用性組合，同時也實

3、現(xiàn)了當一個命名空間下的HA雙節(jié)點均發(fā)生故障時，可由另一個命名空間下的備份節(jié)點接替成為故障命名空間下的活躍節(jié)點，實現(xiàn)了熱備份啟動新的節(jié)點。
　　根據(jù)上述優(yōu)化思想，本文在以下幾種機制上進行了詳細的設計實現(xiàn)，分別為基于QJM的共享存儲機制優(yōu)化，基于ZKFC的故障檢測與切換技術優(yōu)化以及數(shù)據(jù)塊映射表動態(tài)維護技術優(yōu)化。
　　此外，根據(jù)元數(shù)據(jù)訪問請求呈現(xiàn)出的集中性與突發(fā)性特征，本文設計了一個能提升系統(tǒng)高可用性的集中式元數(shù)據(jù)緩存替換策略，新

4、策略選取數(shù)據(jù)流行度作為替換標準，利用神經網絡預測模型、多元線性回歸模型以及衰減函數(shù)模型結合形成的多個組合模型來周期性地預測數(shù)據(jù)流行度。
　　最后，通過實驗測試進行了優(yōu)化技術的綜合性能分析，根據(jù)得出的實驗結果，優(yōu)化技術能夠實現(xiàn)節(jié)點故障后啟動新的高可用性組合以及熱備方式啟動新節(jié)點的功能，同時也能確保數(shù)據(jù)完整一致性等性能要求。此外，通過Simple-Scalar模擬器，驗證了集中式緩存替換策略能夠提高元數(shù)據(jù)的cache-hit-rati