面向應(yīng)用程序的高可用可擴(kuò)展元數(shù)據(jù)服務(wù)研究.pdf

1、不斷發(fā)展的大數(shù)據(jù)處理技術(shù)對(duì)存儲(chǔ)技術(shù)，尤其是元數(shù)據(jù)處理的要求不斷提高。元數(shù)據(jù)的高可用性和高擴(kuò)展性是當(dāng)前支撐大規(guī)模分布式文件系統(tǒng)的關(guān)鍵，然而，現(xiàn)有的研究和技術(shù)無(wú)法完全滿足各類分布式文件系統(tǒng)的需求。故本文介紹了兩方面的工作，分別致力于解決元數(shù)據(jù)的可用性和擴(kuò)展性的問(wèn)題。
　　首先是元數(shù)據(jù)可用性問(wèn)題。元數(shù)據(jù)的高可用性對(duì)于分布式文件系統(tǒng)上的應(yīng)用程序十分重要。然而，許多現(xiàn)有的保障元數(shù)據(jù)高可用性的機(jī)制都缺乏針對(duì)應(yīng)用程序的考慮，即未能將不同應(yīng)用程序

2、的元數(shù)據(jù)區(qū)別對(duì)待，這樣造成了系統(tǒng)的單個(gè)錯(cuò)誤域以及資源使用較低。通過(guò)調(diào)研分析Hadoop平臺(tái)上的應(yīng)用程序數(shù)據(jù)訪問(wèn)特征，本文提出了面向應(yīng)用程序的元數(shù)據(jù)（Client-Oriented METadata，Comet）。Comet是一種新的元數(shù)據(jù)架構(gòu)設(shè)計(jì)，它將不同應(yīng)用程序的元數(shù)據(jù)工作集劃分到相互獨(dú)立的區(qū)域內(nèi)，并使之分布化。使得這些區(qū)域從物理節(jié)點(diǎn)到邏輯上都相互隔離，形成獨(dú)立的錯(cuò)誤域。這樣，區(qū)域之間的錯(cuò)誤相互獨(dú)立，一個(gè)節(jié)點(diǎn)失效不會(huì)影響其他區(qū)域的運(yùn)行

3、。Comet的原型在HDFS上進(jìn)行了實(shí)現(xiàn)，實(shí)驗(yàn)表明，Comet明顯地提高了HDFS元數(shù)據(jù)的總可用性，且性能損失在可接受的范圍內(nèi)。隨著系統(tǒng)規(guī)模的擴(kuò)展，Comet還能提高總體性能以及元數(shù)據(jù)恢復(fù)效率。
　　其次是元數(shù)據(jù)擴(kuò)展性問(wèn)題。HDFS元數(shù)據(jù)的不可擴(kuò)展設(shè)計(jì)可能會(huì)導(dǎo)致元數(shù)據(jù)服務(wù)成為系統(tǒng)的容量和性能瓶頸。之前致力于提高擴(kuò)展性的工作或消除了元數(shù)據(jù)局部性這一重要特征，或在目錄進(jìn)行更名的時(shí)候性能不佳。本文設(shè)計(jì)和實(shí)現(xiàn)了Partitioner，一個(gè)

4、基于HDFS的分布式元數(shù)據(jù)服務(wù)。為了支撐分布式元數(shù)據(jù)管理，提出了一種動(dòng)態(tài)子樹(shù)劃分方式以及基于基數(shù)樹(shù)的分塊檢索模式，并優(yōu)化了負(fù)載均衡和目錄操作，以提高資源利用效率、降低遷移開(kāi)銷。實(shí)驗(yàn)結(jié)果表明 Partitioner提升了元數(shù)據(jù)容量和吞吐量、提高了元數(shù)據(jù)可擴(kuò)展性。
　　通過(guò)以上工作，本文實(shí)現(xiàn)了分布式文件系統(tǒng)元數(shù)據(jù)在可用性和擴(kuò)展性方面的提升，更好地滿足了未來(lái)大數(shù)據(jù)應(yīng)用的對(duì)分布式文件系統(tǒng)元數(shù)據(jù)的要求。新提出的面向應(yīng)用程序的元數(shù)據(jù)設(shè)計(jì)能和各