高性能高可用鍵值存儲系統(tǒng)的設計與實現.pdf

1、21世紀初期,互聯網進入了一個全新的發(fā)展高峰期。數據量以指數增長,提高對海量數據的管理、訪問能力的需求變得越來越迫切。海量的數據和巨大的用戶數量對存儲資源和計算資源的可擴展性提出了巨大的挑戰(zhàn)。傳統(tǒng)的關系型數據庫系統(tǒng)并不能提供這些應用所需要的高可擴展性。一種新型的、存儲非關系型數據的、具有高可擴展性的鍵值存儲系統(tǒng)應運而生。本文首先介紹了研究背景。其次,分析了分布式文件系統(tǒng)、P2P系統(tǒng)與鍵值存儲系統(tǒng)相關的關鍵技術。最后,設計了一個高可靠、高

2、擴展性、高可用的鍵值存儲系統(tǒng)KV-Store。KV-Store具有的基本特征或創(chuàng)新點:
　　 第一基于改進的一致性哈希算法的數據分散算法,該算法成功地解決了基本的一致性哈希算法和Dynamo使用的數據分配算法存在的熱點問題、數據分散和集群拓撲的緊耦合問題、存儲節(jié)點的異構性問題。
　　 第二基于PG劃分的負載均衡算法。使用哈希算法進行數據分散的一個根本缺點是這種映射關系是不可改變的。映射關系不能改變直接導致了數據的位置不能

3、根據系統(tǒng)的負載進行動態(tài)的改變,所以一旦系統(tǒng)出現熱點或負載失衡將束手無策。KV-Store使用了哈希算法進行數據分散,同時也創(chuàng)造性的實現了動態(tài)的負載均衡算法。
　　 第三基于Chubby的消息傳輸和集群管理。Chord,BT等P2P系統(tǒng)通過復雜的路由和查詢協議進行消息的傳輸,KV-Store使用Chubby的改進版進行集群管理和消息的快速傳輸。
　　 第四KV-Store使得元數據和數據徹底解耦合。與傳統(tǒng)的文件存儲系統(tǒng)不同