基于NoSQL海量數(shù)據(jù)存取策略研究.pdf

1、近幾年來(lái)信息化進(jìn)程開(kāi)始以一種深度和廣度共同發(fā)展的勢(shì)頭不斷深入，隨著物聯(lián)網(wǎng)的興起，大量傳感器以及智能終端廣泛應(yīng)用于傳統(tǒng)工業(yè)領(lǐng)域，這樣勢(shì)必帶來(lái)數(shù)據(jù)的海量增長(zhǎng)。如何有效的利用這些海量數(shù)據(jù)來(lái)提高工業(yè)生產(chǎn)效率成為一個(gè)亟待解決的問(wèn)題，而解決這個(gè)問(wèn)題的基礎(chǔ)在于為這些工業(yè)互聯(lián)網(wǎng)數(shù)據(jù)建立一個(gè)有效的存取機(jī)制。在這方面可以參考目前世界上應(yīng)用廣泛、成熟穩(wěn)定的互聯(lián)網(wǎng)技術(shù)，結(jié)合工業(yè)互聯(lián)網(wǎng)數(shù)據(jù)特點(diǎn)以及傳統(tǒng)的工業(yè)數(shù)據(jù)處理技術(shù)對(duì)這個(gè)問(wèn)題進(jìn)行研究。
　　集中式的存儲(chǔ)

2、系統(tǒng)在面對(duì)工業(yè)互聯(lián)網(wǎng)數(shù)據(jù)的時(shí)候容量有限且擴(kuò)展性不足，而傳統(tǒng)的分布式數(shù)據(jù)庫(kù)在系統(tǒng)彈性以及容錯(cuò)性等方面又不能很好的滿足工業(yè)互聯(lián)網(wǎng)數(shù)據(jù)存儲(chǔ)的需求。在調(diào)研了大量存儲(chǔ)系統(tǒng)之后決定在基于開(kāi)源NoSQL的分布式存儲(chǔ)平臺(tái)上進(jìn)行工業(yè)互聯(lián)網(wǎng)數(shù)據(jù)存取策略的設(shè)計(jì)。
　　工業(yè)互聯(lián)網(wǎng)數(shù)據(jù)存取策略主要包括兩個(gè)部分：分布式存儲(chǔ)策略與分布式查詢策略。根據(jù)海量數(shù)據(jù)自身特性和便于查詢的考慮，系統(tǒng)選取具備數(shù)據(jù)強(qiáng)一致性，采用列式鍵值存儲(chǔ)模型和連續(xù)范圍分片策略的開(kāi)源NoSQ

3、L分布式存儲(chǔ)平臺(tái)，在此基礎(chǔ)上設(shè)計(jì)分布式存儲(chǔ)策略。同時(shí)采用Scatter/Gather Local Search查詢模型，基于存儲(chǔ)系統(tǒng)設(shè)計(jì)出高效分布式查詢策略。分布式查詢策略具備良好的負(fù)載均衡機(jī)制、容錯(cuò)性以及擴(kuò)展性。
　　選取HBase作為存儲(chǔ)平臺(tái)并在此基礎(chǔ)上實(shí)現(xiàn)分布式存取策略。根據(jù)存取的需求設(shè)計(jì)HBase的Rowkey，同時(shí)在子節(jié)點(diǎn)上仿真數(shù)據(jù)庫(kù)與查詢處理器實(shí)例，進(jìn)行存取過(guò)程各方面性能仿真測(cè)試。通過(guò)測(cè)試結(jié)果可以看出，海量數(shù)據(jù)存儲(chǔ)策略