基于Hadoop的Web日志存儲(chǔ)及預(yù)處理優(yōu)化研究.pdf

1、互聯(lián)網(wǎng)、移動(dòng)互聯(lián)網(wǎng)等技術(shù)的發(fā)展，使得服務(wù)器上的Web日志急劇膨脹。Web日志記錄了上網(wǎng)用戶訪問Web頁面的瀏覽行為，對(duì)網(wǎng)站建設(shè)和提供精準(zhǔn)服務(wù)具有重要的指導(dǎo)意義。但是，原始 Web日志文件中數(shù)據(jù)的通常是不完整、冗余甚至錯(cuò)誤的，直接使用這些數(shù)據(jù)進(jìn)行日志分析非常困難，而且有可能得到錯(cuò)誤的結(jié)果，因此，對(duì) Web日志數(shù)據(jù)進(jìn)行預(yù)處理是很有必要的。同時(shí)，考慮到傳統(tǒng)關(guān)系數(shù)據(jù)庫存儲(chǔ)的約束和單節(jié)點(diǎn)數(shù)據(jù)處理方式的局限性，本文使用Hadoop的分布式處理平臺(tái)對(duì)

2、Web日志數(shù)據(jù)進(jìn)行存儲(chǔ)和預(yù)處理操作，主要內(nèi)容包括：
　?。?）Web日志數(shù)據(jù)存儲(chǔ)
　　面對(duì)海量Web日志的急劇增長，傳統(tǒng)存儲(chǔ)技術(shù)面臨建設(shè)成本高、運(yùn)維復(fù)雜、擴(kuò)展性有限等問題，而現(xiàn)在流行的云數(shù)據(jù)庫具有動(dòng)態(tài)可擴(kuò)展、高伸縮性、高吞吐性能、低成本等優(yōu)勢(shì)，因此，本課題考慮將Web日志存儲(chǔ)到Hadoop數(shù)據(jù)庫HBase中，充分利用集群的分布式處理優(yōu)勢(shì)。
　　（2）HBase負(fù)載均衡優(yōu)化
　　數(shù)據(jù)在HBase中的存儲(chǔ)方式在很大程

3、度上左右著整個(gè)集群的性能，直接影響著后續(xù)讀取操作的效率。當(dāng)MapReduce讀取HBase中Web日志數(shù)據(jù)時(shí)可能會(huì)造成訪問“熱點(diǎn)”問題，本文針對(duì)這種情況提出一種改進(jìn)的負(fù)載均衡算法即HBase基于子表限制的負(fù)載均衡算法，在子表分配過程中除了考慮HRegionServer的負(fù)載情況外，還考慮到切割子表region的分配情況，從而實(shí)現(xiàn)最大程度上的集群負(fù)載均衡。
　?。?）用MapReduce對(duì)Web日志進(jìn)行預(yù)處理
　　Web日志預(yù)

4、處理操作關(guān)系到Web挖掘的質(zhì)量，而單一節(jié)點(diǎn)的計(jì)算能力在處理大規(guī)模增長的Web日志上逐漸顯露出弊端，MapReduce支持大規(guī)模集群操作，本文在分析Web日志預(yù)處理過程后，從HBase中讀取數(shù)據(jù)，使用MapReduce計(jì)算模型處理Web日志的預(yù)處理操作。
　　通過對(duì)比實(shí)驗(yàn)，驗(yàn)證了優(yōu)化后的HBase負(fù)載均衡算法在適當(dāng)集群環(huán)境中可以有效解決負(fù)載訪問失衡問題，以及驗(yàn)證了MapReduce在處理Web日志預(yù)處理過程的高效性。最后，本文對(duì)預(yù)處