基于實時數據流處理的http數據分析可視化系統.pdf

1、互聯網時代，數據量飛速增長：城市數據、醫(yī)療數據、網站數據等數據不斷的產生。這些數據隱含著人們生活活動的規(guī)律和社會發(fā)展的規(guī)律,有很大的分析價值。但在這些數據中，卻有大量數據因為難以保存而直接丟棄了。這些被丟棄的數據中隱含著有價值的信息，卻沒有得到利用。為了挖掘這些信息的隱含價值，可以使用流計算方法分析這些數據。流計算是一種數據分析方法，這種方法是實時的，它在得到數據的同時同步進行數據分析，避免了原始數據的累積。同時實時產生結果，保證了分析

2、結果的有效性和可用性。使用流數據分析方法，可以挖掘那些難以保存的大量數據的隱含價值。
　　用戶訪問網站時會產生大量http數據包。而因為http報文數據量大，冗余信息多，使用傳統的存儲再分析方法來分析http數據代價很大，性價比很低，所以人們訪問網站時產生的http報文通常用過即丟。本文使用流計算分析方法來處理http數據，可以在有限存儲容量條件下挖掘http數據的隱含價值。本文的研究方向是從http報文中實時分析網站的用戶行為數

3、據，包含用戶pv/uv、訪問深度、停留時間、地理位置、搜索關鍵詞等。實時顯示分析結果。分析產生的用戶行為數據可以指導網站的決策、引導網站的建設、驗證網站的營銷成果、支持上層多維用戶行為分析。
　　本文的主要貢獻有三個方面：一是通過nodejs技術和redis技術編碼完成了一套流數據分析程序；二是設計并實現了一套從http報文中分析用戶行為數據的拓撲流程，其中多個分析節(jié)點（pv/uv、來源網站、關鍵詞、訪問深度、停留時間、地理位置）