基于Hadoop的全國零售戶數據處理與市場感知.pdf

1、隨著近年來互聯網的發(fā)展，促使了“互聯網+”的興起，煙草企業(yè)已經擁有了龐大的零售戶信息數據。零售戶在全國范圍內的數量已經超過了800萬家，每月都會產生大量訂單信息，隨著時間的推移，這個訂單信息數據量已經達到TB級別。然而，企業(yè)最初搭建的硬件設備和軟件不具有存儲和處理這些數據的能力，因此導致有價值的信息無法提取出來，形成一個尷尬的局面。本文結合全國零售戶不斷劇增的信息數據與現有的大數據存儲技術，提出了基于Hadoop的全國零售戶訂單數據分析

2、系統(tǒng)的架構，詳細分析了Hadoop集群節(jié)點存儲性能和響應時間，實現了海量數據的存儲與處理?；贏RIMA預測模型，建立了銷售預測模型，并對該模型進行了驗證，根據預測提出了基于預測的營銷模式，還提出了對零售戶終身價值的計算方式，為決策者提供對零售戶的忠誠度提升策略。具體研究內容如下：
　　1）根據全國零售戶訂單數據的性質，提出了一種基于Hive的數據存儲模型，該模型是對海量數據進行分區(qū)管理，采用月單位劃分數據分區(qū)表。采用該模型解決針

3、對全國零售戶訂單數據的應用存儲和負載均衡問題。
　　2）探討了對整個HDFS常用的數據處理辦法，并根據存儲數據的實際情況，提出了一個在異構集群下減少數據處理的響應時間的算法，該算法是分析集群性質和對集群處理數據的執(zhí)行響應時間提出一種基于節(jié)點計算性能的數據分配策略。針對全國零售戶數據，運用該分配策略建立一個數據處理模型，降低數據在網絡上傳輸，防止數據擁塞，提供集群的時效性。
　　3）企業(yè)具有敏銳的市場感知、把握市場動態(tài)和市場方

4、向的能力，關鍵在于對大數據的挖掘。本文從市場感知和市場響應角度，在大數據的基礎上，運用ARIMA銷售預測模型來預測市場銷售，并且提出了一種計算零售戶市場價值、忠誠度的方法，緩解重要決策對個人經驗的依賴，為品牌投放和市場響應提供了有效的信息支撐。
　　4)基于Hadoop的數據存儲技術建立了一個大數據處理平臺，設計了一個以企業(yè)產生的零售數據為導向的數據存儲的生態(tài)大循環(huán)、以戰(zhàn)略為牽引的大數據平臺中循環(huán)和以數據信息為核心的數據同步處理的