電商海量數(shù)據(jù)下不同規(guī)則引擎中數(shù)據(jù)模型的分析與監(jiān)測.pdf

1、規(guī)則引擎在電子商務(wù)決策框架中的應(yīng)用已經(jīng)非常廣泛，同時也在不斷地演化與復(fù)雜化。為了解決電商架構(gòu)里規(guī)則引擎在升級和遷移過程中，數(shù)據(jù)模型不可控，海量數(shù)據(jù)難以審計等問題，需要研究和構(gòu)建一個基于分布式計算框架的數(shù)據(jù)分析與監(jiān)測平臺，使其能夠高效地處理與分析電商實時環(huán)境中的海量數(shù)據(jù)，使得業(yè)務(wù)與開發(fā)人員能夠快速準確地定位決策系統(tǒng)中的潛在問題。
　　文章首先分析研究了規(guī)則引擎的一般算法和總體架構(gòu)，結(jié)合數(shù)據(jù)模型的特點和工作方式，指出了電商規(guī)則引擎升級

2、過程中數(shù)據(jù)模型分析的必要性和挑戰(zhàn)，指出了海量數(shù)據(jù)采集，不同引擎協(xié)同分析和海量數(shù)據(jù)如何高效分析三大難題。并針對這些問題提出了相應(yīng)的解決方案，明確了數(shù)據(jù)模型分析工作的目標和特點。進而從需求和技術(shù)角度出發(fā)，設(shè)計和構(gòu)建了基于Spark的分布式數(shù)據(jù)模型分析框架。
　　文章進而針對具體問題設(shè)計和實現(xiàn)了相應(yīng)的算法：海量數(shù)據(jù)采集，數(shù)據(jù)解析，數(shù)據(jù)分析和數(shù)據(jù)聚合算法。數(shù)據(jù)采集主要通過在實時環(huán)境的規(guī)則引擎中植入審計規(guī)則等方式采集原始數(shù)據(jù)，在數(shù)據(jù)解析和分

3、析聚合階段使用了Spark API對原始數(shù)據(jù)進行解析、分析和聚合，并且將聚合數(shù)據(jù)持久化。同時在前臺報表模塊使用了Spring相關(guān)框架實現(xiàn)對后臺分析結(jié)果的動態(tài)抓取和前臺的動態(tài)刷新。
　　最后，在實際項目應(yīng)用中，平臺利用了規(guī)則引擎和數(shù)據(jù)模型的特性，高效大量地采集到了數(shù)據(jù)模型運行期的原始數(shù)據(jù)。并利用Spark內(nèi)存計算和RDD彈性數(shù)據(jù)集等特性，對電商不同規(guī)則引擎中數(shù)據(jù)模型中的海量數(shù)據(jù)進行高效的分析計算。在結(jié)果評估章節(jié)可以看出，平臺在分析的