分布式關聯(lián)規(guī)則挖掘方法及應用研究.pdf

1、隨著互聯(lián)網的飛速發(fā)展，網上購物也變的越來越普及，給用戶推薦合適商品的推薦算法也變的日益重要。頻繁模式是指頻繁地出現在數據集中的模式，可以作為推薦系統(tǒng)推薦依據的一部分，本課題以關聯(lián)規(guī)則算法為核心，結合其他機器學習算法處理過程組成一個基于百度貼吧用戶的個性化貼吧推薦系統(tǒng)。我們的目的在于通過優(yōu)化關聯(lián)規(guī)則算法，在分布式部署的情況下產生規(guī)則，然后通過處理這些規(guī)則產生合適的推薦信息。
　　由于單核計算機在CPU性能，內存大小等條件的制約下關聯(lián)

2、規(guī)則算法會遇到以下兩個瓶頸：單點存儲瓶頸，事務數據集過大時產生的局部數據結構可能溢出內存；低支持度瓶頸，在原數據集數據量和屬性列過大而且算法設置的支持度過低時，可能產生的算法輸出規(guī)則集空間遠大于原始數據集。所以我們采用在開源的分布式計算框架下部署關聯(lián)規(guī)則算法。傳統(tǒng)的分布式關聯(lián)規(guī)則挖掘算法會受制于節(jié)點之間數據相關導致的過高通信開銷。
　　本文采用PFP-Growth算法作為改進的目標算法，PFP-Growth算法通過數據分片步驟，能

3、夠保證各計算節(jié)點在進行頻繁模式生成步驟時不需要進行節(jié)點之間的數據交互。本研究改進的對比算法是基于分布式思想的PFP-Growth算法，主要優(yōu)化方向在于PFP-Growth算法在數據分片之后使得各節(jié)點之間數據不相關但是會出現任務負載不均導致運行時間長于算法實際執(zhí)行時間的情況。
　　本課題構建的推薦系統(tǒng)中不直接使用原始產生的頻繁項集，本課題中首先在算法產生頻繁項集的同時生成數據集的頻繁閉項集和極大頻繁項集；然后在精簡強關聯(lián)規(guī)則時，本課

4、題通過一些過濾指標過濾可信度低或者高度冗余的強關聯(lián)規(guī)則，最后通過對剩余關聯(lián)規(guī)則的聚類然后對每個簇選取具有代表性的若干個規(guī)則得出最終的推薦結果。
　　通過實驗測試幾種分片方案對比時間等因素，可以對比得出提出的分配方案的有效性，但是隨著選取的分布式計算框架實現及原理的不同，可能會產生不同的調度方案導致時間有所差異，本研究在理論情況下比較實驗結果。本研究利用分布式關聯(lián)規(guī)則算法應用于真實的百度貼吧用戶數據情景下，完成針對個人用戶的貼吧推薦