基于Hadoop平臺的協(xié)同過濾推薦算法研究.pdf

1、隨著大數(shù)據(jù)時代的到來，人們在分享大數(shù)據(jù)帶來益處的同時，也遭遇到大數(shù)據(jù)帶來的麻煩。當搜索某種信息時，相關信息可能會鋪天蓋地而來，面對這些海量數(shù)據(jù)，人們往往無法快速定位到自己想要的那部分信息，用戶需要花費很多時間和精力去甄別信息的有效性和可用性。人們對信息的使用效率隨著數(shù)據(jù)量的增長呈現(xiàn)出急速下降的趨勢，這就是著名的信息過載（information overload）問題。雖然谷歌、百度等搜索引擎提供了一些幫助，但依然未能解決人們對信息的個性

2、化需求。在電子商務（如Amazon、淘寶、京東等）和社交網絡（如Twitter、新浪微博等）出現(xiàn)后，人們對信息的個性化需求更為強烈。于是，怎么在大數(shù)據(jù)背景下幫助人們快速找到其感興趣的、滿意的信息，已成為學術界和企業(yè)界關注的熱點。為了解決這些社會需求，研究者們提出了個性化推薦系統(tǒng)，這是一種通過挖掘用戶歷史數(shù)據(jù)，然后向用戶提供其很有可能感興趣的信息的一種智能系統(tǒng)。個性化推薦系統(tǒng)是否能提供用戶滿意的服務取決于個性化推薦算法，好的算法才能推薦出

3、好的結果。在眾多個性化推薦算法中，目前最成功的策略之一是協(xié)同過濾算法。
　　盡管協(xié)同過濾算法取得了很好的效果，但還是存在著不少缺點，如數(shù)據(jù)稀疏問題，可擴展性問題，冷啟動問題等。為了進一步提高個性化推薦效果，本文在閱讀大量相關文獻并深入學習協(xié)同過濾推薦技術的基礎上，對已有的協(xié)同過濾推薦算法進行改進，提出了基于用戶評分差異計算用戶相似度和基于項目聚類評分預測的協(xié)同過濾算法，并在Hadoop平臺上實現(xiàn)所提出的算法。具體的研究內容如下:<

4、br>　　(1)提出了一種新的用戶相似度計算方法—基于用戶評分差異的相似度計算方法，該方法綜合考慮了用戶之間的評分差異、評分偏好和共同評分項目數(shù)三個因素。此方法挖掘并應用更多的用戶評分信息，特別是應用了均值以下的用戶評分信息，有效提高了用戶偏好相似性的準確率，并能夠緩解數(shù)據(jù)稀疏性帶來的推薦質量下降的問題。
　　(2)改進傳統(tǒng)的基于近鄰評分預測方法(NNSP)，提出基于項目聚類的評分預測方法(ICBSP)，實現(xiàn)對未評分項目的評分預測

5、。該方法的核心思想有兩個，一個是考慮鄰居用戶對待預測項目的評分可以有多個評分值，在其中選擇最大者作用戶最終評分值;另一個是使用項目權重因子和用戶相似度共同作為權重值來調節(jié)各個不同的待預測項目在特定用戶中應該占有的權重。這樣可以有效地提高評分預測的準確度，提升推薦質量。
　　(3)本文還在Hadoop平臺上對基于用戶評分差異相似度計算方法和基于項目聚類評分預測方法的協(xié)同過濾推薦算法進行分布式實現(xiàn)，即利用MapReduce計算模型實現(xiàn)