大數(shù)據(jù)模擬環(huán)境下的分布式協(xié)同過(guò)濾推薦系統(tǒng)的研究.pdf

1、隨著互聯(lián)網(wǎng)的高速發(fā)展，信息量呈海量增長(zhǎng)，傳統(tǒng)的推薦系統(tǒng)已經(jīng)無(wú)法處理海量數(shù)據(jù)所帶來(lái)的大規(guī)模計(jì)算問(wèn)題，而且傳統(tǒng)的集中式協(xié)同過(guò)濾推薦算法中數(shù)據(jù)和計(jì)算耦合性非常大，并且無(wú)法為用戶提供實(shí)時(shí)的、可靠的、可擴(kuò)展的推薦服務(wù)，為解決這些問(wèn)題，本文提出大數(shù)據(jù)模擬環(huán)境下基于相似用戶的分布式協(xié)同過(guò)濾推薦系統(tǒng)。使數(shù)據(jù)和相似度的計(jì)算都被分配到一個(gè)分布式集群的各個(gè)節(jié)點(diǎn)上，各節(jié)點(diǎn)相互協(xié)作完成共同的推薦任務(wù)。
　　首先，本文引入分布式Hash算法實(shí)現(xiàn)了數(shù)據(jù)的分布式

2、存儲(chǔ)，將原本集中存儲(chǔ)的用戶偏好數(shù)據(jù)擴(kuò)展到分布式環(huán)境中，提升了系統(tǒng)存儲(chǔ)容量。同時(shí)提供一個(gè)快速的用戶偏好信息定位算法，為分布式系統(tǒng)的實(shí)時(shí)推薦奠定了理論實(shí)現(xiàn)基礎(chǔ)。
　　其次，提出了一個(gè)比較新穎的用戶相似度計(jì)算及更新算法，將原本計(jì)算和數(shù)據(jù)耦合度很高的協(xié)同過(guò)濾推薦算法分成put和getRecommendedItems兩個(gè)大的過(guò)程，能夠較好的適應(yīng)用戶相似度的更新以及計(jì)算的分布化。兩用戶之間的相似度采用用戶對(duì)相同項(xiàng)目的評(píng)分值的加權(quán)和得到，設(shè)定的

3、權(quán)值來(lái)源于兩個(gè)用戶對(duì)同一個(gè)項(xiàng)目的評(píng)分值之間的距離，從而將更多的用戶偏好信息納入計(jì)算范圍，提高了用戶相似度計(jì)算的準(zhǔn)確性。由于新的相似度的計(jì)算方式不需要進(jìn)行大量的數(shù)據(jù)移動(dòng)，且相似度的計(jì)算在put階段完成，因此項(xiàng)目推薦能夠做到實(shí)時(shí)完成。
　　再次，本文的分布式系統(tǒng)被設(shè)計(jì)成能夠運(yùn)行在普通廉價(jià)的PC機(jī)上，由于將組件的失效看做是一種常態(tài)而不是異常，因此本文將節(jié)點(diǎn)設(shè)計(jì)成可以在任何時(shí)候加入或者離開集群以支持集群的自穩(wěn)定性。同時(shí)，針對(duì)相似度計(jì)算的過(guò)