實時社交媒體分析系統(tǒng)的設(shè)計與實現(xiàn).pdf

1、隨著國際互聯(lián)網(wǎng)絡(luò)的進一步普及以及網(wǎng)絡(luò)之上所承載的信息量的進一步豐富,互聯(lián)網(wǎng)成為新的媒體已經(jīng)是不爭的事實,眾多社交網(wǎng)站的訪問量已不亞于傳統(tǒng)媒體,以臉譜網(wǎng)和推特網(wǎng)為代表的社交網(wǎng)站已經(jīng)成為了互聯(lián)網(wǎng)信息傳播的新勢力,它們散發(fā)出的巨大能量使得傳播領(lǐng)域出現(xiàn)了一個新的名詞——社交媒體。同時,由社交媒體產(chǎn)生的社交媒體數(shù)據(jù)也蘊含著巨大的信息。本文構(gòu)建了一個以Twitter網(wǎng)站數(shù)據(jù)為基礎(chǔ),對用戶的社交媒體數(shù)據(jù)進行統(tǒng)計分析的實時社交媒體分析系統(tǒng)。該分析系統(tǒng)以

2、Twitter Storm流計算系統(tǒng)為平臺,利用Twitter API和Python NLTK等技術(shù),實現(xiàn)對社交媒體數(shù)據(jù)的關(guān)鍵字提取和情感分析等任務(wù),為用戶提供數(shù)據(jù)推薦。
　　首先,根據(jù)系統(tǒng)的應(yīng)用場景和需求定義確定技術(shù)方案,選擇Twitter Storm流計算系統(tǒng)實現(xiàn)對社交媒體數(shù)據(jù)的快速處理,保證系統(tǒng)持續(xù)計算和實時性;并選擇Python NLTK解決關(guān)鍵字抽取和情感分析任務(wù)。
　　然后根據(jù)需求定義將系統(tǒng)劃分為Twitter

3、Streaming API適配模塊、流計算和短文本分析模塊、數(shù)據(jù)維護模塊、網(wǎng)絡(luò)結(jié)構(gòu)分析模塊、內(nèi)容推送模塊以及配置和日志模塊,前五個模塊主要用于實現(xiàn)系統(tǒng)功能目標(biāo),而配置和日志模塊提高了系統(tǒng)的可用性。流計算和短文本分析模塊包括Twitter Storm系統(tǒng)執(zhí)行邏輯和Python NLTK文本分析邏輯,利用Twitter Storm系統(tǒng)對流數(shù)據(jù)的處理優(yōu)勢實現(xiàn)對社交媒體流數(shù)據(jù)的快速處理,利用Python NLTK抽取Twitter數(shù)據(jù)的關(guān)鍵字,

4、使用樸素貝葉斯分離器實現(xiàn)對社交媒體數(shù)據(jù)的情感分析,樸素貝葉斯分類器以其簡單高效的計算模式和相對合理的計算結(jié)果,能夠提高系統(tǒng)的計算質(zhì)量和響應(yīng)時間;網(wǎng)絡(luò)結(jié)構(gòu)分析模塊利用節(jié)點相似度和Q值算法實現(xiàn)對用戶群的社群劃分工作,節(jié)點相似度計算利用矩陣運算得到所有節(jié)點的相似度拓撲序列,而Q值算法利用相似度計算結(jié)果分析得到相對合理的社群劃分方案;系統(tǒng)配置利用Zookeeper提供的鎖機制保證配置完整性。
　　最后,進行模塊和系統(tǒng)測試,對系統(tǒng)各個模塊和