內(nèi)容審計(jì)系統(tǒng)的研究與實(shí)現(xiàn).pdf

1、隨著互聯(lián)網(wǎng)絡(luò)的越來(lái)越普及，它所覆蓋的范圍也越來(lái)越大，而互聯(lián)網(wǎng)絡(luò)傳播的信息量每天都在成倍的增長(zhǎng)，信息內(nèi)容也越來(lái)越多樣化。為了能在數(shù)據(jù)量龐大，數(shù)據(jù)種類繁多，分析過(guò)程繁瑣復(fù)雜的情況下，有效的根據(jù)用戶的任務(wù)要求快捷準(zhǔn)確的審計(jì)出有危害的信息，我們主要針對(duì)目前網(wǎng)絡(luò)上危害性最大的政治、色情和暴力這三類文本，設(shè)計(jì)開(kāi)發(fā)了有針對(duì)性的內(nèi)容審計(jì)系統(tǒng)。
　　本文的主要研究?jī)?nèi)容包括以下五個(gè)方面：
　　1、采用層次分析的方法實(shí)現(xiàn)了對(duì)未知文本從主題分類到態(tài)

2、度傾向性分析的過(guò)程。通過(guò)對(duì)有害信息的介紹，我們發(fā)現(xiàn)危害性最大的文本可以歸結(jié)為三類：政治、色情和暴力；在主題分類的基礎(chǔ)上再針對(duì)相應(yīng)的文本進(jìn)行傾向性分析無(wú)疑會(huì)縮小范圍，提高分析的準(zhǔn)確性。
　　2、針對(duì)主題分類的特點(diǎn)，本文在分析現(xiàn)有特征選擇算法的基礎(chǔ)上，設(shè)計(jì)了一個(gè)基于CHI-GA的組合特征選擇算法，通過(guò)試驗(yàn)分析證實(shí)了它的有效性。
　　3、由于采用層次分析的方法，使得針對(duì)某一類文本而構(gòu)造特定的領(lǐng)域極性詞典成為了可能，由此可提高文本傾

3、向性分析的準(zhǔn)確性。在本系統(tǒng)中我們分別針對(duì)政治、色情和暴力這三類文本構(gòu)建了不同的領(lǐng)域極性詞典。
　　4、針對(duì)文本傾向性分析的特點(diǎn)和難點(diǎn)，本文結(jié)合現(xiàn)有的文本傾向性分析方法，提出了一種基于領(lǐng)域極性詞的短語(yǔ)搭配識(shí)別方法，并利用識(shí)別出的傾向性短語(yǔ)作為特征訓(xùn)練SVM分類器，從而實(shí)現(xiàn)文本傾向性識(shí)別。試驗(yàn)結(jié)果證實(shí)取得了良好的效果。
　　5、針對(duì)用戶要求審計(jì)的數(shù)據(jù)量龐大，數(shù)據(jù)種類繁多，分析量繁重的問(wèn)題，我們采用了先進(jìn)的分布式處理技術(shù)，設(shè)計(jì)了基