中文農(nóng)業(yè)網(wǎng)頁去重及相似度判斷研究.pdf

1、隨著網(wǎng)絡信息技術的飛速發(fā)展，農(nóng)業(yè)信息化的建設、服務水平得到了極大的促進與提高?；ヂ?lián)網(wǎng)中海量、重復的農(nóng)業(yè)信息為從事農(nóng)業(yè)領域的朋友們帶來方便的同時，也增加了快速、準確獲取有效信息的難度。如何對農(nóng)業(yè)網(wǎng)頁中重復以及近似重復的網(wǎng)頁進行有效的管理，成為農(nóng)業(yè)垂直搜索引擎領域研究的重要課題之一。本文的工作主要包括以下幾個方面:
　　1)深入研究了文本去重及相似度判斷的關鍵技術，網(wǎng)頁預處理、網(wǎng)頁正文內容提取、中文分詞、特征加權算法、網(wǎng)頁去重方法、文

2、本相似度計算方法以及相似度評價標準技術，以農(nóng)業(yè)網(wǎng)頁語料庫為基礎，重點研究了網(wǎng)頁去重技術、特征加權算法以及相似度計算的方法。
　　2)對中文農(nóng)業(yè)網(wǎng)頁中重復及近似重復的網(wǎng)頁的定義標準進行研究，構建出中文農(nóng)業(yè)網(wǎng)頁語料庫。建立一個由人工鑒別出的網(wǎng)頁集合，包含225組網(wǎng)頁集，每組網(wǎng)頁集中有2至14張近似重復網(wǎng)頁，共1110篇網(wǎng)頁作為網(wǎng)頁測試集。
　　3)首先對網(wǎng)頁進行預處理，使用MD5方法去除網(wǎng)頁集合中完全相同的網(wǎng)頁，再對其余網(wǎng)頁提取

3、出正文內容，利用庖丁解牛分詞方法進行分詞、去除停用詞后，分別使用布爾權重、詞頻權重、詞頻倒文檔權重三種方法對特征詞進行加權計算;最后分別使用三種相似度算法（向量空間模型、基于《知網(wǎng)》的語義相似度、潛在語義分析）對三種不同權重的特征向量空間模型進行了相似度計算，最終得到9組中文農(nóng)業(yè)網(wǎng)頁相似度判斷結果。
　　4)分析比較了9組實驗的準確率、召回率、F1測度。結果表明，沒有哪種特征加權算法對相似度判斷有絕對的優(yōu)勢，三種特征加權算法在不同