搜索引擎中基于XML的網頁預處理方法研究.pdf

1、隨著互聯網技術的迅速發(fā)展，在線中文網頁的數量迅猛增加，互聯網上的信息量越來越大。搜索引擎能夠有效地組織和分析海量的信息資源，幫助用戶迅速地獲取其所需要的知識和信息。然而互聯網上的信息存在以下問題：網頁信息中通常伴隨著一些與用戶需求無關的噪音內容，例如版權聲明信息、廣告及導航信息等，網頁本身缺乏必要的描述性信息，網頁之間通過復雜的超鏈接聯系起來等，這些問題影響了搜索引擎提供服務的質量。
　　在搜索引擎中,預處理模塊的任務是凈化網頁內

2、容、提取網頁元數據、提取網頁正文內容等。凈化網頁的目的是去除網頁中的噪音內容，從而實現噪音信息和正文內容的分離。網頁元數據指的是網頁的描述性信息，網頁元數據的合理使用有助于搜索引擎對網頁信息的處理，為搜索引擎提供擴展查詢的手段，使得搜索引擎在信息檢索過程中不僅僅依靠關鍵詞的匹配。網頁標識、網頁類型、關鍵詞、摘要、更新日期等元數據的使用，可以為用戶提供更加全面的網頁信息，有助于提高查詢的準確率。正文內容是網頁的主體，它包括網頁的主題內容和

3、相關超鏈接，正文內容的提取是預處理模塊的主要任務。
　　本文以預處理模塊中網頁的預處理過程為線索，首先總結了當前預處理模塊中的主要問題的解決方法。然后分析了網頁類型的判斷、網頁標題的提取，網頁摘要的生成，相關超鏈接的提取，預處理后網頁的存儲等內容。對預處理模塊需要完成的工作進行了深入的研究。在傳統的網頁預處理方法的基礎上，提出了網頁的文檔對象模型，通過模型表示網頁中的元數據和正文內容。
　　實驗結果表明，在對網頁文檔建立索引