基于分類技術的網頁去噪方法的研究.pdf

1、互聯網的快速發(fā)展使網絡上的各種信息呈現出快速增長的趨勢。如何從浩瀚的互聯網文本中獲取有效信息、分析網頁數據之間的關聯性等，是自然語言處理領域的一項挑戰(zhàn)。網頁導航、主題信息、超鏈接信息、版權信息等構成一個網頁，其中除了網頁正文信息外，其他的信息對于研究人員來說都屬于噪音信息，這些噪音信息會對Web信息檢索，網頁分類等研究產生了不利的影響。
　　為了使自然語言處理技術更好地應用到網頁信息的研究中，提高對網頁正文的處理能力，同時降低網頁

2、去噪領域對于網頁模板的依賴性，本文提出了一種基于網頁標簽位置特征與文本特征相結合的網頁去噪方法。該方法將HTML網頁映射為相應的DOM樹，在分析DOM樹結構的基礎上，抽取其中每一個標簽節(jié)點的位置特征以及文本特征，同時考慮正文與標題的語義相似性，將這些DOM樹節(jié)點在網頁中所屬的塊分為正文節(jié)點和噪音節(jié)點，最后將它們表示為樣本數據，運用機器學習中的分類方法進行分類實驗。該方法實現簡單且對于網頁的模板依賴較小，具有一定的通用性。
　　實驗