基于多特征的網頁信息抽取技術的研究與應用.pdf

1、隨著Internet的高速發(fā)展，互聯(lián)網上的信息越來越多，呈現(xiàn)爆炸式增長，以互聯(lián)網信息為數據基礎的云計算和大數據分析技術隨之興起。然而，在互聯(lián)網上，所有的網頁不僅含有重要信息，同時也包含了與主題信息無關的噪聲信息，比如廣告信息，導航欄等。它們嚴重影響了信息抽取的準確性，因而網頁信息抽取技術的研究應運而生，成為研究的熱點。
　　另一方面，在現(xiàn)有的網頁信息抽取方法中，其重點在于區(qū)分頁面的重要信息和噪聲信息，提高重要信息抽取的準確性和效率

2、性，但對于抽取后網頁信息數據卻缺乏形式化組織，導致獲取的重要信息相互雜糅在一起，形成了無法區(qū)分的整段信息，無法對重要信息再進行分類，導致抽取的網頁信息粒度較粗，在后續(xù)應用中可用性較差。
　　本文介紹了網頁信息抽取技術的發(fā)展、原理和相關技術，深入討論了現(xiàn)有網頁信息抽取技術，重點研究了VIPS算法。本文主要研究點如下:
　　(1)針對現(xiàn)有網頁信息形式化組織的缺乏，本文提出了一種網頁信息形式化描述，在清除了網頁噪聲信息的基礎上，將

3、原有網頁重要信息的粗粒度進行細分，針對互聯(lián)網中比重最大的門戶類網站，我們將網頁重要信息描述為主題，發(fā)表日期，瀏覽次數，正文信息，多媒體信息，評論信息等形式化結構，同時為每部分形式化描述設置不同權重，根據信息抽取結果中是否存在相應部分來判斷單個網頁的信息抽取的準確性。同時抽取的重要信息通過形式化描述進行了細化，形成了更加規(guī)范和嚴格的數據組織形式，為以后的數據分析和其他應用提供了更高的可用性。
　　(2)針對現(xiàn)有信息抽取算法對本文提出

4、的網頁信息形式化組織支持方面的缺乏以及現(xiàn)有抽取技術的不足，本文提出了一種針對網頁信息形式化組織的基于VIPS算法改進的網頁信息抽取技術。本技術結合了DOM結構和視覺特征兩方面，采用自上而下，逆序解析DOM結構，同時利用視覺特征和DOM結構特征作為信息抽取的依據，將標簽分塊和視覺分塊相互結合，同時根據網頁信息的形式化描述結構對塊進行分類，對于同屬一個形式化描述結構的相似塊，根據其標簽路徑等特征對相似塊進行合并，最終將網頁抽取的重要信息根據

5、其形式化描述分成不同塊，此技術綜合了網頁DOM結構和視覺特征的優(yōu)勢，提高了網頁信息抽取的準確率。
　　最后，將本文提出的信息抽取方法與其他傳統(tǒng)的信息抽取算法進行了比較，并將其抽取結果應用于提出的網頁信息形式化組織。經過仿真實驗表明，本文提出的網頁信息形式化描述更規(guī)范，更有利用價值，同時提出的方法抽取信息具有更高的分類準確性。最終我們將其在現(xiàn)有的傳統(tǒng)網頁移動化系統(tǒng)中進行了應用試驗，實例是基于青島某大學的PC網站設計的移動校園網站，該