垂直搜索引擎若干關鍵技術的研究.pdf

1、隨著Internet的飛速發(fā)展，Web的信息量越來越大，通用搜索引擎將面臨信息采集、存儲等方面更大的挑戰(zhàn)。此外，由于通用搜索引擎面向所有的用戶，力爭在返回結果上做到面面俱到，包羅萬象的結果顯然不能滿足用戶精確搜索的需求。因此，面向專業(yè)領域的搜索引擎即垂直搜索引擎應運而生。 與通用搜索引擎不同，垂直搜索引擎的網絡蜘蛛只采集Web中的部分信息。通過對網頁的主題相關度進行預測和判斷，專業(yè)網絡蜘蛛在爬行(Crawling)時避開了大量主

2、題無關的區(qū)域。由于只采集主題相關的網頁，垂直搜索引擎在查詢的準確率和效率上都有顯著的提高。目前，垂直搜索引擎的中文分詞和主題預測有待進一步提高精度，網絡蜘蛛的搜索策略也有待進一步改進以提高搜索引擎的覆蓋率和效率。 本文提出了基于主題的自適應的分詞技術，使用候選詞典和專業(yè)詞庫來指導分詞和歧義消除，能有效地提高專業(yè)領域中分詞的查全率和查準率。 本文還提出了基于父網頁的主題相關度預測算法(CPAP)、基于鏈入網頁的主題相關度預

3、測算法(CPAH)和17PR主題預測算法。CPAP利用了錨文本和父網頁的主題相關度等信息進行預測；CPAH在預測主題相關度時綜合考慮了鏈接的數(shù)量和質量；TPR算法則將網頁的主題相關性和權威性相結合，從而有效地防止了“主題漂流”現(xiàn)象。 為了解決普通隧道技術隨著探索半徑的增大，主題無關網頁呈指數(shù)級增加的問題，本文提出了稀疏隧道技術，稀疏隧道技術使專業(yè)網絡蜘蛛在整個 Web中拉網式地探索未知網頁，從而實現(xiàn)“疏而不漏”地挖掘新的Web