基于網(wǎng)頁(yè)分塊的主題搜索引擎的研究與實(shí)現(xiàn).pdf

1、搜索引擎解決了網(wǎng)上查找信息難的問(wèn)題。隨著網(wǎng)絡(luò)信息指數(shù)級(jí)增長(zhǎng)以及行業(yè)分工不斷加大，針對(duì)專業(yè)領(lǐng)域的信息搜索在精度和深度方面要求日益提高，主題搜索引擎必然成為搜索引擎的發(fā)展方向。然而，隨著網(wǎng)頁(yè)主題的多元化，以網(wǎng)頁(yè)為最小單位進(jìn)行處理的主題搜索引擎存在鏈接預(yù)測(cè)不準(zhǔn)確、隧道穿越能力低、網(wǎng)頁(yè)消重效果差、檢索質(zhì)量不高等問(wèn)題，導(dǎo)致了主題搜索時(shí)易出現(xiàn)主題漂移現(xiàn)象。基于以上問(wèn)題，本文將網(wǎng)頁(yè)分塊技術(shù)應(yīng)用于主題搜索，在主題搜索時(shí)將網(wǎng)頁(yè)中的內(nèi)容塊作為最小處理單元，

2、而不再是整個(gè)網(wǎng)頁(yè)。 但傳統(tǒng)網(wǎng)頁(yè)分塊算法對(duì)多主題網(wǎng)頁(yè)分塊效果不好，因此不適合應(yīng)用到主題搜索引擎中。針對(duì)這一問(wèn)題，本文提出一種能適應(yīng)多主題網(wǎng)頁(yè)分塊的新算法CTVPS，該算法充分利用網(wǎng)頁(yè)中的視覺(jué)信息、標(biāo)簽信息和鏈接信息，同時(shí)在分塊過(guò)程中提出若干啟發(fā)規(guī)則來(lái)控制分塊的精度和粒度。在完成了網(wǎng)頁(yè)分塊的基礎(chǔ)上，本文提出了與之適應(yīng)的主題相關(guān)塊提取方法即將文本分類中的分類模型移植到內(nèi)容塊分類中，實(shí)現(xiàn)了主題相關(guān)內(nèi)容塊的提取。最終使主題搜索引擎在鏈接預(yù)