基于領(lǐng)域本體的主題爬蟲(chóng)研究及實(shí)現(xiàn).pdf

1、隨著Web上的信息猛速增長(zhǎng)，基于關(guān)鍵詞全文匹配的傳統(tǒng)搜索引擎，已不能滿足用戶在查全率、查準(zhǔn)率方面的需求。同時(shí)隨著科技的發(fā)展，人們對(duì)于智能化、專(zhuān)業(yè)化的需求也一直在提高，如何讓搜索引擎更加智能化、專(zhuān)業(yè)化是一個(gè)挑戰(zhàn)。
　　 垂直搜索引擎正是在用戶對(duì)專(zhuān)業(yè)化需求的環(huán)境下產(chǎn)生的，它通過(guò)主題爬蟲(chóng)對(duì)Web上特定領(lǐng)域的網(wǎng)頁(yè)進(jìn)行抓取，保存成網(wǎng)頁(yè)庫(kù)，然后被垂直搜索所使用。針對(duì)人們對(duì)于智能化的需求，人們發(fā)現(xiàn)了哲學(xué)的本體論可以被應(yīng)用于信息檢索中。本體技術(shù)

2、是語(yǔ)義網(wǎng)中的一種先進(jìn)的知識(shí)表示技術(shù)。本體具有良好的概念層次結(jié)構(gòu)和對(duì)邏輯推理的支持能力，概念間關(guān)系概括語(yǔ)義的能力，能很好地為語(yǔ)義檢索提供知識(shí)基礎(chǔ)的能力。所以研究將本體論技術(shù)應(yīng)用于主題爬蟲(chóng)成為了當(dāng)今學(xué)術(shù)界熱點(diǎn)。
　　 本論文分析了主題爬蟲(chóng)的國(guó)內(nèi)外研究現(xiàn)狀，結(jié)合了本體論技術(shù)，進(jìn)行主題爬蟲(chóng)的研究與實(shí)現(xiàn)。本文的具體工作如下：
　　 (1)給出基于領(lǐng)域本體的主題爬蟲(chóng)的框架及相關(guān)模塊介紹。
　　 (2)提出了根據(jù)本體層次樹(shù)進(jìn)行

3、上下文主題描述，用于指導(dǎo)主題爬蟲(chóng)的爬行；
　　 (3)改進(jìn)了本體層次樹(shù)各概念的語(yǔ)義相似度及相關(guān)度計(jì)算方法，并給出了本體層次樹(shù)各概念的向量表示綜合方法；
　　 (4)根據(jù)本文的上下文主題描述，提出了網(wǎng)頁(yè)內(nèi)容與鏈接相關(guān)度的算法；
　　 (5)根據(jù)領(lǐng)域本體的構(gòu)建方法及Protégé本體構(gòu)建工具，構(gòu)建了教育技術(shù)領(lǐng)域的本體；
　　 (6)基于開(kāi)源Bot.jar進(jìn)行了擴(kuò)展、實(shí)現(xiàn)基于領(lǐng)域本體的教育技術(shù)領(lǐng)域主題爬蟲(chóng)。