垂直搜索引擎關鍵技術研究與實現.pdf

1、隨著互聯網的飛速發(fā)展,用戶對于信息搜索的需求不斷提升,特別是在垂直領域對搜索引擎的要求全面提升,主要包括搜索多層排序、智能搜索、關鍵詞聯想、信息自動抽取及關鍵詞高亮等幾個核心技術。
　　本論文正是針對上述幾個核心技術點,以互聯網音樂垂直領域搜索應用為主要研究對象,在深入分析當前開源搜索引擎lucene的基礎上,結合垂直領域搜索引擎的個性化需求,對垂直領域搜索引擎算法進行了詳細的研究和開發(fā),并開發(fā)出一個通用的垂直搜索引擎框架。主要內

2、容包括以下幾個部分:
　　本文通過研究開源搜索引擎lucene,并對上述核心技術算法重新設計和實現,開發(fā)出一套通用的垂直搜索引擎框架。
　　解決搜索結果線性排序方式單一問題。垂直搜索引擎對搜索的結果排序方式要求要比普通的綜合搜索引擎高,搜索結果要求更精確,需要按照多種層次進行精確排序,本文實現一種分層排序算法來實現解決目前搜索引擎單層排序問題。
　　解決搜索深度不夠問題。目前的搜索一般通過文字內容匹配的方式得到對應的搜

3、索結果,這樣的搜索只能做到簡單的字符配對。本文通過二維空間得分計算的算法建立智能屬性來解決深度搜索問題,實現智能搜索。
　　解決數據智能處理力度不足問題。目前從網頁中抽取信息時一般采用編寫正則表達式或者配置網頁模板的方式進行信息抽取,相對于搜索引擎需要對全網海量的數據進行實時處理,無法依靠人力編寫如此之多的正則表達式和模板,本文通過粗糙集算法建立多維約束數據抽取方式實現新聞類網頁的內容智能抽取。
　　設計并實現關鍵詞聯想算法