應(yīng)用自然語(yǔ)言處理技術(shù)實(shí)現(xiàn)智能全文信息檢索的研究與實(shí)現(xiàn).pdf

1、全論文檢索就是以文本數(shù)據(jù)為主要處理對(duì)象,提供根據(jù)數(shù)據(jù)資料的內(nèi)容而不是外在特征來(lái)實(shí)現(xiàn)的信息檢索手段."文海撈針"是對(duì)全論文檢索的形象描述.全論文檢索是信息檢索發(fā)展的最前沿和目前的最高階段.這是一個(gè)具有重要理論價(jià)值和巨大使用價(jià)值的研究領(lǐng)域.自然語(yǔ)言處理技術(shù)是人工智能的一個(gè)重要分支,它包括漢語(yǔ)自動(dòng)分詞,詞性自動(dòng)標(biāo)注,語(yǔ)義自動(dòng)標(biāo)住,句法分析及篇章理解.它們是實(shí)現(xiàn)語(yǔ)音處理、機(jī)器翻譯、智能全文信息檢索等的基礎(chǔ)工程.該論文首先分析總結(jié)了基于串匹配的全

2、文信息檢索技術(shù),并且比較了各種算法的優(yōu)缺點(diǎn).論文還討論了實(shí)現(xiàn)智能全文信息檢索的漢語(yǔ)自動(dòng)分詞問(wèn)題,并給出了實(shí)現(xiàn)自動(dòng)分詞的最長(zhǎng)匹配法、全切分算法、帶修剪的全切分算法.分詞詞典是漢語(yǔ)自動(dòng)分詞系統(tǒng)的一個(gè)基本組成部分.其查詢速度直接影響到分詞系統(tǒng)的處理速度.論文設(shè)計(jì)并通過(guò)實(shí)驗(yàn)考察了四種典型的分詞詞典機(jī)制:雙向索引,整詞二分,TRIE索引樹(shù)及逐字二分,注重比較了它們的時(shí)間、空間效率.實(shí)現(xiàn)顯示:基于逐字二分的分詞詞典機(jī)制簡(jiǎn)潔、高效,較為實(shí)用.復(fù)雜的漢