基于統(tǒng)計(jì)語言模型的拼寫錯(cuò)誤檢查系統(tǒng)的研究與實(shí)現(xiàn).pdf

1、自然語言處理是實(shí)現(xiàn)計(jì)算機(jī)與人之間使用自然語言進(jìn)行有效通信的科學(xué)領(lǐng)域，可以提高計(jì)算機(jī)的易用性和人機(jī)交互的友好性。自然語言處理包含機(jī)器翻譯、語音識(shí)別、拼寫檢查和語音合成等眾多領(lǐng)域，作為其中的一個(gè)重要分支，拼寫錯(cuò)誤檢查是提高計(jì)算機(jī)系統(tǒng)友好性和使用效率的重要工具，其準(zhǔn)確性、計(jì)算效率、系統(tǒng)規(guī)模與靈活性是研究的重點(diǎn)。
　　基于語法規(guī)則的拼寫錯(cuò)誤檢查存在誤判率高、規(guī)則爆炸的問題，因此基于統(tǒng)計(jì)方法的拼寫錯(cuò)誤檢查是目前研究的趨勢。然而，文本的拼寫錯(cuò)

2、誤檢查工作量與文本的數(shù)量成正比，隨著文本規(guī)模的不斷擴(kuò)大、文本內(nèi)容專業(yè)性和繁雜程度的提高，以及大型語料庫內(nèi)容日趨龐雜，其效率與質(zhì)量問題逐漸凸顯。建立高效的語料庫以及相應(yīng)的更新與維護(hù)機(jī)制可以為拼寫錯(cuò)誤檢查系統(tǒng)的計(jì)算性能提供保障，而設(shè)計(jì)良好的拼寫錯(cuò)誤檢查模型及算法可以提高拼寫錯(cuò)誤檢查結(jié)果的準(zhǔn)確率。本論文圍繞焦點(diǎn)科技股份有限公司旗下英文電子商務(wù)網(wǎng)站“中國制造網(wǎng)”(www.made-in-china.com)的拼寫錯(cuò)誤檢查的需求展開系統(tǒng)研發(fā)工作，

3、如何有針對(duì)性地提高行業(yè)詞匯分辨能力、充分利用用戶反饋、降低資源占用率以及增加系統(tǒng)處理并發(fā)度等問題也是論文需要解決的重要問題。
　　針對(duì)上述問題，本論文使用N-gram統(tǒng)計(jì)模型作為主要技術(shù)手段，在此之上進(jìn)行優(yōu)化和改進(jìn)，解決拼寫錯(cuò)誤檢查準(zhǔn)確性、計(jì)算效率和系統(tǒng)靈活性的問題，實(shí)現(xiàn)了一個(gè)英文拼寫錯(cuò)誤檢查原型系統(tǒng)MICSpellChecker。它能夠?yàn)樵诰€和離線文檔提供英文檢查和糾錯(cuò)功能，對(duì)涉外電子商務(wù)網(wǎng)站或其他系統(tǒng)的文檔正確性檢查提供支持。

4、論文首先研究和設(shè)計(jì)了拼寫錯(cuò)誤檢查系統(tǒng)的總體結(jié)構(gòu)，包括數(shù)據(jù)服務(wù)、支撐服務(wù)和應(yīng)用服務(wù)及其中各個(gè)模塊的劃分與接口的設(shè)計(jì);然后對(duì)系統(tǒng)的數(shù)據(jù)基礎(chǔ)——語料庫的數(shù)據(jù)來源、結(jié)構(gòu)劃分和維護(hù)機(jī)制進(jìn)行了研究與設(shè)計(jì);接著分析并設(shè)計(jì)了系統(tǒng)關(guān)鍵模塊的解決方案和算法，包括錯(cuò)誤檢查和正確單詞推薦中的統(tǒng)計(jì)語言算法、用戶文本統(tǒng)計(jì)信息的收集機(jī)制以及語料庫的更新算法等，并對(duì)檢查結(jié)果和推薦結(jié)果的準(zhǔn)確性與合理性進(jìn)行了分析和檢驗(yàn);最后實(shí)現(xiàn)了系統(tǒng)的各個(gè)模塊并進(jìn)行了集成與測試，根據(jù)對(duì)系

5、統(tǒng)測試結(jié)果的分析，驗(yàn)證了本論文的拼寫錯(cuò)誤檢查系統(tǒng)在功能與性能上達(dá)到了實(shí)際使用中的需求。
　　論文基于對(duì)現(xiàn)有統(tǒng)計(jì)語言模型與語料庫的改進(jìn)，為焦點(diǎn)科技電子商務(wù)網(wǎng)站“中國制造網(wǎng)”提供英文拼寫錯(cuò)誤檢查系統(tǒng)。本文研究中使用的分類語料庫具有查詢速度快與擴(kuò)展性良好的特點(diǎn)，系統(tǒng)中的語料庫加權(quán)計(jì)算方案是對(duì)N-gram模型的一個(gè)改進(jìn)，可以有效提高拼寫錯(cuò)誤檢查中結(jié)果的準(zhǔn)確率和系統(tǒng)運(yùn)行中對(duì)語料庫調(diào)用的靈活性，為將來的拼寫錯(cuò)誤檢查以及相關(guān)的自然語言處理的改進(jìn)