基于最大熵的漢語詞性標注.pdf

1、詞性標注是給文本中的每個詞標注上正確的詞性。它是自然語言處理的基礎，其正確率將影響后期句法分析或組塊分析的正確率。在詞性標注時出現(xiàn)的錯誤會在后續(xù)自然語言處理鏈中被放大，正確標注詞性對自然語言處理有非常重要的意義。本文的目的就是在文本分詞的基礎上，實現(xiàn)漢語詞性標注，為后期詞法分析和其它自然語言處理任務提供基礎。 本文首先闡述了漢語詞性標注的研究現(xiàn)狀及研究意義，然后在深入理解最大熵理論的基礎上實現(xiàn)了基于最大熵的漢語詞性標注系統(tǒng)，最后

2、利用統(tǒng)計規(guī)則和詞性限定方法對未登錄詞進行了進一步標注。 利用不同模板將不同的上下文信息導入最大熵模型，構建了四個最大熵標注模型，選出具有最優(yōu)標注效果的模板作為最終模板。為了簡化模型，采用了三種不同的特征選取方法精簡最大熵模型的候選特征，為了進一步提高詞性標注正確率，采用了規(guī)則和詞性限定法，結合最大熵對未登錄詞做了進一步標注。論文給出了最大熵標注模型的算法，并給出了標注結果，及對未登錄詞進一步標注后的結果。 詞性標注比較復