面向短語統計機器翻譯解碼算法的研究.pdf

1、自上世紀90年代以來，統計機器翻譯取得了飛速發(fā)展，并逐漸成為了機器翻譯研究領域的核心內容。在此期間，學者們提出了多種統計機器翻譯模型，包括基于詞的、基于短語的、基于層次短語的和基于句法的統計機器翻譯模型。而基于句法的統計機器翻譯模型又可細分為基于樹到串、串到樹和樹到樹的統計機器翻譯模型。在眾多的統計機器翻譯模型中，基于短語的統計機器翻譯模型應用最廣。因為它具有較高的翻譯性能，并且在多種不同語言對之間的翻譯任務中顯示了較高的魯棒性。

2、>　　基于短語的統計機器翻譯模型和其它統計模型一樣也是數據驅動的模型。它從雙語語料中自動學習翻譯知識，并最終用于翻譯任務中。一個完整的基于短語的統計機器翻譯系統往往包括數據預處理、詞對齊、短語抽取、短語打分、解碼器、參數優(yōu)化器和數據后處理等重要模塊。在這些模塊中，短語抽取和短語打分模塊從雙語語料中自動獲取短語翻譯表作為翻譯知識，參數優(yōu)化器被用來優(yōu)化模型參數，而解碼器則被用來完成對源語言句子的翻譯。系統的翻譯性能通常用BLEU值作為評價指

3、標。
　　可以看到，在一個翻譯系統中，解碼器是真正用來完成翻譯任務的核心模塊。解碼器的好壞一定程度上決定了系統的翻譯性能和解碼速度。到目前為止，學者們提出了各種可適用于短語統計機器翻譯模型的解碼算法。這包括基于棧的解碼算法、Cocke-Younger-Kasami(CYK)解碼算法和移進-歸約解碼算法等。考慮到翻譯性能和解碼速度，這些解碼算法各有不同的優(yōu)缺點。基于棧的解碼算法和CYK解碼算法一般具有較高的翻譯性能，但解碼速度較慢;

4、而移進-歸約解碼算法往往可以達到較高的解碼速度，但翻譯性能較低。本文詳細地介紹了以上幾種解碼算法，并經驗性地比較了它們在翻譯性能和解碼速度上的表現。
　　由于某些應用同時對翻譯性能和解碼速度的要求較高，而現有的解碼算法往往不是速度不夠快，就是性能不夠好，本文為此提出了一種混合解碼策略。該策略結合CYK解碼算法和移進-歸約解碼算法，使用移進-歸約解碼算法解碼用標點符號分隔的子句，并用CYK解碼算法組合子句的翻譯，從而生成最終的翻譯結