基于視覺(jué)信息的漢語(yǔ)詞匯語(yǔ)義習(xí)得.pdf

1、認(rèn)知科學(xué)的研究表明，人類(lèi)在語(yǔ)言習(xí)得過(guò)程中，視覺(jué)信息具有重要的輔助作用。探索利用視覺(jué)信息輔助進(jìn)行語(yǔ)言計(jì)算，有助于更深刻地理解人類(lèi)語(yǔ)言處理的機(jī)制，為自然語(yǔ)言處理研究提供新的材料和思路，同時(shí)在圖文轉(zhuǎn)換、視頻檢索等方面有廣闊的應(yīng)用前景。
　　 本文構(gòu)建了一個(gè)基于視覺(jué)信息的漢語(yǔ)詞匯語(yǔ)義習(xí)得模型ViMac（Visual Information based Meaning Acquisition of Chinese Words）。該模型由三

2、個(gè)模塊組成，分別是詞的聚類(lèi)、特征選擇和詞的語(yǔ)義建模。詞的聚類(lèi)完成詞匯按照所屬語(yǔ)義范疇的劃分，特征選擇完成詞匯與圖像底層特征的對(duì)應(yīng)，詞的語(yǔ)義建模完成詞匯語(yǔ)義的圖像特征的表示。通過(guò)這三個(gè)部分得到漢語(yǔ)詞匯的語(yǔ)義模型。實(shí)驗(yàn)表明，該模型具備較為初級(jí)的學(xué)習(xí)能力，能夠?qū)W習(xí)與視覺(jué)相關(guān)的五個(gè)范疇的詞，分別是顏色、形狀、大小、方位和修飾顏色副詞。
　　 進(jìn)一步，本文將習(xí)得的漢語(yǔ)詞匯的語(yǔ)義模型應(yīng)用到圖像描述系統(tǒng)ViMacs（ViMac Applica

3、tion System）中，用于對(duì)簡(jiǎn)單圖像自動(dòng)生成文本描述。實(shí)驗(yàn)表明，本系統(tǒng)具備一定的圖像描述能力，這是基于符號(hào)的詞匯表示方法所不具備的。
　　 另外，本文借鑒機(jī)器翻譯的評(píng)測(cè)方案，提出了對(duì)圖像描述系統(tǒng)的評(píng)測(cè)方案。該方案能夠有效的反映機(jī)器自動(dòng)標(biāo)注與人工的標(biāo)注的一致性。
　　 最后，本文利用上述評(píng)測(cè)方案，對(duì)ViMacs系統(tǒng)的性能及ViMac模型關(guān)鍵模塊對(duì)ViMacs系統(tǒng)性能的影響進(jìn)行了詳盡的評(píng)測(cè)。根據(jù)評(píng)測(cè)結(jié)果，提出了對(duì)系統(tǒng)性