多波段隱性融合的表情識(shí)別.pdf

1、近年來，隨著智能終端設(shè)備的發(fā)展，人們對(duì)個(gè)性化交互的需求越來越多。由于對(duì)人類面部表情的研究可以廣泛應(yīng)用于個(gè)性化交互，因此表情識(shí)別越來越受到研究人員的關(guān)注。目前對(duì)于表情識(shí)別的研究主要基于可見圖像和視頻，易受光照影響，在自然光照下不夠魯棒。熱紅外圖像反應(yīng)的是面部的溫度信息，不受光照影響，但是不包含對(duì)表情識(shí)別很有用的幾何信息和紋理信息。因此融合熱紅外圖像和可見圖像進(jìn)行表情識(shí)別具有重要的現(xiàn)實(shí)意義。本文稱訓(xùn)練期間和測(cè)試期間都要求有兩種模態(tài)的信息的融

2、合方法為顯性融合，訓(xùn)練期間用兩種模態(tài)的數(shù)據(jù)而測(cè)試期間只要一種模態(tài)的數(shù)據(jù)的融合方法為隱性融合?？紤]到熱紅外圖像在現(xiàn)實(shí)生活中獲取的途徑比較少，基于多波段隱式融合的表情識(shí)別更具有實(shí)用價(jià)值，因此本文對(duì)基于多波段隱式融合的表情識(shí)別做了兩個(gè)方面的研究。另外，針對(duì)紅外圖像不易獲取的現(xiàn)狀，本文對(duì)熱紅外圖像的生成做了初步的探討。具體內(nèi)容如下:
　　(1)提出一種基于紅外增強(qiáng)的可見特征的表情識(shí)別方法。首先，對(duì)可見圖像提取主動(dòng)外觀模型參數(shù)和頭部運(yùn)動(dòng)特征

3、;對(duì)紅外圖像提取溫度統(tǒng)計(jì)特征并進(jìn)行特征選擇。其次，基于典型相關(guān)分析構(gòu)建新的特征空間。最后在映射到新的空間的可見特征上訓(xùn)練支持向量機(jī)。NVIE庫和Equinox庫上的實(shí)驗(yàn)結(jié)果表明，通過紅外隱式的增強(qiáng)可見特征可以提升表情識(shí)別效果。
　　(2)提出一種基于熱紅外增強(qiáng)可見分類器的表情識(shí)別方法。首先分別提取可見特征和熱紅外特征并對(duì)提取的特征進(jìn)行特征選擇。然后在可見特征和熱紅外特征上分別構(gòu)建表情分類器，兩個(gè)分類器通過一個(gè)相似性約束一起學(xué)習(xí)。N

4、VIE庫和Equinox庫上的實(shí)驗(yàn)結(jié)果表明熱紅外增強(qiáng)分類器的表情識(shí)別方法可以有效利用熱紅外圖像在訓(xùn)練過程中對(duì)可見圖像的補(bǔ)充作用，構(gòu)建更好的可見表情分類器。
　　(3)提出基于可見圖像生成熱紅外圖像的方法，并基于生成的圖像進(jìn)行表情識(shí)別。使用的框架為生成對(duì)抗網(wǎng)絡(luò)。生成網(wǎng)絡(luò)分別使用了U-net結(jié)構(gòu)和編碼解碼結(jié)構(gòu)，判別網(wǎng)絡(luò)使用的是卷積神經(jīng)網(wǎng)絡(luò)。使用了兩種目標(biāo)生成函數(shù)生成圖像，并對(duì)結(jié)果進(jìn)行了比較。NVIE庫的實(shí)驗(yàn)結(jié)果表明，生成對(duì)抗網(wǎng)絡(luò)的框架