基于馬氏距離的度量學習算法研究及應(yīng)用.pdf

1、隨著國民經(jīng)濟的發(fā)展，我國在逐步進行著產(chǎn)業(yè)智能化升級，而機器學習是智能化產(chǎn)業(yè)的理論基石之一。目前大部分機器學習算法都需要對使用特征向量描述的樣本測量相似性。因此，專門研究相似性測量函數(shù)的度量學習成為了機器學習理論中一個重要的研究分支。雖然距離度量函數(shù)有很多種類，但馬氏距離因為去耦合和量綱無關(guān)這兩種優(yōu)良的性質(zhì)成為目前最好用的度量函數(shù)。因而基于馬氏距離的度量學習算法的研究得到很多學者的青睞，研究成果也愈加豐富。但是通過對目前幾種典型的度量學習

2、算法分析，可以看到度量學習理論中還存在一些亟待解決的問題。本論文在前人工作基礎(chǔ)上，對現(xiàn)有度量學習理論進行了有益的補充，提出了三種不同的度量學習算法，用于解決不同的問題。同時，論文將所提出的度量學習算法擴展到新的應(yīng)用領(lǐng)域，為這些問題的解決提供新的方法和思路。
　　本論文第一章介紹了度量學習的研究背景和意義，對度量學習的原理進行了分析。同時，第一章還介紹了度量學習的研究現(xiàn)狀，剖析了幾種目前最先進的度量學習算法，發(fā)現(xiàn)度量學習理論存在的不

3、足，提出研究內(nèi)容。
　　第二章探討了度量學習與支持向量機分類器結(jié)合使用的可能性，研究了一種基于支持向量機分類的度量學習算法。首先，該章節(jié)對K近鄰分類器和支持向量機分類器進行了全面的分析和比較，同時探討了兩者和度量學習的關(guān)系。其次，該章節(jié)構(gòu)建了基于馬氏距離的徑向基函數(shù)核，分析了該函數(shù)核的性質(zhì)并與其他函數(shù)核進行了性能比較。再次，該章節(jié)提出了一種學習基于馬氏距離的徑向基函數(shù)核的度量學習算法，將度量學習和支持向量機參數(shù)的學習融入到同一框架

4、下。同時，該章節(jié)還提出了一種壓縮表示法，提高處理高維數(shù)據(jù)的效率。另外，該章節(jié)引入了有向非循環(huán)圖策略來解決多類別數(shù)據(jù)的情況。該章節(jié)所提出的算法有效地將度量學習與支持向量機分類器結(jié)合起來，有效地解決了支持向量機核函數(shù)選取困難的問題。在標準數(shù)據(jù)集上的實驗結(jié)果證明了算法的高精確度和穩(wěn)定性。
　　第三章探討了如何建立在實際應(yīng)用中普遍適用的度量學習模型的問題。首先，該章節(jié)研究了Logdet散度的性質(zhì)和物理意義。其次，該章節(jié)詳細闡述并比較了三種

5、訓練約束，并肯定了三元約束的優(yōu)越性。在此研究基礎(chǔ)上，該章節(jié)提出了一種使用三元約束的基于Logdet散度的度量學習算法，在提高算法性能的同時降低了保守性。該章節(jié)也使用了壓縮表示法來處理高維數(shù)據(jù)的情況，以損失少許精度為代價大幅地減少計算時間。該章節(jié)的另一個創(chuàng)新點是提出了一種動態(tài)三元約束構(gòu)建策略，該策略使得每個循環(huán)都能選擇最有效的三元約束進行馬氏矩陣的訓練。這些工作使得該章節(jié)所提出的度量學習算法有著很好的性能表現(xiàn)和很強的適用性，在標準數(shù)據(jù)集上

6、的實驗結(jié)果證明了算法的先進性。
　　第四章研究了對動態(tài)特征樣本進行度量學習的問題。首先，該章節(jié)對時間序列進行探討，并對已知的多變量時間序列的相似性測量方法進行了比較。其次，該章節(jié)研究了一種基于馬氏距離的動態(tài)時間規(guī)整算法，用于測量多變量時間序列的相似性。同時，該章節(jié)提出了一種用于多變量時間序列的距離度量學習模型，該算法可以高效地學習基于馬氏距離的動態(tài)時間規(guī)整算法中所需要的馬氏矩陣。該章節(jié)首次將度量學習算法應(yīng)用于動態(tài)特征樣本的學習與分

7、類。實驗證明，與經(jīng)典方法相比，該算法有一定的先進性。
　　第五章研究了將所提出的三種度量學習算法應(yīng)用到新的應(yīng)用領(lǐng)域上。第一個應(yīng)用是人臉表情識別，該章節(jié)提出了一種基于度量學習的人臉表情識別框架。該框架使用行為單元來描述人臉表情的幾何特征，并使用所提出的三種度量學習算法學習用來測量行為單元相似性的馬氏距離函數(shù)。第二個應(yīng)用是圖像檢索，該章節(jié)提出了一種基于度量學習的圖像檢索框架。該框架使用金字塔視覺單詞直方圖方法提取圖像的外觀特征，并使用