加權mmc函數與廣義fld準則函數的最優(yōu)鑒別向量集

1、1加權加權MMC函數與廣義函數與廣義FLD準則函數的最優(yōu)鑒別向量集準則函數的最優(yōu)鑒別向量集1引言引言在模式識別問題中，Fisher線性鑒別(FLD)準則與最大間距準則(MMC)是兩種有效的模式特征提取方法，它們都是希望尋找最佳的投影方向對原始數據進行投影，使投影后所得數據的類間離散度達到最大而類內離散度達到最小，投影后所得數據就是所需的模式特征。MMC最早由常用如下的加權MMC函數來表示()：0??(1)()()TMbwJWtrWSSW

2、????FLD準則常用如下的廣義FLD準則函數來表示：(2)()()()TbFTwtrWSWJWtrWSW?最大化函數或可得由多個投影向量組成的投影矩陣，()MJW?()FJW12()kWwww??投影向量也稱為鑒別向量，在實際應用中一般總是將鑒別向量單位化，即(iw1Tiiww?)，單位化向量集合常稱為鑒別向量集[4]。最大化的12ik??12kwww?()MJW?方法是特征值分解或廣義特征分解，最大化的方法是迭代法。Guo、Yan和

3、Wang都()FJW曾給出最大化的迭代算法，但Wang的算法是最佳的。()FJW目前人們使用的鑒別向量集主要有兩種：一是鑒別向量之間滿足正交12kwww?性，即()，稱之為正交鑒別(OD)向量集；另一種是鑒別向量之間滿足0Tijww?ij?()，它能使投影后所得數據之間具有統(tǒng)計不相關性，因此稱之不相關鑒別0TitjwSw?ij?(UD)向量集，其中是樣本總體協方差陣。實際上，OD向量集是準則函數在正tbw??SSS交條件下的最優(yōu)解，UD

4、向量集是準則函數在不相關性條件下的最優(yōu)解。這說明，在最大化準則函數時需附加一定的條件，更為一般的附加條件為()(3)0TijwGw?ij?其中為正定陣。顯然OD向量集與UD向量集分別是和的兩種特例。GGI?tGS?對某個準則函數來說，不同的可得到不同的鑒別向量集，因此一個準則函數可有無G窮多種鑒別向量集?，F在的問題是，在這無窮多種鑒別向量集中，哪種鑒別向量集能使準則函數值達到最大？能使準則函數值達到最大的鑒別向量集稱為該準則函數的最優(yōu)鑒

5、別向量，本文將主要討論上述兩種準則函數的最優(yōu)鑒別向量集。當小樣本問題出現時，對于準則函數，Yang[9]從理論上證明()TTbwJwwSwwSw?了用PCA方法將原始高維樣本降到維時不會有鑒別信息的損失（為訓練樣本量）。1N?N不難證明，這個結論也同樣適于準則函數或。實際上，由于噪聲的存在，()MJW?()FJW并非降到維最好，因此為使討論更具一般性，以下假定滿秩，1N?tS，，其中是樣本類別數。()1tNcrankSN????()1b

6、rankc??S()wrankNc??Sc由于UD向量集中鑒別向量集最多只有個，所以以下也假定。1c?1kc??2加權加權MMC函數的最優(yōu)鑒別向量集函數的最優(yōu)鑒別向量集3#10()()max()TijTGbwGMwGwtrtrWSSWJW??????????這說明準則函數的OD向量集能使達到最大，因而在理論上OD向()MJW?()MJW?量集是加權MMC的最佳選擇。當然，參數不同，所得的最優(yōu)鑒別向量集也不同。?3廣義廣義FLD準則函數的

7、最優(yōu)鑒別向量集準則函數的最優(yōu)鑒別向量集Guo、Yan和Wang都曾揭示過廣義FLD準則函數與加權MMC函數之()FJW()MJW?間的關系，這個關系可用下面的引理來描述：引理引理5設，，則0()argmax()TijTbTwGwwtrWSWWtrWSW??()()TbTwtrWSWtrWSW??(11)0argmax()TijTTbwwGwWtrWSWWSW????證明：證明：采用反證法。假設存在，在條件(3)下，使得W?(12)()(

8、)TTTTbwbwtrWSWWSWtrWSWWSW?????????由的含義知，式(12)的右邊等于0。于是有W(13)()()TbTwtrWSWtrWSW??????這與是()和的條件下的最大值矛盾。＃?0TijwGw?ij?1Tiiww?()FJW由于與對正交矩陣具有不變性，因此引理5是在相差一個正交矩陣的()FJW()MJW?情況下成立的。引理5說明在條件(3)下最大化可轉化為最大化，而加權系()FJW()MJW?數又取決于的最大

9、函數值，由此可得迭代算法。表1給出了求取在條件(3)下?()FJW()FJW的鑒別向量集的迭代算法，它是Wang的迭代算法在一般情況下的推廣。表1最大化的迭代算法()FJW由與的關系，不難得到()FJW()MJW?定理定理2準則函數的最優(yōu)鑒別向量集是其OD向量集。()FJW因此對于廣義FLD準則函數，我們只需討論OD向量集。需指出的是，當時，的個OD向量全在的零空()1trankSN??()FJWk(1)c??wS間中，此時，計算機無法

10、操作。此時，應用Liu的結論4，的個OD1(0)wS????()FJWk向量就是準則函數()的OD向量。()()TbbJWtrWSW?1(0)wWS??4加權加權MMC函數與廣義函數與廣義FLD準則函數的準則函數的UD向量集向量集任取正數，令；?(0)???迭代次數12tT??1=；()tW(1)0max()TijTtbwwGwtrWSSW????2；()()()()()()()()()tTtnbtTtwtrWSWtrWSW??3若(是