基于標(biāo)記依賴關(guān)系的多標(biāo)記學(xué)習(xí)算法研究.pdf

1、多標(biāo)記分類是機器學(xué)習(xí)和數(shù)據(jù)挖掘中一個重要的研究問題，其目的是為了預(yù)測實例同時具有的多個標(biāo)記。在大多實際應(yīng)用中，實例的多個標(biāo)記之間存在著潛在的依賴關(guān)系，發(fā)掘其中蘊含的有用信息往往能夠有效地提高分類模型的學(xué)習(xí)性能。因此，如何學(xué)習(xí)和利用標(biāo)記間的依賴關(guān)系，已經(jīng)成為當(dāng)前多標(biāo)記分類學(xué)習(xí)領(lǐng)域的關(guān)鍵問題之一。
　　本文首先對研究現(xiàn)狀進行了總結(jié)，分析了現(xiàn)有方法的優(yōu)缺點。接著，探索了學(xué)習(xí)和利用不同類型和應(yīng)用場景下的多標(biāo)記間依賴關(guān)系的多種途徑，提出了多

2、種更加有效的多標(biāo)記分類模型和算法。本文取得的研究成果主要如下:
　　(1)分類器鏈等模型往往隨機地為每個標(biāo)記確定其所依賴的其它標(biāo)記，因此可能獲得與實際不符的結(jié)果。為解決這一問題，本文提出了一種利用樹型貝葉斯網(wǎng)絡(luò)來表示標(biāo)記間依賴關(guān)系的方法。該方法通過明確度量多標(biāo)記間依賴程度的大小，來構(gòu)建一個以標(biāo)記為節(jié)點，標(biāo)記間依賴程度大小為權(quán)重的網(wǎng)絡(luò)結(jié)構(gòu)，從而能夠合理地確定多標(biāo)記間的依賴關(guān)系。進一步，還利用集成學(xué)習(xí)技術(shù)構(gòu)建了多個可能的標(biāo)記間依賴結(jié)構(gòu)

3、，從而能夠更充分地考慮多標(biāo)記間的相互依賴關(guān)系。實驗結(jié)果驗證了該算法的有效性，這表明通過度量標(biāo)記間的依賴程度大小并充分考慮標(biāo)記間的相互依賴關(guān)系，能夠進一步提升分類模型的性能。
　　(2)提出了一種利用圖結(jié)構(gòu)表示標(biāo)記間的依賴程度，并將多標(biāo)記間依賴關(guān)系的迭代傳播表示成在圖上的隨機游走過程的多標(biāo)記學(xué)習(xí)算法。該方法首先構(gòu)建了標(biāo)記間的圖結(jié)構(gòu)，并利用重啟動隨機游走模型來模擬標(biāo)記間依賴關(guān)系在圖中的迭代傳播過程。對給定測試實例，該方法首先給出各標(biāo)記

4、為其真實標(biāo)記的初始概率，然后采用類似PageRank的方法迭代地更新各標(biāo)記的值直到收斂為止。這種迭代重復(fù)更新的過程使得，各標(biāo)記不僅能考慮和其有直接依賴關(guān)系的標(biāo)記對其的影響，也能考慮其它間接的依賴關(guān)系。實驗結(jié)果表明，該算法在多種評價標(biāo)準(zhǔn)下都明顯優(yōu)于其它對比算法，尤其當(dāng)數(shù)據(jù)集具有較多的標(biāo)記時。這表明，考慮標(biāo)記間依賴關(guān)系的迭代傳播，能夠更為有效地發(fā)掘和利用其中潛在的有用信息。
　　(3)在上一種方法的基礎(chǔ)上，進一步提出了一種能夠考慮多種

5、潛在因素，并通過最優(yōu)化給定的目標(biāo)函數(shù)來學(xué)習(xí)多標(biāo)記間最優(yōu)的依賴程度的多標(biāo)記學(xué)習(xí)算法。該方法利用了多核學(xué)習(xí)的思想，首先基于不同的依賴關(guān)系定義，從不同方面給出了標(biāo)記間依賴程度的多種度量結(jié)果，然后以這些度量為輸入利用線性模型學(xué)習(xí)標(biāo)記間的最終依賴程度。該方法的優(yōu)勢包括:一是能夠綜合考慮從不同角度出發(fā)的標(biāo)記間依賴程度的度量;二是其通過最小化分類模型所采用的損失函數(shù)來估計線性模型的參數(shù)，因此能夠?qū)W習(xí)到對當(dāng)前分類任務(wù)最優(yōu)的標(biāo)記間依賴程度。實驗結(jié)果表明，

6、通過優(yōu)化目標(biāo)函數(shù)而學(xué)習(xí)到的標(biāo)記間依賴關(guān)系和程度，和上一種方法等對比算法相比，該方法能明顯地提升相應(yīng)分類模型的性能。
　　(4)針對弱標(biāo)記和存在大量標(biāo)記的問題，本文基于矩陣分解模型提出了一種學(xué)習(xí)最優(yōu)的標(biāo)記排序的方法。該方法能夠?qū)⒃瓨?biāo)記空間映射到一個低維空間，從而能夠顯著地減少標(biāo)記個數(shù)并因此降低計算量。對訓(xùn)練集中的每個實例，都可以獲得兩個標(biāo)記集合:已經(jīng)明確給出的標(biāo)記，和其它沒有明確給出的標(biāo)記。現(xiàn)有方法中大多假設(shè)，若標(biāo)記沒有明確給出則即

7、為實例的非相關(guān)標(biāo)記（非1即0）。為避免該假設(shè)可能引入的錯誤信息，本文所提方法僅假設(shè)，對每個實例，和沒有明確給出的標(biāo)記相比，那些明確給出的標(biāo)記更應(yīng)該是實例的相關(guān)標(biāo)記。相應(yīng)地，該方法設(shè)計了一種類似AUC曲線的損失函數(shù)，并通過優(yōu)化該損失函數(shù)使得在為實例預(yù)測的標(biāo)記排序中，那些明確給出的標(biāo)記都盡量排在沒有明確給出的標(biāo)記之前。因此，該方法能夠在存在弱標(biāo)記的情況下，充分利用標(biāo)記間的依賴關(guān)系來產(chǎn)生一個更為合理的標(biāo)記排序。實驗結(jié)果驗證了該方法在特定數(shù)據(jù)集