文本分類(lèi)中的貝葉斯特征選擇.pdf

1、由于人們獲取電子文檔的能力不斷增強(qiáng)，管理這些文檔的需求也不斷增加，人們對(duì)文本自動(dòng)分類(lèi)，即將文本自動(dòng)分入預(yù)先定義的類(lèi)別結(jié)構(gòu)中的興趣正迅速高漲.而文本分類(lèi)中的一個(gè)重要問(wèn)題就是特征選擇，其目的是改善分類(lèi)效果、提高計(jì)算效率、或者兩者兼得.由于現(xiàn)實(shí)中的文本數(shù)據(jù)集往往存在著類(lèi)別不均衡性以及特征稀疏性等特點(diǎn)，因此通過(guò)衡量特征與類(lèi)別結(jié)構(gòu)關(guān)系的不同側(cè)面來(lái)判斷各個(gè)特征的類(lèi)別性質(zhì)的過(guò)濾式方法會(huì)表現(xiàn)得比較差.此外，它們要么僅僅選擇與類(lèi)別相關(guān)的特征，要么在選擇相

2、關(guān)特征之后添加一個(gè)冗余性分析步驟.顯然，這樣的方法是會(huì)丟失具有交互作用的特征的.
　　本文將特征選擇放在訓(xùn)練的過(guò)程中，通過(guò)學(xué)習(xí)的方法從一個(gè)帶標(biāo)簽的文檔集中學(xué)習(xí)類(lèi)別結(jié)構(gòu)屬性，進(jìn)而選擇出最優(yōu)的特征子集.給出了一個(gè)生成模型，通過(guò)引入一個(gè)兩值“排除/包含”的潛在向量來(lái)處理特征選擇問(wèn)題，最后使用一個(gè)高效的Metropolis搜索的方法來(lái)更新這個(gè)潛在向量.用邊來(lái)刻畫(huà)特征之間的相互關(guān)系，定義特征與類(lèi)別的相關(guān)性.最后，將特征選擇問(wèn)題轉(zhuǎn)換成了一個(gè)優(yōu)