基于粗糙集的樸素貝葉斯分類(lèi)算法研究.pdf

1、數(shù)據(jù)挖掘是信息技術(shù)自然演化的結(jié)果,是從大量數(shù)據(jù)中提取或“挖掘”隱藏的、具有潛在意義的知識(shí)的復(fù)雜過(guò)程。其中,對(duì)數(shù)據(jù)進(jìn)行分類(lèi)是數(shù)據(jù)挖掘領(lǐng)域研究的重要課題。貝葉斯分類(lèi)法是一種具有堅(jiān)實(shí)的數(shù)學(xué)理論基礎(chǔ)以及綜合數(shù)據(jù)先驗(yàn)信息能力的推理方法,其簡(jiǎn)單形式樸素貝葉斯分類(lèi)模型由于具有簡(jiǎn)單而高效等優(yōu)點(diǎn)得到了廣泛的研究與應(yīng)用。本文對(duì)樸素貝葉斯分類(lèi)算法的分類(lèi)原理以及優(yōu)缺點(diǎn)進(jìn)行了分析,從兩個(gè)方面對(duì)樸素貝葉斯分類(lèi)模型進(jìn)行了深入地研究。首先著重研究通過(guò)屬性選擇來(lái)減少該模

2、型的條件獨(dú)立性假設(shè)的局限性,然后在此基礎(chǔ)上結(jié)合集成學(xué)習(xí)技術(shù)來(lái)改進(jìn)該模型。本文主要研究工作如下:
　　 1.通過(guò)分析王國(guó)胤等人提出的CEBARKNC屬性約簡(jiǎn)算法存在的兩點(diǎn)不足,提出了一種改進(jìn)的基于條件熵的屬性約簡(jiǎn)算法ASBCE。該算法引入關(guān)聯(lián)規(guī)則中的余弦度量來(lái)識(shí)別不一致實(shí)例,并且根據(jù)某個(gè)屬性是強(qiáng)相關(guān)則在一定程度上該屬性與其他屬性之間也存在較強(qiáng)的相關(guān)性的思想來(lái)刪除冗余屬性。實(shí)驗(yàn)證明,該算法能夠得到一個(gè)最近似獨(dú)立的屬性子集,從而放松樸

3、素貝葉斯的條件獨(dú)立性假設(shè)。
　　 2.樸素貝葉斯分類(lèi)模型基于貝葉斯理論以及條件獨(dú)立性假設(shè),具有結(jié)構(gòu)簡(jiǎn)單且計(jì)算高效等優(yōu)點(diǎn)。然而,現(xiàn)實(shí)中的數(shù)據(jù)一般難以滿(mǎn)足條件獨(dú)立性假設(shè)前提,此為樸素貝葉斯方法的局限性。為了突破這一局限性以提高分類(lèi)器的分類(lèi)效果,通過(guò)屬性選擇來(lái)選擇一組最近似獨(dú)立的屬性子集是一種有效的改進(jìn)方法。本文的研究重點(diǎn)是通過(guò)屬性選擇來(lái)找到一組最大相關(guān)最小冗余的屬性子集,所以在ASBCE屬性約簡(jiǎn)算法的基礎(chǔ)上,提出了一種基于粗糙集的選

4、擇性樸素貝葉斯分類(lèi)模型RSSNBC。實(shí)驗(yàn)結(jié)果表明,與經(jīng)典樸素貝葉斯分類(lèi)模型相比,RSSNBC模型取得了較好的分類(lèi)正確率。
　　 3.為了進(jìn)一步提高上述單一分類(lèi)器的分類(lèi)性能,引入分類(lèi)器集成學(xué)習(xí)技術(shù)將多個(gè)分類(lèi)器通過(guò)某種方法組合,最終得到一個(gè)組合分類(lèi)器。樸素貝葉斯分類(lèi)模型是一種簡(jiǎn)單高效的概率統(tǒng)計(jì)分類(lèi)方法,簡(jiǎn)單精確的分類(lèi)方法非常適合作為集成學(xué)習(xí)的基分類(lèi)器。由于樸素貝葉斯分類(lèi)模型是一種穩(wěn)定模型,所以在采用裝袋(Bagging)集成算法中嵌