模糊與雙重正則化支持向量機的研究及應用.pdf

1、近年來，支持向量機（Support Vector Machine）作為數據挖掘中的一種新方法得到了比較充分的發(fā)展與應用.它是以最優(yōu)化理論為依托，主要用來探求一些不能通過原理分析從觀測數據（樣本）中得到的分類或回歸的規(guī)律，然后利用這些規(guī)律去分析海量數據中無法觀測到的數據現象。在線性和非線性優(yōu)化理論的支持下，SVM具有擬合精度高、選擇參數少、推廣能力強和全局最優(yōu)等特點。它較好地解決了數據挖掘中的小樣本、高噪聲、多野點、高維數的分類和回歸實際

2、問題并成為機器學習領域新的研究熱點，被廣泛應用到模式識別、函數擬合和密度估計等領域。本文主要針對數據分析中的腫瘤特征基因提取、模糊隸屬度在支持向量機中應用、不平衡數據的分類、雙重正則化支持向量機的性質與應用等問題進行研究，主要研究工作如下：
　　1、研究了支持向量機對小樣本、高維數的腫瘤特征基因的提取問題.根據結腸癌腫瘤基因表達譜樣本的高維數、小樣本和高噪聲等特點，提出用Bhattacharyya距離對腫瘤基因進行測量，濾除與分類

3、無關的基因，然后用腫瘤基因對支持向量機模型的敏感度進行二次提取。并用它的歸一化值對重要基因賦權，形成只有少數重要致病腫瘤基因的新樣本集.最后，把支持向量機應用于對新樣本集的特征基因進行分析與測試。實驗證明這種分析方法提高了腫瘤診斷的準確率。
　　2、針對不平衡數據集中類不平衡比比較大的分類問題，利用樣本點的特性建立類不平衡調節(jié)因子和模糊隸屬度，提出平衡模糊支持向量機.首先計算樣本協方差矩陣，求得類不平衡調節(jié)因子，然后計算各樣本點的

4、模糊隸屬度，得到各樣本對分類超平面的貢獻率.類平衡調節(jié)因子和模糊隸屬度同時對分類器的誤差項產生影響，結果表明：這種平衡模糊支持向量機對類不平衡比較大的分類問題具有很好的分類效果。
　　3、由于樣本中存在很多孤立點或噪聲，從而在分析過程中導致支持向量機易產生過學習問題。通過分析模糊支持向量機和臨近支持向量機的特點，借鑒它們的優(yōu)點：模糊隸屬度和臨近超平面，提出了一種基于數據域描述的模糊隸屬度數據處理方法?？紤]了樣本點到類中心的距離與樣

5、本對分類貢獻率的關系。這種數據預處理方法的應用使分類問題變得更為清晰和準確。結果表明：采用新的模糊隸屬度模糊臨近支持向量機算法有較高的識別率，但也耗費了較多的訓練時間。
　　4、盡管SSVM通過應用Sigmoid積分光滑函數將有約束條件的標準支持向量機問題轉化為無條件約束而且可微的凸優(yōu)化問題，但沒有考慮樣本集中的野點和噪聲對分類超平面的影響，而且Sigmoid積分光滑函數在拐點處的精確度沒有多項式光滑損失函數好。本文通過引用多項式

6、光滑損失函數和模糊隸屬度組成一種模糊光滑支持向量機.模糊隸屬度考慮每個樣本點到對分類超平面的貢獻率，野點和噪聲的貢獻率被賦予一個很小的值，影響很小。多項式光滑函數使得無約束可微的優(yōu)化問題可以選擇用BFGS算法和NA算法來求解。實驗結果表明這些修改在結果中起到積極的作用。
　　5、針對標準L2范數支持向量機和L1范數支持向量機在腫瘤基因分類分析中表現出的優(yōu)缺點，在利用Bhattacharyya距離剔除部分對分類無關緊要的特征基因從而

7、得到少數高相關至關重要特征基因的基礎上，一種雙重正則化支持向量機被應用到DNA微陣列分類中。用二次多項式損失函數把這種有約束的優(yōu)化問題改變?yōu)闊o約束且可微的優(yōu)化問題，再用BFGS算法來求解.通過對兩種腫瘤特征基因數據集實驗分析知，該算法對腫瘤特征基因分類具有較強的可行性和有效性。
　　總之，支持向量機理論經過十多年的發(fā)展，已經積累了比較堅實的基礎，本文主要在現有理論的基礎上探求模糊隸屬度對幾種分類支持向量機的影響和怎樣利用數據預處理