基于集成學習的極限學習機的算法研究.pdf

1、神經(jīng)網(wǎng)絡一直以來都很難被廣泛應用于實時計算領域,其中最主要的原因是神經(jīng)網(wǎng)絡的訓練時間太長導致的計算效率較低,近年來,極限學習機(Extreme Learning Machine, ELM)的提出使得前饋神經(jīng)網(wǎng)絡的訓練時間大大縮短,重新燃起了科研人員對于神經(jīng)網(wǎng)絡應用的重視,然而但當原始數(shù)據(jù)混雜入大量噪聲變量的時候,極限學習機算法的分類和回歸正確率卻有極大程度的下降,這就對極限學習機的魯棒性提出了新的要求。集成學習算法的應用有效的提升了機器

2、學習系統(tǒng)的魯棒性,因此我們思考利用集成學習的優(yōu)勢特性來彌補極限學習機的弱勢特性從而改善極限學習機的魯棒性差的缺陷。本論文旨在討論基于集成學習的極限學習機的算法研究及其在高維度混雜數(shù)據(jù)條件下的應用。
　　本論文提出了三種新算法 EOP-ELM,AEOP-ELM和 LARSEN-ELM解決了極限學習機算法魯棒性的問題,特別是 LARSEN-ELM能夠在高維度混雜數(shù)據(jù)條件下工作良好,主要是因為以下原因:新算法 LARSEN-ELM首先采

3、取了對數(shù)據(jù)進行特征提取的預處理步驟,在這里利用 LARS算法選取與輸出結(jié)果最為關(guān)聯(lián)的輸入數(shù)據(jù)從而加強輸入數(shù)據(jù)和輸出數(shù)據(jù)之間的關(guān)聯(lián)度,這就從本質(zhì)上確保了算法的魯棒性。其次我們將一組原始的極限學習機作為算法訓練的內(nèi)核,這樣可以加快算法訓練速度降低訓練耗時。最后我們利用了選擇性集成的魯棒性特點針對內(nèi)核進行有效篩選,并均值集成選擇出的最優(yōu)內(nèi)核,從另外一個角度上確保了算法的魯棒性效果,以上步驟形成我們 LARSEN-ELM算法的整體框架,我們從理