基于粒子群優(yōu)化的構(gòu)造性極端學(xué)習(xí)機(jī)的研究.pdf

1、極端學(xué)習(xí)機(jī)(ELM)作為一種廣義的單隱層前饋神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)算法因其極快的收斂速度和良好的泛化性能而在分類和回歸問(wèn)題中得到廣泛的應(yīng)用。然而在傳統(tǒng)的極端學(xué)習(xí)機(jī)算法中，隱含層節(jié)點(diǎn)個(gè)數(shù)的確定沒(méi)有有效的方法，且隱含層節(jié)點(diǎn)對(duì)應(yīng)的輸入層權(quán)值和閾值是隨機(jī)產(chǎn)生的，從而導(dǎo)致極端學(xué)習(xí)機(jī)性能不穩(wěn)定。因此，如何設(shè)計(jì)極端學(xué)習(xí)機(jī)中網(wǎng)絡(luò)結(jié)構(gòu)是提高極端學(xué)習(xí)機(jī)性能的關(guān)鍵問(wèn)題之一。為了獲得一個(gè)結(jié)構(gòu)緊湊、泛化性能高的單隱層前饋神經(jīng)網(wǎng)絡(luò)，本文提出運(yùn)用粒子群優(yōu)化算法來(lái)自適應(yīng)構(gòu)造極端

2、學(xué)習(xí)機(jī)。該類極端學(xué)習(xí)機(jī)利用粒子群優(yōu)化算法對(duì)極端學(xué)習(xí)機(jī)中隱含層節(jié)點(diǎn)對(duì)應(yīng)的輸入層權(quán)值和閾值進(jìn)行優(yōu)選，達(dá)到自適應(yīng)確定最優(yōu)網(wǎng)絡(luò)結(jié)構(gòu)。本文的主要工作如下:
　　1)針對(duì)自適應(yīng)增長(zhǎng)極端學(xué)習(xí)機(jī)(AG-ELM)中，輸入權(quán)值、閡值、輸出權(quán)值都是隨機(jī)產(chǎn)生會(huì)影響算法的收斂準(zhǔn)確性，提出一種改進(jìn)的基于粒子群優(yōu)化的隱含層節(jié)點(diǎn)自適應(yīng)增長(zhǎng)極端學(xué)習(xí)機(jī)(PSO-AG-ELM)。用粒子群優(yōu)化算法來(lái)優(yōu)選AG-ELM中隨機(jī)產(chǎn)生的權(quán)值。算法中，粒子群中的每一個(gè)粒子代表一個(gè)網(wǎng)

3、絡(luò)中的所有參數(shù)，且粒子的維數(shù)隨著訓(xùn)練過(guò)程而增長(zhǎng)。通過(guò)設(shè)定期望準(zhǔn)確率來(lái)確定網(wǎng)絡(luò)的隱含層節(jié)點(diǎn)數(shù)。PSO-AG-ELM算法相比AG-ELM算法能夠達(dá)到更高的收斂精度。
　　2)針對(duì)經(jīng)典的構(gòu)造性極端學(xué)習(xí)機(jī)過(guò)分依賴于網(wǎng)絡(luò)的收斂精度而忽視了系統(tǒng)的穩(wěn)定性，提出一種基于粒子群優(yōu)化的誤差最小化極端學(xué)習(xí)機(jī)(PSO-EM-ELM)。在PSO-EM-ELM中，經(jīng)過(guò)粒子群優(yōu)化過(guò)的隱含層節(jié)點(diǎn)一個(gè)一個(gè)的加入到網(wǎng)絡(luò)中，算法除了考慮收斂精度，相應(yīng)的隱含層輸出矩陣的