基于核的正則化學(xué)習(xí)算法.pdf

1、學(xué)習(xí)理論是機(jī)器學(xué)習(xí)算法的數(shù)學(xué)基礎(chǔ)。它在許多科學(xué)技術(shù)領(lǐng)域中都有著重要的應(yīng)用。在這篇論文中，我們主要考慮基于核的正則化學(xué)習(xí)算法。像支持向量機(jī)這樣采用凸損失函數(shù)和再生核希爾伯特空間的Tikhonov正則化方法已在文獻(xiàn)中有較多的研究；而本文中我們將引入一些非標(biāo)準(zhǔn)的框架，并對(duì)新框架下的算法作深入的分析。 首先，我們將討論帶有e1正則項(xiàng)的回歸算法，這一算法的假設(shè)空間是依賴(lài)于數(shù)據(jù)樣本的，并且可以使用非對(duì)稱(chēng)的核函數(shù)，樣本相關(guān)的假設(shè)空間將為誤差分

2、析帶來(lái)一項(xiàng)額外的假設(shè)誤差，這一點(diǎn)與通常情況下樣本無(wú)關(guān)的假設(shè)空間有本質(zhì)的區(qū)別．在對(duì)正則化誤差、樣本誤差和假設(shè)誤差分別進(jìn)行估計(jì)之后，我們得到了誤差的完整估計(jì)，這一誤差與核函數(shù)的性質(zhì)、輸入空間、邊緣分布密度、以及回歸問(wèn)題的回歸函數(shù)有關(guān)．在選定合適的正則化參數(shù)之后，我們獲得了學(xué)習(xí)算法的學(xué)習(xí)率，在核函數(shù)為歐氏空間上的高階光滑函數(shù)時(shí)，e1正則化算法的學(xué)習(xí)率還可以進(jìn)一步改進(jìn)。 其次，我們分析了從非一致概率測(cè)度中抽樣的二分類(lèi)問(wèn)題．這里的主要目標(biāo)