基于SVM技術(shù)的手寫數(shù)字識別的研究.pdf

1、支持向量機(jī)(SupportVectorMachine，SVM)是由Vapnik于1995年提出的針對分類和回歸問題的統(tǒng)計學(xué)習(xí)理論，是在高維特征空間使用線性函數(shù)假設(shè)空間的學(xué)習(xí)系統(tǒng)。近年來，其理論研究和算法實(shí)現(xiàn)方面都取得了突破性進(jìn)展，開始成為克服維數(shù)災(zāi)難和過學(xué)習(xí)等傳統(tǒng)困難的有力手段。由于SVM方法具有許多引人注目的優(yōu)點(diǎn)和有前途的實(shí)驗性能，越來越受重視。該技術(shù)已成為機(jī)器學(xué)習(xí)研究領(lǐng)域中的熱點(diǎn)，并取得很理想的效果，如人臉識別、手寫體數(shù)字識別和網(wǎng)頁

2、分類等。 手寫數(shù)字識別在很多領(lǐng)域具有廣泛的應(yīng)用前景，國內(nèi)外學(xué)者對此做了大量的研究工作，提出了很多預(yù)處理和模式識別的算法，大大提高了手寫數(shù)字的識別精度。但到目前為止，手寫數(shù)字識別的識別精度還有待提高，核函數(shù)核參數(shù)選擇等問題尚有待解決。為了提高手寫數(shù)字識別的精度，本文將支持向量機(jī)應(yīng)用于手寫數(shù)字識別，開發(fā)了SVM-HDR軟件系統(tǒng)。在系統(tǒng)總結(jié)前人工作的基礎(chǔ)上，重點(diǎn)研究影響SVM分類法性能的各種因子。把這一選擇最佳因子的方法流程化，驗證了

3、支持向量機(jī)在手寫數(shù)字識別中的有效性。此外，本文在手寫數(shù)字的識別過程中提出了引入先驗知識的虛擬樣本法，期望該方法能對提高基于支持向量機(jī)的手寫數(shù)字識別的精度起到推動作用。本文主要工作體現(xiàn)在以下方面： (1)對多類分類方法進(jìn)行分析比較。 著重對一類對余類法(one-against-all)，成對分類法(one-against-one)和有向無環(huán)圖法(DirectedAcyclicGraph，DAG)三種分類方法進(jìn)行了比較分析。

4、針對具體數(shù)據(jù)庫，在識別精確度、訓(xùn)練時間和測試時間方面進(jìn)行了實(shí)驗，為手寫數(shù)字識別選擇適用的多類分類方法。根據(jù)實(shí)驗結(jié)果，本文選擇使用成對分類方法。 (2)對訓(xùn)練算法進(jìn)行比較分析。 對三種主流訓(xùn)練算法：Chunking算法，Osuna算法和SMO算法，在速度、精度和內(nèi)存節(jié)省等方面進(jìn)行對比。相比之下，SMO算法速度較快，精度較高，比較節(jié)省內(nèi)存，且適合大規(guī)模問題的求解。因此，本文選擇該算法作為手寫數(shù)字識別的訓(xùn)練算法。 (3

5、)驗證支持向量機(jī)用于手寫數(shù)字識別的有效性。 鑒于支持向量機(jī)的優(yōu)點(diǎn)，將其應(yīng)用于手寫數(shù)字識別來提高識別精度。將各方面選出的最優(yōu)因子用于SVM-HDR軟件系統(tǒng)中，使該過程流程化。對具體的手寫數(shù)字庫MNIST進(jìn)行數(shù)據(jù)預(yù)處理，歸一化，最佳核函數(shù)與核參數(shù)的選擇，訓(xùn)練和測試等操作。將程序結(jié)果與使用其他技術(shù)對同一數(shù)據(jù)庫的識別結(jié)果進(jìn)行比較，驗證了SVM識別方法的有效性。 (4)提出引入先驗知識的虛擬樣本法。 支持向量是訓(xùn)練集的一個

6、子集，基本上可以代表訓(xùn)練集中的全部信息，也就是說只有這個子集對分類問題的求解起作用。因此，在一個SVM訓(xùn)練得到的支持向量集合上訓(xùn)練另一個SVM，其測試性能并不亞于在整個訓(xùn)練集上訓(xùn)練得到的結(jié)果。 利用對輸入圖像的某些變換不會改變識別結(jié)果的理論，本文在驗證支持向量機(jī)在手寫數(shù)字識別中有效性的程序基礎(chǔ)上，提取出訓(xùn)練集的支持向量，在該集合上進(jìn)行平移不變性變換，人工生成了虛擬支持向量，加上沒有變換的支持向量，得到數(shù)量為原支持向量五倍的虛擬樣