高維數(shù)據(jù)降維處理關(guān)鍵技術(shù)研究.pdf

1、隨著信息科學技術(shù)的飛速發(fā)展，信息的表示越來越全面，人們獲取數(shù)據(jù)越來越容易、關(guān)注的數(shù)據(jù)對象日漸復雜，業(yè)界對數(shù)據(jù)分析、處理技術(shù)的需求最為迫切，特別是對高維數(shù)據(jù)的分析與處理。高維數(shù)據(jù)降維一直備受計算機科研相關(guān)領(lǐng)域的關(guān)注。在這個并行計算、分布式計算火熱的信息化時代，如何使用分布式實現(xiàn)對海量高維數(shù)據(jù)的分析處理，是當今研究所面臨且亟待解決的挑戰(zhàn)性問題，具有重要的現(xiàn)實應用的意義和研究價值。直接處理高維數(shù)據(jù)面臨“維數(shù)災難”、“算法失效”等困難，一種有效

2、的解決辦法就是對高維數(shù)據(jù)進行降維。主成分分析（PCA）算法是經(jīng)典的線性降維技術(shù)，算法簡單，具有無線性誤差、無參數(shù)限制等優(yōu)點，適用于線性數(shù)據(jù)，但內(nèi)存消耗大，計算復雜度高。當PCA用于高維稀疏大數(shù)據(jù)的降維時，存在內(nèi)存消耗巨大、處理時間很長，計算特征之間的協(xié)方差矩陣存在很大困難。
　　針對上述問題，本文所做主要工作如下：
　　1）提出基于信息熵的高維稀疏大數(shù)據(jù)降維算法E-PCA
　　針對PCA算法用于高維稀疏大數(shù)據(jù)降維時，由

3、于特征維數(shù)太高，無法一次性將所有數(shù)據(jù)特征讀入內(nèi)存以進行線性變換的問題，采用分塊處理技術(shù)進行處理時，耗時太長s，不能滿足實際應用需求，提出基于信息熵的高維稀疏大數(shù)據(jù)降維算法（E-PCA）。根據(jù)特征的信息熵值做特征選擇，大大降低了特征數(shù)量，再通過矩陣變換進行特征提取，達到雙重降維的目的。仿真實驗從內(nèi)存占用、運行時間、降維后的結(jié)果維數(shù)以及分類準確率四個方面，對PCA和E-PCA進行對比分析，證明E-PCA的高效性。
　　2）提出基于Ma