MapReduce框架下模糊粗糙集屬性約簡(jiǎn)算法研究.pdf

1、近年來(lái)隨著互聯(lián)網(wǎng)的高速發(fā)展，需要處理的數(shù)據(jù)量急劇增加，從而如何從海量數(shù)據(jù)中獲取知識(shí)成為了人們關(guān)注的熱點(diǎn)，知識(shí)發(fā)現(xiàn)成為了重要的研究課題。屬性約簡(jiǎn)（特征選擇）是有效地獲取知識(shí)摒除干擾因素的重要方法之一。在一個(gè)數(shù)據(jù)集（知識(shí)庫(kù)）中，有著眾多不同的屬性，但并不是每個(gè)屬性都有著相同的重要性。有些屬性對(duì)于人們決策可能重要一些，有些屬性可能不那么重要，有些屬性還有可能是冗余的、不必要的。由于這些冗余信息的存在，使得人們?cè)讷@得知識(shí)時(shí)會(huì)花費(fèi)掉更多的時(shí)間和空

2、間用于處理這些無(wú)關(guān)信息。屬性約簡(jiǎn)的目的是從數(shù)據(jù)集中去除這些無(wú)關(guān)信息，解決數(shù)據(jù)處理中的過(guò)擬合、維數(shù)災(zāi)難等問(wèn)題。屬性約簡(jiǎn)是粗糙集理論的重要應(yīng)用之一，得到了學(xué)者們的廣泛關(guān)注和研究。但是經(jīng)典粗糙集模型無(wú)法直接對(duì)數(shù)值型數(shù)據(jù)進(jìn)行處理，需要預(yù)先對(duì)數(shù)值數(shù)據(jù)進(jìn)行離散化處理，從而可能造成信息損失，影響知識(shí)的獲取。在模糊粗糙集模型下，可以直接處理數(shù)值型數(shù)據(jù)。針對(duì)基于屬性依賴(lài)度的屬性約簡(jiǎn)算法中存在的一些缺陷，本文將粒子群算法與模糊粗糙集相結(jié)合，并從大數(shù)據(jù)的角度

3、出發(fā)，利用MapReduce框架，進(jìn)行模糊粗糙集和穩(wěn)健模糊粗糙集并行屬性約簡(jiǎn)的相關(guān)研究。本論文的主要研究工作如下:
　　1.將高斯核模糊粗糙集與粒子群算法相結(jié)合，構(gòu)建了基于粒子群算法的高斯核模糊粗糙集屬性約簡(jiǎn)算法。由于高斯核模糊粗糙集的特性，在基于屬性依賴(lài)度的啟發(fā)式屬性約簡(jiǎn)算法中，可能無(wú)法獲取最佳屬性組合，甚至無(wú)法獲得約簡(jiǎn)。因而本文通過(guò)將粒子群算法與之結(jié)合，克服了該種缺陷，并利用高斯核模糊粗糙集的特性，在不同的核參數(shù)選擇下，可得出

4、不同的屬性約簡(jiǎn)以滿(mǎn)足分類(lèi)的要求。采用UCI公用數(shù)據(jù)集進(jìn)行實(shí)驗(yàn)，實(shí)驗(yàn)結(jié)果表明了該算法具有良好的約簡(jiǎn)性能。（第3章）
　　2.基于高斯核模糊粗糙集模型，分析了并行計(jì)算模糊粗糙集近似集和屬性依賴(lài)度的原理，給出了基于MapReduce框架的高斯核模糊粗糙集下近似集和屬性依賴(lài)度并行計(jì)算算法，進(jìn)而給出了基于粒子群算法的高斯核模糊粗糙集屬性約簡(jiǎn)并行計(jì)算算法。該算法利用MapReduce的特性，直接在Map過(guò)程中求得不同分片中對(duì)象在該分片中與不同

5、決策類(lèi)對(duì)象的最小距離，而不必對(duì)兩兩對(duì)象間的關(guān)系都進(jìn)行輸出，從而減少了HDFS的訪問(wèn)。使得在大數(shù)據(jù)上計(jì)算模糊粗糙集下近似集以及屬性依賴(lài)度可行。在UCI公用數(shù)據(jù)集和人工生成的數(shù)據(jù)集上進(jìn)行實(shí)驗(yàn)，實(shí)驗(yàn)結(jié)果表明了在大數(shù)據(jù)環(huán)境下本算法具有良好的并行性能和約簡(jiǎn)性能。（第4章）
　　3.在穩(wěn)健模糊粗糙集模型上，利用MapReduce框架，實(shí)現(xiàn)了高斯核穩(wěn)健模糊粗糙集并行屬性約簡(jiǎn)算法。在該算法中，首先計(jì)算數(shù)據(jù)分片中每一個(gè)對(duì)象與它的k個(gè)鄰近的不同決策類(lèi)

6、對(duì)象的距離，從而求取整個(gè)數(shù)據(jù)集下每一個(gè)對(duì)象的k個(gè)鄰近點(diǎn)，再利用RNN算子求取對(duì)象的下近似，進(jìn)而計(jì)算所有候選約簡(jiǎn)的屬性依賴(lài)度以獲取屬性約簡(jiǎn)。以上策略使該算法儲(chǔ)存空間需求較少，且能減少因多次迭代Hadoop平臺(tái)中資源調(diào)度產(chǎn)生的時(shí)間開(kāi)銷(xiāo)。在UCI公用數(shù)據(jù)集上對(duì)該算法進(jìn)行了實(shí)驗(yàn)，分析了使用不同參數(shù)的RNN算子時(shí)的約簡(jiǎn)性能和并行性能。實(shí)驗(yàn)結(jié)果表明該算法能夠?qū)Υ髷?shù)據(jù)進(jìn)行約簡(jiǎn)，克服了傳統(tǒng)模型無(wú)法獲取約簡(jiǎn)的情況。該算法不僅能夠有效地處理噪聲數(shù)據(jù)，而且具