基于軟集合的不完備不一致數據分析及決策方法研究.pdf

1、大數據時代下，雖然數據量巨大，但是大量有價值的信息卻很少被挖掘出來加以利用。數據量的增加并不會給企業(yè)帶來利益，只有對數據進行有效適當的分析，對潛藏在數據內部的規(guī)律和知識進行挖掘并加以利用，才能發(fā)揮數據的真正作用。大數據具有規(guī)模性（Volume），多樣性（Variety），高速性（Velocity）和低價值性（Value）的4V特征。其中，多樣性和低價值性的特點會導致數據集更加容易出現(xiàn)質量問題。不完備和不一致是兩種常見的質量問題，而大數據

2、規(guī)模巨大，結構復雜的特點，更加加劇了數據不完備和不一致的程度?；谝陨显颍瑪祿治黾夹g面臨前所未有的挑戰(zhàn)。傳統(tǒng)的分析技術對于數據質量較為敏感，在分析具有不完備和不一致數據的時候不能得到可靠結果；同時由于分析手段、分析能力限制，無法實時快速的分析數據量過大、類型復雜的數據。因此，迫切需要新的數據分析方法，可以對不完備不一致數據進行快速有效的分析，發(fā)現(xiàn)有價值的知識或信息。
　　軟集合是一種新的處理不確定問題的數學工具，可以克服傳統(tǒng)方

3、法參數化工具不足的缺點。因此在分析不確定信息的兩個重要表現(xiàn)形式——不完備和不一致數據上具有較大的優(yōu)勢。另外，由于軟集合具有不同于傳統(tǒng)方法的一些特點，使其在大數據分析中具有巨大潛能。首先，軟集合理論對分析對象的類型以及描述對象的形式沒有限制，這些對象可以是結構化數據，也可以是半結構化和非結構化數據；可以是確定的數據也可以是不確定的低價值數據。其次，軟集合可以直接建立近似模型并求近似解，而不用像傳統(tǒng)分析方法需要建立精確模型求解精確解，當無法

4、求得精確解時再通過近似解替代精確解。所以軟集合比傳統(tǒng)方法具有更好的魯棒性和更低的時間空間復雜度。因此，本文基于軟集合及其擴展理論提出了不完備和不一致數據分析方法，并著重關注了數據分析中的分類決策問題，這些方法不僅擴展了軟集合理論的應用范圍，而且豐富了不完備不一致數據分析方法，對大數據環(huán)境下具體數據分析技術也有一定借鑒意義。
　　本文首先闡述了研究背景和意義，分析了大數據環(huán)境下不完備不一致數據的來源，在對不完備和不一致數據分析方法的

5、相關文獻的整理，詳細的理論綜述基礎上，提出了基于軟集合的不完備和不一致數據分析及決策方法。本文主要進行了以下幾個方面的研究：
　　①針對已有的基于軟集合的不完備數據分析方法存在的計算復雜和分析結果不可靠的缺點，提出了新的數據分析技術——占優(yōu)方法。該方法采取的是直接分析策略，可以無需對未知數據進行填充，直接對原始數據集進行分析并得到決策結果。通過將占優(yōu)方法與已有的基于軟集合的不完備數據分析方法進行對比分析，結果表明該方法避免了已有方

6、法在同一參數下存在大量未知數據時，決策結果不可靠的缺點。另外，從決策結果可以看出，占優(yōu)方法比已有的基于軟集合的分析方法更加符合軟集合的定義。
　?、诖髷祿杏斜姸嗖淮_定和描述性數據，這些數據無法用確定的數值型數據描述，只能引入模糊數據，因此有必要對不完備模糊數據的分析方法進行研究。為了克服已有基于模糊軟集合的不完備數據分析方法的限制，本文提出證據-模糊軟集合的概念。另外還定義兩個證據-模糊軟集合的FUSE運算，研究了證據-模糊軟集

7、合同不完備模糊軟集合的關系。根據證據-模糊軟集合和證據理論的定義和相關運算，可以對不完備模糊數據進行分析，并提出不完備模糊數據集下的決策算法。該算法無需對未知數據進行填充，而是在決策層面對不完備模糊數據進行融合后，直接得到決策結果。最后，將該方法應用于一個互聯(lián)網環(huán)境下的決策問題的算例中，證明該方法的有效性。
　　③數據來源多樣決定了大數據中廣泛存在不一致數據。針對已有不一致數據分析方法存在計算較為復雜和低效的不足，本文從邏輯推理的

8、角度出發(fā)，將次協(xié)調推理引入軟集合，定義了次協(xié)調軟集合概念和相關運算。次協(xié)調軟集合擴展了經典軟集合參數表達能力，其參數除了可以表達經典軟集中“近似具有”、“近似不具有”的參數含義外，還可以表達參數值“未知”和“不一致”。因此，次協(xié)調軟集合可以同時分析具有不完備和不一致特征的數據集。根據次協(xié)調軟集合的定義以及相關運算，本文提出了次協(xié)調軟決策系統(tǒng)及決策算法，運用該算法可以通過對不完備不一致數據進行分析并得到分類決策結果。為了說明該算法的有效性