基于Spark的文本分類的研究.pdf

1、隨著互聯(lián)網和信息技術的不斷發(fā)展，文本形式的非結構化數(shù)據(jù)正在不斷的增加。文本分類技術能夠有效地對文本數(shù)據(jù)進行組織和處理，廣泛地應用在各個領域。文本分類的預處理、特征選擇、文本向量化以及文本分類器的生成都需要較大的時間和空間的開銷，當面對大規(guī)模的文本數(shù)據(jù)時，傳統(tǒng)的技術并不能滿足該需求。大數(shù)據(jù)技術的出現(xiàn)為大規(guī)模數(shù)據(jù)的處理提供了有效的解決方案，然而Hadoop采用的MapReduce并行編程模型具有一定的局限性，它是基于磁盤的，不能高效地利用計

2、算產生的中間結果，而Spark是一種基于內存的，能非常高效地利用中間結果，并且具有較高的處理速度。本文基于Spark對文本分類的各個過程進行并行化提高文本分類效率。
　　本文先對文本分類和Spark計算框架分別進行了分析研究，然后完成了文本分類的各個過程在Spark平臺下的并行化設計，提高文本分類各個過程的處理效率。在特征選擇階段采用χ2統(tǒng)計方法進行特征降維，對該方法進行分析，并針對其中的不足，引入詞頻因子、類內分散程度以及類間集

3、中程度三種因子對其進行改進。在構造文本分類器時，采用樸素貝葉斯分類算法對文本進行分類，通過對樸素貝葉斯分類算法分析得知該算法中最為關鍵的是計算特征項在類別屬性條件下的概率，將一種改進的TF-IDF算法用于計算特征詞在類別條件下的概率。最后，通過實驗對比，對本文提出的改進方案的有效性進行了驗證，實驗結果表明本文提出的改進方案提高了文本分類的準確率，基于Spark計算框架的并行化提高了文本分類各個過程的處理效率，減少了文本分類的時間開銷，并