基于VSM模型的文檔表示和貝葉斯網絡的軟傳感器研究.pdf

1、隨著社會現代化信息技術的快速發(fā)展，網絡信息資源飛速增加，大量的信息資源蘊含著豐富的狀態(tài)信息，預示著社會、事件及環(huán)境可能的狀態(tài)變化，通過明確的指向性和目的性牽引著社會的改變，為人們的生活和工作帶來巨大的便利。但信息資源的增長也導致虛假信息的快速膨脹和人們獲取正確可靠的信息能力之間的矛盾日益突出。因而，如何有效地對復雜多變的狀態(tài)信息進行可靠性預測，已經逐漸成為人們關注的重點。
　　首先，由于狀態(tài)信息人多以網絡文檔的形式呈現，無法直接使

2、用計算機進行處理，因而將網絡文檔轉化成計算機能夠處理的結構是狀態(tài)信息可靠性預測的重要基礎與前提。針對網絡文檔結構化問題，即文檔表示問題，先對文檔分類技術中向量空間模型的TF-IDF權重進行研究。再針對TF-IDF權重中的特征項在類間分布以及關于文檔主旨的信息缺失，分別引入信息增益和文檔的全局權重進行補充，完善和實現有效的文檔表示。在此基礎上，基于改進的TF-IDF權重算法，建立一個網絡文檔表示系統(tǒng)，實現快速高效的大規(guī)模文檔表示。

3、　　其次，貝葉斯網絡是一個數據挖掘和不確定知識表示的理想模型，在目標識別、不確定知識推理和預測等多方面產生了成功的應用。同時，有別于處理向量化的物理數據的硬傳感器，針對由一維線性字符組成的網絡文檔，在對其結構化的基礎上，建立基于貝葉斯網絡的狀態(tài)信息可靠性預測模型，即基于貝葉斯網絡的軟傳感器模型，幫助人們準確地定位各種狀態(tài)信息的文檔集，并利用軟傳感器模型對網絡文檔描述的狀態(tài)信息的可靠性進行有效的預測，為人們提供可靠的狀態(tài)信息支持。

4、　　最后，本文使用開源文檔集對改進的TF-IDF特征項權重算法進行測試，分析比較改進算法的效果。另外，針對開源文檔集，構建基于貝葉斯網絡的軟傳感器模型，分析比較由軟傳感器模型建立的文檔數據分布與文檔數據的真實分布，驗證軟傳感器模型對于文檔數據分布的建模效果;同時對基于貝葉斯網絡的軟傳感器模型方法與統(tǒng)計分析方法的狀態(tài)信息可靠性預測進行比較，證明軟傳感器模型在狀態(tài)信息可靠性預測方面的有效性。在此基礎上，使用對門戶網站自行采集的網絡文檔集，基