基于日志分析的AAA服務狀態(tài)監(jiān)測系統(tǒng)設計與實現.pdf

1、隨著電信運營商網絡業(yè)務類型（2G\3G\4G、WIFI、固定寬帶等）的不斷增加和用戶數量的迅猛增長，其對AAA系統(tǒng)性能和功能的要求也隨之增加，這就導致AAA系統(tǒng)組成設備的種類和規(guī)模不斷增多，由設備軟硬件故障、惡意攻擊等引發(fā)的系統(tǒng)故障也日益頻繁。由于各類設備之間互相影響和依賴，單個設備的故障會引發(fā)多個設備多種類型的故障日志，加之日志數據格式互不相同，導致通過分析日志數據定位故障源或攻擊源、確認故障影響范圍等越來越困難。
　　針對上述

2、問題，本文主要完成了以下4項工作：
　　1.提出了一種日志自動收集和模板提取機制ALCTE（Auto Log Collection and Template Extraction)，首先基于Flume實現各類設備日志的自動收集和格式統(tǒng)一轉換，然后根據日志組成文本所包含詞匯的出現頻率將其劃分為模板詞和數據詞，從而將一條日志記錄分解為日志模板和數據向量，從而實現不同類型日志數據的自動格式歸一化，用于解決因設備類型、軟件版本、網絡層次等

3、不同帶來的日志格式不統(tǒng)一、分析困難的問題；
　　2.設計了一種面向故障事件對格式化日志數據進行聚集的方法 CoLDFFE（Cluster of Log Data Facing Fault Event），該方法基于經ALCTE機制處理的格式化日志數據實現，通過日志矩陣分解等手段分析各類故障事件（如數據庫宕機等）與日志數據的關系，最終獲取與某一事件相關的日志模板和數據向量集合，最終確定故障類型、涉及的設備和影響范圍等；
　　3.

4、提出了一種基于TF-IDF算法的攻擊源檢測機制ASDBT（Attack Source Detection Based on TF-IDF），在對某電信公司近一年AAA認證日志統(tǒng)計分析的基礎上，該機制通過重新設定TF-IDF算法的參數，計算待篩選數據源與攻擊數據源集（已確認的攻擊源）的關聯(lián)度，通過將計算得出的關聯(lián)度與計算獲取的關聯(lián)度閾值相比較發(fā)現和確定其他攻擊源，有效彌補了現有檢測機制在有效性和高效性上的不足，可高效全面的發(fā)現并確定其他攻