基于Spark的日志處理引擎設計與實現(xiàn).pdf

1、廈門大學學位論丈原創(chuàng)性聲明本人呈交的學位論文是本人在導師指導下，獨立完成的研究成果。本人在論文寫作中參考其他個人或集體己經發(fā)表的研究成果，均在文中以適當方式明確標明，并符合法律規(guī)范和《廈門大學研究生學術活動規(guī)范(試行)》。另外，該學位論文為()課題(組)的研究成果，獲得()課題(組)經費或實驗室的資助，在()實驗室完成。(請在以上括號內填寫課題或課題組負責人或實驗室名稱，未有此項聲明內容的，可以不作特別聲明。)聲明人(簽名)：多砍2南伽

2、％年f舊習日摘要當前互聯(lián)網行業(yè)迅速發(fā)展，許多互聯(lián)網平臺每天產生大量訪問日志，能否以及如何從日志中挖掘出極有價值的信息成為從業(yè)人員關心的重要方向，但隨著日志數(shù)據量的不斷增長，依靠通用型單機分析工具已經無法滿足業(yè)務需要。因此，一個可滿足各種不同的臨時搜索分析需求、提供可視化操作界面、定制化日志處理和開放式分析、針對海量日志的迭代處理和查詢引擎系統(tǒng)的出現(xiàn)成為必要。基于以上現(xiàn)狀，本文設計了一個基于Spark平臺的分布式日志處理引擎系統(tǒng)，以滿足海

3、量Web訪問日志進行定制化處理和開放式分析的需要。系統(tǒng)設計了日志采集、日志查詢、日志處理以及系統(tǒng)管理功能。日志采集模塊實現(xiàn)原始日志文件的采集與預處理；日志查詢模塊基于Scala的liftWeb框架，通過簡單易用的交互式界面，由業(yè)務人員根據業(yè)務特征自行設計日志處理規(guī)則，建立查詢任務并進行數(shù)據展示；日志處理模塊基于Spark框架的RDD迭代式計算模型，采用分布式內存計算方式，實現(xiàn)針對海量日志的實時解析和分析處理；系統(tǒng)管理部分則主要對配置文件