基于管控一體化的數據采集與數據遷移技術的研究與實現.pdf

1、由于流程工業(yè)的業(yè)務復雜,地域分散,導致不同區(qū)域、不同業(yè)務產生大量的結構化數據和非結構化圖形、文檔等數據,對流程工業(yè)整體進行綜合信息管理提出了挑戰(zhàn)。
　　同時RTDB(Real-time database,實時數據庫)是對流程工業(yè)現場進行信息監(jiān)控的關鍵,由于RTDB存儲了海量的數據,且是非關系型的數據存儲方式,在數據信息采集和數據處理等各方面給基于實時數據庫的工業(yè)管理信息系統(tǒng)的開發(fā)帶來了很大的不便。
　　為了將流程工業(yè)現場分散

2、的異構數據集成到企業(yè)綜合MIS(Management Information System,管理信息系統(tǒng))中,需要建立一個通用的數據管理平臺,數據遷移便成為數據采集和管理的核心和難點。本文以此為背景,以建立一個通用的數據中心為思路,開發(fā)一套實用的數據遷移自動化工具。
　　論文采用了MVC(Model-View-Controller,模型-視圖-控制器)軟件架構模式,對開發(fā)過程中遇到的多數據庫數據類型映射、數據轉換規(guī)則、大數據字段處

3、理以及數據遷移實現方法等進行了重點描述,在技術方面主要運用了遷移任務的定義和獲取、異構數據轉換、函數動態(tài)加載技術、渠道中間件技術以及遷移質量控制等,并通過“緩存隊列”技術實現了對實時數據的定時轉換與遷移,保證了對工業(yè)現場各類異構數據的獲取、映射、處理、傳輸和遷移的一體化。
　　本文最終為用戶構建了一個可視化的數據交換與數據集成的遷移平臺,用戶可以自己管理遷移操作,給流程工業(yè)MIS的開發(fā)帶來了很大的方便,為工業(yè)數據的綜合分析提供了很