對提高企業(yè)級數(shù)據倉庫數(shù)據即時性的研究.pdf

1、隨著計算機技術和信息技術的飛速發(fā)展，電子信息數(shù)據在企業(yè)的日常運營中越來越重要，企業(yè)迫切需要高效、精確、及時地分析數(shù)據。傳統(tǒng)數(shù)據倉庫的數(shù)據加載周期較長，往往只能提供對歷史數(shù)據的分析與查詢，不能實時地反應企業(yè)商業(yè)信息變。實時數(shù)據倉庫作為傳統(tǒng)數(shù)據倉庫的擴展，有效地縮短了信息延時，為企業(yè)提供了更有價值的戰(zhàn)術型決策支持。數(shù)據倉庫建模，ETL實現(xiàn)，前端查詢是實現(xiàn)整個數(shù)據倉庫的關鍵環(huán)節(jié)，要在數(shù)據倉庫系統(tǒng)中，提高實現(xiàn)實時性，數(shù)據建模，設計相應的ETL數(shù)

2、據抽取方案。
　　 本文在全面分析實時數(shù)據倉庫的研究現(xiàn)狀和數(shù)據倉庫技術的基礎上，給出了實時數(shù)據倉庫的體系結構，并且討論了實時數(shù)據倉庫的應用。本文通過對企業(yè)級數(shù)據倉庫的架構研究和提出改進的架構開始，通過對實時數(shù)據倉庫的關鍵技術，重點分析了實時的實現(xiàn)難點：針對與企業(yè)級數(shù)據倉庫結構體系中存在的結構單一性導致的開發(fā)和性能的問題提出一個較合理的改進方案；針對企業(yè)級數(shù)據倉庫數(shù)據模型中的設計步驟和技術提出一些優(yōu)化性能的方案，包括數(shù)據聚簇的使用

3、、針對數(shù)據倉庫特殊模型的表劃分設計、數(shù)據模型的約束一致性的設計和數(shù)據倉庫中數(shù)據庫索引的優(yōu)化設計；針對于傳統(tǒng)數(shù)據倉庫中的ETL中的變更數(shù)據捕獲和匯總數(shù)據更新的運行效率較低導致的數(shù)據倉庫數(shù)據不即時性問題，提出企業(yè)級數(shù)據倉庫的ETL的優(yōu)化設計方案。
　　 通過針對這些問題的分析、研究和解決過程，本文提出了企業(yè)級數(shù)據倉庫的基本架構方案來解決企業(yè)級數(shù)據倉庫架構的可拓展性和節(jié)約開發(fā)的成本；通過對企業(yè)級數(shù)據倉庫的數(shù)據模型技術的研究提出一套數(shù)據

4、倉庫建模的優(yōu)化方案從數(shù)據模型上來優(yōu)化數(shù)據倉庫的被訪問實時性能；通過對ETL技術的改進和數(shù)據庫相關技術的分析提出了基于數(shù)據庫復制技術的變更數(shù)據捕獲方案和基于ODS實時分區(qū)的匯總數(shù)據更新解決方案來從數(shù)據抽取、捕捉和轉換的過程中縮短時間窗口來減少ETL時間窗口在整個數(shù)據倉庫的占用時間，并詳細闡述了設計過程及實現(xiàn)。最后以汽車行業(yè)“EDS實時數(shù)據倉庫”項目為背景，實現(xiàn)了所提出的實時的企業(yè)級數(shù)據倉庫解決方案，結果證明了方案的合理性與有效性。