電商數據倉庫作業(yè)調度系統的設計與實現.pdf

1、數據已成為當代互聯網企業(yè)核心競爭力，而高效的作業(yè)調度系統是離線海量數據管理的重要工具，誰能有效管理這些海量數據，并能有效挖掘其中有價值信息，誰就站在了戰(zhàn)略至高點。ETL作業(yè)是數據倉庫日常工作的核心內容，海量具有復雜關系的作業(yè)只有在作業(yè)調度系統的調度管理下才能高效有序進行。在當前以數據為生產力的信息經濟時代，電商數據倉庫日常工作已不是簡單的數據備份和日志拉取，任何能夠關聯的數據都有可能產生新的火花。由此，作業(yè)調度系統不僅要保證高效和穩(wěn)定地

2、觸發(fā)作業(yè)，又要兼顧各作業(yè)之間的依賴關系，最后以作業(yè)鏈的形式有序觸發(fā)所有作業(yè)。這些要求是作業(yè)調度系統建設將要面臨的新的挑戰(zhàn)。隨著大數據時代的到來，以Hadoop生態(tài)系統為基礎的大數據處理工具得到了市場的廣泛認可。而Hive數據庫的誕生正迎合了大數據時代的需要。本系統將對Hive數據處理的支持納入數據倉庫重要部分，充分利用了hadoop集群穩(wěn)定高擴展性優(yōu)勢，采用分布式集群滿足電子商務企業(yè)對數據倉庫的穩(wěn)定/高效/經濟的需求。由此新的作業(yè)調度系

3、統不僅支持常規(guī)關系型數據庫處理，還能兼容HIVE數據處理功能。目前，國內外各大企業(yè)數據倉庫作業(yè)調度系統多以自主建設為主，也有些優(yōu)秀的開源作業(yè)調度系統（如OOZIE）和一些優(yōu)秀的作業(yè)調度系統框架（如quartz），但是在使用場景和功能上與企業(yè)當前發(fā)展階段需求不符。
　　本研究通過總結日常工作中的調度需求，為企業(yè)設計開發(fā)了一套符合當前發(fā)展階段的定制化的電商數據倉庫作業(yè)調度引擎，數據開發(fā)人員能夠方便地在任意作業(yè)機部署自己的作業(yè)，并提供按