面向電信數(shù)據(jù)的分布式節(jié)點任務調(diào)度及負載均衡設計與實現(xiàn).pdf

1、隨著電信網(wǎng)絡的數(shù)據(jù)和語音業(yè)務量不斷增長，電信運營商需要對海量的網(wǎng)元數(shù)據(jù)進行收集處理、計算分析。數(shù)據(jù)規(guī)模龐大，單臺服務器處理能力已經(jīng)遠遠滿足不了人們對計算速度的要求。針對電信網(wǎng)元數(shù)據(jù)處理這一應用，設計實現(xiàn)了基于分布式計算的DVCP（Distributed Virtual Computing Platform）系統(tǒng)。本文主要針對DVCP系統(tǒng)中任務在分布式計算節(jié)點CU（Compute Unit）間的調(diào)度及負載均衡展開研究。該系統(tǒng)將網(wǎng)元數(shù)據(jù)的采

2、集、匯總等計算處理任務進行拆分，通過分割任務，在多個分布式計算節(jié)點中并行處理，提高計算效率。通過對任務的管理調(diào)度及跟蹤，提高系統(tǒng)容錯性，故障可恢復性。設計實現(xiàn)一個易實施的負載均衡策略，解決在海量分布式電信數(shù)據(jù)處理中存在各個計算節(jié)點負載不均衡的問題。
　　本文主要做了如下工作：
　　第一，DVCP基礎架構設計。對現(xiàn)有的分布式計算技術進行了前期研究和介紹。通過參考對比，提出了中心控制節(jié)點與計算資源池組成的 DVCP基本架構框架，

3、該框架結構即滿足了分布式計算的要求，又避免純分布式系統(tǒng)所帶來的不可靠性、可控性不高、一致性等問題。
　　第二，系統(tǒng)任務調(diào)度與其在系統(tǒng)各個計算節(jié)點間的負載均衡策略的設計實現(xiàn)。該系統(tǒng)將每個大型數(shù)據(jù)處理計算問題，分解為小任務后，分發(fā)到各個計算節(jié)點中并行處理，以提高并行度。而針對任務負載均衡問題，傳統(tǒng)負載均衡，一般讓主控節(jié)點來進行任務調(diào)度和負載均衡管理，以決定哪個計算節(jié)點應執(zhí)行該任務。而本系統(tǒng)主要依靠計算節(jié)點CU自身來實現(xiàn)。計算節(jié)點根據(jù)自

4、身情況主動獲取任務，分攤主控節(jié)點在任務調(diào)度及負載均衡控制上的壓力以及減少其造成的瓶頸。
　　第三，DVCP中分布式計算節(jié)點這一重要子系統(tǒng)的設計與實現(xiàn)。計算節(jié)點在架構上采取主控進程與工作進程結合的架構，分離控制與業(yè)務。網(wǎng)絡部分采用基于Epoll的單線程服務框架，實現(xiàn)高效的網(wǎng)絡 IO機制。具體任務通過專門的中間任務調(diào)度模塊異步放入線程池中處理，極大提高了系統(tǒng)處理能力和資源利用率。
　　針對網(wǎng)元數(shù)據(jù)采集等業(yè)務的功能測試，負載均衡性