并行爬蟲中的負載平衡模型研究.pdf

1、隨著Internet的迅速發(fā)展，網(wǎng)上信息以爆炸性的速度不斷豐富和擴展，搜索引擎成為獲取信息的必需工具，而網(wǎng)絡爬蟲作為網(wǎng)頁收集工具是搜索引擎的核心組成部分。隨著互聯(lián)網(wǎng)信息量的增大，對搜索引擎網(wǎng)頁收集的全面性和及時性提出了更高的要求，因此爬蟲的性能面臨著巨大的挑戰(zhàn)。不僅要求能夠盡可能高效率的下載網(wǎng)頁，而且要求能夠盡量少的消耗計算資源和服務器資源。
　　本文圍繞著提高網(wǎng)絡爬蟲性能的核心需求，在深入研究了爬蟲的工作原理和相關技術的基礎上，

2、從兩個角度研究了爬蟲的動態(tài)負載平衡：爬蟲各任務并發(fā)執(zhí)行時的內部負載平衡和對網(wǎng)絡利用以及不同web服務器請求頻率的外部負載平衡，從多個方面較大提升了爬蟲的運行性能。
　　本文的主要成果可歸納為以下幾個方面：
　　首先，在對爬蟲相關技術進行深入研究的基礎上，提出了基于流水線多任務并行的爬蟲體系結構，以及采用多線程和緩沖區(qū)的實現(xiàn)方式，并論證了采用流水線多任務并行對性能的提高以及可能造成系統(tǒng)運行不穩(wěn)定的問題。
　　其次，研究了

3、多任務并行爬蟲系統(tǒng)中的關鍵問題——模塊間負載平衡問題，提出了流水線負載平衡模型（PLB），以及通過對線程數(shù)量以及緩沖區(qū)大小進行動態(tài)調整來達到平衡的方法，并介紹了所采用的多種優(yōu)化手段。
　　然后，通過服務器負載平衡的思想研究了如何在限定帶寬的條件下進行爬行的問題。首先提出了基于站點的下載速度預測對帶寬控制的原理與方法，并根據(jù)時間序列函數(shù)建立了下載速度預測模型。同時在研究“禮貌性”爬行問題的基礎上，重點介紹了面向服務器負載的禮貌爬行思