Web流量特征模型的研究和應用.pdf

1、Web緩存技術(shù)是提高Web性能的一種有效方法.Web緩存管理是Web緩存技術(shù)的核心問題,研究Web訪問特征的數(shù)學模型是有效進行Web緩存管理的基礎(chǔ).通過對Web用戶的行為跟蹤,對Web對象訪問特征的深入研究分析,發(fā)現(xiàn)Web對象訪問具有以下幾個共同特征:(1)Web對象流行度符合Zipf定律;(2)Web對象大小服從重尾分布;(3)Web對象訪問具有局部性特征等. 訪問局部性特征對緩存和預取系統(tǒng)的性能和設(shè)計方面有很大的影響.網(wǎng)絡(luò)訪問的局部

2、性特征包括時間局部性和空間局部性,利用數(shù)學建模方法研究局部性特征對于緩存和預取系統(tǒng)的設(shè)計及性能提高具有重要的作用.通過分析和討論,本文利用信息熵和變異系數(shù)建立了網(wǎng)絡(luò)流量局部性特征新的度量方法,信息熵比Zipf定律更能反映訪問流的時間局部性,變異系數(shù)則解決了訪問流的相同文檔間的空間局部性建模問題.實驗和分析表明這些參數(shù)能較好地描述網(wǎng)絡(luò)訪問流的局部性特征,而且易于使用. Web日志生成模擬器可以按用戶指定的Web訪問特征生成模擬日志

3、,為研究Web緩存系統(tǒng)性能提供了理論基礎(chǔ).本文通過分析Web對象訪問特征,采用數(shù)學模擬方法分別模擬了Web對象流行度特征、Web對象大小重尾分布特征以及Web訪問的時間局部性特征,設(shè)計并實現(xiàn)了一個Web流量特征模擬生成器WebSimGen,并通過實驗驗證了這個模擬器的有效性.基于兩層代理緩存結(jié)構(gòu),利用模擬生成的日志,用ADF模型(Aggregation、Disaggregation和Filtering)對模擬Web流量的訪問特征和性能進