基于海量高維圖像的大數(shù)據處理框架.pdf

1、目前國內外在數(shù)字圖像處理方面的研究已經非常完善,在許多應用領域都受到了廣泛的應用。同時隨著云計算概念的普及,大數(shù)據處理也開始為人所重視,一些大公司也開始了這方面的研究,通過對海量的數(shù)據進行收集、分析、整理,是其中的主要任務,更具體的方面是使用一些大數(shù)據的平臺,比如Hadoop,在平臺的基礎上進行開發(fā),最終的目的是開發(fā)出適用于大數(shù)據的應用。但是利用大數(shù)據來進行數(shù)字圖像處理還尚在探索階段,本文擬設計實現(xiàn)一個以Hadoop Map-Reduc

2、e開源平臺為基礎,為海量高維圖像數(shù)據進行處理的大數(shù)據處理框架,與此同時還此架構基礎上將一些傳統(tǒng)的單機圖像處理算法進行并行實現(xiàn),為其他的復雜算法奠定基礎。本研究將彌補傳統(tǒng)算法在處理海量高維圖像時的一些缺陷,比如處理時間過長;存儲調度效率低等,同時提高了性能表現(xiàn)。
　　本課題在對傳統(tǒng)單機圖像處理和分布式圖像處理分析的基礎上,重點研究了如何在面對海量高維圖像大數(shù)據時,能夠在以不犧牲處理效果的基礎上顯著提高圖像處理的時間性能。具體工作包括

3、以下幾個方面:
　　1.詳細描述并分析了傳統(tǒng)單機圖像處理與使用分布式方式進行圖像處理在面對海量高維圖像時的種種不足,包括單機處理在時間性能上的巨大劣勢,數(shù)據存儲上的不足以及現(xiàn)階段在使用分布式方式處理像圖像這樣的小文件上的不適應。通過這些分析,找到本課題的切入點,進而得到框架在設計上的需求。
　　2.針對海量高維圖像的特性,設計了全新的圖像數(shù)據表征方式和存儲模型,本課題將原有圖片小文件通過解碼之后,提取出一些關鍵信息存入到新設

4、計的圖像數(shù)據表征方式中,再存入一個大文件的存儲模型中,同時在存儲模型中建立對應的索引,最后存儲在分布式文件系統(tǒng)中。
　　3.提出了一種新的并行圖像處理模型。以第2點的圖像數(shù)據表征方式和存儲模型為基礎,結合MapReduce處理框架,設計輸入輸出接口,讓圖像算法真正的以并行方式處理,大大提升圖像處理的時間性能。
　　4.提出一個低延遲調度框架。該框架能夠對在線的實時數(shù)據處理請求進行低延遲的響應,并且能夠從配置文件中讀取參數(shù)來進