大數據和云計算環(huán)境下的hadoop技術研究

1、大數據和云計算環(huán)境下的大數據和云計算環(huán)境下的HadoopHadoop技術研技術研究[摘要]大數據與云計算技術都已經成為信息社會最重要的技術之一，Hadoop是大數據與云計算時代背景下最熱門的技術之一，Hadoop的相關技術對學術研究有重要影響。本文主要對Hadoop技術進行了研究，首先介紹了大數據和云計算的概念，其次介紹了Hadoop的概況以及相關技術的原理，比如核心技術HDFS和MapReduce；再次分析了目前Hadoop所面臨的安

2、全問題，然后描述了Hadoop的發(fā)展瓶頸并提出改進方案；最后進行了總結并展望Hadoop、Spark和Stm三者相互結合，混合架構將是未來發(fā)展的方向。下載[關鍵詞]大數據；云計算；Hadoopdoi：10.3969j.issn.16730194.2017.13.076[中圖分類號]TP311.13；TP333[文獻標識碼]A[文章編號]16730194（2017）130177031概述大數據是指通過新的信息處理技術和方式，對數據進行收集

3、、存儲、分析以及處理等，并且能夠利用全新的數據處理技術和方式產生相關聯(lián)的預測效應，協(xié)助決策，發(fā)揮海量快速增長數據的價值。云計算是指一種特殊的計算模式，它將計算任務分布在資源池中，池中的資源包括計算服務器、存儲服務器、寬帶資源，使用戶能夠按需獲取各種服務。大數據與云計算之間相得益彰，相輔相成，因為云計算本質上是數據處理技術，其核心是業(yè)務模型，大數據是云計算的延伸，是云計算的資產。目前，海量非結構化的數據分析處理需一種高效并行的編程模型，此

4、時Apache項目基金會研發(fā)的Hadoop迅速崛起，Hadoop主要用來進行大數據分析處理。Hadoop的出現解決了大數據并行計算、存儲、管理等關鍵問題，這樣用戶即使對分布式底層細節(jié)不了解，也可以開發(fā)分布式程序。Hadoop得到了廣泛認可，其優(yōu)點是不容忽視的，主要有：高擴展性、低成本、高效率、高可靠性。2Hadoop相關的技術Hadoop可以部署在廉價機器上的處理海量文件存τ氬⑿屑撲愕腦萍撲憧發(fā)平臺。Hadoop由HDFS、MapRed

5、uce、HBase、Hive、Zookeeper、Pig、Ambari、Sqoop等組成，其中主要部分是HDFS和MapReduce。2.1HDFSHDFS是構建在PC服務器上的高度容錯的分布式文件系統(tǒng)，目的是用于海量數據的處理。HDFS的架構形式是主從架構，HDFS的元數據服務器和數據塊服務器命名為NameNode和DataNode。NameNode是一個中心服務器，是HDFS的核心結構，負責客戶端對文件的訪問以及管理文件系統(tǒng)的名字空

6、間，存儲HDFS分布式文件系統(tǒng)的元數據信息，NameNode可判斷DataNode是否處在工作狀態(tài)，并管理著DataNode上的分塊信息。DataNode負責管理其所在的節(jié)點上的所有數據，能夠根據用戶的請求來器接受JobTracker和NameNode發(fā)布的任務或數據。4Hadoop的瓶頸與改進4.1實時性處理Hadoop采用的主要思想是“分而治之”，對大數據的計算進行分解，接下來交由眾多的計算機節(jié)點分別完成，最后統(tǒng)一匯總計算結果。然而

7、Hadoop結構在處理實時性要求較高的業(yè)務時，卻產生了瓶頸。Stm是由Twitter公司開發(fā)的，是一個開源分布式的，容錯的實時計算系統(tǒng)，提供良好的實時性。將Stm的實時流處理和Hadoop的批處理進行融合集成，會提高集群的處理性能、及穩(wěn)定性和擴展性。既可以支撐增量的實時流處理，也可以實現批量處理的方式，通過擴展數據存儲層以及增強高可用性，進一步擴展大數據業(yè)務場景。文獻中提出一種基于Stm和Hadoop的新型大數據處理方案，將Stm的實時

8、流處理與Hadoop的批處理進行融合集成，提高集群的性能。4.2MapReduce算法MapReduce的缺陷主要有三點，第一，僅支持數據密集型運算，不支持任務密集型計算；第二，不支持顯示的迭代計算；第三，處理緊耦合數據效率低。Spark的使用可以很好地改善上述不足。Spark是2009年美國加州大學伯克利分校研發(fā)的，立足于內存計算，增強了多迭代批量處理能力，提高了大數據處理的時效性。其核心技術是彈性分布式數據集（RDD），該框架包括內

9、存計算、迭代計算、流式計算批處理計算，數據查詢分析計算以及圖計算，是MapReduce模型的代替模型。Spark支持單節(jié)點和多節(jié)點集群，可以在Hadoop文件系統(tǒng)中并行運行，通過Mersos第三方集群框架可以支持。5結語大數據和云計算的快速發(fā)展，作為應用平臺的Hadoop起到了至P重要的作用，但是Hadoop的缺陷也是不容忽視的。Hadoop今后的發(fā)展方向可能著重和Spark、Stm三者完美結合，混合架構，各顯神通。由于Hadoop的兼