千億級智能交通大數據存儲與檢索系統(tǒng)的研究.pdf

1、隨著中國城市化規(guī)模的逐步擴大以及城市居民收入的不斷增加，私家車數量也在不斷的增加，伴隨著也帶來了一系列的交通問題。為了便于城市交通的管理，智能交通系統(tǒng)應運而生，其通過引入現(xiàn)代化技術并結合各城市的具體需求，實現(xiàn)對交通信息的實時收集和處理，了解當前的交通環(huán)境并作出相應的調控。這對于保障城市交通高效運行和可持續(xù)發(fā)展具有重要的意義。
　　數據存儲與檢索是智能交通系統(tǒng)的核心之一。在實際公安局點應用中，道路監(jiān)控每天會產生海量的數據，僅浙江省一

2、天產生的過車數據便有幾億，并且數據到達具有隨機性。傳統(tǒng)的關系型數據庫由于其嚴格的表結構約束，無法實現(xiàn)海量數據的存取操作。并且當一張數據表的數據量達到一定級別時，索引本身就過于巨大。因此數據庫的檢索功能根本無法滿足數據檢索的需求，并且極易造成系統(tǒng)的癱瘓。
　　本文對以上問題進行深入研究，設計了千億級智能交通大數據存儲與檢索系統(tǒng)。系統(tǒng)采用分布式集群方案，以分布式框架Hadoop為基礎將系統(tǒng)集群設計為主從架構。集群使用Zookeeper

3、進行一致性管理，使用Yarn進行資源管理和分配。為保證系統(tǒng)集群的穩(wěn)定性，通過虛擬IP和Zookeeper實現(xiàn)了負載均衡和高可用性機制，用于處理高并發(fā)連接和單點故障問題，并保證對外地址的一致性。
　　針對海量數據存儲和檢索這個難點，引入搜索引擎Solr和非關系型數據庫HBase實現(xiàn)數據存儲和檢索方案。針對高并發(fā)數據容易引起Solr不穩(wěn)定，設計了Kafka和Spark Streaming高并發(fā)實時數據緩存和消費策略。針對海量數據檢索延