新聞視頻語義概念探測與語義檢索關(guān)鍵技術(shù)研究.pdf

1、新聞視頻由于其真實(shí)準(zhǔn)確、內(nèi)容豐富、信息量大等特點(diǎn)，成為人們獲得信息的重要媒體類型。對于情報(bào)人員而言，新聞視頻是一種公開的情報(bào)源，其時(shí)效快，且反映各國政治、經(jīng)濟(jì)、軍事和外交政策，從而能夠?yàn)榍閳?bào)人員提供豐富情報(bào)，為戰(zhàn)略決策分析提供重要輔助，因此研究新聞視頻的語義分析技術(shù)無論對于普通民眾或是情報(bào)分析人員都具有非常重要的意義。但是新聞視頻的底層特征與高層語義之間存在的語義鴻溝問題使得新聞視頻的語義內(nèi)容分析面臨巨大困難，并且新聞視頻的非結(jié)構(gòu)化的數(shù)

2、據(jù)格式、巨大的數(shù)據(jù)量以及表現(xiàn)內(nèi)容不透明等特點(diǎn)使得人們難以方便快速對新聞視頻進(jìn)行瀏覽和檢索。由此可見，分析新聞視頻的語義內(nèi)容以輔助用戶獲得有效的新聞視頻信息是值得深入研究的問題，本文針對此具有理論意義及應(yīng)用前景的課題進(jìn)行了探索和研究，目的在于解決新聞視頻語義概念探測和語義檢索中部分關(guān)鍵技術(shù)，為構(gòu)建有效的新聞視頻語義檢索系統(tǒng)提供技術(shù)支持，同時(shí)也為獲得新聞視頻的視覺語義內(nèi)容、跨越語義鴻溝提供解決思路。
　　本文首先建立一個新聞視頻語義檢

3、索研究的技術(shù)框架，在此基礎(chǔ)上重點(diǎn)研究基于概念關(guān)系的語義概念探測、基于多線索信息的語義概念探測、新聞視頻語義索引構(gòu)建以及用戶查詢多模態(tài)語義擴(kuò)展等關(guān)鍵性技術(shù)，通過實(shí)驗(yàn)驗(yàn)證了本文研究的可行性和本文所提出算法的性能。論文的主要貢獻(xiàn)具體表現(xiàn)在如下幾個方面：
　　1、提出了基于概念關(guān)系的語義概念探測方法。對語義概念間存在的上下文關(guān)系進(jìn)行定量定性分析，針對顯式和隱式兩類語義概念探測方法提出新的解決思路。針對隱式探測方法，提出在基于上下文關(guān)系的語

4、義概念探測框架中增加相關(guān)概念選擇模塊，并結(jié)合視覺相似性、探測器準(zhǔn)確率等多項(xiàng)要素得到最終的融合判定；在此基礎(chǔ)上，根據(jù)概念關(guān)系對 Boosting方法中的權(quán)重分布策略進(jìn)行改進(jìn)，在限制權(quán)重?cái)U(kuò)張的同時(shí)平衡了探測模型訓(xùn)練過程中的誤判率與誤拒率。針對顯式探測方法，有效利用語義概念的共現(xiàn)與互斥關(guān)系，將精化過程轉(zhuǎn)化為隨機(jī)漫步過程，并分解為正、負(fù)相關(guān)兩個部分進(jìn)行迭代精化處理以保證隨機(jī)過程的收斂，進(jìn)一步去除不可靠相關(guān)概念，以獲得更為魯棒的精化結(jié)果。

5、　　2、提出了基于多線索信息的語義概念探測方法。分析了對于探測新聞視頻語義概念具有重要作用的多線索信息，包括運(yùn)動信息、時(shí)間信息以及文本信息。針對運(yùn)動信息，提出了運(yùn)動特征與背景特征相融合的語義概念探測框架，采用運(yùn)動局部不變特征描述子對鏡頭進(jìn)行運(yùn)動特征提取，并采用概率潛在語義分析獲得鏡頭的潛在語義以構(gòu)建潛在運(yùn)動語義概念探測模型；針對時(shí)間信息，綜合分析語義概念的多種時(shí)序關(guān)系，包括時(shí)間一致性關(guān)系、鏡頭間上下文關(guān)系以及鏡頭內(nèi)上下文關(guān)系，構(gòu)建了基于

6、擴(kuò)展N-gram語言模型的時(shí)序平滑框架，并利用高階時(shí)序關(guān)系抑制模型中的數(shù)據(jù)稀疏問題。
　　3、提出了新聞視頻的層次化語義索引結(jié)構(gòu)，包括潛在概念、語義概念、文本詞匯以及高層的概念聚類。針對高層概念聚類，提出了基于四部圖劃分的新聞視頻故事單元聚類方法。該方法在分析新聞視頻高階異構(gòu)特性的基礎(chǔ)上，構(gòu)建了新聞故事單元的四部圖模型，將四部圖聯(lián)合聚類問題分解為三個二部圖劃分問題，并進(jìn)一步轉(zhuǎn)化為多目標(biāo)優(yōu)化問題，采用半正定規(guī)劃方法獲得全局最優(yōu)解，以

7、得到最終的聯(lián)合聚類結(jié)果。
　　4、提出了用戶查詢的多模態(tài)語義擴(kuò)展方法，利用WordNet衡量查詢文本與語義概念間的相似度，并結(jié)合概念關(guān)系完成查詢與語義概念的初步映射，在此基礎(chǔ)上提出多特征交互框架，利用包括語義概念、潛在語義、文本語義在內(nèi)的多類語義特征之間的互補(bǔ)特性，對初始檢索結(jié)果進(jìn)行重排序，以獲得多模態(tài)語義擴(kuò)展的用戶查詢，并與層次化語義索引進(jìn)行映射得到最終的語義檢索結(jié)果。
　　5、基于本文的研究內(nèi)容，設(shè)計(jì)和實(shí)現(xiàn)了一個新聞視頻