PRO-CAM系統(tǒng)下基于異質圖像匹配獲取深度信息的敲擊檢測.pdf

1、基于視覺的人機交互是一種更自然的人與計算機交互方式。一直受到研究人員的關注。近年來，隨著投影技術的發(fā)展，將投影技術和計算機視覺技術相結合吸引了許多相關研究人員和公司的興趣。把投影儀和攝像機相結合，可以突破傳統(tǒng)顯示和交互的瓶頸，將便攜設備的投影平面轉換成一個超大的可交互的顯示平面，此舉具有巨大的理論價值和商業(yè)價值。建立在投影儀攝像機系統(tǒng)(PRO-CAM)下的人機交互涉及到機器視覺、圖像處理、模式識別等多個領域的理論和技術。要實現(xiàn)實時的人機

2、交互，對圖像的分割、特征的提取和手勢的識別都有較高的要求。手部的指尖、輪廓、深度特征是檢測識別敲擊手勢的基礎。PRO-CAM系統(tǒng)復雜的可見投射光照下，手的特征檢測極為困難。使用經典的雙目立體視覺獲得深度信息難以達到實時性。
　　 本文對PRO-CAM系統(tǒng)下的人機交互幾個關鍵技術問題進行了研究，主要工作貢獻可歸結為如下幾點：
　　 1、設計了一個新穎的PRO-CAM系統(tǒng)，系統(tǒng)包括紅外攝像機，紅外照系統(tǒng)，可見光攝像機和投影儀

3、。使用紅外光照系統(tǒng)，解決了在攝像機投影儀系統(tǒng)復雜的、運動的可見光照背景中提取前景困難的問題；根據(jù)紅外光照攝像機和可見光攝像機提供的深度信息做敲擊的檢測,實現(xiàn)了一種重要的手勢的準確檢測。
　　 2、紅外攝像機和可見光攝像機相結合的幾何標定，解決了在投影儀下使用紅外攝像機出現(xiàn)的難以標定問題，使用棋盤格的輔助來建立紅外攝像機和可見光攝像機的映射關系，再使用投影儀投射棋盤格圖片，建立投影儀和可見光攝像機的映射關系，從而快捷準確的獲得紅外

4、攝像機和投影儀的幾何映射關系。
　　 3、基于LaplaceofGaussian的團塊檢測和曲率相結合的快速指尖檢測算法。利用手指的寬度保持在一定的范圍內和指尖位置的邊緣曲率較大，設計了一個快速的指尖檢測算法。我們把手指看作一個個團塊，使用檢測團塊，那些具有高曲率值的團塊則很有可能是手指區(qū)域。我的指尖檢測算法能夠在紅外光照不均勻的情況下實時的、準確的檢測出指尖的位置。
　　 4、使用ChamferMatching做紅外光