- 相關推薦
基于計算機視覺的虛實場景合成方法研究與應用
論文關鍵詞：虛擬現實 混合現實 視覺
論文摘要 ：開發了一種虛擬場景與實時視頻之間的合成技術，成功地將該技術應用于虛擬規 劃系統中，詳細介紹了系統所采用的基于計算機視覺的標識識別和實時、自動攝像機位置、姿態跟蹤算法，并給出了系統運行結果。
0 引 言
虛擬現實技術 的最終目的是使用戶完全沉浸在一個 由計算機生成的虛擬中，該技術已經被成功地應用到軍事、、娛樂等眾多領域。隨著應用 的增多 ，虛擬現實技術 的缺陷也逐漸暴露出來，主要表現在如下兩個方面：(1)虛擬現實 中的場景完全由計算機生成，隨著繪制場景真實程度的提高，對系統硬件配置的要求也相應提高，從而形成了繪制效果和實時性兩個同等重要又難以同時解決 的問題 。(2)交互方式受限．鼠標、鍵盤等傳統輸入設備并沒有提供給用戶一種直觀 自然的交互方式，而數據手套等較為昂貴的外圍設備不僅使用起來不方便，而且對工作范圍也有一定的限制。
混合現實 技術的出現很大程度上解決了以上兩個問題，它將計算機生成的虛擬場景、提示信息實時疊加到用戶所能觀察到的真實世界當中，并以此來增強用戶視覺感受 。在混合現實環境中用戶所能觀察到的主體是來源于真實世界的圖像信息，虛擬場景只起到輔助、提示作用，因此不需要真實感圖形繪制所需的高端的硬件配置。另一方面，由于圖像信息來源于真實世界，這就使得用戶本身能夠很自然地融合到整個系統中，并且能夠 以一種 自然 、直觀的方式與系統交互，而不必添加額外的硬件設備。正是由于以上特性，混合現實技術已經被應用到眾多領域當中，而且能夠比虛擬現實更好地完成某些任務，如交互式規劃、動態虛擬展示等。
一個實用的混合現實系統所必須具備的特性之一是幾何一致性，即系統必須實時準確地判斷攝像機相對于真實世界的位置和姿態．以便將虛擬場景正確地疊加到真實世界的具體位置上，使得用戶從感官上認為虛擬場景確實是真實世界的一部分。傳統的方法是利用硬件設備(電磁式、式跟蹤系統)來獲取攝像頭位置信息，但這些方法不僅工作范圍受限，而且求得的結果也不夠精確。本文采用當前流行的基于計算機視覺的方法來獲取位置信息，事實證明該方法是有效、可行的。
系統結構及工作流程
筆者構建 了一個如圖 1所示的混合現實原型系統，主要由如下幾個部分組成：(1)平面標識塊：一個帶有黑色邊框的正方形．尺寸、內部圖案由用戶定義，主要功能是使系統能夠根據實際圖像中標識的變形來計算虛實配準所需的位置、姿態信息，同時還可以用不同的內部圖案代表不同的虛擬場景，以增強系統的實用性。(2)圖像采集設備(攝像機)：主要完成實時視頻采集功能。(3)圖形渲染系統：生成與視頻合成所需的虛擬場景。(4)虛實合成：利用攝像機位置、姿態信息將視頻與虛擬場景相融合。(5)顯示設備 ：包括頭盔式顯示器以及桌面臺式顯示器，用以將虛實合成的影像展現給使用者。
系統運行過程中，首先將采集到的一幀彩色圖像轉換成一幅二值(黑 白)圖像，然后對該二值圖像進行連通域分析，找出其中所有的四邊形區域作為候選匹配區域，將每一候選區域與模板庫中的模板進行匹配，如果產生匹配，則認為找到了一個標識，在生成與該標識對應的虛擬場景的同時利用該標識區域的變形來計算攝像機相對于已知標識的位置和姿態，最后根據得到的變換矩陣實現虛實之間的無縫融合。
2 標識識別與攝像機位置、姿態跟蹤算法
由上一節可知，構建該系統有兩個關鍵問題需要解決 ，即如何識別標識內部的不同圖案以生成與之對應的虛擬場景 以及如何利用標識的變形計算虛實配準所需的坐標變換關系。以下分別介紹以上兩個問題的解決方法。
2．1標識識別
本系統 所采用的標識識別方法可 以分為以下幾步。
2．1．1圖像二值化
首先對采集到的彩色圖像進行二值化，處理成黑白(0，1)圖像，如圖 2(b)。具體方法為：設定一個 閾值，對圖像進行遍歷 ，根據該閾值，對圖像重新賦值。為了克服光照對識別結果造成的影響，同時采用 了自適應閾值法 來提高系統穩定性，設定當前 閾值 為上一幀圖像中標識投影區域像素灰度的平均值，實驗證明該方法對改善系統性能有較為明顯的效果。
2．1．2連通域分析
連通域分析的 目的是從復雜背景中提取標識的投影區域。分析過程為：查找所有像素值為 1的連通區域，首先根據大小約束對區域進行預篩選，然后利用最小二乘直線擬合法篩選出所有四邊形區域 ，結果見圖 2(c)。
2．1．3 區域規則化與模板匹配
區域規則化是將圖像中經過投影變換的標識區域變換到標準模板空間，本文利用仿射變換 將標識經過投影變形后 的區域直接映射到一個 64×64大小的正方形模板，效果見圖2(d)。接下來的工作是將規則化圖像與模板庫中的模板進行匹配，以返回代表不同虛擬場景的 ID值。本文采用相關系數法來完成匹配工作，方法如下：
首先利用以下四式計算規則化圖像 I和標準模板圖像 P各自的均值和方差。
然后計算兩幅圖像的相關系數 p，本文選擇所有模板中與規則化圖像具有最大相關系數 p且 p>0．5的模板作為當前匹配結果，并返回與之對應的 ID值
2．2攝像機位置、姿態估計
首先給出系統的坐標變換關系如圖 3所示。規定平面標識在世界坐標系中的位置為已知，攝像機位置、姿態計算問題轉化為攝像機坐標系與世界坐標系之間三維變換矩陣的求解。
世界坐標 系與攝像機坐標系間的變換關系可以用式(5)表示。其中 W為世界坐標系下某點坐標，C為該點在攝像機坐標系中的位置，T ：[R R R：T] 為待求三維變換矩陣，包含三個旋轉分量和一個平移分量。
C=T W (5)
由于規定平面標識與世界坐標系下的Z：0平面重合 ，則由式 (5)可得 ，平面標識上的某點在世界坐標系下的坐標 Wi=(X ，Y wi，0，1) 與其在攝像機坐標系下坐標 C；：(X Y z i，1) 之間的關系可以表示為式(6)。
有 8個待定系數，由標識的 四個角點可得 如下 方程組 ，則完全可以求取以上 8個未知數。
通過上述計算可以確定變換矩陣中的 R ，R ，T，三個分量，由變換矩陣旋轉分量的正交性可以求得R ：R ×R ，最后需要對所求得的結果作歸一化操作以消除比例因子 t 對計算結果的影響，方法是將(1 R l+l R 1)／2去除以上各分量。
事實上由于不可能完全避免成像畸變以及圖像處理過程中的誤差，上述方法求得的變換矩陣 T 是不夠精確的。解決方法是利用上述方法求取第一幀圖像對應的 T ，在后續計算過程中采用非線性最小二乘法求取后續幀的對應的變換矩陣。誤差逼近計算公式見式 (1 1)。
式中(文 i)(i=0，1，2，3)為根據上一幀T 求得的標識四個角點在像平面坐標系下的位置，(X i，Y ；)(i=0，1，2，3)為實時檢測到的標識角點在圖像中的位置。本 文利用勒溫伯格一馬闊特方法求解式(11)。
3 應用實例——基于混合現實的小區規劃系統
傳統的住宅小區規劃方法之一是制作規劃方案模型，但是制作實體模型不僅費時費力，而且修改起來也極為不便。近年來，基于虛擬現實技術的小區規劃方法已經逐漸為設計者所接受，它一定程度上解決了實體模型規劃方法的缺點，但是由于缺乏高效、自然的人機交互方式，使得規劃效果大打折扣�；旌犀F實技術的出現為小區規劃提供了新的契機，它既繼承了虛擬現實技術卓越的三維表現能力，又具有虛實結合的特點，能夠在真實的規劃場景中整合設計要素，給設計者和方案評估者以直觀的感受。
筆者利用本文方法開發了一套基于混合現實技術的虛擬小區規劃系統。系統中不同的標識對應不同的虛擬模型，用戶可以在視線范圍內隨意移動模型．從而實現不 同的規劃 方案 。運行效果 如圖4該系統滿足了小區規劃對虛實交互、人機交互的要求，充分體現出混合現實技術在小區規劃應用中的優勢。
4 結束語
本文設計 了一種基于視覺的虛實場景合成方法，具有實時性好、可用性高等特點，當前系統中存在的主要問題是虛擬場景與真實場景之間還沒有遮擋和碰撞關系 ，從 而影響 了系統 的真實感 ，下一步的工作是對虛實之問的遮擋和碰撞檢測問題展開研究。
【基于計算機視覺的虛實場景合成方法研究與應用】相關文章：
基于單目視覺的夜間車輛檢測方法研究03-07
基于Monte Carlo方法的通信仿真實現及應用研究03-30
基于計算機網絡的監控系統應用研究12-06
基于視覺注意力模型的圖像檢索的研究11-22
基于多目標決策方法的優選模型及其應用研究03-23
基于網格的聚類方法研究03-13
基于XML的智能應用程序的研究03-07
虛實結合的通信原理實驗教學方法研究論文11-07