- 相關推薦
基于融合細分的紋理圖像重構模型
摘要：針對分段迭代曲線擬合存在的重建區域輪廓不連續、重建區域尺寸有誤差等問題，提出了一種基于融合細分的紋理圖像重構模型。首先提取原始圖像的分割區域，經過輪廓跟蹤與下采樣得到區域形狀的特征向量;然后利用三重逼近與三重插值統一的融合細分方法，重建區域輪廓曲線;最后合成區域紋理，得到紋理圖像重構結果。在多幅自然場景圖像上進行實驗驗證，并給出相應的實驗結果和分析。實驗結果表明，所提模型正確有效，具有和人類視覺特性相符合的重構結果; 所提算法能夠減少圖像重建時的處理時間，并在圖像質量主觀評價指標上明顯優于多區域圖像重建算法。
關鍵詞：紋理圖像重構;融合細分;紋理合成;圖像分割
一、引言
隨著數字多媒體技術的發展，人們對高效的圖像信息處理提出了更高的要求。現有的基于像素/塊的圖像處理技術忽略了圖像的層級結構，無法直接用于內容分析;而基于對象的又難以滿足圖像處理在通用性方面的需求[1]。因此，如何找到一種更加有效的圖像表征方法一直是圖像處理領域的研究熱點與難點問題。
紋理是表達圖像內容的一個非常重要的屬性，它廣泛存在于各類圖像中。紋理圖像通常構成圖像或視頻的靜止背景。圖像中的紋理分為兩大類：不重要主觀細節紋理和重要主觀細節紋理[2]。由于人類視覺系統固有的缺陷，人眼對平滑區域的敏感性遠高于紋理密集區域，圖像中的紋理通常是人眼不關注的那部分內容，因此紋理細節的變化不會影響對原始紋理的主觀理解[3]。
近年來，基于樣圖的紋理合成在圖像修復、壓縮編碼、紋理傳輸等方面有著廣泛的應用[4-6]。Efros等[7]提出一種計算較簡單的Image Quilting算法，通過計算紋理重疊區域的累積誤差和最小誤差路徑進行紋理拼接。而旋轉的Wang Tiles 紋理合成算法[8]能夠克服Wang Tiles 存在的樣圖利用不完全、切割路徑非最優、中心和拐角區域不匹配等缺點。
圖像中的線結構是指用來定義目標形狀的輪廓或劃分區域的邊界，是圖像的形狀特征表達[9-10]。早期的形狀描述方法使用二進制圖像，基于二進制邊緣的方法有很多，例如多邊形近似、曲率的頻域表示等。Zhang等[11]系統闡述了兩類圖像形狀的表示算法：一類是基于輪廓，另一類是基于區域。每一類形狀表示算法可分為結構方法和全局方法，并適用于空域和變換域。
利用圖像的線結構與紋理特性，文獻[12]提出了一種基于分段迭代曲線擬合的多區域圖像重建算法。包含了大量紋理的多區域重建結果用于構建圖像或視頻的靜止背景，而圖像的前景是駿馬、蒼鷹或美女等，視頻的前景是飛馳的獵豹、飛翔的蒼鷹或游泳的美女等。由人類視覺系統的感知特性可知，人眼的視覺注意力主要集中于上述前景，而靜止背景的視覺關注度是低的，尤其是紋理靜止背景[12]�；诰�結構和紋理特性的圖像重建方法適用于構建圖像與視頻的靜止背景圖像。
但是，利用分段迭代曲線擬合重建的區域輪廓曲線是不連續的，需使用膨脹算法進行修復，從而造成重建區域的尺寸存在誤差，因此會引起重建質量差的問題。針對上述問題，提出利用三重逼近與三重插值統一的融合細分方法，重建區域輪廓曲線;將合成的區域紋理填充到重建的區域輪廓曲線中，從而得到紋理圖像重構結果。實驗結果表明本文算法重構的圖像質量良好，圖像質量的主觀評價指標明顯優于多區域圖像重建算法。
圖1是本文提出的基于融合細分的紋理圖像重構模型結構流程，主要包括預處理、融合細分和重構紋理圖像3個階段。
預處理階段首先利用圖像分割與區域融合方法獲得原始紋理圖像的多個區域及其索引號;然后通過輪廓跟蹤與下采樣，獲得代表區域輪廓結構特征的有序序列。
融合細分階段利用三重逼近與三重插值統一的融合細分方法，重建區域輪廓曲線。
重構紋理圖像階段首先，得到包含區域紋理局部與全局特征的區域紋理樣本;然后，利用基于樣圖的紋理合成算法合成區域紋理;最后，將合成的區域紋理填充到重建的區域輪廓曲線中，實現紋理圖像重構。
1.1預處理
首先，原始圖像被分割為許多包含同質顏色與紋理特征的小分割區域[13-14]，同時考慮到紋理樣本選擇對分割結果是敏感的，空間緊鄰的小分割區域必須合并成較大的區域，每個區域獲得一個唯一的索引號。
然后，利用輪廓跟蹤算法[10-11]得到一個由區域邊界曲線上的像素點組成的有序序列，按照隨機間隔進行有序抽樣即下采樣提取，得到代表區域輪廓形狀的特征向量(xs，ys)，其中s是向量元素在區域輪廓曲線上的位置序號。
1.2融合細分
為了得到插值與逼近統一的融合細分方法，本文用新的角度觀察三重逼近細分。
首先設定初始控制頂點P0i(i=1，2，…，n);其次在P0i和P0i+1之間的1/3和2/3處分別插入兩個新的頂點P03i+1和P03i+2：
P03i+1=23P0i+13P0i+1
P03i+2=13P0i+23P0i+1(1
然后定義位移Δi如下所示：
Δi=-127P0i-1+227P0i-127P0i+1(2
將P03i+1和P03i+2分別移到新位置P13i+1和P13i+2，位移分別是Δi和Δi+1;同時將P03i移到新位置P13i，其位移恰好是4Δi。根據上述步驟，經過k次修改后，可得到一組新的控制頂點Pk+1。因此，三重逼近細分的遞推公式可歸納為：
Pk+13i=Pki-4Δki
Pk+13i+1=23Pki+13Pki+1-Δki
Pk+13i+2=13Pki+23Pki+1-Δki+1 (3
基于上述三重逼近細分的推導方法，可推出新的三重插值細分。首先，保持控制網格中P0i固定不動;然后，將新插入的頂點P03i+1和P03i+2移到新位置P13i+1和P13i+2，位移分別為Δ′3i+1和Δ′3i+2，其位移方向恰好與三重逼近細分的頂點位移方向相反。Δ′3i+1和Δ′3i+2通過線性加權組合得到，并且滿足細分曲線的收斂性和光滑性[15-16]，定義如下：
Δ′3i+d=ωΔi+d-1+υΔi+2-d; d=1，2 (4)
其中：ω=32(1+μ)，υ=32(1-μ)， μ是自由參數。
根據式(4)定義的位移算子，得到三重插值細分新的表示：
P′k+13i=Pki
P′k+13i+1=23Pki+13Pki+1+ωΔki+υΔki+1
P′k+13i+2=13Pki+23Pki+1+υΔki+ωΔki+1 (5
然后，利用權值參數α(0≤α≤1)得到三重逼近與三重插值統一的融合細分。三重逼近細分規則和三重插值細分規則統一的表示：
Pk+13i=Pki-4αΔki
Pk+13i+1=23Pki+13Pki+1-αΔki+(1-α)(ωΔki+υΔki+1)
Pk+13i+2=13Pki+23Pki+1-αΔki+1+(1-α)(υΔki+ωΔki+1) (6
顯然，式(3)和式(5)均為式(6)的特殊情況。當α=1時，式(6)代表三重逼近細分;當α=0時，式(6)代表三重插值細分;當0<α<1時，式(6)可生成介于三重逼近細分和三重插值細分之間的細分曲線。
圖2 給出了一簇由融合細分生成的從逼近到插值的細分曲線，權值參數α從里到外依次為1.0，0.8，0.6，0.4，0.2，0。最里層的實線為逼近細分曲線，最外層的實線為插值細分曲線，中間4條虛線是介于逼近細分和插值細分之間的細分曲線。實驗證明，融合細分中的權值參數α能調節細分曲線的插值特性與逼近特性。
最后，進一步整理式(6)，得到三重融合細分方法新的表示：
Pk+13i=a0Pki-1+a1Pki+a0Pki+1
Pk+13i+1=b0Pki-1+b1Pki+b2Pki+1+b3Pki+2
Pk+13i+2=b3Pki-1+b2Pki+b1Pki+1+b0Pki+2 (7)
其中： a0=427α， a1=1-827α， b0=127-127(1-α)(ω+1)， b1=1627+127(1-α)(2+2ω-υ)， b2=1027+127(1-α)(-1-ω+2υ)， b3=-127(1-α)υ， 0≤α≤1，ω=32(1+μ)，υ=32(1-μ)，μ是自由參數。實驗證明，當1/5<μ<1/3時，三重逼近與三重插值統一的融合細分生成的細分極限曲線可達到C2連續[17]。
1.3重構紋理圖像
首先，利用自回歸統計分析模型對區域內部紋理進行分析;然后，選擇包含區域紋理局部與全局特征信息的區域紋理樣本，合成區域紋理[7-8];最后，把合成的區域紋理填充到重建的區域輪廓曲線中，得到紋理圖像重構結果。具體的過程示例如圖3所示。
二、實驗結果與分析
為驗證本文給出的基于融合細分的紋理圖像重構模型的正確性與有效性，選取包含大量紋理的自然場景圖像進行實驗，并分別使用文獻[12]算法和本文算法進行紋理圖像重建�；贑++語言實現算法。實驗環境為3.3GHz，Intel Core i3處理器，內存2GB。融合細分中的自由參數μ=3/10，α=0.27。
由實驗結果(圖4～8)可知，本文的紋理圖像重構質量優于對比算法。影響紋理圖像重構質量的因素主要有兩個：
1) 區域輪廓曲線重建結果。如果重建的輪廓曲線不正確，則重建的區域形狀就不正確。文獻[12]使用分段迭代曲線擬合重建的區域輪廓不能正確反映區域形狀特征;而本文利用融合細分重建的區域輪廓曲線更合理。
2) 重建區域尺寸。為了使重建的區域輪廓曲線是連續、封閉的，文獻[12]使用了膨脹算法，造成重建區域的尺寸誤差;原始區域尺寸越小，這種誤差就越明顯;本文中重建區域的尺寸是正確的。
本文提出的基于融合細分的紋理圖像重構模型的目的并不是為了使重構紋理圖像與原始紋理圖像完全一致，而是使人眼盡可能看起來自然、不令人討厭。本文采用主觀質量評價方法――雙刺激失真衡量階梯(Double Stimulus Impairment Scale， DSIS)。挑選25名非圖像專業的一年級學生作為觀測者。表1是ITUR五分制評分等級。平均意見分(Mean Opinion Score，MOS)代表觀測者評分的平均水平;標準差用于計算主觀質量評分結果的可信范圍即95%置信區間[18]。
表2是文獻[12]算法與本文算法重構結果的視覺質量評價參數值比較。由表2可知，本文算法的實驗結果與文獻[12]算法相比，MOS值分別提高了0.84，0.8，0.76，0.8，0.48。比較其他實驗的MOS值，實驗5的MOS值僅提高了0.48，這是由于該幅圖像的區域輪廓曲線基本是平滑的，分段迭代曲線擬合重建的輪廓曲線與融合細分重建的輪廓曲線基本相同，文獻[12]只是造成重建區域的尺寸誤差。實驗1的MOS值提高了0.84，這是由于該幅圖像的區域輪廓曲線包含很多類似毛刺的形狀特征，而文獻[12]中分段迭代曲線擬合重建的輪廓曲線是平滑的，對區域輪廓形狀造成明顯的視覺損傷。
表3是文獻[12]算法與本文算法的紋理圖像重構所需數據量比較。測試結果表明，與文獻[12]算法相比，本文算法的紋理圖像重構所需數據量略有增加。表4是本文算法與文獻[12]算法運行時間的比較。測試結果表明，與文獻[12]算法相比，本文算法的輪廓重建計算復雜度有所降低。
三、結語
本文提出一種基于融合細分的紋理圖像重構模型。該模型首先得到原始圖像的分割區域，進而提取代表輪廓形狀的特征向量;然后利用融合細分重建區域輪廓，最后將合成的區域紋理填充到重建的區域輪廓曲線中，實現紋理圖像重建。
與其他基于區域形狀與紋理信息的圖像重建算法相比，用本文給出的三重逼近與三重插值統一的融合細分方法重建的區域輪廓，能更準確有效地表征區域輪廓形狀。對于包含大量紋理的原始圖像，本文算法能得到好的重建結果，但對于含有非紋理細節信息的原始圖像，重建質量不理想。因此，如何能夠依據圖像自身特點，設計出更合理的重建方法，適用于更復雜的圖像是今后進一步努力的方向。
參考文獻：
[1]SIKORA T. Trends and perspectives in image and video coding[J]. Proceedings of the IEEE， 2005， 93(1)： 6-17.
[2]NDJIKINYA P， BULL D， WIEGAND T. Perceptionoriented video coding based on texture analysis and synthesis[C]// Proceedings of the 16th IEEE International Conference on Image Processing. Piscataway： IEEE， 2009： 2273-2276.
[3]SUN K， YE L， YANG Y， et al. Image restoration using piecewise iterative curve fitting and texture synthesis[C]// Proceedings of the 4th International Conference on Intelligent Computing. Piscataway： IEEE， 2008： 1056-1063.
[4]ZUJOVIC J， PAPPAS T N， NEUHOFF D L. Structural texture similarity metrics for image analysis and retrieval[J]. IEEE Transactions on Image Processing， 2013， 22(7)： 2545-2558.
[5]BALLE J， STOJANOVIC A， OHM J R. Models for static and dynamic texture synthesis in image and video compression[J]. Journal of Selected Topics in Signal Processing， 2011， 5(7)： 1353-1365.
[6]ZHANG X， KIM Y J. Efficient texture synthesis using strict Wang Tiles[J]. Graphical Models， 2008， 70(3)： 43-56.
[7]EFROS A A， FREEMAN W T. Image quilting for texture synthesis and transfer[C]// Proceedings of the 28th Annual Conference on Computer Graphics and Interactive Techniques. New York： ACM， 2001： 341-346.
[8]WANG J， PANG M， ZHAO R. Texture synthesis using rotational Wang Tiles[J]. Journal of Image and Graphics， 2013， 18 (1)： 49-54. (王繼東， 龐明勇， 趙瑞斌. 旋轉的Wang Tiles紋理合成算法[J]. 中國圖象圖形學報， 2013， 18(1)： 49-54.)
[9]GAO C， ZHOU J， HU J， et al. Edge detection of colour image based on quaternion fractional differential[J]. IET Image Processing， 2011， 5(3)： 261-272.
[10]ADAMEK T， O’CONNOR N. Efficient contourbased shape representation and matching[C]// Proceedings of the 5th ACM SIGMM International Workshop on Multimedia Information Retrieval. New York： ACM， 2003： 138-143.
[11]ZHANG D， LU G. Review of shape representation and description techniques [J]. Pattern Recognition， 2004， 37(1)： 1-19.
[12]WAN J， YE L. Multiregion image reconstruction algorithm[J]. Journal of Computer Applications， 2013， 33(12)： 3544-3547. (萬金梁， 葉龍. 多區域圖像重建算法[J]. 計算機應用， 2013， 33(12)： 3544-3547.)
[13]DENG Y， MANJUNATH B S. Unsupervised segmentation of colortexture regions in images and video[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence， 2001， 23(8)： 800-810.
【基于融合細分的紋理圖像重構模型】相關文章：
基于視覺注意力模型的圖像檢索的研究11-22
圖像紋理特征的分析方法研究03-07
勞瑞模型的重構03-07
圖像標注的迭代關聯模型03-07
現行審計風險模型的缺陷與重構03-21
基于內容的圖像檢索研究11-20
基于圖像的OMR技術的實現03-07