論文推薦 | 姜三:Delaunay三角網約束下的影像穩健匹配方法

《測繪學報》

構建與學術的橋樑 拉近與權威的距離

Delaunay三角網約束下的影像穩健匹配方法

姜三1, 江萬壽2,3論文推薦 | 姜三:Delaunay三角網約束下的影像穩健匹配方法

1. 中國地質大學(武漢)計算機學院, 湖北 武漢 430074;

2. 武漢大學測繪遙感信息工程國家重點實驗室, 湖北 武漢 430072;

3. 武漢大學地球空間信息科學協同創新中心, 湖北 武漢 430072

收稿日期:2019-03-18;修回日期:2019-10-14

基金項目:國家自然科學基金(U1711266)

第一作者簡介:姜三(1987-), 男, 博士, 副研究員, 研究方向為多源影像匹配和三維重建的理論與方法。E-mail:[email protected]

通信作者:江萬壽, E-mail:[email protected]

摘要:影像匹配是數字攝影測量和計算機視覺領域的關鍵問題。本文主要研究基於Delaunay三角網約束下的穩健影像匹配方法。首先利用Delaunay三角網對隨機初始匹配點進行組織,構建分佈均勻、結構穩定的局部連接關係;其次利用線段描述子和空間角度順序建立了局部輻射和幾何約束模型,並將粗差剔除問題轉換為分析Delaunay三角網和對應匹配圖的相似性問題;然後利用對應三角形局部約束實現匹配擴展;最後在分層策略和交叉驗證策略下實現穩健影像匹配。利用3組數據集進行大量的匹配試驗,結果表明本文的匹配算法即使在高外點率下依然能夠實現穩健粗差剔除,得到高精度的影像匹配結果。

關鍵詞:數字攝影測量 影像匹配 Delaunay三角網 線段描述子

Robust image matching constrained by delaunay triangulation

JIANG San1, JIANG Wanshou2,3

1. School of Computer Science, China University of Geosciences, Wuhan 430074, China;

2. State Key Laboratory of Information Engineering in Surveying, Mapping and Remote Sensing, Wuhan University, Wuhan 430072, China;

3. Collaborative Innovation Center of Geospatial Technology, Wuhan University, Wuhan 430072, China

Foundation support: The National Natural Science Foundation of China (No. U1711266)

First author: JIANG San (1987—), male, PhD, associate research fellow, majors in the principle and method of multi-source image matching and 3D reconstruction. E-mail: [email protected].

Corresponding author: JIANG Wanshou, E-mail: [email protected].

Abstract: Image matching is an important issue in the fields of photogrammetry and computer vision. This study exploits the usage of Delaunay triangulation for reliable image matching. First, randomly located initial matches are organized by using Delaunay triangulation, and neighboring connection relationships are established evenly and stably. Second, local photometric and geometric constraints are constructed based on the line descriptor and spatial angular order, which converts the problem of removing outliers to that of analyzing the similarity of the Delaunay triangulation and its corresponding graph. Third, a match expansion operation is implemented based on the local geometric constraint deduced from two corresponding triangles. Finally, a reliable image matching method is proposed with the assistant of the hierarchical elimination and cross-checking strategies. The proposed algorithm is verified by using three datasets, and the results demonstrate that even with high outlier ratios the proposed method can reliably remove false matches and provide match results with high precision.

Key words: digital photogrammetry image matching Delaunay triangulation line descriptor

影像匹配是數字攝影測量和計算機視覺領域的關鍵問題,在多源數據配準[1]、空中三角測量[2-4]、建築模型三維重建[5]等領域得到了廣泛應用。影像匹配的目的是搜索兩張或多張重疊影像的同名點。除了傳統灰度相關匹配方法[6-7],特徵匹配算法近年來得到深入研究,其主要步驟包括特徵提取、特徵匹配和粗差剔除。由於僅利用局部區域信息構建描述子,初始特徵匹配結果往往包含大量外點。同時,重複紋理、大傾斜角等因素會進一步造成錯誤匹配。因此,粗差剔除是獲取高精度影像匹配結果的關鍵環節。

粗差剔除算法主要利用全局幾何約束、局部幾何約束,以及局部輻射約束進行設計實現。基於隨機採樣一致性(random sampling consensus,RANSAC)的基礎矩陣估計是經典的全局約束粗差剔除算法[8],但其計算複雜度隨著外點率的增加而呈幾何級數的增長。為了提高粗差剔除的效率,相關研究一方面從假設生成和模型驗證的角度進行RANSAC算法優化[9-11],另一方面積極探索霍夫變換的抗噪聲能力,實現隱式的模型參數估計[12-13]。局部幾何約束利用待驗證匹配點與鄰域點構建約束關係,能夠更好地擬合局部幾何變形,具有更強的抗噪聲能力。其可以作為預處理,提高初始匹配的內點率,如文獻[14]設計的空間一致性約束;也可作為後處理,剔除全局幾何約束遺漏的錯誤匹配,如文獻[15]提出的循環角度順序約束、局部位置約束和鄰域保持約束。但是,這類算法對粗差的區分能力往往比不上基於顯式模型參數估計的全局幾何約束算法。為此,相關研究利用局部輻射信息進行粗差剔除。從特徵匹配的角度看,特徵描述子提供了一階局部輻射約束(點局部區域),用於獲取初始匹配點。利用待驗證匹配點與其鄰域點之間的線局部區域信息可以構建二階局部輻射約束。文獻[16]利用尺度不變特徵變換(scale invariant feature transform,SIFT)算法描述兩個特徵點之間的連接區域,構建K-VLD約束,實現粗差剔除。文獻[17]利用局部輻射約束構建了4FP-Structure描述子。因此,聯合局部幾何和輻射約束可用於高外點率匹配的粗差剔除。

結合局部輻射和幾何約束的上述優勢可以得到穩健的匹配結果。但是,大部分採用K最近鄰構建局部連接的方案[15, 17]存在兩個缺陷:①難以確定合適的K最近鄰數量;②K最近鄰點可能構成非穩定的局部連接。因此,十分有必要設計合適的局部連接方案。另外,粗差剔除的目的是在儘可能剔除所有外點的情況下,保留足夠多的內點。因此,在粗差剔除過程中,最有可能是外點的初始匹配點應該最先被剔除,以免影響正確匹配點的分析和判斷。

針對上述問題,本文首先探索Delaunay三角網的良好幾何特性,為隨機分佈的初始匹配點構建局部連接。然後在此基礎上建立局部輻射約束和幾何約束模型,基於分層策略和交叉驗證策略設計穩健、高效的粗差剔除方法。最後利用多組數據進行影像匹配試驗,以驗證本文方案的可靠性。

1 方法原理

本文主要研究Delaunay三角網約束下的局部輻射約束和局部幾何約束,用於解決初始匹配的穩健粗差剔除問題。圖 1顯示了所提出影像匹配算法流程。算法輸入為兩張具有重疊區域的影像。首先利用SIFT算法提取每張影像的特徵點和描述子。基於描述子最近歐氏距離準則搜索候選匹配點,並結合距離比值和交叉驗證策略進行粗差剔除,得到初始匹配點。本文采用經典SIFT算法[18]的歐氏距離閾值(0.7)和距離比值閾值(0.8);然後利用Delaunay三角網的良好幾何特性,為隨機分佈的初始匹配點構建結構穩定、分佈均勻的局部連接。基於線段描述子的相似性約束和空間角度順序的仿射不變約束分別設計局部輻射和幾何約束模型,將粗差剔除問題轉化為分析Delaunay三角網和對應匹配圖的相似性問題。依次利用上述局部輻射和幾何約束進行粗差剔除後,最後基於優化後的三角網約束進行匹配擴展,恢復初始匹配階段遺漏或者粗差剔除階段誤刪除的正確匹配點,達到在儘可能剔除所有外點的情況下,保留足夠多的內點的目的。算法的具體實現方案如下所述。

論文推薦 | 姜三:Delaunay三角網約束下的影像穩健匹配方法

圖 1 本文影像匹配算法流程 Fig. 1 The workflow of the image matching method

圖選項

1.1 Delaunay三角網組織初始匹配點

局部連接關係的建立是構建局部輻射和幾何約束的基礎。考慮到經典K最近鄰算法構建局部連接的缺陷,本文利用Delaunay三角網對初始匹配點進行組織。Delaunay三角網採用無向圖G={V,E}表示,其中V和E分別表示頂點和邊集合。假設對於影像匹配對i1和i2,獲取了n個初始匹配點C={(pi,qi):i=1, 2, …,n}。那麼利用影像i1的初始匹配點可以構建Delaunay三角網G1,如圖 2(a)所示。基於初始匹配點的對應關係,利用影像i2的初始匹配點可以構建對應匹配圖G2,如圖 2(b)所示。同樣地,也可以利用影像i2的初始匹配點構建Delaunay三角網G2和影像i1的初始匹配點構建其對應匹配圖G1。

論文推薦 | 姜三:Delaunay三角網約束下的影像穩健匹配方法

圖 2 Delaunay三角網和對應匹配圖 Fig. 2 Delaunay triangulation and its corresponding graph

圖選項

Delaunay三角網可以看作為一個特殊的圖結構,具備動態生成和良好幾何特性。首先,Delaunay三角網具備很好的穩定性,即某個節點的插入或者刪除只會影響其直接連接頂點的局部更新,不會造成其他區域的整體更新。其次,Delaunay三角網的空圓屬性保證了每個三角形儘可能的趨向正三角形,即可以避免狹窄三角形的生成。這種特性具備兩個方面的優勢:一方面可以保證頂點局部連接分佈的均勻性,如圖 2(a)中標記1的頂點;另一方面可以保證對應三角形之間變換關係的穩健性,如圖 2(a)中標記2的三角形。由於初始匹配存在外點,對應匹配圖G2往往不滿足Delaunay三角網的幾何約束,如圖 2(b)中的交叉邊。

1.2 基於線段描述子的局部輻射約束

在利用Delaunay三角網進行離散初始匹配點組織後,基於待驗證匹配點與其鄰域點之間的線局部區域信息可以構建二階局部輻射約束。本文利用虛擬線段描述子(virtual line descriptor, VLD)構建局部輻射約束[16]。假設G1和G2是利用初始匹配點構建的Delaunay三角網和對應匹配圖。對於G1中的任意一條邊e=(pi,pj),利用u個內點將線段li,j的局部區域分為u個圓形區域Di:以內點為圓心,半徑為d/(u+1)。然後利用SIFT算法計算每個圓形區域Di的梯度直方圖Hi和主方向wi,如圖 3所示。對於G1和G2的兩條對應邊li,j和l′i,j,計算對應圓形區域Di和D′i的梯度直方圖差值dHi和主方向差值dwi。線段li,j和l′i,j的距離按照式(1)計算

論文推薦 | 姜三:Delaunay三角網約束下的影像穩健匹配方法

(1)

論文推薦 | 姜三:Delaunay三角網約束下的影像穩健匹配方法

圖 3 虛擬線段描述子的構建過程 Fig. 3 The construction procedure of the virtual line descriptor

圖選項

式中,λ為組合係數,取值範圍為0~1。

本文結合Delaunay三角網構建的局部連接關係和虛擬線段描述子建立的相似性測度,設計了局部輻射約束。其核心思想是:利用待驗證匹配點與其鄰域點之間連接邊的不相似性值度量匹配點屬於外點的概率。G1中的任意一個頂點v1i的不相似性值按式(2)計算

論文推薦 | 姜三:Delaunay三角網約束下的影像穩健匹配方法

(2)

式中,lv1i,v1j是連接G1中頂點v1i和v1j的線段;lv2i,v2j是連接G2中對應頂點v2i和v2j的線段;dline(·)計算對應線段的距離,參見式(1);N表示連接邊數量。由於scorepho完全根據影像的輻射信息計算,上述約束稱為局部輻射約束。外點(p1,q1)和內點(p2,q2)的局部連接構建的局部輻射約束如圖 4所示。

論文推薦 | 姜三:Delaunay三角網約束下的影像穩健匹配方法

圖 4 內點和外點的局部輻射約束 Fig. 4 The local photometric constraint for one inlier and outlier

圖選項

1.3 基於空間角度順序的局部幾何約束

由於相似或者重複紋理的影響,局部輻射約束不能完全剔除所有錯誤匹配點。為此,設計了基於空間角度順序(spatial angular order, SAO)的局部幾何約束。空間角度順序SAO能夠保證鄰域點在極座標系下的角方向排列順序具備仿射不變性[19]。對於G1中的任一頂點v1i∈V1,搜索其直接連接頂點集合list1i={v1j:v1j∈V1,j≠i}。定義局部極座標系:極點為v1i,極軸水平向右。利用頂點v1i和任一鄰域點v1j計算極角a1i, 1j,可以得到極角集合alist1i={a1i, 1j},並根據角度值按逆時針方向排序。頂點v1i的角度順序O1i定義為集合alist1i的頂點編號。同樣,可以得到G2中對應頂點v2i∈V2的角度順序O2i。匹配點(pi,qi)的不相似性值按式(3)計算

論文推薦 | 姜三:Delaunay三角網約束下的影像穩健匹配方法

(3)

式中,dced(·)用於計算角度順序距離;N表示連接邊數量。為了消除旋轉影響,本文利用循環編輯距離算法[20]計算角度順序距離。由於scoregeo完全根據影像的幾何信息計算,上述約束稱為局部幾何約束。圖 5顯示同名點(pi,qi)的空間角度順序,且pNj與qNj匹配。(pi,qi)的角度順序分別為{N6,N1,N2,N3,N4,N5}和{N1,N3,N2,N6,N4,N5}。因為循環編輯距離為4,領域點數量為6,可以得到匹配點的不相似性值約為0.67。

論文推薦 | 姜三:Delaunay三角網約束下的影像穩健匹配方法

圖 5 基於空間角度順序的局部幾何約束原理 Fig. 5 The local geometrical constraint based on the spatial angular order

圖選項

1.4 三角網約束下的匹配點擴展

在初始匹配階段,全局搜索模式將不可避免地導致正確匹配點會被遺漏或者錯誤刪除。相反,Delaunay三角網將影像平面分割為尺寸較小、近似正三角形面片。基於上述局部輻射和幾何約束進行粗差剔除後,可以利用優化後的Delaunay三角網和對應匹配圖的局部幾何約束進行匹配擴展,恢復遺漏的正確匹配點。在本文中,仿射變換模型用於建立對應三角形面片之間的幾何變換關係。一方面3個同名點足夠計算6個自由度的仿射變換;另一方面仿射變換模型能夠較好地擬合局部三角形面片之間的透視變形。

圖 6顯示了基於三角網約束的匹配擴展原理。三角形△abc和△a′b′c′分別表示左影像Delaunay三角網和右影像對應匹配圖的對應三角形。利用3個非共線匹配點對,可以計算從三角形△abc到△a′b′c′的仿射變換模型H。對於三角形△abc中的一個特徵點pi,可以計算其在右影像中的預測點位置pe=H·pi。那麼,以pe為圓心,r為半徑定義候選區域,可以從右影像中搜索所有落在候選區域的特徵點C={cj}。採用類似全局搜索的方法,計算pi與每個候選特徵點cj的描述子歐氏距離dij。對於距離最近的匹配點(

pi,cj),當其歐氏距離dij小於給定閾值td時,匹配點(pi,cj)標記為擴展匹配點。

論文推薦 | 姜三:Delaunay三角網約束下的影像穩健匹配方法

圖 6 基於三角網約束的匹配擴展原理 Fig. 6 Match expansion constrained by the Delaunay triangulation

圖選項

假設G1表示Delaunay三角網,G2表示對應匹配圖。基於上述定義的局部輻射約束、局部幾何約束和三角網約束下的匹配擴展,本文匹配算法的具體步驟如下。

(1) 基於局部輻射約束,採用分層策略進行粗差剔除:計算頂點降序排列的不相似性值;迭代剔除不相似性值最大的頂點,並更新Delaunay三角網中關聯頂點的不相似性值,直到所有頂點的不相似性值小於閾值tpho。

(2) 基於局部幾何約束,採用步驟(1)的分層策略進行粗差剔除,直到所有頂點的不相似性值小於給定的閾值tgeo。

(3) 經過步驟(1)和(2),得到外點列表olist1;採用交叉驗證策略進行結果優化:交換G1和G2的角色,根據步驟(1)和(2)得到外點列表olist2。如果初始匹配點包含在任意一個列表olist1或olist2,則該匹配點歸為外點。

(4) 經過上述步驟後,基於優化後的Delaunay三角網和對應匹配圖,利用對應三角形之間的局部幾何約束,進行匹配擴展,恢復被遺漏或者誤刪除的正確匹配點。

2 試驗與分析2.1 試驗數據

本文利用3組試驗數據驗證所提出的影像匹配方法。第1組數據來自標準數據集[21],總共包含8個序列,每個序列6張影像,代表不同尺度、旋轉角、模糊度、光照和視角變化下采集的數據集。第2組數據由8個影像對組成,代表不同場景下的數據採集情況,如圖 7所示。在這組數據集中,影像對之間的變換滿足剛體變換。第3組數據同樣包含8個影像對,並且影像對之間的變換屬於非剛體變換,如圖 8所示。第1組數據含了影像對之間的單應變換矩陣,本文規定單應變換誤差大於5個像素的同名點為外點;對於第2組和第3組數據,隨機選擇數量不超過220的匹配對,並採用人工目視檢查的方式建立匹配真值。本文算法採用C++語言實現,所有試驗在配置為3.4 GHz Intel Core i7-4770處理器、2 GB GeForce GTX 770圖形卡的Windows操作系統上完成。

論文推薦 | 姜三:Delaunay三角網約束下的影像穩健匹配方法

圖 7 試驗數據2(剛體變換) Fig. 7 The dataset 2 with rigid transformation

圖選項

論文推薦 | 姜三:Delaunay三角網約束下的影像穩健匹配方法

圖 8 試驗數據3(非剛體變換) Fig. 8 The dataset 3 with non-rigid transformation

圖選項

2.2 結果與分析

為了分析本文提出匹配算法各個步驟的性能,從數據2和數據3分別選擇了一個影像對進行匹配試驗。試驗結果見圖 9和圖 10。首先利用SIFT匹配算法獲得初始匹配點。對於第1個匹配對,共得到200個匹配點,其中內點和外點數量分別為160和40,如圖 9(a)所示。第2個匹配對得到203個匹配點,內點和外點數量分別為187和16,如圖 10(a)所示。然後利用初始匹配點創建Delaunay三角網和對應匹配圖。由於錯誤匹配的存在,Delaunay三角網和對應匹配圖存在較大差異,且對應匹配圖中存在相互交叉的邊,如圖 9(b)、(c)和圖 10(b)、(c)。接著先後採用局部輻射約束和局部幾何約束進行粗差剔除,得到優化後的Delaunay三角網和對應匹配圖。從圖匹配的角度看,本文的粗差剔除算法的目的是儘可能提高Delaunay三角網和對應匹配圖的相似性。圖 9(d)和圖 9(e)是第1個匹配對的優化結果。圖 10(d)和圖 10(e)是第2個匹配對的優化結果。經過粗差剔除,第1個匹配對保留了153個匹配點,內點數量為149;第2個匹配對保留了172個匹配點,內點數量為171。最後,基於優化後Delaunay三角網和對應匹配圖的對應三角形約束進行匹配擴展,分別恢復了57和48個匹配點,如圖 9(f)和圖 10(f)中紅色連線表示的匹配點。

論文推薦 | 姜三:Delaunay三角網約束下的影像穩健匹配方法

圖 9 數據2中剛體影像對的匹配結果 Fig. 9 The matching result of the rigid image pair from dataset 2

圖選項

論文推薦 | 姜三:Delaunay三角網約束下的影像穩健匹配方法

圖 10 數據3中非剛體影像對的匹配結果 Fig. 10 The matching result of the non-rigid image pair from dataset 3

圖選項

為了分析所提出匹配算法的抗噪聲能力,本文利用試驗數據1的八組序列影像進行匹配試驗。對於每組序列影像,利用第1張影像和其餘5張組成匹配對。為了得到不同外點比率下的試驗數據,首先利用匹配對之間的單應變換矩陣將初始匹配點劃分為內點和外點(模型變換誤差小於5個像素的匹配點為內點);然後根據所需的外點比例,通過添加隨機特徵點對得到所需的試驗數據。本試驗中,外點比率範圍為0.1~0.9,間隔為0.1。為了定量分析算法的抗噪聲能力,本文利用精度(內點數量和保留匹配點數量的比值)和召回率(內點數量和初始匹配中實際內點數量的比值)進行試驗分析。

圖 11與圖 12顯示了精度和召回率的統計結果。可得出如下結論:①在外點比率不超過0.8時,其對所有序列影像的精度影響很小,並且所有匹配對的精度優於85%,當外點比率達到0.9時,由於存在較大的視點和尺度變化,序列“graf”和“bark”的精度明顯下降;②隨著外點比率的上升,所有序列影像的召回率持續降低。根據性能不同,試驗結果可以分為3組。第1組包括序列“leuven”、“graf”和“bike”,外點比率的影響較小;即使達到0.9,這3組數據的召回率依然高於80%;第2組包括序列“boat”、“UBC”和“bark”,其召回率僅次於第1組,在外點比率達到0.9時,召回率大約為50%;第3組包括“trees”和“wall”,由於重複紋理和高模糊度影響,其召回率性能最差。總之,在高外點比率下,本文匹配算法依然能夠得到高精度匹配結果。其原因主要包括兩點,即線段描述子對錯誤匹配的高敏感性和分層策略降低錯誤匹配對正確匹配的判斷。儘管高外點比率導致召回率下降,本文的匹配擴展處理將在後續處理中被恢復誤刪除的匹配點。

論文推薦 | 姜三:Delaunay三角網約束下的影像穩健匹配方法

圖 11 數據1精度統計結果 Fig. 11 Statistical result of precision of dataset 1

圖選項

論文推薦 | 姜三:Delaunay三角網約束下的影像穩健匹配方法

圖 12 數據1召回率統計結果 Fig. 12 Statistical result of recall of dataset 1

圖選項

為了進行匹配算法的性能對比,本文選擇5個特徵匹配算法進行試驗,包括ORSA[21]、FastVFC[23]、LLT[24]、WGTM[25]和K-VLD[16]。除了上述精度和召回率,本文試驗增加了內點數量作為定量評價指標。圖 13、圖 14和圖 15顯示了數據2中重複紋理、非平面場景和高外點率3個典型影像對的匹配結果。對於第1個影像對,本文算法的性能僅次於匹配結果最好的ORSA算法,其精度達到94.0%。儘管FastVFC、LLT、WGTM和K-VLD的召回率較高,由於重複紋理影響,這幾個算法的精度小於90%。對於第2個影像對,ORSA的召回率顯著下降。相反,本文算法的召回率為95%,高於ORSA約17.5%。對於第3個影像對,內點率大約為16.88%,導致FastVFC、LLT的精度僅為46.2%和44.0%,且WGTM匹配失敗。儘管ORSA保留了所有內點,但其精度降低到81.3%。本文算法的精度和召回率分別為85.7%和84.6%。

論文推薦 | 姜三:Delaunay三角網約束下的影像穩健匹配方法

圖 13 數據2中第1個影像對的匹配結果 Fig. 13 The matching result of the image pair 1 in dataset 2

圖選項

論文推薦 | 姜三:Delaunay三角網約束下的影像穩健匹配方法

圖 14 數據2中第7個影像對的匹配結果 Fig. 14 The matching result of the image pair 7 in dataset 2

圖選項

論文推薦 | 姜三:Delaunay三角網約束下的影像穩健匹配方法

圖 15 數據2中第8個影像對的匹配結果 Fig. 15 The matching result of the image pair 8 in dataset 2

圖選項

表 1為數據2中8個影像對匹配結果的平均精度、召回率和內點數。本文方法的內點數包含擴展匹配前(括號外)、後(括號內)的數據統計,其中“ORG”表示初始匹配。試驗結果表明:①對於8個影像對,ORSA的平均精度和召回率分別為95.21%和92.66%,本文算法的性能與ORSA相當,其精度和召回率分別為94.77%和94.23%;②儘管使用同樣的線段描述子構建輻射約束,K-VLD的精度小於本文算法(其原因有兩個方面:一方面,K-VLD使用K最近鄰域構建局部連接,導致局部連接穩定性差;另一方面,K-VLD在粗差剔除過程中順序檢查所有匹配點,沒有考慮外點對內定判斷的影響);③由於採用三角形約束的匹配擴展,本文方法提取的內點數高於其他算法,平均內點數為189,高出初始匹配點約51.2%。總之,對於剛體影像匹配,本文算法能夠兼顧精度和召回率。

表 1 數據2(剛體變換)對比試驗的統計結果Tab. 1 Statistical results for the comparison of dataset 2

指標ORGORSAFastVFCLLTWGTMK-VLD本文算法精度/(%)62.6495.2188.0684.0181.4889.2594.77召回率/(%)—92.6695.3394.0483.7993.2294.23內點數125115119119118122119(189)

表選項

圖 16、圖 17分別顯示了數據3中第3個和第5個影像對的匹配結果。同樣地,表 2統計了8個影像對匹配結果的平均精度、召回率和內點數。試驗結果表明,對於非剛體數據集匹配,ORSA算法的性能並不優於其他算法,特別是82.48%的召回率小於所有對比算法。圖 16(b)和圖 17(b)的匹配結果也驗證上述結論。主要原因是ORSA依賴預定義剛體變換模型,導致許多正確匹配點被誤刪除,特別是第5個影像對所代表的多變換模型,如圖 17(b)所示。由於初始匹配的內點比率高,所有算法的精度均超過95%,除了LLT,因為LLT對於第3個影像對匹配失敗,如圖 16(d)所示。同樣地,基於匹配擴展,本文算法提取的內點數量最高,達到218,高於初始匹配點62.7%。因此,對於非剛體變換影像,本文算法也能夠得到高精度匹配結果。

論文推薦 | 姜三:Delaunay三角網約束下的影像穩健匹配方法

圖 16 數據3中第3個影像對的匹配結果 Fig. 16 The matching result of the image pair 3 in dataset 3

圖選項

論文推薦 | 姜三:Delaunay三角網約束下的影像穩健匹配方法

圖 17 數據3中第5個影像對的匹配結果 Fig. 17 The matching result of the image pair 5 in dataset 3

圖選項

表 2 數據3(非剛體變換)對比試驗的統計結果Tab. 2 Statistical results for the comparison of dataset 3

指標ORGORSAFastVFCLLTWGTMK-VLD本文算法精度/(%)80.5698.6898.3089.4098.2397.8399.35召回率/(%)—82.4892.1393.5990.8794.0993.26內點數150124138139141144134(218)

表選項

3 總結

基於Delaunay三角網良好幾何特性構建的局部連接關係,本文利用線段描述子和空間角度順序建立了局部輻射和幾何約束模型,將粗差剔除問題轉換為分析Delaunay三角網和對應匹配圖的相似性問題。結合分層策略和交叉驗證策略實現穩健粗差剔除。同時,基於三角網的局部幾何變換約束實現匹配擴展,恢復更可能多的正確匹配。利用剛體變換影像集和非剛體變換影像集進行試驗,結果表明,儘管初始匹配的外點率達到90%,本文提出的影像匹配方法,能夠很好地顧及精度和召回率,得到高精度的匹配結果。後續研究將關注線段描述子構建效率,實現匹配算法加速。

【引文格式】姜三, 江萬壽. Delaunay三角網約束下的影像穩健匹配方法. 測繪學報,2020,49(3):322-333. DOI: 10.11947/j.AGCS.2020.20190089

論文推薦 | 姜三:Delaunay三角網約束下的影像穩健匹配方法

姚宜斌 l《測繪學報(英文版)》(JGGS)精選論文

論文推薦 | 施闖:北斗廣域高精度時間服務原型系統

PPT | 劉先林院士:新時代 新測繪

資訊 | 工程碩博培養模式將迎新變化,工程博士被特別關注

SCI論文經典詞和常用句型

重溫經典 | 寧津生:基於衛星加速度恢復地球重力場的去相關濾波法

權威 | 專業 | 學術 | 前沿

微信投稿郵箱 | [email protected]

歡迎加入《測繪學報》作者QQ群: 751717395

進群請備註:姓名+單位+稿件編號


分享到:


相關文章: