融合点线互补特征的遥感影像全自动配准

姚国标; 满孝成; 张传辉; 傅青青; 郑国强; 李兵

doi:doi:10.3788/LOP57.161503

激光与光电子学进展, 2020, 57 (16): 161503, 网络出版: 2020-08-05

融合点线互补特征的遥感影像全自动配准下载： 789次

Fully Automatic Registration of Remote Sensing Images Fusion of Point and Line Complementary Features

论文大纲

姚国标 ^1,*满孝成 ¹张传辉 ¹傅青青 ²郑国强 ¹李兵 ¹

作者单位

¹ 山东建筑大学测绘地理信息学院, 山东济南 250101

² 山东建筑大学机电工程学院, 山东济南 250101

机器视觉点线特征单应性几何约束斜率约束影像配准 machine vision point and line features homography geometric constraints slope constraints image registration

AI 词云图 AI语音精读 AI语音超短摘要

注：本部分内容由 AI 自动生成，请您知悉。

摘要

针对遥感影像中单独利用点特征或线特征容易出现匹配精度低和匹配失败的问题,提出一种融合点线互补特征的遥感影像全自动配准算法。首先利用改进的尺度不变特征变换(SIFT)算法获得初始匹配点,并采用归一化互相关(NCC)测度和随机采样一致性算法剔除可能的误匹配情况,以获得正确率较高的同名点。然后采用改进的线段检测算子(LSD)提取线段特征,通过已知单应性几何变换约束和斜率约束确定候选匹配线段并构建特征描述符,继而获得同名线段。最后提取同名线段的交点并集成第一步的同名点集,计算影像间的投影变换参数以实现影像的配准。实验结果表明:所提算法在匹配精度以及匹配的正确率等方面具有显著优势。

Abstract

Aim

ing at the problem of low matching accuracy and matching failure when using point features or line features alone in remote sensing images, a fully automatic registration algorithm for remote sensing images incorporating point and line complementary features is proposed. First, the improved scale-invariant feature transform (SIFT) algorithm is used to obtain the initial matching points, and the normalized cross-correlation (NCC) measure and the random sampling consistency algorithm are used to eliminate possible mismatches to obtain the points with the same name with high accuracy. Then, an improved line segment detection operator (LSD) is used to extract line segment features, determine candidate matching line segments and construct feature descriptors by known homography geometric transformation constraints and slope constraints, and then obtain line segments with the same name. Finally, the intersection point of the line segments with the same name is extracted, and the same-named point set of the first step is integrated to calculate the projection transformation parameters between the images to realize the image registration. Experimental results show that the proposed algorithm has significant advantages in matching accuracy and matching accuracy.

1 引言

影像配准是对取自不同时间或不同传感器、同一场景的两幅或多幅影像进行最佳匹配的过程,其在信息融合、三维重建和人工智能等领域有着广泛的应用^[1-5]。现有的研究往往仅对单一的点特征或线特征进行配准,通常难以在地物边缘或纹理匮乏区域形成有效控制,从而容易出现匹配精度低和配准失败的问题。因此,如何融合多种特征进行遥感影像的全自动鲁棒配准,已成为国内外学者的研究热点 ${^{[6}}^{⁃}^{7]}$ 。

目前,特征匹配的方法按照特征基元类型可大体分为点特征匹配和线特征匹配^[6]。如Lowe^[8]提出了一种尺度不变特征变换(SIFT)的匹配方法,该方法虽具有鲁棒性较强的优点,但对特征点的利用率较低,匹配结果中存在较多的噪声点和误匹配;马方龙^[9]采用了灰度归一化互相关(NCC)匹配算法,通过提高特征点像素灰度的相关系数的阈值来提高匹配精度,但容易受到纹理和光照等因素的影响。线特征匹配的方法主要有基于直线本身的几何属性、基于直线的邻域灰度信息及基于几何约束的直线匹配^[10]。与点特征相比,直线特征包含更丰富的几何和语义信息,在地物边缘区域更具有优势,但在匹配过程中又缺少有效的约束条件,使得线特征的匹配还存在一些困难。如王志衡等^[11]提出了一种基于均值-标准差描述子的直线匹配方法,该方法未加入任何约束条件,而是直接利用线特征邻域窗口的灰度相关性进行匹配,容易出现匹配的正确率较低且耗时过长等问题;梁艳等^[12]提出了一种基于仿射不变及核线约束的直线匹配方法,该方法虽为解决直线断裂和遮挡等问题提供一种有效方法,但仍难以保证匹配的成功率;Zhang等^[13]为解决直线断裂和几何变化等问题,根据直线的几何属性提出了一种条带描述符(LBD)方法,首先构建直线支撑域,然后通过高斯函数计算直线特征的梯度模及梯度方向,并构建特征描述符向量矩阵,从而实现直线匹配;王竞雪等^[14]提出了一种结合几何约束和梯度描述符的匹配方法,该方法在核线约束的基础上增加了三角网约束,缩小了候选匹配的搜索范围,有效地提高了匹配效率和可靠性。

综上,针对单独利用点特征或线特征容易出现匹配的正确率低和配准失败的问题,本文提出一种融合点线互补特征的遥感影像全自动配准方法。首先利用加入亮度描述符的SIFT算法获取增强的同名点,并联合NCC匹配算法提高特征点的匹配精度,在此基础上,采用改进的线段检测算子(LSD)提取高质量的线特征;然后在单应性几何变换约束和斜率约束下,构建线段描述符关系图得到可靠的同名线段;最后联合同名线段的交点与同名点,共同计算影像间的透视变换参数,完成影像的配准。经过实验表明,所提算法能够有效提高点、线特征匹配的成功率和精度,并实现遥感影像的全自动鲁棒配准。

2 算法原理

所提算法的匹配流程如图1所示,其中包括三个部分:1)点特征匹配,利用SIFT算法来提取特征点,利用SIFT算法与NCC匹配算法的联合算法来精化匹配策略,获取定位精度较高的同名点,继而估计影像间的单应性变换参数;2)线特征匹配,首先采用改进的LSD算子来提取高质量的线特征,并通过已知单应性几何变约束和斜率约束来确定候选匹配线段,然后计算候选匹配线段的特征描述符,继而获得匹配线段;3)点线特征融合计算配准模型,计算同名线段间的同名交点,即同名点,再联合精匹配点,计算影像间的透视变换参数,实现影像的鲁棒配准。

2.1 点特征匹配

SIFT是一种局部特征提取算法,该算法具有较好的尺度不变性,同时对图像的旋转变化和光照变化亦具有良好不变性^[6]。由于原始的SIFT算法容易出现较多的误匹配情况,难以满足其作为种子点的要求,为了提高SIFT特征点的匹配精度,实验对SIFT算法进行改进,具体改进过程如下。

图 1. 所提算法的匹配流程

Fig. 1. Schematic of matching process of proposed algorithm

下载图片查看所有图片

2.1.1 特征点的粗匹配

采用文献[ 9]的方法来实现SIFT特征点的粗匹配,匹配过程主要分为5个部分:1)在处理的图像中引入高斯差分函数构建图像的尺度空间,然后构建高斯差分金字塔,将金字塔中的每一个像素点与其他像素点进行比较以确定极值;2)对尺度空间函数进行泰勒级数展开并优化极值点;3)为了使SIFT算子具有旋转不变性,为每个极值点取对应阶层中与其尺度最接近的高斯影像,在一定邻域范围内计算每个极值点对应像素的梯度大小与方向;4)为了保持特征点对光照和视角变化的不变性,给每个特征点建立特征区域描述向量;5)对影像特征点采用K-D树为参考影像的SIFT特征来建立高维空间索引,利用欧氏距离作为相似性度量进行匹配,最终获得初始匹配点。

2.1.2 特征点的精匹配

由于在2.1.1节中得到的同名点可能存在微小的位置偏差,从而影响种子点的质量,因此需对同名点进行定位优化,如图2所示。在初始匹配后的待配准影像中,以特征点为中心建立3 pixel×3 pixel大小的搜索域,然后以基准影像中的特征点作为基准,在待配准影像的邻域内再次寻找同名点,在影像中以从左向右、自上向下的顺序进行搜索。

图 2. SIFT匹配点的匹配精化结果

Fig. 2. SIFT matching point matching refinement result

下载图片查看所有图片

计算每个搜索点与基准点的灰度相关值,表达式为

ρ (c, r) = \frac{\begin{matrix} \overset{p}{\sum_{x = 1}} \overset{q}{\sum_{y = 1}} (g_{x, y} \cdot g'_{x + r, y + c}) - \frac{1}{p \times q} (\overset{p}{\sum_{x = 1}} \overset{q}{\sum_{y = 1}} g_{i, j}) (\overset{p}{\sum_{x = 1}} \overset{q}{\sum_{y = 1}} g'_{x + r}) \end{matrix}}{\sqrt[]{[\overset{p}{\sum_{x = 1}} \overset{q}{\sum_{y = 1}} g_{i, j}^{2} - \frac{1}{p \times q} {(\overset{p}{\sum_{x = 1}} \overset{q}{\sum_{y = 1}} g_{x, y})}^{2}] [\overset{p}{\sum_{x = 1}} \overset{q}{\sum_{y = 1}} g'^{2}_{x + r, y + c} - \frac{1}{p \times q} {(\overset{p}{\sum_{x = 1}} \overset{q}{\sum_{y = 1}} g'_{x + r, y + c})}^{2}]}}, (1)

式中:x、y为基准影像中的坐标的位置;g_x_,_y为基准影像中的像素值;g'_x_,_y为待配准影像中的像素值;c、r为搜索区域相对于目标区域的位移行、列参数;p、q为模板的行、列参数。若灰度相关值大于设定的阈值,则接受这对匹配点。所有匹配点匹配完成后,采用随机采样一致性算法来剔除可能误匹配的点,从而得到最后的精匹配点。

2.1.3 单应性矩阵与匹配误差的计算

在精匹配点中随机选取最佳的匹配点对来计算单应性矩阵H,表达式为

H = [\begin{array}{l} A & t \\ V^{T} & 1 \end{array}], (2)

其中

\begin{array}{l} A = [\begin{array}{l} a_{1} & a_{2} \\ a_{4} & a_{5} \end{array}], (3) \\ t = [\begin{array}{l} a_{3} \\ a_{6} \end{array}], (4) \\ V = [\begin{array}{l} a_{7} \\ a_{8} \end{array}], (5) \end{array}

式中:A为匹配点对的邻域窗口间的仿射变形;t、v分别为匹配点对的邻域窗口间的平移与透视变形;a为投影变换参数。利用方均根误差(RMSE)来评价精匹配的结果,表达式为

ε_{RMSE} = \sqrt[]{\overset{N}{\sum_{i = 1}} ‖ x'_{i} - H x_{i} ‖^{2} / N}, (6)

式中:x'_i与x_i为人工选取的检查点对;N为检查点的总个数。若正确的匹配率大于90%,RMSE值小于3 pixel,则进行线特征匹配。

2.2 线特征匹配

2.2.1 直线特征的提取

LSD是一种能在短时间内得到亚像素级准确度的直线段检测算法,但对于纹理复杂的影像,原始LSD算法提取的线特征较为杂乱,为得到更为完整的直线特征,实验进行如下改进。首先根据文献[ 15]算法的原理,经过图像缩放、梯度计算、梯度排序、梯度阈值、区域增长和矩形估计后得到直线特征,并确定直线特征起始端点的坐标。然后计算每条线特征的长度,若长度小于10 pixel,则剔除。若直线特征在有效线段内有交点,则计算相交直线间的夹角。若夹角小于5°则剔除其中较短的直线,若夹角大于5°且长度均大于10 pixel,则都予以保留,以保证线特征的完整性。

2.2.2 单应性几何约束

对于在基准影像中提取到的线特征,利用2.1.3节获取的H和

\{\begin{array}{l} x' = \frac{a_{1} x + a_{2} y + a_{3}}{a_{7} x + a_{8} y + 1} \\ y' = \frac{a_{4} x + a_{5} y + a_{6}}{a_{7} x + a_{8} y + 1} \end{array} (7)

来预测直线在待配准影像中的位置,并以预测直线为中心轴线确定一个矩形,若待配准影像中的直线特征经过该矩形或与该矩形有交点,则视为初步候选匹配直线,如图3所示。式中: (x',y')为x'的坐标。图中l₁为基准影像中提取到的特征线,L₁、L₂、L₃和L₄为待配准影像中的特征线,l₁经过单应性几何变换后在待配准影像中的位置如l'₁,以l'₁为中心轴线确定一个矩形,L₁、L₂与L₃均与矩形相交,则把L₁、L₂和L₃视为l₁的初步候选匹配直线,L₄与矩形没有交点,则剔除。

图 3. 单应性几何约束匹配直线的过程

Fig. 3. Process of matching straight lines with homography geometric constraint

下载图片查看所有图片

2.2.3 斜率约束

经过单应性矩形约束后得到的初始候选直线的数量较多,匹配过程中会极大地浪费时间且增加误匹配的几率,因此再加入斜率约束。在待配准影像中,根据

\begin{array}{l} k_{1} = \frac{y'_{s} - y'_{e}}{x'_{s} - x'_{e}}, (8) \\ k_{2} = \frac{y_{s} - y_{e}}{x_{s} - x_{e}}, (9) \end{array}

来计算预测直线的斜率k₁和候选匹配直线的斜率k₂,将预测直线的斜率与候选匹配直线相比较,若斜率间的差值小于某一阈值(此时为5),则将该候选直线确定为精确候选直线,如图4所示。式中:(x_s,y_s)、(x_e,y_e)为基准影像中直线的起始坐标;(x'_s,y'_s)、(x'_e,y'_e)为预测直线的起始坐标。从图4

图 4. 斜率约束匹配直线的过程

Fig. 4. Process of matching straight lines with slope constraint

下载图片查看所有图片

可以看到,只有L₁的斜率与匹配直线相类似,因此将L₁作为精确候选直线。

2.2.4 直线特征描述符的构建

利用2.2.3节得到的直线特征来构建LBD描述符^[16],构建过程主要分为两步:1)利用得到的直线特征来构建直线支撑域,然后将直线支撑域分割成5条组带(B₁、B₂、B₃、B₄、B₅),其中每条组带与直线都是平行关系,称为直线支撑域的子区域,即m=5。设置每条组带的宽度为3 pixel,即w=3,长度为直线的长度,如图5所示。其中粗实线为直线,d_L为直线的水平方向,d_⊥为直线的垂直方向,将每条直线的中点设为局部坐标系的原点。

图 5. 描述符的构建

Fig. 5. Descriptor construction

下载图片查看所有图片

利用

g' = (g^{T} \cdot d_{⊥}, g^{T} \cdot d_{L})^{T} (10)

将直线支撑域中的每个像素的梯度投影到局部坐标系中。式中:g为图像坐标系中的像素梯度;g'为局部坐标系中的像素梯度;为恒等于符号。将g^T·d_⊥简写为g' $_{d_{⊥}}$ ,将g^T·d_L简写为g' $_{d_{L}}$ 。利用

f_{g} (o) = (1 / \sqrt[]{2 π} σ_{g}) \exp (- d_{o}^{2} / 2 σ_{g}^{2}) (11)

来计算全局权重系数f_g(o),其用来减少距离对直线梯度的影响。式中:o为线段支持域的位置,o∈{1,2,…,m};d_o为第o行到线段支持域中心行的距离;σ_g=0.5(w·m^-1)。利用

f_{l} (r) = (1 / \sqrt[]{2 π} σ_{l}) \exp (- d'_{r}^{2} / 2 σ_{l}^{2}) (12)

来计算局部权重系数f_l(r),其用来减少边缘效应,避免像素从一个条带到下一个条带,描述符突然发生改变。式中:r为条带的位置;d'_r为第r行到条带中心行的距离;σ_l=w。再利用

x_{BDM, j} = [\begin{array}{l} v_{j}^{1} & v_{j}^{2} & \dots & v_{j}^{o} \\ v_{j}^{1} & v_{j}^{2} & \dots & v_{j}^{o} \\ v_{j}^{1} & v_{j}^{2} & \dots & v_{j}^{o} \\ v_{j}^{1} & v_{j}^{2} & \dots & v_{j}^{o} \end{array}], o = \{\begin{array}{l} 2 w, j = 1 ‖ m \\ 3 w, else \end{array} (13)

来计算每个条带的描述子与条带描述矩阵x_BDM,_j,其中

\begin{array}{l} v_{j}^{r} = λ \sum_{g'_{d_{⊥}} > 0} g'_{d_{⊥}}, (14) \\ v_{j}^{r} = λ \sum_{g'_{d_{⊥}} < 0} g'_{d_{⊥}}, (15) \\ v_{j}^{r} = λ \sum_{g'_{d_{L}} > 0} g'_{d_{L}}, (16) \\ v_{j}^{r} = λ \sum_{g'_{d_{L}} < 0} g'_{d_{L}}, (17) \\ λ = f_{g} (o) \cdot f_{l} (r), (18) \end{array}

式中:v₁~v₄为描述的上下左右四个方向;o为边缘条带的行数;‖为或。然后利用每个条带的描述子和描述矩阵的均值向量M和标准差向量S得到最终的LBD描述符,表达式为

x_{LBD} = {[{M^{T}}_{1} {S^{T}}_{1} {M^{T}}_{2} {S^{T}}_{2} \dots {M^{T}}_{m} {S^{T}}_{m}]}^{T} 。 (19)

2.2.5 线特征的匹配

线特征采用文献[ 13]的匹配策略。首先利用一维几何属性和局部外观相似性,检测待配准图像中的线特征以生成候选匹配对。然后利用成对的几何属性和候选匹配对的外观相似性,计算两幅图像的一致性得分以建立关系图。最后寻找使一致性得分最大化的集合,生成最终的匹配结果。

2.3 融合点线特征的配准模型计算

由2.2节可知,匹配后的直线在基准影像与待配准影像中均能实现相互对应的关系。计算基准影像中较为完整的两条直线特征的交点,将直线的交点记为特征点,同时计算这两条直线在待配准影像中所对应的同名直线的交点,由于直线互为同名直线,因此可将交点视为同名点。如L₁、L₂为基准影像中匹配后的两条直线特征,l₁、l₂为L₁、L₂在待配准影像中的同名直线,L₁与L₂的交点记为P,l₁与l₂的交点记为P',L₁与l₁、L₂与l₂为同名直线,可把P与P'视为同名点。根据此原理,对影像中所有直线特征均进行两两计算得到交点,若交点处于影像范围外,则剔除,直到计算完所有线段。将得到的同名点联合1.1节点特征匹配中高精度的同名点,采用随机采样一致性算法剔除可能的误匹配情况,以提高同名点的精度,最后利用(2)式和(7)式来计算透视变换参数以完成影像的配准。

3 算法实验与分析

3.1 实验数据与评价指标

实验采用Visual Studio 2017中的C++编程语言及OpenCV计算机视觉库编写的MFC软件程序,硬件平台采用i9处理器、主频为3.30 GHz和内存为64 GB的高性能计算机。为了验证所提方法的可行性与可靠性,选取4组影像数据进行实验,结果如图6所示。4组数据分别存在旋转变化(影像尺寸为800 pixel×600 pixel)、尺度缩放变化(影像尺寸为800 pixel×600 pixel)、纹理匮乏(影像尺寸为700 pixel×600 pixel)以及光线明暗变化(影像尺寸为820 pixel×600 pixel)的航空无人机遥感影像。利用匹配点的总个数、正确匹配点的个数、匹配的正确率^[17]、匹配时间t及RMSE来评价点特征匹配的可靠性;利用提取特征直线的数量、线特征匹配的总数量、正确匹配的数量及正确的匹配率^[16]来评价线特征匹配的可靠性。

3.2 实验结果及分析

1)对于点特征,采用两种匹配算法进行对比实验,分别为SIFT匹配算法与所提算法。具体实验结果如图7和图8所示。SIFT算法与所提算法的匹配结果对比,如表1所示。

从图8可以看到,对于旋转变化、尺度变换、纹理匮乏和明暗变化的影像,所提的点特征匹配算法在匹配点的分布上均能实现较好的效果,对于缩放尺度较大的影像会导致基准影像与待配准影像中的每个像点所包含的信息不同,匹配后的点较稀疏,但在特征点的分布上也能实现较好的效果,如图8(b)所示。

从表1可以看到,对于4组影像,与SIFT算法相比,所提算法虽然在匹配点的总个数上相对较少,但在匹配精度上与正确匹配点的个数上有很大提升,匹配的正确率均在99%以上,RMSE值更是降低在亚像素范围内。原因是SIFT算法在匹配过程中采用较高的阈值,所以出现大量的误匹配情况,从而导致RMSE值较大,如图7所示;所提算法在SIFT算法的基础上加入亮度描述符后进行匹配,又进行定位优化,虽匹配时间较长,但能够有效提高匹配点的精度、正确匹配的个数和匹配的正确率。实验表明所提的点特征匹配算法,无论是在正确匹配点的数量上还是在RMSE上都能表现出一定的优越性,提高匹配点的位置精度,能够适用于遥感影像的全自动配准工作,也可为线特征匹配提供稳定的种子点。

图 6. 在不同情况下的4组影像结果。(a)旋转变化;(b)尺度变化;(c)纹理匮乏;(d)明暗变化

Fig. 6. 4 sets of images in different situations. (a) Rotation change; (b) scale change; (c) lack of texture; (d) light and dark change

下载图片查看所有图片

图 7. SIFT算法在不同情况下的匹配结果。(a)旋转变化;(b)尺度变化;(c)纹理匮乏;(d)明暗变化

Fig. 7. Matching results of SIFT algorithm in different situations. (a) Rotation change; (b) scale change; (c) lack of texture; (d) light and dark change

下载图片查看所有图片

图 8. 所提算法在不同情况下的匹配结果。(a)旋转变化;(b)尺度变化;(c)纹理匮乏;(d)明暗变化

Fig. 8. Matching results of proposed algorithm in different situations. (a) Rotation change; (b) scale change; (c) lack of texture; (d) light and dark change

下载图片查看所有图片

2)对于线特征,采用三种算法进行线特征匹配的对比实验,分别为文献[ 11]中无约束条件下的线特征匹配算法;文献[ 12]中LSD算法和所提的线特征匹配算法。具体实验结果如图9和图10所示。线特征的匹配结果对比,如表2所示,其中第二列的数据为基准影像与待配准影像的线特征提取数量。

表 1. SIFT算法与所提算法的匹配结果对比

Table 1. Comparison of matching results between SIFT algorithm and proposed algorithm

Image	SIFT algorithm					Image	Proposed algorithm
Image	Sum	Correct	Correctrate /%	ε_RMSE /pixel	t /s	Image	Sum	Correct	Correctrate /%	ε_RMSE /pixel	t /s
7(a)	1101	1001	90	29.47	7.2	8(a)	1039	1039	100	0.29	9.3
7(b)	240	212	88	67.68	3.4	8(b)	229	226	99	0.29	5.5
7(c)	720	614	85	20.50	2.8	8(c)	700	700	100	0.30	5.4
7(d)	564	508	90	29.80	7.6	8(d)	538	532	99	0.30	9.4

查看所有表

图 9. 直线特征的提取结果。(a)原始影像;(b) LSD算法;(c)所提算法

Fig. 9. Extraction results of straight line features. (a) Original image; (b) LSD algorithm; (c) proposed algorithm

下载图片查看所有图片

图 10. 所提算法在不同情况下的线特征匹配结果。(a)旋转变化;(b)尺度变化;(c)纹理匮乏;(d)明暗变化

Fig. 10. Line feature matching results of proposed algorithm in different situations. (a) Rotation change; (b) scale change; (c) lack of texture; (d) light and dark change

下载图片查看所有图片

从图9可以看到,与原始的LSD线特征提取算法相比,所提算法提取的线特征虽在提取数量上有所减少,但可以剔除一些较短且意义不大的线特征(图9方框区域),使得提取的线特征更完整,可以避免在匹配过程中对完整直线特征描述符的干扰,有效提高线特征的匹配正确率。

从表2和图10可以看到,所提的线特征匹配算法在线特征的匹配数量上和匹配的正确率上均得到提高,相比于文献[ 11]和文献[ 12]算法的匹配对数均有明显提高,4组影像匹配的正确率均达到95%以上。如对于图6(a)旋转角约为60°和图6(b)缩放比例为2∶1的数据,尽管出现直线提取不连续和地物遮挡造成的线段不完整等情况,但所提算法利用单应性几何约束和斜率约束能够有效减少其他无关线段对匹配结果的干扰,使得匹配结果有较好的效果,而文献[ 11]和文献[ 12]算法中缺乏有限的约束条件,匹配过程中会有其他线特征描述符的干扰,因此出现误匹配的情况。对于图6(c)和图6(d)存在纹理匮乏和明暗变化的数据,所提算法能够实现较好的匹配效果,原因是LBD算法构成的描述符对图像模糊、低纹理场景和光照变化均有较好的效果,而文献[ 11]和文献[ 12]算法均采用了支持域的灰度均值的相似性来进行匹配,这种匹配方式在纹理匮乏和明暗变化的场景下都难以获得正确的匹配结果,所提算法实现的线特征匹配的总匹配对数和匹配的正确率相比其他两种算法均有较大提升。

表 2. 线特征的匹配结果对比

Table 2. Comparison of matching results of line features

Image	Line feature	Algorithm	Sum	Correct	Rate /%
		Ref. [11]	405	340	83
10(a)	1654/1333	Ref. [12]	465	422	90
		Proposed	643	621	96
		Ref. [11]	112	66	58
10(c)	1015/1139	Ref. [12]	235	224	95
		Proposed	286	281	98
		Ref. [11]	181	161	88
10(c)	576/676	Ref. [12]	217	201	92
		Proposed	375	375	100
		Ref. [11]	215	139	64
10(d)	1044/664	Ref. [12]	332	301	90
		Proposed	500	478	96

查看所有表

3)由改进的SIFT精匹配点引导单应性几何约束与斜率约束得到线特征匹配算法,匹配准确率较高的同名直线,再联合SIFT精匹配点实现融合点线互补特征的遥感影像全自动配准,从而弥补单一点特征或线特征匹配的不足,匹配结果如图11所示。通过实验证明所提的融合点线互补特征的遥感影像全自动配准算法对旋转变化、尺度变化、纹理匮乏和明暗变化的影像,具有较好的适用性且鲁棒性较强,能够完成对影像的全自动配准,配准结果如图12所示。

4 结论

提出一种融合点线互补特征的遥感影像全自动配准算法,该算法在提高特征点匹配精度的基础上,加入了线特征匹配算法,并采用有效的约束条件提高了线特征匹配的准确性与可靠性,然后再融合点线互补特征完成对遥感影像的全自动配准,弥补了单独利用点特征或线特征出现的配准精度低甚至是配准困难的问题。综合实验结果表明:所提算法在配准过程中集成了点、线特征各自的优势,能够避免纹理匮乏和亮度变化对点、线特征匹配的影响,亦能在一定程度上减少线特征提取不完整等问题对线匹配产生的影响,有效提高了互补特征的匹配精度和匹配的正确率,这为遥感影像的全自动配准提供一种新思路。但所提算法在匹配时间上比较耗时,如何引入并行分布式加速处理策略,从而达到实时的应用需求是下一步研究的内容。

图 11. 点线特征在不同情况下的互补融合。(a)旋转变化;(b)尺度变化;(c)纹理匮乏;(d)明暗变化

Fig. 11. Complementary fusion of dot-line features in different situations. (a) Rotation change; (b) scale change; (c) lack of texture; (d) light and dark change

下载图片查看所有图片

图 12. 所提算法不同情况下的配准结果。(a)旋转变化;(b)尺度变化;(c)纹理匮乏;(d)明暗变化

Fig. 12. Registration results of proposed algorithm in different situations. (a) Rotation change; (b) scale change; (c) lack of texture; (d) light and dark change

下载图片查看所有图片

参考文献

[1] 华丽, 徐川, 眭海刚. 基于视觉显著特征的光学与SAR影像快速粗配准方法[J]. 中南大学学报(自然科学版), 2019, 50(7): 1602-1610.

Hua L, Xu C, Sui H G. Fast coarse registration method of optical and SAR images based on visual saliency feature[J]. Journal of Central South University (Science and Technology), 2019, 50(7): 1602-1610.

[2] 周维勋, 邵振峰, 李从敏. 多通道颜色信息融合与纹理影像检索[J]. 测绘科学, 2016, 41(8): 101-105.

Zhou W X, Shao Z F, Li C M. Fusion of multichannel color information and texture retrieval for remote sensing image[J]. Science of Surveying and Mapping, 2016, 41(8): 101-105.

[3] 肖雄武. 具备结构感知功能的倾斜摄影测量场景三维重建[J]. 测绘学报, 2019, 48(6): 802.

Xiao X W. Oblique photogrammetry based scene 3D reconstruction with structure sensing functions[J]. Acta Geodaetica et Cartographica Sinica, 2019, 48(6): 802.

[4] 李佳, 段平, 姚永祥, 等. 加速分割特征优化的图像配准方法[J]. 激光与光电子学进展, 2019, 56(1): 011006.

Li J, Duan P, Yao Y X, et al. Image registration method based on accelerated segmentation feature optimization[J]. Laser & Optoelectronics Progress, 2019, 56(1): 011006.

[5] 徐超, 平雪良. 基于改进随机Hough变换的直线检测算法[J]. 激光与光电子学进展, 2019, 56(5): 051001.

Xu C, Ping X L. Line detection algorithm based on improved random Hough transformation[J]. Laser & Optoelectronics Progress, 2019, 56(5): 051001.

[6] 徐芳, 邓非. 数字摄影测量学基础[M]. 武汉: 武汉大学出版社, 2017: 4- 6.

XuF, DengF. Fundamentals of digital photogrammetry[M]. Wuhan: Wuhan University Press, 2017: 4- 6.

[7] 欧阳欢, 范大昭, 纪松, 等. 结合离散化描述与同名点约束的线特征匹配[J]. 测绘学报, 2018, 47(10): 1363-1371.

Ouyang H, Fan D Z, Ji S, et al. Line matching based on discrete description and conjugate point constraint[J]. Acta Geodaetica et Cartographica Sinica, 2018, 47(10): 1363-1371.

[8] Lowe D G. Distinctive image features from scale-invariant keypoints[J]. International Journal of Computer Vision, 2004, 60(2): 91-110.

[9] 马方龙. 基于归一化积相关匹配的彩色图像灰度化研究[D]. 兰州: 兰州大学, 2018.

Ma FL. Research on color-to-gray conversion based on normalized cross correlation[D]. Lanzhou: Lanzhou University, 2018.

[10] 宋伟东, 朱红, 王竞雪, 等. 多重约束下的近景影像线特征匹配方法[J]. 中国图象图形学报, 2016, 21(6): 764-770.

Song W D, Zhu H, Wang J X, et al. Line feature matching method based on multiple constraints for close-range images[J]. Journal of Image and Graphics, 2016, 21(6): 764-770.

[11] 王志衡, 吴福朝. 均值-标准差描述子与直线匹配[J]. 模式识别与人工智能, 2009, 22(1): 32-39.

Wang Z H, Wu F C. Mean-standard deviation descriptor and line matching[J]. Pattern Recognition and Artificial Intelligence, 2009, 22(1): 32-39.

[12] 梁艳, 盛业华, 张卡, 等. 利用局部仿射不变及核线约束的近景影像直线特征匹配[J]. 武汉大学学报(信息科学版), 2014, 39(2): 229-233.

Liang Y, Sheng Y H, Zhang K, et al. Linear feature matching method based on local affine invariant and epipolar constraint for close-range images[J]. Geomatics and Information Science of Wuhan University, 2014, 39(2): 229-233.

[13] Zhang L L, Koch R. An efficient and robust line segment matching approach based on LBD descriptor and pairwise geometric consistency[J]. Journal of Visual Communication and Image Representation, 2013, 24(7): 794-805.

[14] 王竞雪, 张雪. 结合几何约束和梯度描述子的直线段匹配[J]. 测绘通报, 2018( 5): 29- 34.

Wang JX, ZhangX. Line segment matching based on geometric constraints and gradient descriptor[J]. Bulletin of Surveying and Mapping, 2018( 5): 29- 34.

[15] von Gioi R G, Jakubowicz J, Morel J M, et al. LSD: a fast line segment detector with a false detection control[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2010, 32(4): 722-732.

[16] 陈忠尧. 多角度图像直线特征描述与匹配[D]. 北京: 北京邮电大学, 2019.

Chen ZY. Line feature description and matching of multi-angle images[D]. Beijing: Beijing University of Posts and Telecommunications, 2019.

[17] 姚国标, 邓喀中, 张力, 等. 融合互补仿射不变特征的倾斜立体影像高精度自动配准方法[J]. 测绘学报, 2013, 42(6): 869-876, 883.

Yao G B, Deng K Z, Zhang L, et al. An automated registration method with high accuracy for oblique stereo images based on complementary affine invariant features[J]. Acta Geodaetica et Cartographica Sinica, 2013, 42(6): 869-876, 883.

姚国标, 满孝成, 张传辉, 傅青青, 郑国强, 李兵. 融合点线互补特征的遥感影像全自动配准[J]. 激光与光电子学进展, 2020, 57(16): 161503. Guobiao Yao, Xiaocheng Man, Chuanhui Zhang, Qingqing Fu, Guoqiang Zheng, Bing Li. Fully Automatic Registration of Remote Sensing Images Fusion of Point and Line Complementary Features[J]. Laser & Optoelectronics Progress, 2020, 57(16): 161503.

融合点线互补特征的遥感影像全自动配准 下载： 789次

1 引言

2 算法原理

2.1 点特征匹配

图 1. 所提算法的匹配流程

Fig. 1. Schematic of matching process of proposed algorithm

图 2. SIFT匹配点的匹配精化结果

Fig. 2. SIFT matching point matching refinement result

2.2 线特征匹配

图 3. 单应性几何约束匹配直线的过程

Fig. 3. Process of matching straight lines with homography geometric constraint

图 4. 斜率约束匹配直线的过程

Fig. 4. Process of matching straight lines with slope constraint

图 5. 描述符的构建

Fig. 5. Descriptor construction

2.3 融合点线特征的配准模型计算

3 算法实验与分析

3.1 实验数据与评价指标

3.2 实验结果及分析

图 6. 在不同情况下的4组影像结果。(a)旋转变化;(b)尺度变化;(c)纹理匮乏;(d)明暗变化

Fig. 6. 4 sets of images in different situations. (a) Rotation change; (b) scale change; (c) lack of texture; (d) light and dark change

图 7. SIFT算法在不同情况下的匹配结果。(a)旋转变化;(b)尺度变化;(c)纹理匮乏;(d)明暗变化

Fig. 7. Matching results of SIFT algorithm in different situations. (a) Rotation change; (b) scale change; (c) lack of texture; (d) light and dark change

图 8. 所提算法在不同情况下的匹配结果。(a)旋转变化;(b)尺度变化;(c)纹理匮乏;(d)明暗变化

Fig. 8. Matching results of proposed algorithm in different situations. (a) Rotation change; (b) scale change; (c) lack of texture; (d) light and dark change

表 1. SIFT算法与所提算法的匹配结果对比

Table 1. Comparison of matching results between SIFT algorithm and proposed algorithm

图 9. 直线特征的提取结果。(a)原始影像;(b) LSD算法;(c)所提算法

Fig. 9. Extraction results of straight line features. (a) Original image; (b) LSD algorithm; (c) proposed algorithm

图 10. 所提算法在不同情况下的线特征匹配结果。(a)旋转变化;(b)尺度变化;(c)纹理匮乏;(d)明暗变化

Fig. 10. Line feature matching results of proposed algorithm in different situations. (a) Rotation change; (b) scale change; (c) lack of texture; (d) light and dark change

表 2. 线特征的匹配结果对比

Table 2. Comparison of matching results of line features

4 结论

图 11. 点线特征在不同情况下的互补融合。(a)旋转变化;(b)尺度变化;(c)纹理匮乏;(d)明暗变化

Fig. 11. Complementary fusion of dot-line features in different situations. (a) Rotation change; (b) scale change; (c) lack of texture; (d) light and dark change

图 12. 所提算法不同情况下的配准结果。(a)旋转变化;(b)尺度变化;(c)纹理匮乏;(d)明暗变化

Fig. 12. Registration results of proposed algorithm in different situations. (a) Rotation change; (b) scale change; (c) lack of texture; (d) light and dark change

Article Outline

相关论文

相关资讯

关于本站 Cookie 的使用提示

全站搜索

融合点线互补特征的遥感影像全自动配准下载： 789次