激光与光电子学进展, 2020, 57 (12): 121014, 网络出版: 2020-06-03   

优化栅格移动统计的图像配准算法 下载: 942次

Image Registration Algorithm for Optimizing Grid Motion Statistics
作者单位
1 上海工程技术大学机械与汽车工程学院机械电子系, 上海 201620
2 上海司南卫星导航技术股份有限公司, 上海 201801
摘要
针对图像特征点提取匹配算法中配准率不高的问题,提出了一种优化栅格移动统计的图像配准算法。首先使用快速特征点提取和描述算法提取特征点,再通过暴力匹配算法进行大致的特征点配准。根据图像的大小和特征点的个数将图像划分成多个栅格,对栅格内的特征点数量进行移动统计,通过九宫格里特征点距离中心特征点的远近,使用高斯函数制作分数统计模板。将九宫格里的分数统计与设定的阈值进行对比,超过阈值则认为是一个正确的匹配点,否则即被筛选掉。实验结果表明,该算法比基于栅格的移动统计算法获得精确匹配点的数目提高了18.17%,与传统特征点提取匹配算法相比,速度最大可以提高约41.3%,能有效剔除错误匹配,提高匹配率。
Abstract
Aim

ing at the problem of low registration rate in image feature point extraction and matching algorithm, an image registration algorithm is proposed to optimize the grid motion statistics. The algorithm first uses oriented fast and rotated brief algorithm to extract the feature points, and then rough feature point registration is carried out by Brute-Force matching algorithm. According to the size of the image and the number of feature points, the image is divided into multiple grids, and the number of feature points in the grid is moved for statistics. A score statistics template is created by using Gaussian function through the distance between the nine-square grid feature points and the central feature points. The score statistics of the nine-square grid is compared with the set threshold. If the threshold is exceeded, it is considered to be a correct matching point, otherwise it will be filtered out. Experimental results show that the number of exact matching points between the proposed algorithm and the grid-based motion statistics algorithm is increased by 18.17%, and the speed can be increased by about 41.3% compared with the traditional feature point extraction matching algorithm. This method can effectively eliminate false matches and improve the matching rate.

1 引言

目前常用的特征点检测算法,如检测精度较高的基于尺度不变特征转换(SIFT)算法[1],对光照、旋转角度不敏感,但计算128维特征描述符耗时长[2],且需要结合随机抽样一致性(RANSAC)算法[3]去除误匹配的特征点;而检测速度快的快速特征点提取和描述(ORB)[4]算法,在静态时特征点匹配比较稳定、速度较快,但在实际应用中存在配准率较低、精确匹配特征点保留不多等问题[5]。为了筛选出正确的匹配点,通常采用暴力匹配(BF matcher)[6]对根据距离远近大致匹配后的特征点对进行筛选。但如果样本中特征点过多,且属于内点的特征点所占比例少,会增加寻找合适的拟合模型的内点时间[7]。董强等[8-10]提出了一种改进的二进制稳健不变可伸缩关键字算法,利用匹配点建立有向线段进行邻近线段匹配,提高了匹配精度,但特征点数量较多,会增加运行时间。Bian等[11]提出基于栅格的移动统计(GMS)特征点匹配算法,经BF matcher得到一个大致匹配的特征点集,根据特征点邻域的一致性约束特性,统计具有匹配关系的特征点集中八邻域(九宫格)正确匹配点数,去除错误匹配。陈方杰等[12]提出通过计算五宫格特征分数剔除错误匹配,但GMS需要的特征点较多,且匹配错误率较高、保留的精确匹配点数不够多。陈树等[13]提出了一种融合彩色不变量和基于加速稳健特征和对象请求代理(SURB)检测的优化匹配方法。

本文提出一种优化的GMS算法,利用高斯函数描述栅格周围特征点距离中心点的远近,根据距离远近进行栅格内打分。建立了一个基于移动栅格统计的打分器,提高了打分的准确性,保留了更多的精确匹配点,且相比传统匹配算法,匹配速度得到了提升。通过高斯卷积核的方式计算分数,既提高了匹配的准确率和保留的精确匹配点数,又保证了匹配的速度不会因引入的高斯函数(计算量增大)而降低。

2 移动栅格网络算法

2.1 特征点提取和匹配约束

特征点的提取采用ORB算法[14],给定一对从不同角度拍摄的图像,如图1中的{I1,I2},在对应匹配的特征点上平滑移动,则正确匹配特征点周围的特征点也会匹配到正确区域。如在I1中的区域a的一个特征点,正确匹配到I2中的区域b,用L1连接这个正确匹配对。可以发现在区域a中,有另外两个特征点也正确匹配到区域b中,用L2,L3连接这两个正确匹配对。在I1中还有一对错误匹配的特征点,用L4连接。但错误匹配对周围没有更多的匹配点去支持它。这表明匹配具有平滑性,在同一个区域匹配的特征点,也都匹配到另一张图中对应的区域;一个正确的匹配点周围,会有更多的匹配特征点,而错误匹配点周围则没有,或者很少。将这种现象用一个统计学的框架来描述,能有效区分正确匹配和错误匹配。

图 1. 正确匹配与错误匹配的分布特征

Fig. 1. Feature distribution of correct matching and wrong matching

下载图片 查看所有图片

2.2 基本统计学约束

图像I1I2分别经过ORB算法得到NM个特征点,对这些特征点进行BF matcher后[17],得到n个匹配点对X={x1,x2,x3,…,xi,…xn}。由2.1节可知,在正确匹配点周围大概率会有许多正确匹配的点,而错误匹配点周围很少有匹配正确的点。这个支持量的统计值Si符合一个二项分布B

Si=xi-1~B(n,pt),ifxiistrueB(n,pf),else,(1)

式中,pt为正确匹配事件的概率,pf为错误匹配事件的概率,减1是为了去除特征点本身的匹配,设fa图1区域a中一个特征点的匹配事件,fa正确匹配的概率 fat=t,fa错误匹配的概率 faf=1-t。则区域a中的一个特征点匹配到区域b中的概率为

p(fab|ffa)=βm/M,β(0,1),(2)

式中,m为区域b中特征点的个数,M为待匹配图像I2中特征点的个数。fa匹配错误时,可能匹配到M个特征点中任何一个特征点,β为权重值,大部分图像特征点都符合这种随机分布,有的可能不符合(如具有重复结构的一排窗户这种图像),β较大时表示特征点分布不符合随机分布,β=1时表示特征点随机分布。

区域a中任意一个特征点匹配正确的事件pt发生的概率可表示为

pt=p(fta|Tab)+p(ffa,fab|Tab)=t+(1-t)βm/M,(3)

式中,Tab为该特征点正确匹配到区域b的事件,p( fta|Tab)为区域a中所有特征点正确匹配的概率,p( ffa, fab|Tab)为区域a中某个特征点匹配错误但是匹配到区域b的概率。

区域a中一个特征点是错误匹配事件的概率pf可表示为

pf=p(ffa|Fab)p(fab|ffa,Fab)=β(1-t)(m/M),(4)

式中,Fab为该特征点错误匹配到区域b的事件。p( faf|Fab)为区域a中某个特征点错误匹配的概率,p( fab| faf,Fab)为区域a中某个特征点匹配错误且匹配到区域b中的概率。

由于m远小于M,因此pfpt小很多,一个特征点正确匹配和错误匹配的概率相差比较大。因此在保证准确性的前提下,将正确匹配和错误匹配的差值尽可能放大,就能使用一个阈值函数准确分开正确匹配点和错误匹配点。

2.3 多邻域统计

为了放大正确匹配和错误匹配概率的差值,采用如图2所示的九宫格生成多邻域,即在区域a周围增加八个小邻域,统计栅格内待检测特征点周围的特征点数目。

图 2. 多邻域生成

Fig. 2. Generation of multi-region

下载图片 查看所有图片

区域a的邻域支持量Si的二项分布可表示为

Si=k=1Kxakbk-1~B(kn,pt),ifxiistrueB(kn,pf),else,(5)

式中,xakbk为每个小邻域里的一个特征点,K为连通域的个数,akbk为某个小邻域内的一个匹配点对,nI1中小邻域特征点的个数。和(1)式类似,确定一个九宫格邻域的Si后,其均值和标准差可表示为

mt=Knpt,st=Knpt(1-pt),ifxiistruemf=Knpf,sf=Knpf(1-pf),else,(6)

式中,mtst分别为正确匹配的均值和标准差,mfsf分别为错误分配的均值和标准差。

在处理统计学事件时,正确与错误匹配邻域分数的分布如图3所示。如果这种分布相对于其标准差具有足够大的间隔,就可以通过一个阈值函数分出正确与错误匹配。一般认为事件同时处于正态分布和平均值分布的概率很低,因此可将模型分割能力函数P定义为

P=mt-mfst+sf=Knpt-KnpfKnpt(1-pt)+Knpt(1-pf)(7)

可以发现,P越大,正确匹配的特征点和错误匹配的特征点差距越明显,模型的分割能力就越强。且PKn成正比,即特征点数目越多,模型区分正确匹配点和错误匹配点的能力越强。

图 3. 正确匹配和错误匹配的邻域分数分布图

Fig. 3. Distribution of neighborhood scores of correct and incorrect matches

下载图片 查看所有图片

3 优化栅格邻域打分器

3.1 GMS打分法

为加快统计速度,将两张待匹配的图像,按相同的划分方法,各自划分为多个栅格,把每个栅格作为区域a或者区域b。使用较多的栅格单元可以提高匹配的效果,但会减少每个单元中特征的数量,导致正确与错误匹配的差异变小。增加K值可以避免这种情况,但却增加了计算时间,在特征点提取环节,对两张图像各自提取10000个特征点,将每张图像划分为20×20的栅格。对每一对匹配的特征点,用(5)式进行栅格邻域支持量统计,将结果作为该特征点的分数。

为了增大正确匹配和错误匹配之间概率分布的差距,提高分割能力。将每个栅格及其八邻域作为一个大区域进行分数统计。将得到的分数和设定的阈值相比,判断其是否为正确匹配,若为正确匹配则保留,否则去除。GMS在八邻域内设定的打分器Sij可表示为

Sij=k=1k=9Xikjk,(8)

式中, Xikjk为在第k个栅格内,匹配图像的第i个特征点匹配到待匹配图像的第j个特征点,每一个特征点匹配正确,打分为1。对于待判断的特征点对,根据其邻域中的匹配特征点对距离该特征点对的远近进行判断,距离越近,表明两个点对的运动一致性越强;距离越远则表明两个特征点对的运动一致性越弱。对于距离不同的特征点,匹配打分为1或者直接判断为0,显然是不合理的,会导致一定程度的错误匹配。

3.2 高斯打分器

高斯打分器原理如图4所示,根据八邻域内的栅格与中心栅格(假定中心坐标为(0,0))的距离远近对邻域栅格打分,高斯打分器中的卷积模板能加快计算结果。以图4(a)中的特征点(x-1,y-1)为例,将(-1,-1)代入二维卷积的高斯函数

G(x,y)=12πσ2exp[-(x2+y2)/2σ](9)

式中,x为特征点横坐标,y为特征点纵坐标,σ为函数的宽度参数,以控制函数的径向作用范围。以此类推得到所有栅格的打分结果,构成一个高斯权重矩阵。取σ=1.5,可以得到一个半径为1.5的权重矩阵,如图4(b)所示,权重总和为0.4787147。如果只计算这9个点的加权平均,还必须让其权重之和等于1,得到最终的权重矩阵,如图4(c)所示。将(9)式得到的值与归一化的高斯权重矩阵相乘,将9个栅格里的值相加(中间打分始终为1)乘上10以后,与阈值函数得到的阈值相比,即可得到判断结果。

图 4. 高斯打分器。(a)栅格坐标;(b)权重矩阵;(c)归一化

Fig. 4. Gaussian scorer. (a) Grid coordinates; (b) weight matrix; (c) normalization

下载图片 查看所有图片

3.3 阈值设定

图3可以发现,决定一个特征点是否正确匹配的阈值为τ=mf+αsf。实际应用时,mf很小,α很大以确保筛选掉错误的匹配。设ταsfαn,得到移动栅格打分的阈值函数为

Xcellpair{i,j}T,ifSij>τi=αniF,else,(10)

式中,Xcell-pair{i,j}为两幅图像匹配的点对,当匹配点的分数Sij大于阈值τi时,取α为6最合适。

4 实验与分析

4.1 特征点匹配标准

1) 采用匹配正确率[18](XCMR)对匹配精度进行评价,XCMR越大,表明匹配性能越好。

XCMR=Nc/N',(11)

式中,N'为匹配点对的数量,Nc为正确匹配点对的数量。

2) 对精确匹配之后的特征点数量和匹配的速度进行评价,匹配的速度越快,匹配后保留的正确匹配点越多,表明匹配效果越好。

4.2 实验配准结果

首先用GMS算法中的九宫格打分法与实验中根据距离中心点的高斯距离打分方法进行对比,再与SIFT+RANSAC、SURF(Speeded up robust features)+RANSAC、ORB+RANSAC、BRISK(Binary robust invariant scalable keypoints)+RANSAC算法进行对比实验。利用5组图像对算法的性能进行测试,结果如图5所示,图5(a)为近景图像,图5(b)为光照图像,图5(c)为远景图像,图5(d)为大旋转角度图像,图5(e)为纹理较少图像。

图 5. 5组测试图像。(a)近景;(b)光照;(c)远景;(d)大旋转角度;(e)少纹理

Fig. 5. Five groups of test images. (a) Close view; (b) illumination; (c) far view; (d) large rotation angle; (e) less texture

下载图片 查看所有图片

通过ORB算法提取5组图像的特征后,通过BF matcher匹配得到各自匹配点集。用GMS算法和本算法筛选后,结果如图6所示。对比发现,本算法可以保留更多的精确匹配特征点,且在近景、远景图像中匹配效果都比较好,这证明了本算法在尺度空间上表现较好;在图6(b)中有光照条件下,本算法也能正确匹配;在图6(c)远景图像的匹配中,GMS算法在匹配门把手时发生了错误匹配,而本算法匹配正确,还保留了更多的正确匹配特征点。在图6(d)大旋转角度和图6(e)纹理较少的图像匹配中,本算法保留了更多的匹配点数。

图 6. GMS和本算法的匹配结果。(a)近景;(b)光照;(c)远景;(d)大旋转角度;(e)少纹理

Fig. 6. Matching results of GMS and our algorithm. (a) Close view; (b) illumination; (c) far view; (d) large rotation angle; (e) less texture

下载图片 查看所有图片

表 1. 两种算法的匹配对数和运行时间

Table 1. Matching logarithm and running time of two algorithms

ImageAlgorithmRoughmatch pairRefinedmatch pairTime /s
Fig.5(a)GMS1000030640.043
ours1000036370.045
Fig.5(b)GMS1000022670.035
ours1000028710.039
Fig.5(c)GMS1000033340.042
ours1000040160.045
Fig.5(d)GMS1000046840.049
ours1000047920.053
Fig.5(e)GMS1000031060.044
ours1000036110.047

查看所有表

经过两种算法筛选之后的匹配点数和运行耗时如表1所示,可以发现,相比GMS算法,本算法保留了更多的正确匹配点数,同时速度与GMS算法相当。原因是本算法虽然加入了高斯函数,但由于引入权重矩阵,建立了高斯模板,匹配时间并没有增加很多。因GMS算法的运行时间比传统匹配算法速度快41.3%[11],而本算法的运行速度和GMS算法相当,也比传统匹配算法速度约快41.3%。不同算法的匹配正确率如表2所示,可以发现,在传统算法中,SIFT+RANSAC算法由于对光照、尺度变换以及旋转不敏感,匹配正确率最高,而本算法相比传统算法有更高的匹配正确率。原因是基于高斯距离判断的移动栅格统计方法,通过较多特征点,以数量换取匹配的质量。

表 2. 不同算法的匹配正确率

Table 2. Matching accuracy of different algorithmsunit: %

AlgorithmImage
Fig.5(a)Fig.5(b)Fig.5(c)
SIFT+RANSAC97.3397.6696.45
SURF+RANSAC94.6196.3495.71
ORB+RANSAC92.4596.2894.63
BRISK+RANSAC91.3495.9394.32
Our algorithm97.8598.6396.61

查看所有表

5 结论

针对传统特征点检测匹配算法匹配质量和匹配速度的矛盾,提出了一种基于移动栅格统计的特征点筛选方法,并引入高斯函数进行栅格内距离的计算,使用高斯权重矩阵来加快计算。实验结果表明,本算法相较于传统特征点提取匹配算法,算法耗时更低,匹配率更高,匹配准确率相较传统算法,平均高达98.63%,;相比于GMS算法和传统特征点匹配算法保留了更多的精确匹配点数,与GMS算法相比,精确匹配点的数目平均提高了18.17%。

参考文献

[1] Lowe D G. Distinctive image features from scale-invariant keypoints[J]. International Journal of Computer Vision, 2004, 60(2): 91-110.

[2] 许佳佳, 张叶, 张赫. 基于改进Harris-SIFT算子的快速图像配准算法[J]. 电子测量与仪器学报, 2015, 29(1): 48-54.

    Xu J J, Zhang Y, Zhang H. Fast image registration algorithm based on improved Harris-SIFT descriptor[J]. Journal of Electronic Measurement and Instrumentation, 2015, 29(1): 48-54.

[3] Tran QH, Chin TJ, CarneiroG, et al. In defence of RANSAC for outlier rejection in deformable registration[M] ∥ Fitzgibbon A, Lazebnik S, Perona P, et al. Computer Vision -ECCV 2012. Lecture Notes in Computer Science. Berlin, Heidelberg: Springer, 2012, 7576: 274- 287.

[4] Wang MS, Niu SZ, YangX. A novel panoramic image stitching algorithm based on ORB[C]∥2017 International Conference on Applied System Innovation, May 13-17, 2017, Sapporo, Japan. New York: IEEE, 2017: 818- 821.

[5] 戴雪梅, 郎朗, 陈孟元. 基于改进ORB的图像特征点匹配研究[J]. 电子测量与仪器学报, 2016, 30(2): 233-240.

    Dai X M, Lang L, Chen M Y. Research of image feature point matching based on improved ORB algorithm[J]. Journal of Electronic Measurement and Instrumentation, 2016, 30(2): 233-240.

[6] Bostanci E. Is Hamming distance only way for matching binary image feature descriptors?[J]. Electronics Letters, 2014, 50(11): 806-808.

[7] 田文, 王宏远, 徐帆, 等. RANSAC算法的自适应Tc, d预检验[J]. 中国图象图形学报, 2009, 14(5): 973-977.

    Tian W, Wang H Y, Xu F, et al. Enhanced RANSAC with adaptive pre-verification[J]. Journal of Image and Graphics, 2009, 14(5): 973-977.

[8] 董强, 刘晶红, 王超, 等. 基于改进BRISK的图像拼接算法[J]. 电子与信息学报, 2017, 39(2): 444-450.

    Dong Q, Liu J H, Wang C, et al. Image mosaic algorithm based on improved BRISK[J]. Journal of Electronics & Information Technology, 2017, 39(2): 444-450.

[9] 赵婷, 康海林, 张正平. 结合区域分块的快速BRISK图像拼接算法[J]. 激光与光电子学进展, 2018, 55(3): 031055.

    Zhao T, Kang H L, Zhang Z P. Fast image mosaic algorithm based on area blocking and BRISK[J]. Laser & Optoelectronics Progress, 2018, 55(3): 031055.

[10] LeuteneggerS, ChliM, Siegwart RY. BRISK: binary robust invariant scalable keypoints[C]∥2011 International Conference on Computer Vision, November 6-13, 2011, Barcelona, Spain. New York: IEEE, 2011: 2548- 2555.

[11] Bian JW, Lin WY, MatsushitaY, et al. GMS: grid-based motion statistics for fast, ultra-robust feature correspondence[C]∥2017 IEEE Conference on Computer Vision and Pattern Recognition, July 21-26, 2017, Honolulu, HI. New York: IEEE, 2017: 2828- 2837.

[12] 陈方杰, 韩军, 王祖武, 等. 基于改进GMS和加权投影变换的图像配准算法[J]. 激光与光电子学进展, 2018, 55(11): 111006.

    Chen F J, Han J, Wang Z W, et al. Image registration algorithm based on improved GMS and weighted projection transformation[J]. Laser & Optoelectronics Progress, 2018, 55(11): 111006.

[13] 陈树, 杨天, 孙顺远. 融合彩色不变量和SURB检测的特征点匹配算法[J]. 激光与光电子学进展, 2018, 55(5): 051007.

    Chen S, Yang T, Sun S Y. Feature point matching algorithm for fusion of color invariants and SURB detection[J]. Laser & Optoelectronics Progress, 2018, 55(5): 051007.

[14] RubleeE, RabaudV, KonoligeK, et al. ORB: an efficient alternative to SIFT or SURF[C]∥ 2011 International Conference on Computer Vision, November 6-13, 2011, Barcelona, Spain. New York: IEEE, 2011: 2564- 2571.

[15] Lin W YD, Cheng MM, LuJ, et al. Bilateral functions for global motion modeling[M] ∥Pajdla T, Schiele B, Tuytelaars T, et al. Computer Vision-ECCV 2014. Lecture Notes in Computer Science. Cham: Springer, 2014, 8692: 341- 356.

[16] Wang C, Wang L, Liu L Q. Density maximization for improving graph matching with its applications[J]. IEEE Transactions on Image Processing, 2015, 24(7): 2110-2123.

[17] 王春厚. 一种降低误判率的BF快速匹配算法结构[ C]∥2010年全国通信安全学术会议论文集. 中国通信学会通信安全技术委员会: 中国通信学会, 2010: 285- 290.

    Wang CH. A BF fast matching algorithm structure for reducing false positive rate[ C]∥China Proceedings of the 2010 National Conference on Communication Security, China Communications Society Communication Security Technical Committee: China Communications Society, 2010: 285- 290.

[18] Kwon O S, Ha Y H. Panoramic video using scale-invariant feature transform with embedded color-invariant values[J]. IEEE Transactions on Consumer Electronics, 2010, 56(2): 792-798.

贾强汉, 周志峰, 王立端. 优化栅格移动统计的图像配准算法[J]. 激光与光电子学进展, 2020, 57(12): 121014. Qianghan Jia, Zhifeng Zhou, Liduan Wang. Image Registration Algorithm for Optimizing Grid Motion Statistics[J]. Laser & Optoelectronics Progress, 2020, 57(12): 121014.

本文已被 2 篇论文引用
被引统计数据来源于中国光学期刊网
引用该论文: TXT   |   EndNote

相关论文

加载中...

关于本站 Cookie 的使用提示

中国光学期刊网使用基于 cookie 的技术来更好地为您提供各项服务,点击此处了解我们的隐私策略。 如您需继续使用本网站,请您授权我们使用本地 cookie 来保存部分信息。
全站搜索
您最值得信赖的光电行业旗舰网络服务平台!