优化栅格移动统计的图像配准算法 下载: 942次
ing at the problem of low registration rate in image feature point extraction and matching algorithm, an image registration algorithm is proposed to optimize the grid motion statistics. The algorithm first uses oriented fast and rotated brief algorithm to extract the feature points, and then rough feature point registration is carried out by Brute-Force matching algorithm. According to the size of the image and the number of feature points, the image is divided into multiple grids, and the number of feature points in the grid is moved for statistics. A score statistics template is created by using Gaussian function through the distance between the nine-square grid feature points and the central feature points. The score statistics of the nine-square grid is compared with the set threshold. If the threshold is exceeded, it is considered to be a correct matching point, otherwise it will be filtered out. Experimental results show that the number of exact matching points between the proposed algorithm and the grid-based motion statistics algorithm is increased by 18.17%, and the speed can be increased by about 41.3% compared with the traditional feature point extraction matching algorithm. This method can effectively eliminate false matches and improve the matching rate.
1 引言
目前常用的特征点检测算法,如检测精度较高的基于尺度不变特征转换(SIFT)算法[1],对光照、旋转角度不敏感,但计算128维特征描述符耗时长[2],且需要结合随机抽样一致性(RANSAC)算法[3]去除误匹配的特征点;而检测速度快的快速特征点提取和描述(ORB)[4]算法,在静态时特征点匹配比较稳定、速度较快,但在实际应用中存在配准率较低、精确匹配特征点保留不多等问题[5]。为了筛选出正确的匹配点,通常采用暴力匹配(BF matcher)[6]对根据距离远近大致匹配后的特征点对进行筛选。但如果样本中特征点过多,且属于内点的特征点所占比例少,会增加寻找合适的拟合模型的内点时间[7]。董强等[8-10]提出了一种改进的二进制稳健不变可伸缩关键字算法,利用匹配点建立有向线段进行邻近线段匹配,提高了匹配精度,但特征点数量较多,会增加运行时间。Bian等[11]提出基于栅格的移动统计(GMS)特征点匹配算法,经BF matcher得到一个大致匹配的特征点集,根据特征点邻域的一致性约束特性,统计具有匹配关系的特征点集中八邻域(九宫格)正确匹配点数,去除错误匹配。陈方杰等[12]提出通过计算五宫格特征分数剔除错误匹配,但GMS需要的特征点较多,且匹配错误率较高、保留的精确匹配点数不够多。陈树等[13]提出了一种融合彩色不变量和基于加速稳健特征和对象请求代理(SURB)检测的优化匹配方法。
本文提出一种优化的GMS算法,利用高斯函数描述栅格周围特征点距离中心点的远近,根据距离远近进行栅格内打分。建立了一个基于移动栅格统计的打分器,提高了打分的准确性,保留了更多的精确匹配点,且相比传统匹配算法,匹配速度得到了提升。通过高斯卷积核的方式计算分数,既提高了匹配的准确率和保留的精确匹配点数,又保证了匹配的速度不会因引入的高斯函数(计算量增大)而降低。
2 移动栅格网络算法
2.1 特征点提取和匹配约束
特征点的提取采用ORB算法[14],给定一对从不同角度拍摄的图像,如
2.2 基本统计学约束
图像I1、I2分别经过ORB算法得到N、M个特征点,对这些特征点进行BF matcher后[17],得到n个匹配点对X={x1,x2,x3,…,xi,…xn}。由2.1节可知,在正确匹配点周围大概率会有许多正确匹配的点,而错误匹配点周围很少有匹配正确的点。这个支持量的统计值Si符合一个二项分布B
式中,pt为正确匹配事件的概率,pf为错误匹配事件的概率,减1是为了去除特征点本身的匹配,设fa为
式中,m为区域b中特征点的个数,M为待匹配图像I2中特征点的个数。fa匹配错误时,可能匹配到M个特征点中任何一个特征点,β为权重值,大部分图像特征点都符合这种随机分布,有的可能不符合(如具有重复结构的一排窗户这种图像),β较大时表示特征点分布不符合随机分布,β=1时表示特征点随机分布。
区域a中任意一个特征点匹配正确的事件pt发生的概率可表示为
式中,Tab为该特征点正确匹配到区域b的事件,p(
区域a中一个特征点是错误匹配事件的概率pf可表示为
式中,Fab为该特征点错误匹配到区域b的事件。p(
由于m远小于M,因此pf比pt小很多,一个特征点正确匹配和错误匹配的概率相差比较大。因此在保证准确性的前提下,将正确匹配和错误匹配的差值尽可能放大,就能使用一个阈值函数准确分开正确匹配点和错误匹配点。
2.3 多邻域统计
为了放大正确匹配和错误匹配概率的差值,采用如
区域a的邻域支持量Si的二项分布可表示为
式中,xakbk为每个小邻域里的一个特征点,K为连通域的个数,akbk为某个小邻域内的一个匹配点对,n为I1中小邻域特征点的个数。和(1)式类似,确定一个九宫格邻域的Si后,其均值和标准差可表示为
式中,mt、st分别为正确匹配的均值和标准差,mf、sf分别为错误分配的均值和标准差。
在处理统计学事件时,正确与错误匹配邻域分数的分布如
可以发现,P越大,正确匹配的特征点和错误匹配的特征点差距越明显,模型的分割能力就越强。且P与
图 3. 正确匹配和错误匹配的邻域分数分布图
Fig. 3. Distribution of neighborhood scores of correct and incorrect matches
3 优化栅格邻域打分器
3.1 GMS打分法
为加快统计速度,将两张待匹配的图像,按相同的划分方法,各自划分为多个栅格,把每个栅格作为区域a或者区域b。使用较多的栅格单元可以提高匹配的效果,但会减少每个单元中特征的数量,导致正确与错误匹配的差异变小。增加K值可以避免这种情况,但却增加了计算时间,在特征点提取环节,对两张图像各自提取10000个特征点,将每张图像划分为20×20的栅格。对每一对匹配的特征点,用(5)式进行栅格邻域支持量统计,将结果作为该特征点的分数。
为了增大正确匹配和错误匹配之间概率分布的差距,提高分割能力。将每个栅格及其八邻域作为一个大区域进行分数统计。将得到的分数和设定的阈值相比,判断其是否为正确匹配,若为正确匹配则保留,否则去除。GMS在八邻域内设定的打分器Sij可表示为
式中,
3.2 高斯打分器
高斯打分器原理如
式中,x为特征点横坐标,y为特征点纵坐标,σ为函数的宽度参数,以控制函数的径向作用范围。以此类推得到所有栅格的打分结果,构成一个高斯权重矩阵。取σ=1.5,可以得到一个半径为1.5的权重矩阵,如
图 4. 高斯打分器。(a)栅格坐标;(b)权重矩阵;(c)归一化
Fig. 4. Gaussian scorer. (a) Grid coordinates; (b) weight matrix; (c) normalization
3.3 阈值设定
由
式中,Xcell-pair{i,j}为两幅图像匹配的点对,当匹配点的分数Sij大于阈值τi时,取α为6最合适。
4 实验与分析
4.1 特征点匹配标准
1) 采用匹配正确率[18](XCMR)对匹配精度进行评价,XCMR越大,表明匹配性能越好。
式中,N'为匹配点对的数量,Nc为正确匹配点对的数量。
2) 对精确匹配之后的特征点数量和匹配的速度进行评价,匹配的速度越快,匹配后保留的正确匹配点越多,表明匹配效果越好。
4.2 实验配准结果
首先用GMS算法中的九宫格打分法与实验中根据距离中心点的高斯距离打分方法进行对比,再与SIFT+RANSAC、SURF(Speeded up robust features)+RANSAC、ORB+RANSAC、BRISK(Binary robust invariant scalable keypoints)+RANSAC算法进行对比实验。利用5组图像对算法的性能进行测试,结果如
图 5. 5组测试图像。(a)近景;(b)光照;(c)远景;(d)大旋转角度;(e)少纹理
Fig. 5. Five groups of test images. (a) Close view; (b) illumination; (c) far view; (d) large rotation angle; (e) less texture
通过ORB算法提取5组图像的特征后,通过BF matcher匹配得到各自匹配点集。用GMS算法和本算法筛选后,结果如
图 6. GMS和本算法的匹配结果。(a)近景;(b)光照;(c)远景;(d)大旋转角度;(e)少纹理
Fig. 6. Matching results of GMS and our algorithm. (a) Close view; (b) illumination; (c) far view; (d) large rotation angle; (e) less texture
表 1. 两种算法的匹配对数和运行时间
Table 1. Matching logarithm and running time of two algorithms
|
经过两种算法筛选之后的匹配点数和运行耗时如
表 2. 不同算法的匹配正确率
Table 2. Matching accuracy of different algorithmsunit: %
|
5 结论
针对传统特征点检测匹配算法匹配质量和匹配速度的矛盾,提出了一种基于移动栅格统计的特征点筛选方法,并引入高斯函数进行栅格内距离的计算,使用高斯权重矩阵来加快计算。实验结果表明,本算法相较于传统特征点提取匹配算法,算法耗时更低,匹配率更高,匹配准确率相较传统算法,平均高达98.63%,;相比于GMS算法和传统特征点匹配算法保留了更多的精确匹配点数,与GMS算法相比,精确匹配点的数目平均提高了18.17%。
[2] 许佳佳, 张叶, 张赫. 基于改进Harris-SIFT算子的快速图像配准算法[J]. 电子测量与仪器学报, 2015, 29(1): 48-54.
Xu J J, Zhang Y, Zhang H. Fast image registration algorithm based on improved Harris-SIFT descriptor[J]. Journal of Electronic Measurement and Instrumentation, 2015, 29(1): 48-54.
[3] Tran QH, Chin TJ, CarneiroG, et al. In defence of RANSAC for outlier rejection in deformable registration[M] ∥ Fitzgibbon A, Lazebnik S, Perona P, et al. Computer Vision -ECCV 2012. Lecture Notes in Computer Science. Berlin, Heidelberg: Springer, 2012, 7576: 274- 287.
[4] Wang MS, Niu SZ, YangX. A novel panoramic image stitching algorithm based on ORB[C]∥2017 International Conference on Applied System Innovation, May 13-17, 2017, Sapporo, Japan. New York: IEEE, 2017: 818- 821.
[5] 戴雪梅, 郎朗, 陈孟元. 基于改进ORB的图像特征点匹配研究[J]. 电子测量与仪器学报, 2016, 30(2): 233-240.
Dai X M, Lang L, Chen M Y. Research of image feature point matching based on improved ORB algorithm[J]. Journal of Electronic Measurement and Instrumentation, 2016, 30(2): 233-240.
[7] 田文, 王宏远, 徐帆, 等. RANSAC算法的自适应Tc, d预检验[J]. 中国图象图形学报, 2009, 14(5): 973-977.
Tian W, Wang H Y, Xu F, et al. Enhanced RANSAC with adaptive pre-verification[J]. Journal of Image and Graphics, 2009, 14(5): 973-977.
[8] 董强, 刘晶红, 王超, 等. 基于改进BRISK的图像拼接算法[J]. 电子与信息学报, 2017, 39(2): 444-450.
Dong Q, Liu J H, Wang C, et al. Image mosaic algorithm based on improved BRISK[J]. Journal of Electronics & Information Technology, 2017, 39(2): 444-450.
[9] 赵婷, 康海林, 张正平. 结合区域分块的快速BRISK图像拼接算法[J]. 激光与光电子学进展, 2018, 55(3): 031055.
Zhao T, Kang H L, Zhang Z P. Fast image mosaic algorithm based on area blocking and BRISK[J]. Laser & Optoelectronics Progress, 2018, 55(3): 031055.
[10] LeuteneggerS, ChliM, Siegwart RY. BRISK: binary robust invariant scalable keypoints[C]∥2011 International Conference on Computer Vision, November 6-13, 2011, Barcelona, Spain. New York: IEEE, 2011: 2548- 2555.
[11] Bian JW, Lin WY, MatsushitaY, et al. GMS: grid-based motion statistics for fast, ultra-robust feature correspondence[C]∥2017 IEEE Conference on Computer Vision and Pattern Recognition, July 21-26, 2017, Honolulu, HI. New York: IEEE, 2017: 2828- 2837.
[12] 陈方杰, 韩军, 王祖武, 等. 基于改进GMS和加权投影变换的图像配准算法[J]. 激光与光电子学进展, 2018, 55(11): 111006.
[13] 陈树, 杨天, 孙顺远. 融合彩色不变量和SURB检测的特征点匹配算法[J]. 激光与光电子学进展, 2018, 55(5): 051007.
[14] RubleeE, RabaudV, KonoligeK, et al. ORB: an efficient alternative to SIFT or SURF[C]∥ 2011 International Conference on Computer Vision, November 6-13, 2011, Barcelona, Spain. New York: IEEE, 2011: 2564- 2571.
[15] Lin W YD, Cheng MM, LuJ, et al. Bilateral functions for global motion modeling[M] ∥Pajdla T, Schiele B, Tuytelaars T, et al. Computer Vision-ECCV 2014. Lecture Notes in Computer Science. Cham: Springer, 2014, 8692: 341- 356.
[16] Wang C, Wang L, Liu L Q. Density maximization for improving graph matching with its applications[J]. IEEE Transactions on Image Processing, 2015, 24(7): 2110-2123.
[17] 王春厚. 一种降低误判率的BF快速匹配算法结构[ C]∥2010年全国通信安全学术会议论文集. 中国通信学会通信安全技术委员会: 中国通信学会, 2010: 285- 290.
Wang CH. A BF fast matching algorithm structure for reducing false positive rate[ C]∥China Proceedings of the 2010 National Conference on Communication Security, China Communications Society Communication Security Technical Committee: China Communications Society, 2010: 285- 290.
[18] Kwon O S, Ha Y H. Panoramic video using scale-invariant feature transform with embedded color-invariant values[J]. IEEE Transactions on Consumer Electronics, 2010, 56(2): 792-798.
Article Outline
贾强汉, 周志峰, 王立端. 优化栅格移动统计的图像配准算法[J]. 激光与光电子学进展, 2020, 57(12): 121014. Qianghan Jia, Zhifeng Zhou, Liduan Wang. Image Registration Algorithm for Optimizing Grid Motion Statistics[J]. Laser & Optoelectronics Progress, 2020, 57(12): 121014.