1 引言

图像拼接技术一直是计算机视觉领域与数字图像处理技术中非常重要且热门的一个研究方向,其目的是获取更大的视野与更高的分辨率图像。通过将两张或多张从不同视角、不同传感器获得的具有相同区域的数字图像进行一系列的图形几何变换,就可以拼接得到单张具有更大视野、更高质量的图像。目前,图像拼接技术在虚拟现实技术、遥感遥测图像、医学图像分析、视频监控等场景中得到了广泛的关注与应用^[1-4]。随着拍摄设备的快速发展,高分辨率图像的获取越来越容易,也更加普遍,因此对高分辨率图像快速拼接技术进行更深入的研究,具有重要的意义。

图像拼接一般有三个过程,分别是对图像进行预处理,完成对多张图像的配准,以及采用图像融合技术去除痕迹,其中最重要的过程就是图像配准。图像配准是先选取一张参考图像,再通过空间单应性变换,使其余图像与参考图像相同的部分实现重叠。目前,最常用的图像配准方法是基于图像特征点匹配法。由于图像特征点匹配法能够克服图像灰度、尺度、拍摄角度等因素的干扰,具有可靠性高、鲁棒性强的特点,是图像配准的主要研究方向。2004年,Lowe等^[5]总结并发表了尺度不变特征转换(SIFT)算法,具有里程碑意义,仍能够在图像大小和角度发生变化时保持良好的性能,拼接效果优异,已得到快速的推广与应用。但SIFT算法运算时间较长,匹配速度不够快^[6]。针对SIFT算法特征描述向量维度高、算法复杂度高、运算耗时较长等缺点,已有学者进行了大量的研究。2006年,Bay等^[7]提出了SIFT算法的改进版——SURF (Speeded Up Robust Features)算法,大幅度提高了算法的计算速度,降低了特征描述向量的维数,但匹配精度不够高。2011年,Rublee等^[8]提出了ORB(Oriented FAST and Rotated BRIEF)算法,该算法结合并改进了FAST特征点检测和BRIEF特征描述,在处理速度上得到了显著的提升。2015年,佘建国等^[9]通过改进的随机抽样一致性(RANSAC)算法对ORB算法进行优化,缩短了匹配时间,但处理图像的分辨率只有540 pixel×380 pixel,且匹配准确率有一定下降。2017年,张莹等^[10]通过利用SIFT算法来提取图像特征点,并结合ORB算法描述子进行改进,其匹配速度较SIFT算法提升较大。但降低了匹配精度,图像分辨率最高只有648 pixel×486 pixel。2018年,王健等^[11]采用双向匹配与RANSAC算法对ORB算法进行匹配优化,对分辨率为850 pixel×680 pixel的图像进行拼接,其均方根误差平均降低10.06%,但匹配时间增加。

本文针对现有图片拼接方法处理速度慢、准确率低、无法快速拼接高分辨率图像的不足,提出了一种高分辨率图像拼接改进算法。首先利用ORB特征点检测速度快的优势,对图像进行特征点提取,然后对特征点对使用汉明距离实现快速粗匹配,再采用基于渐进采样一致性(PROSAC)进行优化,剔除误匹配点对之后,求解单应性变换矩阵。采用渐入渐出加权融合算法对重叠区域进行融合处理,去除拼接痕迹。通过对两组高分辨率图像进行拼接实验,表明本文算法能够对高分辨率图像进行快速准确的拼接。

2 改进的ORB算法

2.1 ORB特征点提取

ORB是一种快速特征点提取和描述的算法,它采用FAST算法对图像进行特征点检测,然后将检测出的特征点进行BRIEF算法描述,结合两者的优势,改掉缺点,解决了图像噪声对BRIEF算法的干扰问题,并使其具有良好的旋转不变性,最终实现数字图像快速准确的特征点提取。

FAST算法能够快速地检测特征点,在数字图像中,一般以某一像素点为中心,选取其圆形邻域区域,对比区域内其他像素点灰度值与该像素的灰度值的大小,当区域内有足够多像素点的灰度值与该像素点的灰度值差值大于阈值时,则判断该像素点为特征点。如图1所示,以P点像素为中心,选取其半径为3个像素点的圆形邻域,将这16个像素点的灰度值与P点像素灰度值进行对比,当有n个像素点灰度值差值大于阈值T时,考虑将P点视为特征点,其中n的经验值设置为9和12,实验表明n为9时效果最好,因此ORB中使用FAST-9算法。由于FAST算法不具备特征点响应函数,即不具备描述角点的性质,因此其边缘效应较大,而且提取特征点对多尺度的响应也较差。针对上面的缺点,分别通过降低阈值来得到多个关键点(个数大于N),然后排序,从中选取前N个点来解决无角点函数的问题;针对多尺度问题,利用图像金字塔,并在金字塔每层中建立FAST特征,来实现尺度空间。

图 1. FAST特征点检测

Fig. 1. FAST feature point detection

下载图片 查看所有图片

对图像中检测到的FAST特征点,进行rBRIEF (rotated BRIEF)描述子描述,解决了其不具备旋转不变性的严重缺陷。BRIEF描述子占用的存储空间较小,运算比较简单,且处理速度快,一般选取强度比较小的图像邻域进行表达。

定义N×N大小的矩形为图像邻域P,则τ测试(图像块上定义二元测试)为

τ(p;x,y)=1,ifp(x)<p(y)0,otherwise,(1)

其中,p(x)为平滑后的图像矩形区域P在(u,v)处的灰度值。

选取n个(x,y)位置的像素点,用二进制字符串对该像素点进行唯一描述,其生成的n维二进制BRIEF描述子字符串为

fn(p)=∑1≤i≤n2i-1τ(p;xi,yi),(2)

式中,n一般设置为128、256或512。根据处理速度、存储效率与识别率等不同条件的需要,选取不同的数值。

ORB算法对每一个特征点,采取31 pixel×31 pixel的矩形窗口,并在该矩形窗口内随机选取满足高斯分布的5 pixel×5 pixel子窗口,通过数字图像灰度积分的计算方法,解决单个像素点容易受图像噪声干扰的问题。ORB算法综合考虑速度、效率等因素,采用n为256的BRIEF描述子,针对BRIEF无法应对图像旋转变换的缺点,利用仿射与旋转变换来设定足够多的BRIEF特征描述子。同时,由于FAST算法的速度是非常惊人的,ORB采用改进的FAST解决了尺度不变性,为高分辨率图像快速处理提供了基础。

2.2 特征点匹配与优化

传统ORB算法采用最近邻匹配特征点对表示正确匹配,该算法会引入大量的特征匹配对,其中存在很多错误匹配,匹配准确度低。为解决这一问题,本研究使用汉明距离(Hamming distance)判别描述子之间相似度(XOR运算),将关键点匹配变为二值分类问题,计算出两个描述串按位与运算后的累和,作为汉明距离D(X,Y),表达式为

D(X,Y)=∑i=0255xi⊕yi,(3)

式中:⊕表示与运算。汉明距离的值越小,说明两描述串相关性越高,否则两描述串差异较大。最后利用模式匹配器对所有特征点进行粗匹配。

在特征点进行粗匹配之后,对匹配点对进行提纯与优化,以获得最优的图像变换矩阵。传统算法一般采用基于RANSAC算法进行提纯,RANSAC算法^[12]是一种随机参数随机采样估计算法,其选取的样本点是随机的,需要不断地迭代才能选取出尽量多的内点,且没有考虑特征点之间的差异性,因此算法的迭代次数较多,运算时间较长,误差较大。

本文采用PROSAC算法对特征点对进行提纯与优化,PROSAC算法是一种补偿RANSAC算法随机性的算法,从Chum等^[13]所做的实验中可知,PROSAC算法相比RANSAC算法具有更高的稳健性和计算效率。采用PROSAC算法对图像匹配特征点对进行优化,其将样本集中的点对按照匹配质量进行排序,选择其中靠前位置的样本作为假设集,生成一个较高匹配概率的子集,即在质量高的粗匹配子集中进行采样计算,这样就避免了初始假设集选择的盲目性,很大成程度上提高了算法运行效率。相较于RANSAC算法,较大地减少了迭代次数,加快计算速度的同时,匹配准确率也得到提高^[14]。PROSAC算法步骤如下:

1) 初始化相关参数,输入最大迭代次数N_max,判断内点的误差极限E_lim,设定内点数目阈值T_num。

2) 将粗匹配点对中最近邻和次近邻距离的比值结果作为匹配质量,进行降序排列,选取匹配质量排列前m个匹配点对,从中随机选取至少4组点对,计算2.3节的单应性变换矩阵,再计算其余匹配点与投影点的误差,比较误差与E_lim的大小,若误差小于E_lim,则该点为内点,反之,则为外点。遍历所有匹配点对,计算出内点数量。

3) 判断迭代次数是否小于等于最大迭代次数N_max,满足条件,则继续执行;若迭代次数大于最大迭代次数N_max,则输出统计中内点最多的一组匹配点对集合。

4) 比较内点数量与阈值T_num的大小,若内点数量小于阈值T_num,则迭代次数加1,重复执行步骤2)。反之,输出当前内点集合,完成匹配点对的优化。

2.3 变换矩阵求解

在去除误匹配点对后,得到两幅图像的最优匹配特征点集合f_a(x,y),f_b(x,y),两幅图像特征点存在的空间单应性变换关系,可以用齐次方程表示为

xbyb1=h0h1h2h3h4h5h6h71xaya1=Hxaya1,(4)

式中:h₀、h₁、h₃和h₄共同表示图形旋转角度和缩放尺度;h₂和h₅分别表示图形在x方向与y方向上的平移量;h₆和h₇分别表示图形在x方向和y方向上的变形量。

为了确定齐次方程单应性变换矩阵H,需要求解出式中的8个待定参数。从两幅图像的最优匹配特征点集合中,至少选取4组匹配特征点对,通过齐次方程(4)式进行计算,求解出8个参数,也可通过选取多组匹配特征点对,计算最优解,得到变换矩阵H。将变换矩阵H与待拼接图像相乘,使其结果图像与参考图像两者进行线性相加,即可得到拼接图像。

3 图像融合

由于采集的数字图像可能是经不同时间或不同图像传感器获取而来,且其拍摄角度与积分时间设置也可能存在差异,故图像在像素灰度上存在差异。这些图像拼接之后,图像重叠区域会出现模糊鬼影现象,这就需要通过一定的图像融合算法来消除拼接痕迹。通过综合考察运算速度与成像质量,本研究采用渐入渐出加权融合方法来去除影响。对两幅图像f₁(x,y), f₂(x,y)进行计算,表达式为

f(x,y)=f1(x,y),(x,y)∈f1w1f1(x,y)+w2f2(x,y),(x,y)∈(f1⋂f2)f2(x,y),(x,y)∈f2,(5)

式中,加权权值w₁= x2-xix2-x1,w₂=1-w₁= xi-x1x2-x1,两者与两幅图像的重叠区域的宽度相关,x₁和x₂是重叠区域左右边缘的像素点横坐标,其中x₁<x₂,x_i是重叠区域内待融合像素点的横坐标。

通过渐入渐出加权融合之后,重叠区域的灰度值按相应权重进行计算,减少了灰度差异,能有效地消除拼接痕迹,使拼接图像更加平滑、自然,成像质量更好。

4 实验结果与分析

本文实验硬件平台为台式计算机,64位Windows10操作系统,系统配置为主频2.8 GHz的Intel Core i7-7700HQ处理器,8 GB运行内存。本文算法实现采用C++编程语言,在Microsoft Visual Studio 2013软件环境下进行编程,数据库使用基于开源机器视觉库OpenCV2. 4. 9。实验采用2组不同高分辨率测试图像数据,图像分辨率分别为1280 pixel×720 pixel[(a)组, 720p]和1920 pixel×1080 pixel[(b)组, 1080p],图像格式是JPG,如图2所示。

图 2. 实验测试图像。 (a)实验室;(b)建筑

Fig. 2. Experimental test images. (a) Laboratory; (b) building

下载图片 查看所有图片

4.1 图像拼接速度对比实验

为了验证本文算法的有效性,对2组高分辨率图像,分别采用本文算法、SIFT算法、SURF算法以及ORB算法进行图像拼接实验,并对得到实验结果统一进行比较与分析。在算法的图像配准速度方面,本文通过测量不同算法的特征点提取时间与特征点匹配时间进行比较。

4种算法的处理时间都与图像分辨率呈正相关关系。其中:特征点提取时间最短的算法为ORB算法,本文算法特征点提取时间稍长于ORB算法,但本文算法计算速度远高于SIFT算法和SURF算法;在提取时间上,本文算法平均约为SIFT算法的8.08%,约为SURF算法的25.88%。

由于本文算法使用汉明距离进行快速粗匹配,采用PROSAC算法对图像特征点匹配进行优化,相对RANSAC减少了迭代次数,运算效率更高,因此特征点匹配时间是最短的,平均时间仅为62.5 ms,仅为ORB算法提取时间的65.10%。相比于SIFT算法和SURF算法,本文算法在速度上分别提高了约24倍和8倍,见表1。

4.2 图像拼接准确度对比实验

对图像拼接的准确度,采用匹配正确率(CMR,R_CM)与均方根误差(RMSE,R_MSE)进行分析与评价^[17]。

CMR作为一种相对客观的评价算法匹配性能的衡量指标,其得到的数值越高,表明算法的匹配性能越优秀,相应的图像配准的准确度也就更好。匹配正确率的计算方法为

RCM=NcNR,(6)

式中,N_c为正确匹配点对数量,N_R为优化后所有匹配点对数量。

RMSE是另一种评价图像拼接配准精度的定量指标。RMSE数值越小表明配准算法精度越高,意味着图像拼接的结果越好。对于特征匹配点对(x_a,y_a)和(x_b,y_b),其RMSE的计算方法为

RMSE=1NR∑i=1NR(xa,ya)-F(xb,yb)2(7)

式中,函数F(·)表示空间单应性变换模型。

由表2可知,本文算法的CMR最高,其次就是SIFT算法。其中,ORB算法的CMR最低,平均值仅为89.24%,而本文提出的ORB改进算法的CMR平均值为93.48%,可以看出PROSAC算法相比于RANSAC算法可以剔除更多的错误匹配,对CMR有明显提高。本文算法的CMR均高于SIFT算法和SURF算法,且相比于ORB算法有较大的提升,CMR提升了4.24个百分点。

其次,本文算法的RMSE均低于其余算法,平均值仅为0.568。由于传统ORB算法使用FAST算法检测特征点,稳健性较低,所以RMSE最大,均值为0.713。而本文采用PROSAC算法进行了优化,具有更高的稳健性,匹配准确度也较高。本文算法的RMSE相对于SIFT算法减少了3.65%,相对于SURF算法减少了11.80%,相对于ORB算法减少了20.28%,可知本文算法的配准准确度相对较高。

4.3 图像拼接结果质量对比实验

对图像拼接结果的质量,采用图像信息熵(IE,E_I)进行分析与评价。IE作为评价图像清晰度的一个量化标准,用来描述图像的平均信息量,衡量图像信息的丰富程度。图像信息熵越大,说明图像包含的信息量越大,图像的纹理细节越清晰。

EI=-∑i=0L-1P(i)lbP(i),(8)

式中,L为图像灰度级总数,P(i)表示灰度值i的像素数与图像总像素数的比值。

由表3可知,本文算法的IE均高于其余算法,平均值为7.356。本文算法的IE相对于SIFT算法提高了0.53%,相对于SURF算法提高了0.97%,相对于ORB算法提高了1.60%,可知本文算法的拼接结果信息更丰富,图像纹理细节更清晰。

将ORB算法与本文算法图像拼接结果进行对比,如图3所示。图3(a)为ORB算法拼接结果,图3(c)为本文算法拼接结果。从ORB算法拼接结果中标记框图的放大图像中,可以看出ORB算法拼接结果的图像重叠区域成像有所模糊,部分纹理细节难以识别。而从本文算法拼接结果中标记框图的放大图像中,本文算法拼接结果的图像重叠区域成像清晰,可以看清纹理细节,图像拼接质量较好。

图 3. 图像拼接结果对比。(a)ORB算法;(b)对应的框图放大图;(c)本文算法

Fig. 3. Comparison of image stitching results. (a) ORB algorithm; (b) corresponding enlarged view of marked rectangular graph; (c) our algorithm

下载图片 查看所有图片

综上可知,在高分辨率图像拼接上,本文算法相比于其他3种算法,其运行速度具有很大的提升,同时匹配准确度也有一定的提高,图像拼接质量好,能够满足对高分辨率图像进行快速准确拼接的需要。

5 结论

提出一种可用于高分辨率图像拼接的基于ORB特征的改进算法,在ORB算法特征点提取的基础上,对特征点对先使用汉明距离实现快速粗匹配,再采用基于PROSAC进行优化,并与传统算法进行拼接实验比较。结果表明,相较于传统算法,本文算法不仅在拼接时间上有大幅度减少,而且在匹配准确度上有所提高。本文算法在拼接快速性与拼接准确性两方面,具有显著的优越性,能够对高分辨率图像快速拼接的同时保证拼接准确性。在以后的研究工作中,可以对图像变换矩阵的计算、重叠区域的图像融合方法等进一步优化,以减少高分辨率图像拼接算法的处理时间,提高整体运算效率。