1 引言

近年来,图像拼接在生产实践中的应用场景中不断扩展,如航空、医学、刑侦、农业等领域^[1]。图像拼接的实质就是将两幅具有相似区域的不同图像无缝连接到一起^[2-3],并使得连接区域自然过渡,从而可以获得一幅视野较大的图像。其具体实现步骤包括图像预处理、图像特征点检测和匹配以及基于投影变换的图像融合^[4-6]。其中最复杂且最重要的部分就是特征点的检测和匹配,这直接关系到是否能够成功拼接图像。

目前,在工程应用中最常用的图像拼接算法大致分成基于灰度相关及基于特征^[4]两种方法。基于灰度相关的算法在图像旋转和尺度变换等方面存在出不太稳定的问题,而基于特征在各个方面均表现出较好的适应性,故而得到了广泛的研究和发展,成为了众多学者进行研究的主要方向。1999年Lowe首次提出SIFT(Scale Invariant Feature Transform)特征检测算法,并于2004年修正了此算法,使得此算法能够更好地适应尺度变化、拍摄角度变化以及曝光不同等情况,此算法抗噪声能力也很好^[7-8]。但是该算法复杂度非常高、计算量大,导致在工程应用中很难达到实时性的要求。如果所拼接的图像的分辨率较低,SIFT算法会表现出较高的误匹配率^[9-10]。文献[ 3]引入有向线段匹配的方法,该方法可以很好地剔除误匹配点,但是需以时间作为代价,无法满足工程应用中的实时性要求。文献[ 6]和[11]提出一种结合区域分块与SIFT的拼接方法,该方法在运行效率方面得到较大程度的提升。BRISK(Binary Robust Invariant Scalable Keypoints)算法是由学者Leutenegger等于2011年提出,该算法可以满足实时性要求,但是相比SIFT算法,BRISK在稳健性和精度方面表现较差^[9,12-13]。文献[ 4]在BRISK算法中引入有向线段,使得误匹配率得到很好的控制,其算法平均运行时间为0.2397 s,相对常用的其他拼接算法而言,文献[ 4]中算法的运行时间已较低,但仍远未满足实时性要求。因此,在算法运行效率方面仍需要进行大量的研究,使其逐渐达到实时拼接的目标。

为了在保证拼接精度的前提下,极大程度地缩短BRISK图像拼接算法的运行时间,本文提出一种改进型算法,该算法充分考虑了实时性和精度的要求。实验结果表明,本文算法能够实现准确、稳定、高效的图像拼接。

2 图像拼接的总体框架

针对两幅图像分别做图像预处理,将不同质量的图像带来的干扰降低到最小;采用频域相位相关算法获得两幅图像间的相似区域,并对其做分块处理,通过计算图像块的标准差来筛选出两个分布在不同位置的图像块;对图像块采用BRISK算法进行特征点的检测和粗匹配,并利用检测到的粗匹配点对建立有向线段,进行邻近线段匹配,从而去除大部分误匹配点对;从两个不同图像块中分别随机选择两对匹配点对来计算投影变换矩阵,并计算其投影误差,筛选出符合要求的投影变换矩阵,用来融合两幅图像,获得拼接图像。图像拼接的详细步骤如图1所示。

图 1. 图像拼接流程图

Fig. 1. Flow chart of image mosaic

下载图片 查看所有图片

3 分块策略

本文在确定相似区域时采用的算法是频域相位相关算法^[1],待相似区域确定之后,将其分别等分为N×N'的图像块。N和N'的取值需通过实验来确定,应大小适中,这样既可以达到减少特征点数量的目的,又可以保证最终的匹配精度较好。通过实验,本文最终选取N=11,N'=6。选择此分块策略的原因是相似区域一般为长方形区域,而实验中所用图像的相似区域通常高度大于长度。此外,当分块数量大于此数值时,图像块所占面积小,使得检测到的匹配点数量少,故而无法选择并计算出满足要求的投影变换矩阵;当分块数量小于此数值时,图像块所占面积较大,使得特征点检测和匹配所用时间延长。在图像块的选择方面采用的方法是分别计算每个图像块的标准差,通过比较选择标准差较大且所在位置不一样的两个图像块,对其采用BRISK算法来获取特征点和粗匹配点对。具体检测方案如图2所示,其中方格所在区域表示两幅图片的相似区域,灰色方格区域表示用于检测并筛选出特征点的区域。

图 2. 特征点检测示意图

Fig. 2. Feature points detection diagram

下载图片 查看所有图片

4 改进型BRISK算法

BRISK算法主要是使用FAST9-16(角点提取算法,在周围取16个像素点,若超过连续9个点与中心点差值大于阈值,则成为候选角点)进行特征点检测,通过构造图像金字塔来进行多尺度表达,解决了尺度不变性问题,其二值特征描述子是利用在局部图像区域内随机采样点对的灰度大小关系来建立的,计算其汉明距离,从而实现特征的匹配^[13]。此算法具有良好的旋转不变性、尺度不变性和稳健性等特点。

4.1 建立有向线段

采用BRISK算法来检测两幅图像中的特征点,并获得粗匹配特征点对集合,分别记为A={p₁,p₂,…,p_n}和A'={p'₁,p'₂,…,p'_n}。利用这些粗匹配点集来建立有向线段端点集,分别记为B={(p_i,p_j),i<j}和B'={(p'_i,p'_j),i<j},其中下角标为i的点为有向线段起点,下角标为j的点为终点。分别使用有向线段的两个端点和中点作为采样点来建立BRISK特征描述,记作S=(s₁,s₂,s₃)。

假设利用每幅图像检测到的特征点集构造出的有向线段数为m条,分别记为L={l₁,l₂,…,l_m}和L'={l'₁,l'₂,…,l'_m},用S_i和S'_i分别表示对应角标有向线段的特征描述。采用矩阵的F-范数来进行邻近线段的匹配,其计算公式为d(l_i-l'_i)= Si-S'iF,可以获得包含m个元素的向量d,对其进行归一化计算处理,记邻近线段匹配的阈值为T_F,本文对其取值为0.4。如果两条线段对应的归一化范数值小于阈值,那么可以认为这两条有向线段邻近,其对应匹配点对保留,反之剔除。

4.2 特征点匹配

经过上述步骤获得的匹配点对中的误匹配点对虽然已较少,但是,为了能够更好地排除误匹配点对,减少其对图像拼接结果的影响,采用随机采样的方式分别从两个图像块检测到的匹配点对集合中选取两个点对来求解投影变换矩阵H,并计算其投影误差。如果误差大于设定阈值,则重新随机选择匹配点,并计算变换矩阵,直到投影误差小于设定阈值或重复次数超过设定次数。如果出现后者情况,则需要选择其他图像块并重复执行上述步骤。

投影矩阵是指将一幅图像映射到另一幅图像的矩阵,有8个自由参数,其定义为

H=h11h12h13h21h22h23h31h321,(1)

式中h₁₁、h₁₂、h₂₁、h₂₂表示旋转量和尺度变化量,h₁₃表示水平方向位移量,h₂₃表示垂直方向位移量,h₃₁、h₃₂表示水平和垂直方向的形变量^[1]。

对于理想的投影变换矩阵,两幅图像上检测到的匹配特征点对满足

xiyi1=h11h12h13h21h22h23h31h321x'iy'i1,(2)

式中特征点P(x_i,y_i)和P'(x'_i,y'_i)分别表示两幅图像上的特征匹配点对。

根据(2)式可以计算出经过投影变换的实验坐标:

x^i=h11x'i+h12y'i+h13h31x'i+h32y'i+1,(3)y^i=h21x'i+h22y'i+h23h31x'i+h32y'i+1。(4)

当误差阈值ε为1 pixel时,投影变换矩阵的投影误差可表示为

E(H)=1M∑i=1M(x^i-xi)2+(y^i-yi)2,(5)

式中M为前文所得的全部匹配点对数。

通过反复实验,最终确定将相似区域分割成N×N'(其中N=11、N'=6)图像块,且仅需使用两个图像块就可以实现精确的拼接,因为在这种条件下检测出的特征点对的数量和正确率已经足以满足实验要求,投影误差校验重复的次数也适中,一般重复4次左右即可选择出满足误差要求的变换矩阵。

4.3 图像融合

因为不同图像的拍摄角度不同,图像的亮度也不相同,采用投影变换矩阵将两幅图像拼接到一起后,在拼接区域有明显的缝合痕迹,因此需要对其进行相应的融合处理,使得图像的拼接区域自然过渡,实现无缝拼接^[14-16]。本文采用常用的加权算法对此区域进行处理,具体原理如下:

I(x,y)=I1(x,y),(x,y)∈I1I2(x,y),(x,y)∈I2A(x,y)(1-μ)+B(x,y)μ,(x,y)∈(I1⋂I2),(6)

式中,I表示拼接后的图像,I₁表示待拼接图像1,I₂表示待拼接图像2;A(x,y)和B(x,y)表示图像相似区域的像素点;μ表示加权系数,融合的过程中,当图像点自左向右的过渡时,μ在[0,1]内均匀变化。

5 实验结果与分析

实验结果将从拼接速度和匹配正确率两方面来评价。其中,匹配正确率η表示为

η=McMn,(7)

式中M_c表示正确匹配点对数。

5.1 运行环境

算法运行环境如下:CPU为Intel core i5, 2.30 GHz,内存为8 GB,操作系统为64位Win7,MATLAB版本为MATLAB 7.10.0.499(R2010a)。

5.2 配准性能评价

图3为4组不同状态的实验图像(图像大小:807 pixel×605 pixel),分别对本文算法的抗光照、抗旋转、分辨率低及抗尺度变化性能进行测试,并且与BRISK算法和文献[ 4]算法进行对比。

图 3. 测试图像。(a1、a2)光照不同;(b1、b2)旋转角度不同;(c1、c2)分辨率不同;(d1、d2)尺度不同

Fig. 3. Test images under (a1) and (a2) different lighting, (b1) and (b2) different rotation angles, (c1) and (c2) different resolutions, and (d1) and (d2) different scales conditions

下载图片 查看所有图片

表1为BRISK、文献[ 4]以及本文三种算法在拼接运行时间方面的对比。从表1中可以得出本文算法的拼接时间较BRISK有所延长,但是相对文献[ 4]而言,本文算法的运行速度有较大改善。

表2为BRISK、文献[ 4]以及本文算法在特征点匹配正确率方面的对比。从表2中可以看出,虽然本文算法在匹配正确率方面较文献[ 4]略差,但是相对BRISK算法有较大提升。

图4分别为图3中4组图像的实验效果图,可以证明本文算法在抗光照强度、旋转、分辨率和尺度变化方面均表现出较强的稳健性,拼接结果没有出现错位问题,经过接缝加权融合后,图像过渡自然,实现了无缝拼接。

在实际工程应用中,待拼接图像的相似区域仅占小部分,图5为在保持当前分块策略不变的条件下,相似区域所占图像比例减小后的原图像和拼接结果,如果相似区域占比更小,那么,需要对分块策略进行调整。从图5(b)可以看出,本文算法在相似区域减少后仍然能够获得较高精度的拼接图像,证明本文算法具有较高的实用价值。

图 4. 4组图像拼接结果。(a)光照不同;(b)旋转角度不同;(c)分辨率不同;(d)尺度不同

Fig. 4. Mosaic results of the four groups of images under (a) different lighting, (b) different rotation angles, (c) different resolutions, and (d) different scales conditions

下载图片 查看所有图片

图 5. 相似区域占比小的图像拼接结果。(a1、a2)测试图像;(b)拼接结果

Fig. 5. Mosaic result of images with a small proportion in similar area. (a1) and (a2) Test images; (b) mosaic result

下载图片 查看所有图片

6 结论

针对传统的图像拼接算法复杂度较高、运行速度低以及误匹配率较高的问题,本文提出一种结合区域分块的快速BRISK图像拼接算法。该算法为了降低误匹配率,提高匹配精度,引入有向线段匹配方法,使得误匹配率有明显改善。但是文献[ 4]的方法的运行时间仍然较长,因此,本文通过搜寻相似区域,并对相似区域进行分块,仅针对部分图像块进行特征点提取和匹配,使得算法的运行速度得到极大程度地改善,运行时间较文献[ 4]大约减少63.7%,虽然拼接精度较文献[ 4]略有降低,但是,从综合时间和精度两方面考虑,本文算法具有很好的优越性,在工程应用中表现出很高的应用价值。