1 引言

图像匹配算法的好坏直接影响机器视觉的识别结果,广泛地应用于医学影像、计算机视觉、视觉导航、模式识别、图像拼接等领域^[1]。传统的SIFT算法等大多是在灰度化图像上进行匹配操作,因此可能会损失图像的颜色信息。光照变化对图像匹配影响较大,在相同场景拍摄的图片会因为光照变化而使图像中颜色直方图对应的像素点不同,导致左视图与右试图误检和漏检特征点现象,使后续图像匹配的难度大大增加^[2]。Lowe^[3-4]提出的SIFT(scale-invariant feature transform,SIFT)算法具有性能良好的局部特征,在图像匹配中被广泛应用。但是SIFT算法只能在灰度图像上进行匹配,不考虑图像的颜色信息,而且其计算量大、采集的特征点多、实时性较差,因此在实时性要求较高的系统中无法使用。Harris等^[5]提出的Harris算法是一种角点检测算法,该算法计算简单、稳定,且不受光照、旋转、噪声等影响,具有良好的检测效果。将Harris算法与SIFT算法结合是目前一种较为理想的方案。

文献[ 6]提出一种能够融合彩色和光照的SIFT算法,该算法相比SIFT算法准确性大大提高,提高了匹配精确度,但由于提取出更多的特征点,使提取匹配时间较长,实时性较低。而许佳佳^[7]提出一种多尺度的Harris-SIFT算法,该算法将Harris算法进行改进,在保持配准精度的同时,能够大大减少配准时间。侯小红等^[8]提出一种基于Harris-SIFT的LBP(Local Binary Pattern)人脸表情识别算法,具有较好的识别效果。胡海燕等^[9]提出用于卫星三线阵的Harris-SIFT图像匹配算法,极大提高了系统实时性。目前Harris-SIFT有2种融合方法,第1种是将Harris算法提升为多尺度,能够在准确率基本不变的情况下极大提高系统的实时性,第2种则将SIFT算法降为单尺度,虽然实时性增强,但会小幅降低系统的匹配准确率^[10-12]。

因此,本文提出一种能融合光照和色彩信息的Harris-SIFT算法,首先在灰度化之前计算光照和彩色补偿量,然后迅速提取图像中的角点,角点作为特征点,采用SIFT算法对特征点进行匹配,最后通过特征点特征向量的欧氏距离判定指定图像中特征点的相似性,并采用投票策略对匹配点提纯,实现指定图像的特征点匹配^[13-14]。该方法能较好地保留彩色图像中彩色之间的差异性,同时兼顾匹配算法的准确率与实时性。

2 融合光照和彩色信息补偿量算法

2.1 彩色补偿量的提取

文献[ 15]提出一种彩色补偿量的方法,很多彩色空间都可以通过2个颜色分量与1个亮度分量代表所有颜色,如CIELUV、CIELAB、YIQ、YC_BC_R等。CIELAB与GIELUV由1931年制定的 CIE XYZ颜色空间基础上建立,其中字母L在CIELAB与GIELUV中代表亮度,A、B、U和V都代表色度, U与A、V与B相似。YIQ和YC_BC_R是由RGB颜色空间直接线性变换得到,其中字母Y在YIQ与YC_BC_R中代表亮度,I、Q分别代表橙色到蓝色的变化程度、紫色到绿色的变化程度,C_B、C_R分别表示颜色蓝色、红色分量与参考值之差。为使彩色补偿量能准够确表示颜色变化特性,同时对灰度图增加对比度,这里使用YIQ彩色空间代表颜色。

RGB颜色空间和YIQ彩色空间的变换关系为

YIQ=0.2990.5870.1140.596-0.274-0.3220.211-0.2530.312RGB,(1)

式中,R表示红色分量,G表示绿色分量,B表示蓝色分量,Y分量代表亮度, I代表色度信号,Q代表饱和度信号。在原始灰度值的基础上增加彩色补偿量得到灰度值P,即

P=Y+YC,(2)

式中,Y_C为彩色补偿量,用来调整灰度值和反映彩色图像的颜色特征。为保证灰度的连续性和彩色图像的颜色特性,彩色补偿量的提取方式为

YC=k·sgn(200×I)·200×Iα+k·sgn(50×Q)·50×Qα,(3)

式中:k为对比参数,取值范围为[1,4],本文取值为2;α是范围参数,取值范围为[0.4,0.6],本文取值为0.5。由(3)式可知Y_C是I和Q的比例函数,它会将颜色变化转换成亮度变化,是非线性变换过程。在YIQ彩色空间中,I分量的数值大小表征彩色图像中蓝色分量和橙色分量的分布,I以0为分界点,当I>0时代表彩色图像的橙色分量多于蓝色;当I<0时则颜色分量正好相反;当I=0时表示两种颜色分量相等,通过计算得出图片所提取的彩色补偿量,主要是从蓝色到橙色的变化反映亮度变化特征。

2.2 光照补偿量的提取

当前方法大都采用高斯权重函数调整图像光照强度,因此为保持更多的图像细节和增加对比度,采用的光照补偿量的提取方程式^[16]为

YE=λ×P×exp-Y22σ2,(4)

式中:Y_E为原始灰度值Y进行调整而得到的灰度值;λ为对比参数,取值范围为[1,3],本文取值1.5;P是初步得到的灰度值;Y是原始灰度值;σ是标准差,取值0.2。

最终的灰度值W由原始灰度值、彩色补偿量和光照补偿量3部分组成,即

W=Y+YC+YE。(5)

补偿前后的对比图片如图1所示,可见原图片经过补偿后的图片细节处效果更好,图像更为清晰。

3 图像快速匹配算法

3.1 特征点提取

首先采用Harris算法提取角点,然后对角点的质量进行检查。1)判断其是否为边缘点,2)判断角点所包含的信息是否正确,3)对较差的角点去除,4)对保留下来的特征点进行特征描述来建立特征向量并匹配。

首先,对两幅图像提取角点,公式为

H(x,y)=∂2f∂x2∂2f∂x∂y∂2f∂y∂x∂2f∂y2,(6)

图 1. 灰度图对比。(a)原始灰度图;(b)经过算法补偿后的灰度图

Fig. 1. Grayscale contrast. (a) Original grayscale image; (b) grayscale image after algorithm compensation

下载图片 查看所有图片

式中,H(x,y)为黑塞矩阵,f为f(x,y)函数。通过计算图像中每一个像素点的二阶导数,形成一个Hessian矩阵。

M(x,y)=Det[H(x,y)]-k×Tr[H(x,y)]2,(7)

式中,Tr(H)为矩阵H的迹,Det H为矩阵H的行列式值,k=0.04,函数的局部极大值点即为角点,M(x,y)为函数的局部极大值矩阵。

然后去除边缘点,可表示为

Tr[H(x,y)]2Det[H(x,y)]2<r+12r,(8)

式中,r为主曲率域值。令r=10,对不满足(8)式的点,判断为边缘点,进行去除。

最后,将图像中所含信息较低的角点删除,图像携带信息量的多少与图像熵值的大小成正比,具有较大熵值的角点相比具有较小熵值的角点拥有更高的匹配准确率,去掉熵值低的角点,可以大大减少一些不必要的操作,从而提高算法的性能,所用公式为

pi,j=fi,j/N2,(9)Hf=∑i=1m∑j=1mpi,j1-pi,j,(10)

式中,p_i,j为某像素位置上的灰度值与其周围像素的灰度分布的综合特征,f(i,j)为特征二元组(i,j)出现的频数,N为图像的尺度,H_f为图像二维熵,m、i、j分别为像素的灰度值。

对图像I₁和图像I₂初步检测出所有特征点,采用(10)式在以特征点为中心的m×m邻域内迅速计算图像块的局部熵值,并将图像I₁和I₂中所有达到设定熵值的特征点进行去除。

3.2 SIFT特征点匹配

Harris算法所提取的角点仅仅能获得位置信息,而采用SIFT算法进行匹配时需要3方面信息,即尺度信息、位置信息和方向信息。

要获得特征点的方向信息,首先要计算出图像像素点的所有梯度方向和模值,其计算公式为

m(x,y)={[L(x+1,y)-L(x,y-1)]2+[L(x,y+1)-L(x,y-1)]2}12,(11)q(x,y)=arctan{[L(x,y+1)-L(x,y-1)]/[L(x+1,y)-L(x-1,y)]}。(12)

根据3σ的采样原则,梯度模使用1.5σ的高斯分布加权,将邻域窗口半径设置为3×1.5σ,并通过梯度直方图统计邻域范围以内的梯度方向。

3.2.1 特征点的描述

由以上步骤可计算出特征点的位置和方向信息,从而生成需要的特征描述子。在关键的特征点邻域划分一个4×4的子区域,并将该子区域的中心点作为一个种子点,每一个种子点都拥有8个不同的方向,对该种子点取第1组的第1层,即可生成128维的特征描述符。

3.2.2 特征点匹配

特征点的匹配采用特征向量的欧氏距离作为判据,利用欧氏距离判定两个特征向量间的相似性,计算公式为

D=‖lm-ln‖,(13)

式中,l_m、l_n分别为图像1的匹配特征向量和图像2的待匹配特征向量,D为距离函数,它的值越小代表匹配向量的相似度越高。取一幅图像中的特征点与另一幅图像中的特征点中欧氏距离最近的前两个特征点,也就是取D值中最小的两个点,两个特征点分别用最近的距离除以次近的距离,如果比值低于设定的比例阈值,则接受该对匹配点。比例阈值的大小与特征点匹配点的数量成正比,也就是说,阈值越小,匹配点的数量越少,这里比例阈值设定为0.50。最后采用投票策略^[17]提纯匹配点。算法流程如图2所示。

图 2. 算法流程图

Fig. 2. Algorithmic framework

下载图片 查看所有图片

4 实验及分析

为验证融合光照和彩色信息的Harris-SIFT算法相比Harris-SIFT算法在匹配准确率上的优势,选取不同的图片进行配准实验。实验采用Intel Corei7-6700, 2.6 GHz CPU,8 G RAM的计算机,Windows10 64位操作系统,Matlab2018b软件实现本算法,实验所用的图像均为实拍图像,其中图3(a)(b)为手持单反相机拍摄的书籍图片,大小为1080 pixel×1920 pixel,图3(c)(d)为手机拍摄教学楼前广场的图片,大小为960 pixel×1280 pixel,图(e)(f)为手机拍摄风景建筑照片,大小为960 pixel×1280 pixel。

图 3. 实验测试图片。(a)(b)书籍匹配图片;(c)(d)不同角度广场图片;(e)(f)不同角度风景建筑图片

Fig. 3. Experimental test images. (a)(b) Book matching images; (c)(d) square images with different angles; (e)(f) scenery building images with different angles

下载图片 查看所有图片

首先,通过实验比较融合光照和彩色信息的Harris-SIFT算法在特征点检测时间与单一Harris-SIFT算法实时性的变化。对融合光照和彩色信息的Harris-SIFT算法及Harris-SIFT算法进行特征点检测对比实验,将两种方法对图3的3组图片的检测时间进行统计,结果如表1所示。表1结果表明,采用融合光照和彩色信息的Harris-SIFT算法进行特征检测时没有改变系统的实时性,甚至由于优化小幅度减少了匹配所需时间。在图3的3组测试图像中,融合光照和彩色信息的Harris-SIFT算法特征检测时间比只含有Harris-SIFT算法用时最少减少了8.05%,最多减少了14.70%。这是因为单角度SIFT需要计算的像素量减少,在特征点提取与匹配上节约了计算时间。此外,通过比较两种方法在相同图像中提取的特征点分布,可以看到:融合光照和彩色信息的Harris-SIFT算法虽然提取出更多的特征点,但是也提取出一些特征表现较差的点,导致在匹配环节增加了计算量,从而影响了系统的实时性。

表2和表3分别为本文算法与Harris-SIFT算法匹配正确率和总时间,融合光照和彩色信息的Harris-SIFT算法与Harris-SIFT算法的匹配结果如图4和图5所示。

图 4. 融合光照和彩色信息的Harris-SIFT算法匹配结果。(a)图3中(a)(b)匹配;(b)图3中(c)(d)匹配;(c)图3中(e)(f)匹配

Fig. 4. Image matching results of Harris-SIFT algorithm with exposure and color information. (a) Matching of Figs. 3 (a) and (b); (b) matching of Figs. 3(c) and (d); (c) matching of Figs. 3(e) and (f)

下载图片 查看所有图片

由实验结果可见,融合光照和彩色信息的Harris-SIFT算法成功解决了实时性与匹配准确率这一互相矛盾的问题。

1) 比较Harris-SIFT算法,融合光照和彩色信息的Harris-SIFT算法由于匹配前先采用Harris算法检测出角点,同时去除一些特征表现不好的点,从而为后边SIFT算法减少匹配阶段的计算量,进而提高系统的实时性。所以虽然增加了补偿量的计算,但并没有让系统的实时性变差,而且略有提升。

图 5. Harris-SIFT算法匹配结果。(a)图3中(a)(b)匹配;(b)图3中(c)(d)匹配;(c)图3中(e)(f)匹配

Fig. 5. Image matching results for Harris-SIFT algorithm. (a) Matching of Figs. 3 (a) and (b); (b) matching of Figs. 3(c) and (d); (c) matching of Figs. 3(e) and (f)

下载图片 查看所有图片

2) 融合光照和彩色信息的Harris-SIFT算法,由于在灰度化之前增加了彩色和光照补偿量,解决了灰度化之后对原图像彩色信息表征不明显的问题,能够充分反映原彩色图像的结构,使得特征集合性较为显著,提高了正确匹配率。

5 结论

针对传统的Harris-SIFT图像匹配算法灰度化之后不能很好地表征原彩色图像信息,提出一种融合光照和彩色信息的Harris-SIFT图像快速匹配方法。该方法首先在灰度化过程中加入彩色补偿量和光照补偿量,然后采用改进的Harris-SIFT算法进行特征点匹配,最后对3组图像进行特征点匹配实验,结果表明相较于之前的Harris-SIFT算法,融合光照和彩色信息的Harris-SIFT算法在不影响实时性的情况下,准确率要优于传统的Harris-SIFT图像匹配算法。