1 引言

叠栅条纹图像常被用于角度、长度、位移等物理量的精密测量^[1-2]。由于光学成像系统的低通特性和图像采集设备性能的局限性,通常得到的叠栅条纹图像质量往往低于预期,进而限制测量精度的提高^[3-5]。采用超分辨率方法处理叠栅条纹图像,能够在不改变硬件性能的条件下提高图像分辨率,进而减小后续工作的测量误差。超分辨率技术借助图像处理方法,由低分辨率图像获得高分辨率图像^[6-7]。基于学习的单帧图像超分辨率方法利用机器学习的方法获取训练样本集里对应的高、低分辨率图像之间的映射关系,并将该映射关系作为先验知识,用于预测待处理的低分辨率图像中缺失的高频信息^[8-11]。近几年,随着稀疏表达理论的发展,学者们将基于学习的超分辨率方法与稀疏表达相结合^[12-14],提升了图像重建质量。但是,由于该类算法中的先验知识来自外部训练样本集,一旦训练样本与待处理图像相关性不足,容易造成先验知识错误,影响图像重建结果。针对这个问题,学者们提出从待处理低分辨率图像本身出发,挖掘自然图像中普遍存在的相同尺度和不同尺度之间的相似性,进而完成图像的超分辨率重建^[15-18]。文献[ 15-16]利用图像不同尺度间的相似性,分别结合高频字典和图像金字塔,完成超分辨率重建。文献[ 17]结合图像非局部自相似性,提出了新的稀疏编码方式。2011年,Freedman等^[18]基于图像的自相似性,提出了一种不依赖外界图像的单帧图像超分辨率算法,该算法从待处理低分辨率图像自身获取训练样本,获得了较好的重建效果。但是,单帧图像超分辨率方法往往需要对图像采取块操作,容易在重建图像中引起块效应。本文以文献[ 18]算法为基础,提出一种适用于叠栅条纹图像的超分辨率方法。该算法从待处理的低分辨率图像出发,经过插值和块匹配搜索,得到高、低分辨率图像块对作为训练样本库,进而提取超分辨率需要的先验知识,完成图像的超分辨率重建。为了避免块效应降低重建图像的质量,又提出了一种消除块效应的图像后处理算法。结果表明,该算法不仅能够提高图像分辨率,还能消除人眼可见的块效应,所得到的重建图像的主、客观质量都有所改善。

2 原理与算法

2.1 基于频域滤波和奇异值阈值化的图像预处理

采集叠栅条纹时,光栅像常混杂在叠栅条纹图像中,令叠栅条纹难以分辨。首先需要对图像进行预处理,去除条纹图像中的光栅像。光栅像的条纹宽度小于叠栅条纹的条纹宽度,在滤除光栅像时,最直接的方法是对图像做低通滤波处理。然而,由于二者条纹宽度的差值较小,单纯的低通滤波虽然能滤除大部分光栅像,同时会对叠栅条纹造成影响,导致叠栅条纹整体亮度升高,条纹对比度降低。为解决这个问题,在预处理中引入奇异值分解。

奇异值分解是一种适用于任意矩阵的分解方法,其目的是提取矩阵的重要特征。对图像A ∈R^m×n做奇异值分解,得到:

A=UΣ000VT=∑i=1rσiuiviT,(1)

式中r为矩阵A的秩;U为m×m维正交矩阵,其列向量u_i(i=1,2,3,…,m)称为左奇异向量;V为n×n维正交矩阵,其列向量v_j(j=1,2,3,…,n)称为右奇异向量;Σ=diag(σ₁,σ₂,σ₃,…,σ_r),σ₁≥σ₂≥σ₃≥…≥σ_r≥0,其中σ_i(i=1,2,3,…,r)为矩阵A的奇异值。(1)式明确了奇异值分解的物理意义,即奇异值分解是将矩阵A分解成一系列秩—矩阵之和,而奇异值则代表着这些秩—矩阵在构成矩阵A时所占的权重。当A代表受噪声污染的图像时,A的较大的奇异值对应图像中的有用信息,而较小的奇异值对应图像中的噪声。矩阵A可以表示为

A=A~+N,(2)

式中 A~为不含噪声的理想图像,N为噪声图像。对不含噪图像的最优估计可以通过奇异值的阈值化实现:设定最佳的阈值τ,则对A的奇异值进行阈值化结果为

σ'k=σk,σk>τ0,σk≤τ,(3)

得到新的奇异值矩阵Σ_τ=diag(σ'₁,σ'₂,σ'₃,…,σ'_r),则不含噪图像 A~的估计值可表示为

A~=UΣτ000VT。(4)

对低通滤波后的条纹图像做奇异值分解,经过奇异值阈值化处理后,利用(4)式重构条纹图像,不仅滤除了剩余的一部分光栅像和其他噪声,而且能增强条纹对比度,使其满足后续处理的要求。

2.2 基于图像自相似性的超分辨率方法

基于自相似性的超分辨率方法是对传统的基于学习的超分辨率方法的发展,此算法不需要借助外界图像库来训练高、低分辨率图像之间的映射关系,而是从图像自身获取训练样本库。该算法避免了由于训练样本与待处理低分辨率图像相关性不足导致的映射关系出错和重建图像失真,其优势是显而易见的。Freedman等^[18]提出,当图像以较小倍数放大时,原始图像中的每个图像块都能够在放大后的图像中找到相似块。基于该理论,本方法将原始低分辨率图像与放大后的初始高分辨率图像中的每组图像块对作为训练样本库,从中获取映射关系,用于指导超分辨率图像重建。

叠栅条纹图像与其他复杂自然图像不同,没有明确的边缘或角点,高频信息较少。因此,在重建叠栅条纹图像时,高、低分辨率图像之间的映射关系与其他图像也有所不同,不是图像中缺失的高频信息,而是高分辨率图像中新增像素点的灰度值。

本文方法利用块匹配搜索方法获取高分辨率图像新增像素与原始低分辨率图像像素灰度值之间的关系。假设原始低分辨率图像I尺寸为m pixel×n pixel,最终超分辨率重建结果I_h尺寸为2m pixel×2n pixel,即图像放大系数为2。块匹配之前,首先对原始低分辨率图像I插值放大,得到初始高分辨率图像I'_h,I'_h与最终超分辨率重建结果I_h尺寸相同。在块匹配搜索过程中,将I'_h分块,对每一个初始高分辨率图像块P,按照差值平方和(SSD)最小准则,在I中的对应搜索区域中寻找该块的低分辨率最优匹配块P'。最后,利用低分辨率匹配块P'替代初始高分辨率图像块P,遍历I'_h中所有图像块,得到最终超分辨率重建结果I_h,算法模型如图1所示。不同尺度的叠栅条纹图像局部自相似性非常高,保证了I'_h中每个图像块P都能在I中对应区域找到最佳匹配块P';叠栅条纹灰度值平滑,在一定程度上保证了低分辨率图像和最终超分辨率重建结果在较小的区域内灰度值的一致性。该算法将原始低分辨率图像尺寸放大,但是仍然保持了原始低分辨率图像的细节,其效果等同于将I'_h的像素按缩小系数1/2缩小,完成了对图像中像素的细分,提高了图像的分辨率。同时,重建图像中像素的灰度值全部来自原低分辨率图像,避免了单纯插值放大引起的插值错误。

图 1. 基于自相似的超分辨率算法模型

Fig. 1. Model of super-resolution algorithm based on self-similarity

下载图片 查看所有图片

本方法可描述如下:

输入:预处理后低分辨率叠栅条纹图像I;

输出:高分辨率叠栅条纹图像I_h。

1) 将I插值放大2倍,得到初始高分辨率图像I'_h;

2) 将I'_h重叠分成尺寸为4 pixel×4 pixel的图像块;

3) 对于当前的初始高分辨率图像块P,定义P左上方顶点像素为p,假设p在I'_h中的位置为(x_h,y_h),计算像素p的对应像素q在I中的位置(x_h/2,y_h/2),利用像素q的位置在I中定义最优匹配块的搜索区域Q,图2阐明了Q的选取方法,Q的选取随着当前初始高分辨率图像块P的右移而变化;

4) 在搜索区域Q中按照SSD最小准则,搜索图像块P的低分辨率最优匹配块P',并用P'替换图像块P,图像块P和P'之间的S_SD值计算方法为

图 2. 块匹配搜索区域Q示意图

Fig. 2. Schematic of searching area Q for block matching

下载图片 查看所有图片

SSD(P,P')=∑i=14∑j=14[v(i,j)-u(i,j)]24×4,(5)

式中v(i,j)和u(i,j)分别为图像块P和P'在位置(i,j)处的像素灰度值;

5) 重复步骤3)和4),直到完成I'_h中所有图像块的处理,得到最终重构结果I_h。

2.3 去块效应后处理

基于块匹配操作的图像处理方法常采用欧氏距离作为匹配块的判定准则,忽视图像块的结构特征。因此,重构图像存在不同程度的块效应。文献[ 19-20]指出,块效应可见度受图像空间活动性和背景亮度的影响,在复杂的自然图像中或背景亮度大的区域,块效应并不明显。叠栅条纹图像结构简单,灰度值变化平滑,其中的块效应在亮、暗条纹边界处比较明显,大致表现为相邻图像块边界像素灰度值的突变。本文去块后处理算法是从左到右,从上到下两次遍历图像,分别完成水平和竖直方向的去块操作。由于两次遍历计算流程相似,因此只对从左到右的遍历过程做详细说明。

在对尺寸为m pixel×n pixel的图像从左到右遍历过程中,为了避免冗余计算,首先判断当前图像块与邻块之间是否存在块效应,设定阈值δ,如果满足下述条件:

∑i=1hs[(β-1)×h+i,α×h-(β-1)×n]-s[(β-1)×h+i,α×h-(β-1)×n+1]≥δ,(6)

则,判定当前图像块与相邻块之间存在块效应,式中s[(β-1)×h+i,α×h-(β-1)×n](i=1,2,3,…,h)为当前图像块边缘处像素灰度值;s[(β-1)×h+i,α×h-(β-1)×n+1](i=1,2,3,…,h)为右相邻块边缘处像素灰度值,h为块效应尺寸参数;α为当前图像块序号,β为对(α×h)/n向上取整的结果。

对存在块效应的图像块和相邻块,两图像块边缘处的像素灰度值计算方法为

s[(β-1)×h+i,α×h-(β-1)×n+1]=s[(β-1)×h+i,α×h-(β-1)×n+1]+υs[(β-1)×h+i,α×h-(β-1)×n+2]=s[(β-1)×h+i,α×h-(β-1)×n+2]+2×υs[(β-1)×h+i,α×h-(β-1)×n]=s[(β-1)×h+i,α×h-(β-1)×n]-υs[(β-1)×h+i,α×h-(β-1)×n-1]=s[(β-1)×h+i,α×h-(β-1)×n-1]-2×υ,(7)

式中υ={s[(β-1)×h+i,α×h-(β-1)×n-2]-s[(β-1)×h+i,α×h-(β-1)×n+3]}/5,(i=1,2,3,…,h)。

2.4 算法流程图

图 3. 超分辨率算法流程图

Fig. 3. Flow chart of super-resolution algorithm

下载图片 查看所有图片

图 4. 去块效应算法流程图

Fig. 4. Flow chart of debocking algorithm

下载图片 查看所有图片

将本文完整算法分为重建和去块两个部分,两个部分的流程图分别如图3和图4所示,其中去块部分两次图像遍历流程相似,因此流程图中只体现从左到右的计算过程。

3 结果与讨论

为验证本文提出的超分辨率算法和去块后处理方法的有效性,将采用本文完整算法得到的叠栅条纹与单帧图像的POCS算法、Freedman算法、只利用本文超分辨率算法处理的结果从主、客观两方面进行比较。用于实验的原始图像为用CCD阵列采集的叠栅条纹图像,尺寸为255 pixel×255 pixel;算法中各参数取值为:τ=100,δ=20,h=8。基于插值的超分辨率方法会引入插值错误,不利于后续测量工作精度的提高。因此,实验中不对插值法与其他算法得到的结果进行比较。同时,由于单帧图像的POCS算法、Freedman算法结果中块效应的具体表现形式与本文超分辨率算法结果中的块效应并不完全相同,本文提出的去块后处理算法并不适用于这两种算法,因此也不对这3种算法的去块结果进行比较。

3.1 主观效果对比

在对图像进行超分辨率重建之前,首先对图像进行预处理,然后分别利用4种算法处理。为使图像细节中的块效应更加明显,在4种算法结果的相同位置截取图像块进行放大。原始图像与经过预处理的图像如图5和图6所示。各算法结果及细节放大主观效果对比如图7~10所示,图中(a)~(d)分别对应POCS算法、Freedman算法、本文提出的超分辨率算法和由本文提出的超分辨率算法和去块后处理算法组成的完整算法(integral算法)结果。可以看出,POCS算法、Freedman算法和本文提出的单纯的超分辨率算法结果都存在不同程度的块效应;其中POCS算法结果对比度较低,Freedman算法结果在暗条纹边缘处阶梯效应明显。本文完整算法处理结果与其他算法相比,去块效果良好。

图 5. 条纹1原始与经过预处理的图像

Fig. 5. Original and preprocessed images of moiré fringe 1

下载图片 查看所有图片

图 6. 条纹2原始与经过预处理的图像

Fig. 6. Original and preprocessed images of moiré fringe 2

下载图片 查看所有图片

图 7. 重建条纹1主观效果比较。(a) POCS算法;(b) Freedman算法;(c)超分辨率算法;(d)完整算法

Fig. 7. Subjective effect comparison of reconstructed moiré fringe 1. (a) POCS algorithm; (b) Freedman algorithm; (c) super-resolution algorithm; (d) integral algorithm

下载图片 查看所有图片

图 8. 条纹1细节放大对比。(a) POCS算法;(b) Freedman算法;(c)超分辨率算法;(d)完整算法

Fig. 8. Enlarged detail comparison of moiré fringe 1. (a) POCS algorithm; (b) Freedman algorithm; (c) super-resolution algorithm; (d) integral algorithm

下载图片 查看所有图片

3.2 客观指标对比

由于实验采用的两幅图像没有高分辨率参考图像,为了对算法结果进行定量评价,本节采用无参考图像质量评价指标,选取BRISQUE^[21]、NIQE^[22]、DIIVINE^[23]等评价算法,分别从空域和小波域角度评价图像质量。这3种指标的数值越小,表示被测试图像的质量越高,结果如表1~2所示。

图 9. 重建条纹2主观效果比较。(a) POCS算法;(b) Freedman算法;(c)超分辨率算法;(d)完整算法

Fig. 9. Subjective effect comparison of reconstructed moiré fringe 2. (a) POCS algorithm; (b) Freedman algorithm; (c) super-resolution algorithm; (d) integral algorithm

下载图片 查看所有图片

图 10. 条纹2细节放大对比。(a) POCS算法;(b) Freedman算法;(c)超分辨率算法;(d)完整算法

Fig. 10. Enlarged detail comparison of moiré fringe 2. (a) POCS algorithm; (b) Freedman algorithm; (c) super-resolution algorithm; (d) integral algorithm

下载图片 查看所有图片

由表1和表2的客观指标对比结果可知,本文完整算法的BRISQUE和DIIVINE评价指标均明显优于改进的POCS算法和Freedman算法;在采用NIQE指标评价时,结果比Freedman算法和POCS算法略差,指标差值均在0.1以内,但Freedman算法和POCS算法结果的主观效果比本文完整算法差。综合主观视觉效果与客观指标的比较结果可知,本文完整算法在处理叠栅条纹图像时具有显著优势。

4 结论

提出了基于超分辨率的叠栅条纹图像处理算法,既充分结合了叠栅条纹图像结构相似性高的特点,又考虑了对图像进行块操作引起的块效应。结果表明,利用本文算法处理的叠栅条纹图像,无论在主观效果,还是在客观指标方面都表现良好,体现出比同类传统算法更为优越的性能。然而,目前存在的无参考图像质量评价算法主要适用于自然图像评价,对叠栅条纹图像的评价结果并不理想。因此,下一步研究的重点是获得能更加准确地评价叠栅条纹图像质量的算法。