激光与光电子学进展, 2023, 60 (22): 2210001, 网络出版: 2023-11-03   

融合图像灰度比值的离焦图像自动判别分离方法

Automatic Discrimination and Separation Method for Defocused Images Based on Image Gray Ratio
作者单位
1 合肥工业大学计算机与信息学院,安徽 合肥 230601
2 安徽建筑大学电子与信息工程学院,安徽 合肥 230601
摘要
利用图像离焦线索生成对应深度图像的方法因其快速、方便目前被广泛使用,但是离焦图像在离焦程度过高或过低时通常会丢失图像的深度信息,导致生成的深度图像不符合实际使用要求,因此需要对这些图像进行判别分离,但现有方法对不同场景的离焦图像模糊程度判别精度不足,缺乏统一标准,无法有效对离焦图像进行判别分离处理。针对此问题,提出一种融合图像灰度比值的离焦图像自动判别方法,首先,通过分析并利用离焦图像不同区域的梯度特征、频域特征,对图像模糊区域和清晰区域进行有效区分。其次,融合上述特征图像获取融合图像,因离焦图像的模糊区域和清晰区域离焦程度相差较大,表现在融合图像中两部分灰度值对比明显,因此利用融合图像两部分灰度平均值的比值作为判断离焦程度的衡量标准,当离焦图像该比值超出设定的阈值标准时,则认为该图像不满足深度图像生成条件,该图像将自动进行分离。最后,对比现有清晰度评价函数与本文方法对相同场景与不同场景、不同离焦模糊图像进行模糊程度的判别结果,发现所提方法可以较为准确快速地判别相同及不同场景下离焦图像模糊程度,有效分离不符合条件的离焦图像,提高深度图像的生成效率。
Abstract
Image defocus clues are widely used for generating corresponding depth images because of their speed and convenience. However, when the defocus degree of the defocused image is exceptionally high or low, the depth information of the image is often lost, making the generated depth images unable to satisfy the actual user requirements. It is necessary to distinguish and separate these images. However, existing methods are not sufficiently accurate for distinguishing the blur degree of the defocused images in different scenes, and lack the unified standards. Hence, they cannot distinguish and separate the defocused image effectively. In this study, an automatic discrimination method for the defocused image based on the image gray ratio is proposed to solve this problem. First, by analyzing and using the gradient and frequency-domain features of different regions of the out-of-focus image, it can effectively distinguish the blurred and clear areas of the image. Second, the feature images are fused to obtain a fusion image. Because the defocus degrees of the blurred and clear regions of the out-of-focus image are somewhat different, the contrast between the gray values of the two parts in the fusion image is evident. The ratio is used as a criterion to assess the degree of defocusing. When the ratio of the defocused image exceeds the set threshold standard, the image does not satisfy the depth image generation conditions, and separation is performed automatically. Finally, by comparing the existing definition evaluation function with the results obtained using the proposed method for discriminating the degrees of blurring of different defocused blurred images in the same and different scenes, the proposed method can more accurately and rapidly distinguish the degrees of blurring of defocused images in the same and different scenes, effectively separate the unqualified defocused images, and improve the generation efficiency of depth images.

1 引言

日常生活中,人为对焦或相机成像区域内存在不同景深的目标时,通常会出现图像的离焦现象,这广泛出现在静态成像和动态视频中。图像包含的深度信息会随着图像离焦程度的改变而发生变化,因此较为精确快速地估计图像离焦模糊程度对图像质量评价、图像自动调焦及离焦深度图像生成有着较为重要的现实意义。离焦模糊图像的判别方法主要分为离焦模糊估计法和清晰度评价函数法。离焦模糊估计法通常是沿着离焦图像边缘估计未知的离焦模糊量,并将获得的稀疏离焦模糊图通过插值的方法传播到整幅图像上,或利用局部图像补丁直接生成密集的模糊地图,不需要任何传播方法。Pentland1是最先进行离焦模糊估计研究的学者之一,其将陡峭的边缘与点扩散函数(PSF)卷积来模拟模糊边缘,然后计算边缘的强度变化来计算PSF的高斯模糊核用以估计离焦模糊量。Bae等2提出通过估计图像边缘位置两侧三阶导数的零交叉点之间的距离,来估计出空间变化的离焦模糊,再利用Levin3方法将离焦模糊传播至整幅图像来实现图像离焦放大和重聚焦的效果。范海菊等4、冯云芝等5对模糊图像进行局部熵滤波提取图像阶跃边缘模糊区域,并分别与直方图统计及参数校正方法相结合精确估计离焦图像模糊半径,提高了模糊半径的识别精度与效率,为模糊图像复原提供了较为精确的退化函数。Zhuo等6对原始图像进行再模糊,并用原图与再模糊图像之间的梯度幅度比来估计边缘点的局部模糊量,利用双边滤波器平滑稀疏离焦模糊图,并使用拉普拉斯抠图将局部离焦模糊扩展至全图。D'Andrès等7将离焦模糊估计问题建模为图像标记。更具体地说,其提出使用机器学习方法用离散的离焦模糊标度标记每个图像像素,该方法为估计的散焦图提供了全局一致性。离焦模糊估计法可以较为精准地估计离焦模糊量,可以判别同一场景不同离焦图像模糊程度,同时该方法得出的离焦模糊图可以广泛应用于深度估计、重聚焦、模糊放大等相关领域8-12,但计算量大实时性较差,同时对不同场景下的离焦图像模糊判别与评价较为困难。清晰度评价函数常利用离焦模糊图像某一方面特征,对模糊图像进行清晰度判断,主要包含有梯度类、频域类、信息熵类等函数13-15,其中梯度函数包括Roberts、能量梯度函数(EOG)、Laplace等评价函数,该类方法计算简单、实现方便、应用广泛、但抗噪声性能差且易受光照条件和背景干扰;频域类函数包括离散余弦变换(DFT)、离散傅里叶变换(DCT)评价函数,该类方法灵敏度较高,但计算量大、实时性较差,不利于高速系统的实现,信息熵类函数主要为Entropy评价函数,该类方法适用于对比度明显的图片,但易受环境干扰,灵敏度低。近年来,众多研究对上述评价函数进行改进,林莹等16提出一种基于形态学梯度的灰度图像清晰度评价算法,通过形态学结构元素计算灰度图像的梯度信息,将梯度信息叠加后得到图像的形态学梯度边缘,利用其信息作为图像清晰度评价的测度。崔光茫等17利用多尺度分解工具对图像进行低频图像和高频图像的分解,从而形成若干个子带图像,再采用灰度梯度绝对值算子对图像的清晰度进行定量评价。Liu等18采用小波变换将图像划分出多个子带图像,再利用卷积神经网络对各子带图像的质量进行评价,最终将信息熵作为各子带图像质量评价值的权重并对所有子带图像进行加权平均,从而得到整体图像质量的评价值。清晰度评价函数及其改进方法计算简单快速,实时性相对较高,但大多突出图像某一特征函数,适用性不够广泛,同时没有考虑场景的随机性和多样性,不能兼顾灵敏度和调焦范围,对不同场景离焦图像模糊程度无法准确判断。为了能够准确快速评价不同场景下大量模糊图像的离焦程度,通过分析离焦图像不同区域的梯度特征和频域特征,本文提出一种计算融合图像模糊区域与清晰区域灰度值比值的离焦图像自动判别分离方法,通过实验证明,该方法可以快速有效评价相同及不同场景下不同图像的模糊程度,有效分离不满足深度图生成条件的离焦图像,提高了单幅离焦深度图像的生成效率。

2 离焦模糊量与图像深度信息关系

目标与相机透镜焦平面不重合导致图像产生离焦效果,目标距离焦平面越远则图像离焦程度越高,因为离焦图像数量多、场景多样、成本小,利用图像离焦线索生成图像深度信息现已被广泛运用。相机透镜的离焦和聚焦模型,如图1所示,其中,OO′为距离相机透镜不同位置处的目标,其中O在透镜的焦平面上,f0为透镜的焦距,d为物距,也就是需要求出的深度信息,df为焦平面到透镜距离,C为模糊圈直径。

图 1. 透镜离焦和聚焦模型

Fig. 1. Lens defocus and focusing model

下载图片 查看所有图片

目前已知相机的光圈数N等于镜头焦距f0和镜头有效口径直径l的比值,N可表示为

N=f0/l

同时相机物距倒数和像距倒数的和等于镜头焦距的倒数,可得

1/df+1/V=1/f0

式(1)式(2)可以推导出VV可表示为

V=dff0/df-f0

同理

V1=df0/d-f0

图1可知,ΔABQ~ΔDEQ,可得

C/l=V-V1/V1C=f0(d-df)d(df-f0)l=f02(d-df)d(df-f0)N

考虑到模糊点也有可能在焦平面的右侧,则式(6)可进一步表示为

C=d-dfdf02(df-f0)N

式(7)中焦平面到透镜距离df和焦距f0为定值,因此模糊圈直径C随着物距d(即图像的深度信息)和光圈值N发生变化,光圈值在图像采集时不变,故只需计算出模糊圈直径C即可求出图像相对深度信息。

离焦模糊过程可以看成是清晰图像和PSF卷积的过程19-20,具体可表示为

fb(x,y)=fc(x,y)*g(x,y,σ)

式中:σ为标准差;*为卷积运算。PSF可近似由高斯函数表示为

g(x,y,σ)=12πσ2exp-x2+y2σ2

式(8)可知,离焦模糊过程可以看成是清晰图像和PSF卷积的过程,其中σC成正比,即σ=kC21,因此只要求出σ便可以获得图像中相对深度信息。而σ的大小反映图像离焦程度的大小,当目标距离焦平面逐渐变大时,σ也随着逐渐变大,则图像离焦模糊程度也变高,图像梯度减小,细节信息被覆盖。

引用文献[22]的方法,通过定义频谱对比度B(i)来估计σB(i)可表示为像素与相邻像素之间频谱振幅差的距离,具体定义为

B(i)=lgFb(i)-1NjΩ(i)lgFb(j)

式中:Fb(i)fb(x,y)的频域变换;Ω(i)为像素点i的邻域区间。

式(8)代入式(10),得

B(i)=lgFc(u,v)Gu,v,σ(i)+σ1-1NjΩ(i)lgFc(u,v)Gu,v,σ(j)+σ1

式中:Fcfc的频域变换;Gg的频域变化;uv为经过频域变化后的频域采样值;σ1为用于去除图像高频模糊纹理的小核高斯滤波器的标准差。通过统计数学的非线性回归分析,得到σ(i)B(i)之间的数学联系为

σ(i)=1expB(i)-σ12

因此利用此方法可以生成离焦图像对应的深度图像,图2为原图与生成的深度图像,其中图2(a)、图2(b)、图2(c)为输入单幅离焦图像和运用本方法生成的相对深度图,图2(d)为RGB-D数据库中实拍深度图,利用离焦线索可以较好计算出图像深度信息。

图 2. 原图与对应深度图。(a)~(c)利用离焦线索生成深度图;(d)来自RGB-D数据库深度图

Fig. 2. Original drawing and corresponding depth drawing. (a)‒(c) Generation of depth maps using defocus cues; (d) depth maps from RGB-D database

下载图片 查看所有图片

但在利用图像离焦线索生成深度图的过程中发现部分离焦程度过大或过小模糊图像无法生成有效的深度图像,图3为同一场景下3种不同离焦程度图生成的深度图像,通过与真实深度图像对比发现,输入的单幅图片离焦程度过高或过低,会导致生成深度图像前景部分与背景部分离焦模糊程度差距过大或过小,无法反映实际场景深度信息,进而无法生成理想深度图像,将离焦程度过高和过低的单幅图像分别称为过离焦图像和欠离焦图像。

图 3. 同一场景下不同离焦图像及对应深度图像。(a)欠离焦;(b)正常离焦;(c)过离焦;(d)RGB-D图

Fig. 3. Different defocused images and corresponding depth images in the same scene. (a) Under defocusing; (b) normal defocusing; (c) over defocusing; (d) RGB-D diagram

下载图片 查看所有图片

因此有效检测图像离焦模糊程度,并根据检测结果判别并分离单幅离焦图像中过离焦和欠离焦图像,是有效生成单幅离焦深度图的一个关键问题。通过分析离焦图像清晰区域和模糊区域的梯度特征和频域特征的不同,提出一种利用这两部分特征差异判别并分离单幅离焦图像中过离焦图像和欠离焦图像的方法,为生成满足需求的有效深度图像打下基础。

3 离焦图像特征分析与离焦模糊度判别方法

3.1 离焦图像梯度与频域特征分析

由2节分析可知,图像离焦模糊程度与图像梯度大小之间有着紧密的关联,在一幅包含模糊区域和清晰区域离焦图像中可以看到,模糊区域的部分很少有尖锐的边缘,而清晰区域边缘信息明显,因此模糊区域和清晰区域在梯度分布特性上有着明显的区别。图4为图像中清晰块和模糊块的梯度特性对比图。由图4可知,离焦模糊过程扩大了自然图像边缘的梯度分布,因而降低了清晰区域内的梯度值,使得模糊区域的梯度值明显小于清晰区域梯度值。以11×11的窗口块滑动扫描离焦图像,分别计算窗口块内部的梯度值,将窗口块内部的梯度值取均值作为中心点处的梯度值,最后通过比较处理后图像的灰度值就可以初步确定图像中模糊区域和清晰区域,因此将梯度特征作为判别离焦图像清晰区域和模糊区域的一个依据,具体可表示为

图 4. 离焦区域与聚焦区域梯度信息对比图。(a)离焦图像清晰区域与模糊区域示意图;(b)清晰区域与模糊区域梯度对比曲线图

Fig. 4. Comparison of gradient information between defocus area and focus area. (a) Schematic diagram of clear area and blurred area of defocus image; (b) gradient comparison curves of clear area and blurred area

下载图片 查看所有图片

f1=GradientI(x,y)

同时自然图像的梯度分布一般满足重尾分布,除了在零点附近满足尖峰特征以外,图像的梯度分布在梯度值较大时还满足拖尾性,拖尾性中包含着更多图像细节信息,且对焦清晰区域细节信息要远多于离焦模糊区域图像细节信息,因此可将拖尾特征作为区分图像清晰区域与模糊区域的另一依据,为表征图像梯度拖尾特征,用2个标准差不同的高斯模型相叠加来模拟梯度的尖峰特征和拖尾特征23-24。其中标准差较大的高斯函数用于模拟梯度分布的拖尾部分,标准差较小的高斯函数用于模拟梯度分布的尖峰部分。梯度分布可表示为

Bπ1G(Bμ1,σ1)+π2G(Bμ2,σ2)

式中:π1π2为两个高斯函数的权值,二者相加等于1,且均大于0,小于1;μ1μ2分别为2个高斯函数的均值;σ1σ2分别为2个高斯函数的标准差。图5为清晰块和模糊块的梯度分布高斯混合模型示意图,其中图5(a)、图5(c)中的圆点表示梯度大小,实线代表模拟尖峰性的高斯函数,虚线代表模拟拖尾性的高斯函数,从中可以看出代表拖尾性的高斯函数的标准差要远大于代表尖峰性的高斯函数的标准差,由于模拟梯度尖峰性的高斯函数和梯度分布重合度很高,同时由图5(a)、图5(c)可知,模糊块区域中代表梯度拖尾性的高斯函数标准差相较清晰块小很多。因此采用图像梯度拖尾分布的标准差作为判别离焦图像的清晰区域和模糊区域的另一个重要依据,以11×11的窗口块滑动扫描离焦图像,分别计算窗口块内部拖尾分布的标准差,将窗口块内部的标准差作为窗口中心点处的值,最后通过比较处理后图像的灰度值大小就能确定图像中模糊区域和清晰区域,具体公式可表示为

f2=max(σ1,σ2)

图 5. 清晰块和模糊块梯度分布高斯混合模型示意图。(a)清晰块;(b)输入图;(c)模糊块

Fig. 5. Schematic diagrams of Gaussian mixture model with gradient distribution of clear patch and blurred patch. (a) Clear patch; (b) input; (c) blurred patch

下载图片 查看所有图片

此外,图像的梯度变化在频域中反映非常强烈,图像的频谱直观地表示了图像梯度变化2224-25,图像梯度变化大的部分在频域中分布在高频部分,图像平缓区域在频域中分布在低频部分,为进一步表现离焦模糊对图像在频域内的影响,对比了清晰图像和与之对应的离焦模糊图像的频谱图。离焦模糊过程可以看成清晰图像和PSF卷积的过程,图6为采用式(8)离焦模糊前后图像的频谱示意图,其中,图6(a)为原始自然图像,图6(b)为图6(a)对应的频谱图像,图6(c)为图6(a)经过PSF离焦模糊化后的图像,图6(d)为图6(c)对应的频谱图像。由图6可知,自然清晰图像的频谱分布较为分散,从高频部分到低频部分均有较多分布,而离焦模糊图像的频谱更多集中在低频部分,也就是说自然图像经过离焦模糊过程会导致高频成分快速衰减,使得图像模糊区域的频谱衰减比清晰区域的频谱衰减快得多。

图 6. 离焦模糊前后图像频谱示意图。(a)原始图像;(b)原始图像频谱图;(c)原始图像离焦模糊图;(d)离焦模糊图像频谱图

Fig. 6. Schematic diagrams of image spectra before and after defocus blur. (a) Original image; (b) spectra of the original image; (c) defocus blur of the original image; (d) spectra of image after defocus blur

下载图片 查看所有图片

由上述分析可知,离焦模糊区域频谱主要分布在低频部分,而对焦清晰区域频谱分布则较为广泛。因此,将功率谱密度直接相加作为判别图像清晰区域和模糊区域的另一依据,以11×11的窗口块滑动扫描离焦图像,分别计算窗口块内部的功率谱密度和,将窗口内部的功率谱密度之和作为窗口中心点处的值,最后通过比较处理后图像的灰度值大小就可以确定图像中模糊区域和清晰区域,具体可表示为

f3=wJ(w)

式中:J(w)为某一图像块的功率谱密度。

图7为利用上述图像特征对图片的离焦模糊区域和对焦清晰区域分离结果,其中图7(a)为输入原始图像,图7(b)为梯度尖峰特征分离结果,图7(c)为梯度拖尾特性分离结果,图7(d)为频域特征分离结果,从最上面一排往下分别为欠离焦、正常离焦、过离焦图片及其特征图。由图7可知,不同场景下不同特征图像分离模糊区域与离焦区域效果不一致;随着离焦程度不断增加,特征图像前景区域与背景区域对比度逐渐增加;且3种特征分离图中,离焦模糊区域的灰度值都要远小于对焦清晰区域的灰度值,因此可以利用这些规律对图像中模糊区域和清晰区域进行有效区分。

图 7. 不同离焦程度图片中离焦与清晰区域分离结果图。(a)原始输入;(b)梯度尖峰特征分离结果;(c)梯度拖尾特征分离结果;(d)图像频域特征分离结果

Fig. 7. Results of defocusing and clear area separation in pictures with different defocusing degrees. (a) Original input; (b) gradient spike feature separation result; (c) gradient tail feature separation result; (d) image frequency domain feature separation result

下载图片 查看所有图片

3.2 融合图像灰度比值的离焦图像判别方法

由上述规律可知,当场景发生变化时,不同特征在分离模糊区域与清晰区域时的效果不同,不同场景下3种特征都有可能发挥出最优效果,为了更大程度发挥图像梯度特征和频域特征在判别离焦模糊上的作用,本小节将上述图像特征进行融合处理,将这3种特征分别赋予不同的权值得到融合函数f,作为离焦图像的判断模型,具体可表示为

f=ω1f1+ω2f2+ω3f3

式中:ω1+ω2+ω3=1

由3.1节可知,随着离焦程度越来越大,特征图像中分离的模糊区域与清晰区域灰度值对比度也越来越大,二者的比值越来越小,因此考虑通过计算权值区间内模糊区域的灰度值的均值fBlur(x,y)和清晰区域的灰度值的均值fClear(x,y)的比值T0作为检测评价图像离焦程度的指标,具体可表示为

T0=fBlur(x,y)fClear(x,y)

式(17)中的权值在不同取值下得到的融合图像对清晰区域与模糊区域划分的准确度有着不同的影响,计算得到的T0也会随之变化,而划分越准确说明融合方法权值选择最合理有效,可以有效分离出模糊区域与清晰区域,计算所得的T0可靠性也就越强。项目9网站中包含着离焦图像与其清晰区域及模糊区域划分真值图,取该项目网站中离焦图像作为输入,分别计算f1f2f3,利用式(17)对权值ω1ω2ω3分别按照步长0.1从0到1进行取值搜索,计算得到每一步长下的融合图像f图8为融合图像与真值图像相似度计算过程图,其中图8(a)、图8(b)为项目网站中提供的离焦图像和对应的真值图像,利用大津阈值法26将不同权值下的融合图像转换为二值图像并与真值图像进行相似度比较,将其作为本文方法划分模糊区域与清晰区域的准确性依据,图8(c)为该图像不同权值下的融合图像与真值图像相似度。由图8可知,不同取值条件下融合图像与真值图像相似度是动态变化的。

图 8. 融合图像与真值图像相似度计算过程图。(a)离焦图像;(b)真值图像;(c)融合与真值图像相似度图

Fig. 8. Calculation process of similarity between fused image and truth image. (a) Defocused image; (b) ground-truth image; (c) similarity of fused and ground-truth image

下载图片 查看所有图片

同时计算不同相似度下T0的大小,图9为部分不同相似度二值图及T0在不同相似度下的变化图。由图9可知,在相似度较小即清晰区域与模糊区域划分准确度较低时,T0较大且变化很小,此时融合图像清晰区域灰度值与模糊区域灰度值相差较小,无法有效分离清晰区域与模糊区域,计算所得的指标值偏大。当相似度较大尤其相似度大于80%时,融合图像清晰区域与模糊区域灰度值相差较大,计算所得指标值快速变小,可以有效分离模糊区域与清晰区域。因此为提高利用指标计算评价模糊度的准确性,需确定相似度较大时的权值区间以达到有效划分模糊区域与清晰区域融合图像的目的。

图 9. 不同相似度二值图及指标值与不同相似度关系图。(a)~(c)相似度渐增的二值图像;(d)指标T0与相似度关系图

Fig. 9. Binary graph with different similarities and relation graph between index value and similarity. (a)‒(c) Binary images with increasing similarity; (d) relationship between index T0 and similarity

下载图片 查看所有图片

为进一步保证所取权值在不同场景下的适用性,计算不同权值区间下来自项目网站的704张离焦图像的融合图像与真值图像相似度高于80%,且大于原图与真值图像相似度的概率,结果如图10所示。其中,纵轴为融合图像与真值图像相似度高于80%且大于原图与真值图像相似度的概率,不同的曲线代表不同ω1取值下的比值随ω2的变化情况,取比值大于0.8的所有区间作为最终权值区间,此区间下融合图像可以很好地将离焦图像的清晰区域和模糊区域分离开来,以保证T0的准确性。

图 10. 不同权值区间下融合图像优于原图比例图

Fig. 10. Probability diagram of fused image better than original image under different weight intervals

下载图片 查看所有图片

在确定权值取值区间之后,为保持指标的稳定性,将所有区间内T0的均值作为本文方法评价判别模糊程度的最终指标T,具体可表示为

T=meanω1ω2fBlur(x,y)fClear(x,y)

融合图像中离焦程度越大的图像区域其灰度值通常越小,而清晰区域的图像灰度值则越大,故图像的灰度大小可以很好反映图像的离焦程度。过离焦图像的模糊区域和清晰区域的离焦程度相差较大,反映在图像中则表现为两区域的灰度值相差较大,同时因欠离焦图像的模糊区域离焦程度较小,在融合图像中两部分的灰度值相差较小,因此过离焦图像的T则会偏小,而欠离焦图像的T则会偏大,计算并统计所有离焦图像下的T并结合主观视觉感受,当T小于0.26时,则认为当前图像为过离焦图像;当T大于0.45时,则认为当前图像为欠离焦图像,在此二者范围内则认为当前图像满足深度图像生成需求。与现有模糊度评价函数相比,该指标值恒定在0~1范围内,在保证模糊度评价准确性的基础上,还适用于不同场景下离焦图像的判别分离。

4 实验验证与结果分析

4.1 相同场景离焦模糊评价准确度分析

为说明本文方法在评价图像离焦模糊程度的准确性,利用文献[2]得到50组离焦程度逐渐增加的相同场景下的模糊图像,图11为其中部分模糊度渐增的离焦图像及对应3.1节中图像特征图,其中第2行为梯度尖峰特征图,第3行为梯度拖尾特性图,第4行为频域特征图。

图 11. 同一场景下模糊度渐增图及对应特征图。(a)~(e)模糊度渐增的离焦图像及其对应图像特征图

Fig. 11. Ambiguity increasing graph and corresponding characteristic graph in the same scene. (a)‒(e) Defocused image with increasing ambiguity and its corresponding image feature map

下载图片 查看所有图片

图11可知,随着图像离焦模糊量逐渐增加,特征图像整体灰度值下降且特征图清晰区域与模糊区域的灰度对比度相差越来越大,因此基于3种特征图像的融合图像的T也会随着离焦模糊量逐渐增加而减小,因此可以利用T对离焦图像模糊程度进行判别,图12(b)为使用本文方法分别计算所得T的结果,并用图像清晰度评价函数中的Roberts梯度评价函数、DCT频域评价函数、entropy信息熵评价函数评价相同场景下图像模糊程度,将函数计算结果归一化处理,结果如图12(a)所示。

图 12. 同一场景下模糊程度评价值。(a)现有评价函数归一化值;(b)本文方法T

Fig. 12. Evaluation values of blurriness degree in the same scene. (a) Normalized value of existing evaluation function (b) T value of this method

下载图片 查看所有图片

通过比较发现,3种清晰度评价函数大体上较为准确地说明了图像离焦程度越来越大的变化过程,但DCT函数在评价模糊度时仍会出现函数值上下波动的不准确情况,Roberts函数并没有检测出刚开始模糊度逐渐增加的过程,反而检测出相反的结果。而运用本文方法计算所得的T随着模糊度逐渐增加而减小,且T的变化范围主要在阈值周边变化,说明本文方法在判别同一场景离焦模糊程度的是准确、有效的。

4.2 不同场景离焦模糊评价有效性分析

为验证本文方法对不同场景离焦图像的有效性,从互联网下载欠离焦图像、正常离焦图像、过离焦图像各50张共计150张离焦图像,分别计算现有清晰度评价函数值与本文方法所提的T,结果如图13所示。由图13(a)~图13(c)可知,不同场景下图像梯度、频谱、信息熵均不同导致无法有效比较不同场景图像的离焦程度,造成现有清晰度评价函数与场景高度相关,无法对不同场景离焦模糊图像进行有效判别。而由图13(d)可知,本文方法将欠离焦、正常离焦、过离焦模糊图像按照阈值有效分离,同时欠离焦、正常离焦、过离焦图像计算的T均在阈值划分范围之内,且标准差分别为0.0393、0.0468、0.0561,表明所提方法与场景无关,可以有效判别分离不同场景离焦图像且其有着较强的稳定性。

图 13. 不同场景下模糊程度评价值。(a)Roberts函数;(b)DCT函数;(c)Entropy函数;(d)本文方法

Fig. 13. Evaluation value of blurriness degree in different scenarios. (a) Roberts function; (b) DCT function; (c) entropy function; (d) proposed method

下载图片 查看所有图片

4.3 离焦模糊图像判别分离结果分析

图14为4.2节所用离焦图片中部分不同离焦程度的图像生成对应深度图像,其中图14(a)~图14(c)为过离焦图片与生成对应深度图像;图14(d)~图14(f)为欠离焦图片与生成对应深度图像;图14(g)~图14(i)为正常离焦图片与生成对应深度图像。其中,过离焦图像生成深度图中,因对清晰区域与离焦模糊区域的离焦程度过大导致两部分深度信息相差太大,不满足实际运用需求,欠离焦图像因离焦清晰区域与离焦模糊区域的离焦差距过小导致深度信息相差太小,也无法满足实际场景运用需求,而正常离焦程度的图像因离焦程度从大到小均有分布,因此生成的深度图像远近有别,很好地反映了图像实际深度信息。

图 14. 原图与对应深度图。(a)~(c)过离焦图像及其生成深度图;(d)~(f)欠离焦图像及其生成深度图;(g)~(i)正常离焦图像及其对应深度图

Fig. 14. Original drawing and corresponding depth drawing. (a)‒(c) Over defocus images and their generated depth maps; (d)‒(f) under defocus images and their generated depth maps; (g)‒(i) normal defocus images and their corresponding depth maps

下载图片 查看所有图片

表1图14对应不同的T。由表1可知,过离焦图像由于模糊区域和清晰区域的离焦程度相差过大,T均小于0.26;欠离焦图像由于模糊区域和清晰区域的离焦程度相差过小,T均大于0.45;而符合深度图像生成条件的离焦图像的T则在二者之间,因此通过计算T可以有效地自动判断并分离出不符合深度图像生成条件的离焦图像,节省人工挑选的精力与时间,提高有效深度图像的生成效率。

表 1. 不同离焦图像的T

Table 1. T value of different defocused images

Figure No.T value
Fig. 14(a)0.2468
Fig. 14(b)0.2592
Fig. 14(c)0.2557
Fig. 14(d)0.5422
Fig. 14(e)0.4857
Fig. 14(f)0.6027
Fig. 14(g)0.3967
Fig. 14(h)0.3612
Fig. 14(i)0.4044

查看所有表

5 结论

利用图像离焦线索生成对应深度图像已经被广泛应用于各种计算机视觉处理中,但是离焦图像中离焦程度过高或过低时通常会丢失图像的深度信息,生成的深度图像不符合实际使用要求,现有方法对不同场景的离焦图像模糊程度判别精度不足,缺乏统一标准,无法有效对离焦图像进行判别分离处理。因此,针对该问题,提出一种融合图像灰度比值的离焦图像自动判别方法,通过分析离焦图像的清晰区域和模糊区域梯度特征、频域特征的不同,有效分离出图像的模糊区域和清晰区域,再根据不同离焦图像的模糊区域和清晰区域离焦程度相差大小不同,提出利用二者灰度比值T作为判断离焦程度的衡量标准,当离焦图像的T超过设定的阈值标准,则认为该图像不满足深度图像生成条件,自动进行分离。通过实验结果分析可知,相比较现有清晰度评价函数,所提方法兼具准确性和稳定性,对相同场景和不同场景离焦模糊图像的评价判别均有着较为准确的效果,可以自动判别分离不符合深度图生成条件的离焦图像,提高有效深度图像的生成效率。

参考文献

[1] Pentland A P. A new sense for depth of field[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 1987, 9(4): 523-531.

[2] Bae S, Durand F. Defocus magnification[J]. Computer Graphics Forum, 2007, 26(3): 571-579.

[3] Levin A, Lischinski D, Weiss Y. A closed-form solution to natural image matting[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2008, 30(2): 228-242.

[4] 范海菊, 冯云芝, 王涛, 等. 离焦模糊图像模糊半径检测的新方法[J]. 计算机应用, 2012, 32(7): 1875-1878.

    Fan H J, Feng Y Z, Wang T, et al. New method of blurred radius detection in defocused image[J]. Journal of Computer Applications, 2012, 32(7): 1875-1878.

[5] 冯云芝, 张俊娜, 冯乃勤. 基于参数校正的离焦图像高斯核估计[J]. 河南师范大学学报(自然科学版), 2013, 41(4): 149-152.

    Feng Y Z, Zhang J N, Feng N Q. Estimating Gaussian kernel of defocused image based on parameter correction method[J]. Journal of Henan Normal University (Natural Science Edition), 2013, 41(4): 149-152.

[6] Zhuo S J, Sim T. Defocus map estimation from a single image[J]. Pattern Recognition, 2011, 44(9): 1852-1858.

[7] D'Andres L, Salvador J, Kochale A, et al. Non-parametric blur map regression for depth of field extension[J]. IEEE Transactions on Image Processing, 2016, 25(4): 1660-1673.

[8] PerschN, SchroersC, SetzerS, et al. Introducing more physics into variational depth-from-defocus[M]∥Jiang X Y, Hornegger J, Koch R. German conference on pattern recognition. Lecture notes in computer science. Cham: Springer, 2014, 8753: 15-27.

[9] TangH X, CohenS, PriceB, et al. Depth from defocus in the wild[C]∥ 2017 IEEE Conference on Computer Vision and Pattern Recognition (CVPR), July 21-26, 2017, Honolulu, HI, USA. New York: IEEE Press, 2017: 4773-4781.

[10] TaiY W, BrownM S. Single image defocus map estimation using local contrast prior[C]∥ 2009 16th IEEE International Conference on Image Processing (ICIP), November 7-10, 2009, Cairo. New York: IEEE Press, 2010: 1797-1800.

[11] Zhu X, Cohen S, Schiller S, et al. Estimating spatially varying defocus blur from a single image[J]. IEEE Transactions on Image Processing, 2013, 22(12): 4879-4891.

[12] 斯捷, 肖雄, 李泾, 等. 基于生成对抗网络的多幅离焦图像超分辨率重建算法[J]. 计算机工程, 2021, 47(9): 266-273.

    Si J, Xiao X, Li J, et al. Super-resolution reconstruction algorithm with multi-frame defocused images based on generative adversarial network[J]. Computer Engineering, 2021, 47(9): 266-273.

[13] 李洪宇, 杨帆, 谭文斌, 等. 基于HVS算子的自适应清晰度自动调焦评价函数[J]. 红外技术, 2017, 39(7): 632-637.

    Li H Y, Yang F, Tan W B, et al. A self-adaptive clarity auto focus evaluation function based on HVS operator[J]. Infrared Technology, 2017, 39(7): 632-637.

[14] 刘斌, 谯倩, 赵静, 等. 基于高频方差熵清晰度评价函数的聚焦三维测量方法[J]. 红外与激光工程, 2021, 50(5): 210-218.

    Liu B, Qiao Q, Zhao J, et al. 3D profile measurement based on depth from focus method using high-frequency component variance weighted entropy image sharpness evaluation function[J]. Infrared and Laser Engineering, 2021, 50(5): 210-218.

[15] 袁祎聪, 郝俊明. 用于红外自动调焦的图像离焦深浅度判定算法[J]. 红外, 2021, 42(11): 33-40.

    Yuan Y C, Hao J M. An algorithm for judging the depth of image defocusing used for infrared automatic focusing[J]. Infrared, 2021, 42(11): 33-40.

[16] 林莹, 张兆东, 刘景夏, 等. 基于形态学梯度的灰度图像质量盲评价[J]. 计算机应用与软件, 2012, 29(1): 264-266.

    Lin Y, Zhang Z D, Liu J X, et al. Gray image quality blind assessment based on morphological gradient[J]. Computer Applications and Software, 2012, 29(1): 264-266.

[17] 崔光茫, 张克奇, 毛磊, 等. 结合多尺度分解和梯度绝对值算子的显微图像清晰度评价方法[J]. 光电工程, 2019, 46(6): 59-69.

    Cui G M, Zhang K Q, Mao L, et al. Micro-image definition evaluation using multi-scale decomposition and gradient absolute value[J]. Opto-Electronic Engineering, 2019, 46(6): 59-69.

[18] Liu J H, Xu M L, Xu X Y, et al. Nonreference image quality evaluation algorithm based on wavelet convolutional neural network and information entropy[J]. Entropy, 2019, 21(11): 1070.

[19] ChenD J, ChenH T, ChangL W. Fast defocus map estimation[C]∥ 2016 IEEE International Conference on Image Processing (ICIP), September 25-28, 2016, Phoenix, AZ, USA. New York: IEEE Press, 2016: 3962-3966.

[20] ZhuoS J, SimT. On the Recovery of depth from a single defocused image[M]∥Jiang X Y, Petkov N. Computer analysis of images and patterns. Lecture notes in computer science. Heidelberg: Springer, 2009, 5702: 889-897.

[21] Tang C, Hou C P, Song Z J. Depth recovery and refinement from a single image using defocus cues[J]. Journal of Modern Optics, 2015, 62(6): 441-448.

[22] Tang C, Hou C P, Song Z J. Defocus map estimation from a single image via spectrum contrast[J]. Optics Letters, 2013, 38(10): 1706-1708.

[23] LiuR T, LiZ R, JiaJ Y. Image partial blur detection and classification[C]∥ 2008 IEEE Conference on Computer Vision and Pattern Recognition, June 23-28, 2008, Anchorage, AK. New York: IEEE Press, 2008.

[24] ShiJ P, XuL, JiaJ Y. Discriminative blur detection features[C]∥ 2014 IEEE Conference on Computer Vision and Pattern Recognition, June 23-28, 2014, Columbus, OH, USA. New York: IEEE Press, 2014: 2965-2972.

[25] MavridakiE, MezarisV. No-reference blur assessment in natural images using Fourier transform and spatial Pyramids[C]∥ 2014 IEEE International Conference on Image Processing (ICIP), October 27-30, 2014, Paris, France. New York: IEEE Press, 2015: 566-570.

[26] Otsu N. A threshold selection method from gray-level histograms[J]. IEEE Transactions on Systems, Man, and Cybernetics, 1979, 9(1): 62-66.

余海洋, 范之国, 金海红, 彭瑾. 融合图像灰度比值的离焦图像自动判别分离方法[J]. 激光与光电子学进展, 2023, 60(22): 2210001. Haiyang Yu, Zhiguo Fan, Haihong Jin, Jin Peng. Automatic Discrimination and Separation Method for Defocused Images Based on Image Gray Ratio[J]. Laser & Optoelectronics Progress, 2023, 60(22): 2210001.

该篇论文已被引用 2
被引统计数据来源于中国光学期刊网
引用该论文: TXT   |   EndNote

相关论文

加载中...

关于本站 Cookie 的使用提示

中国光学期刊网使用基于 cookie 的技术来更好地为您提供各项服务,点击此处了解我们的隐私策略。 如您需继续使用本网站,请您授权我们使用本地 cookie 来保存部分信息。
全站搜索
您最值得信赖的光电行业旗舰网络服务平台!