激光与光电子学进展, 2018, 55 (11): 111005, 网络出版: 2019-08-14   

基于多尺度的扫描电镜图像无参考质量评价方法 下载: 1071次

No-Reference Quality Assessment Method of Evaluating Scanning Electron Microscopy Images Based on Multi-Scale Characteristics
作者单位
1 中国矿业大学信息与控制工程学院, 江苏 徐州 221116
2 国家安全生产监督管理总局通信信息中心, 北京 100013
3 山西潞安环能股份有限公司常村煤矿自动化矿井办公室, 山西 长治 046102
摘要
扫描电镜(SEM)图像能够直观地显示微观世界。在SEM成像过程中,需要反复调整设备参数来保证图像的对比度,这个过程费时费力。提出一种基于多尺度的SEM图像对比度失真的无参考质量评价方法,指导成像参数的选择。首先,建立了SEM图像数据库,进行主观实验,得到相应的主观平均意见分数(MOS);然后,根据人类的视觉系统具有多尺度特性,提取图像不同尺度奇异值分解域相似度、频域和熵共10个特征,结合MOS值通过支持向量回归训练回归模型;最后,利用前述模型预测图像的质量分数。实验结果表明,本文方法与主观评价结果保持很高的一致性,其性能优于主流的全参考和无参考质量评价方法。
Abstract
Scanning electron microscopy (SEM) imaging can visually reveal the microscopic world. In SEM imaging, the device parameters must be repeatedly adjusted to ensure the optimum image contrast. This process is often time-consuming and labor-intensive. We propose a novel no-reference quality assessment method for evaluating the SEM image contrast distortion based on multi-scale characteristics, which can be used as a guide to select imaging parameters. Firstly, a SEM image database is established, and the corresponding subjective mean opinion score (MOS) is obtained via subjective experiments. According to the multi-scale characteristics of the human visual system, 10 features are extracted, including singular value decomposition similarity with different scales, frequency domain features, and entropy. The MOS values and 10 features are then used to train a regression model via support vector regression. Finally, this model is used to predict the image quality score. The experimental results reveal that the proposed method can maintain a high level of consistency with subjective evaluation results, and its performance is superior to the mainstream full-reference and no-reference quality assessment methods.

1 引言

扫描电镜(SEM)通过电子系统来放大所观察到的物体,从而展示物体的微观形貌,为了解微观世界提供了有效的途径。SEM图像真实并且富有立体感,在化学、生物学、物理学、病理学等领域都具有广泛的应用。在获取SEM图像的过程中,会产生不同种类的失真,常见的SEM图像失真类型有对比度失真、模糊失真、噪声失真、亮度失真和像散失真。对比度失真是SEM图像常见的失真之一,同时也是感知图像的决定性因素。在SEM成像的过程中,会有很多外界因素造成图像的对比度失真,需要质量评价方法来指导成像参数的选择。因此,研究成像后对比度失真的SEM图像质量评价是十分必要的。

客观图像质量评价方法可以分为全参考(FR)[1]、半参考(RR)和无参考(NR)。比较经典的全参考方法有峰值信噪比(PSNR)[2]、特征相似度(FSIM)[3]、梯度幅值相似性偏差(GMSD)[4]、结构相似性(SSIM)[5]、多尺度结构相似性(MS-SSIM)[6]和基于块的对比度质量指标(PCQI)[7]。这些方法不仅需要完整的原始图像信息,而且对图像失真的类型没有针对性。半参考方法需要部分原始图像信息,无参考方法不需要任何原始图像的信息。现有的无参考质量评价方法根据失真的类型可以分为两类:第一类是针对特定失真种类的方法。专门针对对比度失真的无参考质量评价的文献比较有限,Fang等[8]提出了一种基于自然场景统计(NSS)的对比度失真无参考质量评价(NR-CDIQA)方法。该方法基于矩和熵特征的NSS模型,根据失真图像与NSS模型的偏离度来计算其质量分数。第二类是针对多种类型失真的方法。Mittal等[9]提出了自然图像质量评价(NIQE)模型,首先提取测试图像的一系列局部特征,用多变量高斯(MVG)模型进行拟合,然后根据测试图像的MVG模型和原始自然图像学习出来的MVG模型之间的差异来衡量图像的质量。Zhang等[10]提出了一种使用自然场景对数导数统计的质量评价(DESIQUE)算法,利用空域和频域两个尺度相关的统计特征来计算图像质量分数。

上述方法虽然在对比度失真质量评价问题上取得了一定的效果,但是这些方法都是针对自然图像进行设计的。SEM图像的成像原理和自然图像不同,所以上述方法无法准确描述SEM图像的质量。根据人类视觉多尺度的特性[11],结合图像的信息量,本文提出一种针对对比度失真SEM图像的无参考质量评价方法。

2 数据库建立

首先,采集650幅不同类型失真的SEM图像。采集到的SEM图像都是二次电子图像,数据库涵盖蚂蚁、不同种类的金属、雄蕊、不同种类的胶体、不同种类的煤层、玻璃碎渣等,共包括50个图像内容,每个图像内容对应13幅图像。这13幅图像包括清晰图像、对比度失真图像、模糊失真图像、亮度失真图像、噪声失真图像和像散失真图像。然后,利用MATLAB建立交互式平台,如图1所示。图中显示图像质量范围从1到5,5为最好,1为最差。30名没有图像处理背景的人参加实验,其中,27名是在校大学生,3名是老师。通过这个交互式平台进行主观实验,得到每幅SEM图像的30个分数,求出每一幅图像的平均值和标准差,根据置信区间剔除异常值,再对剩下的分数取平均得到最终分数,即主观评价意见分数(MOS)。

本文采用对比度失真的SEM图像和其对应的MOS研究图像质量评价方法。图2(a)是两幅清晰的SEM图像,图2(b)和(c)分别对应对比度过大和过小的图像。从图像中可以看出,对比度失真严重损坏了图像质量,直接影响了人类对微观结构的判断。

图 1. 主观实验中交互式平台界面

Fig. 1. Illustration of interactive system used in subjective viewing experiments

下载图片 查看所有图片

图 2. (a)清晰的SEM图像和(b)(c)对应的对比度失真的图像

Fig. 2. (a) Clear SEM images and (b)(c) corresponding contrast distortion images

下载图片 查看所有图片

3 多尺度SEM图像评价模型

人类视觉系统(HVS)在感知视觉场景时表现出多尺度特性,图像的层次结构包含在尺度空间表示中[12],同时,视觉神经元在感知事物的时候表现出频率和方向的选择机制。根据HVS这两个特性,使用Log-Gabor滤波器从两个方向提取SEM图像的频域特征和4个尺度空间的奇异值相似性特征。考虑到图像的对比度失真会影响图像的信息量,结合图像的一维熵和二维熵反映出图像灰度分布的聚集特征和图像灰度分布的空间特征。最后,将提取出来的图像特征与对应的主观分数通过支持向量机进行回归建模。图3是本文方法的流程图。

图 3. 本文方法的流程图

Fig. 3. Flow chart of proposed method

下载图片 查看所有图片

3.1 Log-Gabor滤波后的频域特征

纹理特征可以反映出物体的表面信息和明暗程度。Gabor滤波器能模拟HVS的响应特性[13],具有较强的空间位置和方向选择性,可以提取空间局部频域特征,是一种有效的纹理特征提取工具。然而,并不能构造一个任意带宽的Gabor滤波器,同时保证偶对称滤波器的直流分量保持在一个合理的值。Log-Gobor滤波器通过对数变换克服了这一问题,能更真实地反映出图像的频率。Log-Gobor滤波器定义如下:

G(ω,v)=exp-log10(ω1/ω0)22log10(k/ω0)2exp-v122σv2,(1)

式中:ω1=ωcosθ+vsinθ;v1=-ωsinθ+vcosθ;θω0分别为滤波器的方向和中心频率;kσv分别是用来控制ω1v1方向的带宽。本文设置ω0=1/3,θ取0°和90°两个方向。

利用Log-Gobor提取图像频域特征过程如下。

1) 对图像I使用Log-Gabor滤波器在水平方向和垂直方向进行滤波,得到两个子系数gn(i,j),n为1, 2。

2) 分别求两个方向的子带系数的对数:

J(i,j)=log10[gn(i,j)+K],(2)

式中K是一个小常数,可取0.1,防止gn(i,j)为0。

3) 对两个方向的Log-Gabor相应子带,用广义高斯分布(GGD)模型对对数统计的直方图进行拟合,GGD的密度函数为

f(x;α,σ2)=α2βγ(1/α)exp-xβα,(3)

式中β表示为

β=σγ1αγ(3/α),(4)

γ(·)表示为

γ(x)=0tx-1exp(-t)dt, x>0(5)

模型参数(α,σ)可以作为有效的特征。因为是两个方向的Log-Gabor滤波后的子带,所以共4个特征。

3.2 图像熵

根据HVS的特性,人们总是最大化地从图像中获取信息。基于这个机制,图像中包含多种灰度级的复杂区域为人们主要关注的区域。不失真图像的灰度级分布均匀,包含丰富的灰度级,而对比度失真的图像信息损失严重,灰度级分布非常不均匀,且失真程度越大,灰度级的数量越少;所以,通过计算图像熵可以反映出图像的失真程度[14]

图像的一维熵反映了图像中灰度分布的聚集特征,公式如下:

H1=-i=0255pilog10pi,(6)

式中pi是灰度在图像中出现的概率。

图像的二维熵反映了图像灰度分布的空间特征,定义如下:

H2=-i=0255pijlog10pij,(7)pij=f(i,j)/M×N,(8)

式中i表示像素的灰度值(0≤i≤255),j表示邻域灰度均值(0≤j≤255),MN分别为图像像素的行数和列数。

图像熵是一种统计特征,一维熵和二维熵结合可以更好地反映出图像灰度分布的聚集特征和空间特征。

3.3 多尺度奇异值相似性

本文首先利用高斯函数建立图像的4个尺度空间,然后利用Matlab工具的imresize函数,采用双三次差值算法完成降采样操作。双三次差值算法能有效保证图像的高保真度,通过这种方式,降采样过程不会引起额外失真。在SVD域提取图像多尺度特征,能有效衡量图像的内部结构变化[15]

对于一幅大小为M×N的图像I,奇异值分解过程如下:

I=USVT,(9)

式中:UM阶的酉矩阵;VN阶的酉矩阵;S=(σ1,σ2,…,σr);r表示图像矩阵A的秩;σi(i=1,2,…,r,)是奇异值。

不同尺度空间的奇异值向量为Si,i可取0,1,…, 4。计算原始图像和每个尺度空间图像的奇异值相似度:

Ak=2SkS0+cSk2+S02+c,(10)

式中k=1,2,3,4,c是保证数值稳定的很小的常量。

对一幅图像共提取上述10个质量特征,包括4个Log-Gabor滤波后的特征,图像的一维熵、二维熵,以及4个多尺度奇异值相似度特征。利用支持向量回归(SVR)训练成质量评价模型,然后用这个模型来预测图像的质量分数。

4 实验结果和分析

为评价本文方法的性能,采用3个常用的性能参数:皮尔逊线性相关系数(PLCC)、均方根误差(RMSE)和斯皮尔曼相关系数(SRCC)作为评价指标。PLCC和RMSE描述算法评价值与人眼主观打分之间的相关性,衡量方法预测的准确性;SRCC衡量方法预测的单调一致性。PLCC、SRCC越大,RMSE越小,说明方法性能越好。由于图像质量评价算法获得的客观质量分数与主观质量评分呈非线性关系,因此要对客观质量分数进行适当的非线性变换,即将图像客观质量分数和主观质量评分通过非线性拟合函数映射到同一尺度[16]。通常选择5个参数拟合函数[17],设v是预测质量分数,f(v)表达式如下:

f(v)=τ112-11+exp[τ2(v-τ3)]+τ4v+τ5,(11)

式中τi(i=1,2,…,5)是非线性拟合的5个参数。

4.1 与现有方法的性能对比

把本文方法和经典的6种全参考方法(FSIM、GMSD、SSIM、MS-SSIM、PSNR、PCQI)、9种通用的无参考质量评价方法[基于编码表示的无参考质量评价(CORNIA)[18]、DESIQUE、盲图像质量指标(BIQI)[19]、基于时域特征的图像质量评价方法(BRISQUE)[20]、基于图像真实性和完整性的评估指标(DIIVINE)[21]、基于离散余弦变换的盲图像完整性指标(BLLINDS-II)[22]、NIQE、基于空间谱熵的质量方法(SSEQ)[23]、质量感知聚类方法(QAC)[24]]、针对对比度失真方法(FOR CD)中基于NSS无参考的方法(NR-CDIQA)[8]]进行比较。表1是实验结果,性能最好的结果加粗。这些算法的代码都是由作者提供或者从作者主页下载。

表1可以看出,本文方法的性能无论是准确性还是单调性均优于其他方法。

4.2 算法统计性能对比

为了直观比较本文方法与现有评价算法的统计结果,进一步使用F-test衡量算法之间的预测误差。图4是其他方法相对于本文方法的F统计量值。从图4可以看出,本文算法预测误差最小。实验过程中,选择95%的置信区间。表2是其他方法相对于本文方法的性能统计结果,1表示本文方法优于其他方法,0表示本文方法和其他方法相当。从表2可以看出,本文方法和CORNIA性能相当,但是明显优于其他方法。

表 1. 主流的质量评价方法和本文方法在SEM数据库中的测试结果

Table 1. Results of mainstream quality assessment methods and proposed method tested in the SEM database

AlgorithmPLCCSRCCRMSE
FRMS-SSIM0.61160.60170.6846
PSNR0.59140.55870.5839
GMSD0.58770.55610.5859
SSIM0.56180.54090.5222
FSIM0.47930.45320.6355
PCQI0.47210.44620.6792
NRCORNIA0.81990.79330.3996
DESIQUE0.76210.73090.4510
BRISQUE0.72990.70380.4761
Bliinds20.72160.69650.4786
BIQI0.64620.63010.5356
DIIVINE0.58540.56080.5611
SSEQ0.57890.54640.5672
NSS0.48640.47720.6170
QAC0.42510.43000.6554
NIQE0.35180.42340.6782
FOR CDNR-CDIQA0.48640.47720.6170
Proposed0.85040.82110.3733

查看所有表

图 4. 其他方法相对于本文方法的F统计量值

Fig. 4. F statistics of the other metrics against the proposed method

下载图片 查看所有图片

表 2. 其他方法相对于本文方法的性能统计结果

Table 2. Statistical performance results of compared metrics against the proposed method

MetricMS-SSIMPSNRGMSDSSIMFSIMPCQINR-CDIQACORNIA
11111110
MetricDESIQUEBRISQUEBLLINDS-IIBIQIDIIVINESSEQQACNIQE
11111111

查看所有表

5 结论

针对SEM图像的对比度失真问题,结合HVS特点,从多尺度的角度出发,提取奇异值分解域相似性特征和频域特征,同时结合图像信息量,构建了对比度失真图像的无参考质量评价模型。实验证明,本文方法与主观评价结果具有较高的一致性,本文方法的性能要优于现有的全参考方法和无参考方法。

参考文献

[1] 薛小波, 郁梅, 何美伶. 基于仿视觉细胞模型的立体图像质量评价方法[J]. 激光与光电子学进展, 2016, 53(4): 041004.

    Xue X B, Yu M, He M L. Stereoscopic image-quality-assessment method based on visual cell model[J]. Laser & Optoelectronics Progress, 2016, 53(4): 041004.

[2] Sheikh H R, Sabir M F, Bovik A C. A statistical evaluation of recent full reference image quality assessment algorithms[J]. IEEE Transactions on Image Processing, 2006, 15(11): 3440-3451.

[3] Zhang L, Zhang L, Mou X Q, et al. FSIM: a feature similarity index for image quality assessment[J]. IEEE Transactions on Image Processing, 2011, 20(8): 2378-2386.

[4] Xue W F, Zhang L, Mou X Q, et al. Gradient magnitude similarity deviation: a highly efficient perceptual image quality index[J]. IEEE Transactions on Image Processing, 2014, 23(2): 684-695.

[5] Wang Z, Bovik A C, Sheikh H R, et al. Image quality assessment: from error visibility to structural similarity[J]. IEEE Transactions on Image Processing, 2004, 13(4): 600-612.

[6] WangZ, Simoncelli EP, Bovik AC. Multiscale structural similarity for image quality assessment[C]∥Proceedings of IEEE Conference Record of the Thirty-Seventh Asilomar Conference on Signals, Systems and Computers, 2003, 2: 1398- 1402.

[7] Wang S Q, Ma K D, Yeganeh H, et al. A patch-structure representation method for quality assessment of contrast changed images[J]. IEEE Signal Processing Letters, 2015, 22(12): 2387-2390.

[8] Fang Y M, Ma K D, Wang Z, et al. No-reference quality assessment of contrast-distorted images based on natural scene statistics[J]. IEEE Signal Processing Letters, 2014, 22(7): 838-842.

[9] Mittal A, Soundararajan R, Bovik A C. Making a“completely blind” image quality analyzer[J]. IEEE Signal Processing Letters, 2013, 20(3): 209-212.

[10] Zhang Y, Chandler D M. No-reference image quality assessment based on log-derivative statistics of natural scenes[J]. Journal of Electronic Imaging, 2013, 22(4): 043025.

[11] Romeny B MH. Front-end vision and multi-scale image analysis: multi-scale computer vision theory and applications, written in mathematica[M]. New York: Springer Science & Business Media, 2008: 1- 177.

[12] Nercessian S C, Panetta K A, Agaian S S. Non-linear direct multi-scale image enhancement based on the luminance and contrast masking characteristics of the human visual system[J]. IEEE Transactions on Image Processing, 2013, 22(9): 3549-3561.

[13] Marĉelja S. Mathematical description of the responses of simple cortical cells[J]. Journal of the Optical Society of America, 1980, 70(11): 1297-1300.

[14] 杨作廷, 阮萍, 翟波. 基于图像熵的高动态范围场景的自动曝光算法[J]. 光子学报, 2013, 42(6): 742-746.

    Yang Z T, Ruan P, Zhai B. Auto-exposure algorithm for scenes with high dynamic range based on image entropy[J]. Acta Photonica Sinica, 2013, 42(6): 742-746.

[15] Narwaria M, Lin W S. SVD-based quality metric for image and video using machine learning[J]. IEEE Transactions on Systems, Man, and Cybernetics, Part B (Cybernetics), 2012, 42(2): 347-364.

[16] Video Quality ExpertsGroup. Final report from the Video Quality Experts Group on the validation of objective models of video quality assessment, Phase II (FR_TV2)[EB/OL]. [2018-04-16].http:∥www.vqeg.org/, 2003.

[17] Li L D, Xia W H, Lin W S, et al. No-reference and robust image sharpness evaluation based on multiscale spatial and spectral features[J]. IEEE Transactions on Multimedia, 2017, 19(5): 1030-1040.

[18] YeP, KumarJ, KangL, et al. Unsupervised feature learning framework for no-reference image quality assessment[C]∥Proceedings of 2012 IEEE Conference on Computer Vision and Pattern Recognition, 2012: 1098- 1105.

[19] Moorthy A K, Bovik A C. A two-step framework for constructing blind image quality indices[J]. IEEE Signal Processing Letters, 2010, 17(5): 513-516.

[20] Mittal A, Moorthy A K, Bovik A C. No-reference image quality assessment in the spatial domain[J]. IEEE Transactions on Image Processing, 2012, 21(12): 4695-4708.

[21] Moorthy A K, Bovik A C. Blind image quality assessment: from natural scene statistics to perceptual quality[J]. IEEE Transactions on Image Processing, 2011, 20(12): 3350-3364.

[22] Saad M A, Bovik A C, Charrier C. Blind image quality assessment:a natural scene statistics approach in the DCT domain[J]. IEEE Transactions on Image Processing, 2012, 21(8): 3339-3352.

[23] Liu L X, Liu B, Huang H, et al. No-reference image quality assessment based on spatial and spectral entropies[J]. Signal Processing: Image Communication, 2014, 29(8): 856-863.

[24] Xue WF, ZhangL, Mou XQ. Learning without human scores for blind image quality assessment[C]∥Proceedings of IEEE Conference on Computer Vision and Pattern Recognition, 2013: 995- 1002.

李巧月, 商钢城, 田强, 陈曦, 韩习习, 周玉, 李雷达. 基于多尺度的扫描电镜图像无参考质量评价方法[J]. 激光与光电子学进展, 2018, 55(11): 111005. Qiaoyue Li, Gangcheng Shang, Qiang Tian, Xi Chen, Xixi Han, Yu Zhou, Leida Li. No-Reference Quality Assessment Method of Evaluating Scanning Electron Microscopy Images Based on Multi-Scale Characteristics[J]. Laser & Optoelectronics Progress, 2018, 55(11): 111005.

本文已被 1 篇论文引用
被引统计数据来源于中国光学期刊网
引用该论文: TXT   |   EndNote

相关论文

加载中...

关于本站 Cookie 的使用提示

中国光学期刊网使用基于 cookie 的技术来更好地为您提供各项服务,点击此处了解我们的隐私策略。 如您需继续使用本网站,请您授权我们使用本地 cookie 来保存部分信息。
全站搜索
您最值得信赖的光电行业旗舰网络服务平台!