基于多尺度的扫描电镜图像无参考质量评价方法 下载: 1071次
1 引言
扫描电镜(SEM)通过电子系统来放大所观察到的物体,从而展示物体的微观形貌,为了解微观世界提供了有效的途径。SEM图像真实并且富有立体感,在化学、生物学、物理学、病理学等领域都具有广泛的应用。在获取SEM图像的过程中,会产生不同种类的失真,常见的SEM图像失真类型有对比度失真、模糊失真、噪声失真、亮度失真和像散失真。对比度失真是SEM图像常见的失真之一,同时也是感知图像的决定性因素。在SEM成像的过程中,会有很多外界因素造成图像的对比度失真,需要质量评价方法来指导成像参数的选择。因此,研究成像后对比度失真的SEM图像质量评价是十分必要的。
客观图像质量评价方法可以分为全参考(FR)[1]、半参考(RR)和无参考(NR)。比较经典的全参考方法有峰值信噪比(PSNR)[2]、特征相似度(FSIM)[3]、梯度幅值相似性偏差(GMSD)[4]、结构相似性(SSIM)[5]、多尺度结构相似性(MS-SSIM)[6]和基于块的对比度质量指标(PCQI)[7]。这些方法不仅需要完整的原始图像信息,而且对图像失真的类型没有针对性。半参考方法需要部分原始图像信息,无参考方法不需要任何原始图像的信息。现有的无参考质量评价方法根据失真的类型可以分为两类:第一类是针对特定失真种类的方法。专门针对对比度失真的无参考质量评价的文献比较有限,Fang等[8]提出了一种基于自然场景统计(NSS)的对比度失真无参考质量评价(NR-CDIQA)方法。该方法基于矩和熵特征的NSS模型,根据失真图像与NSS模型的偏离度来计算其质量分数。第二类是针对多种类型失真的方法。Mittal等[9]提出了自然图像质量评价(NIQE)模型,首先提取测试图像的一系列局部特征,用多变量高斯(MVG)模型进行拟合,然后根据测试图像的MVG模型和原始自然图像学习出来的MVG模型之间的差异来衡量图像的质量。Zhang等[10]提出了一种使用自然场景对数导数统计的质量评价(DESIQUE)算法,利用空域和频域两个尺度相关的统计特征来计算图像质量分数。
上述方法虽然在对比度失真质量评价问题上取得了一定的效果,但是这些方法都是针对自然图像进行设计的。SEM图像的成像原理和自然图像不同,所以上述方法无法准确描述SEM图像的质量。根据人类视觉多尺度的特性[11],结合图像的信息量,本文提出一种针对对比度失真SEM图像的无参考质量评价方法。
2 数据库建立
首先,采集650幅不同类型失真的SEM图像。采集到的SEM图像都是二次电子图像,数据库涵盖蚂蚁、不同种类的金属、雄蕊、不同种类的胶体、不同种类的煤层、玻璃碎渣等,共包括50个图像内容,每个图像内容对应13幅图像。这13幅图像包括清晰图像、对比度失真图像、模糊失真图像、亮度失真图像、噪声失真图像和像散失真图像。然后,利用MATLAB建立交互式平台,如
本文采用对比度失真的SEM图像和其对应的MOS研究图像质量评价方法。
图 1. 主观实验中交互式平台界面
Fig. 1. Illustration of interactive system used in subjective viewing experiments
图 2. (a)清晰的SEM图像和(b)(c)对应的对比度失真的图像
Fig. 2. (a) Clear SEM images and (b)(c) corresponding contrast distortion images
3 多尺度SEM图像评价模型
人类视觉系统(HVS)在感知视觉场景时表现出多尺度特性,图像的层次结构包含在尺度空间表示中[12],同时,视觉神经元在感知事物的时候表现出频率和方向的选择机制。根据HVS这两个特性,使用Log-Gabor滤波器从两个方向提取SEM图像的频域特征和4个尺度空间的奇异值相似性特征。考虑到图像的对比度失真会影响图像的信息量,结合图像的一维熵和二维熵反映出图像灰度分布的聚集特征和图像灰度分布的空间特征。最后,将提取出来的图像特征与对应的主观分数通过支持向量机进行回归建模。
3.1 Log-Gabor滤波后的频域特征
纹理特征可以反映出物体的表面信息和明暗程度。Gabor滤波器能模拟HVS的响应特性[13],具有较强的空间位置和方向选择性,可以提取空间局部频域特征,是一种有效的纹理特征提取工具。然而,并不能构造一个任意带宽的Gabor滤波器,同时保证偶对称滤波器的直流分量保持在一个合理的值。Log-Gobor滤波器通过对数变换克服了这一问题,能更真实地反映出图像的频率。Log-Gobor滤波器定义如下:
式中:
利用Log-Gobor提取图像频域特征过程如下。
1) 对图像
2) 分别求两个方向的子带系数的对数:
式中
3) 对两个方向的Log-Gabor相应子带,用广义高斯分布(GGD)模型对对数统计的直方图进行拟合,GGD的密度函数为
式中
模型参数(
3.2 图像熵
根据HVS的特性,人们总是最大化地从图像中获取信息。基于这个机制,图像中包含多种灰度级的复杂区域为人们主要关注的区域。不失真图像的灰度级分布均匀,包含丰富的灰度级,而对比度失真的图像信息损失严重,灰度级分布非常不均匀,且失真程度越大,灰度级的数量越少;所以,通过计算图像熵可以反映出图像的失真程度[14]。
图像的一维熵反映了图像中灰度分布的聚集特征,公式如下:
式中
图像的二维熵反映了图像灰度分布的空间特征,定义如下:
式中
图像熵是一种统计特征,一维熵和二维熵结合可以更好地反映出图像灰度分布的聚集特征和空间特征。
3.3 多尺度奇异值相似性
本文首先利用高斯函数建立图像的4个尺度空间,然后利用Matlab工具的imresize函数,采用双三次差值算法完成降采样操作。双三次差值算法能有效保证图像的高保真度,通过这种方式,降采样过程不会引起额外失真。在SVD域提取图像多尺度特征,能有效衡量图像的内部结构变化[15]。
对于一幅大小为
式中:
不同尺度空间的奇异值向量为
式中
对一幅图像共提取上述10个质量特征,包括4个Log-Gabor滤波后的特征,图像的一维熵、二维熵,以及4个多尺度奇异值相似度特征。利用支持向量回归(SVR)训练成质量评价模型,然后用这个模型来预测图像的质量分数。
4 实验结果和分析
为评价本文方法的性能,采用3个常用的性能参数:皮尔逊线性相关系数(PLCC)、均方根误差(RMSE)和斯皮尔曼相关系数(SRCC)作为评价指标。PLCC和RMSE描述算法评价值与人眼主观打分之间的相关性,衡量方法预测的准确性;SRCC衡量方法预测的单调一致性。PLCC、SRCC越大,RMSE越小,说明方法性能越好。由于图像质量评价算法获得的客观质量分数与主观质量评分呈非线性关系,因此要对客观质量分数进行适当的非线性变换,即将图像客观质量分数和主观质量评分通过非线性拟合函数映射到同一尺度[16]。通常选择5个参数拟合函数[17],设
式中
4.1 与现有方法的性能对比
把本文方法和经典的6种全参考方法(FSIM、GMSD、SSIM、MS-SSIM、PSNR、PCQI)、9种通用的无参考质量评价方法[基于编码表示的无参考质量评价(CORNIA)[18]、DESIQUE、盲图像质量指标(BIQI)[19]、基于时域特征的图像质量评价方法(BRISQUE)[20]、基于图像真实性和完整性的评估指标(DIIVINE)[21]、基于离散余弦变换的盲图像完整性指标(BLLINDS-II)[22]、NIQE、基于空间谱熵的质量方法(SSEQ)[23]、质量感知聚类方法(QAC)[24]]、针对对比度失真方法(FOR CD)中基于NSS无参考的方法(NR-CDIQA)[8]]进行比较。
从
4.2 算法统计性能对比
为了直观比较本文方法与现有评价算法的统计结果,进一步使用
表 1. 主流的质量评价方法和本文方法在SEM数据库中的测试结果
Table 1. Results of mainstream quality assessment methods and proposed method tested in the SEM database
|
图 4. 其他方法相对于本文方法的F统计量值
Fig. 4. F statistics of the other metrics against the proposed method
表 2. 其他方法相对于本文方法的性能统计结果
Table 2. Statistical performance results of compared metrics against the proposed method
|
5 结论
针对SEM图像的对比度失真问题,结合HVS特点,从多尺度的角度出发,提取奇异值分解域相似性特征和频域特征,同时结合图像信息量,构建了对比度失真图像的无参考质量评价模型。实验证明,本文方法与主观评价结果具有较高的一致性,本文方法的性能要优于现有的全参考方法和无参考方法。
[1] 薛小波, 郁梅, 何美伶. 基于仿视觉细胞模型的立体图像质量评价方法[J]. 激光与光电子学进展, 2016, 53(4): 041004.
[6] WangZ, Simoncelli EP, Bovik AC. Multiscale structural similarity for image quality assessment[C]∥Proceedings of IEEE Conference Record of the Thirty-Seventh Asilomar Conference on Signals, Systems and Computers, 2003, 2: 1398- 1402.
[11] Romeny B MH. Front-end vision and multi-scale image analysis: multi-scale computer vision theory and applications, written in mathematica[M]. New York: Springer Science & Business Media, 2008: 1- 177.
[14] 杨作廷, 阮萍, 翟波. 基于图像熵的高动态范围场景的自动曝光算法[J]. 光子学报, 2013, 42(6): 742-746.
[16] Video Quality ExpertsGroup. Final report from the Video Quality Experts Group on the validation of objective models of video quality assessment, Phase II (FR_TV2)[EB/OL]. [2018-04-16].http:∥www.vqeg.org/, 2003.
[18] YeP, KumarJ, KangL, et al. Unsupervised feature learning framework for no-reference image quality assessment[C]∥Proceedings of 2012 IEEE Conference on Computer Vision and Pattern Recognition, 2012: 1098- 1105.
[24] Xue WF, ZhangL, Mou XQ. Learning without human scores for blind image quality assessment[C]∥Proceedings of IEEE Conference on Computer Vision and Pattern Recognition, 2013: 995- 1002.
Article Outline
李巧月, 商钢城, 田强, 陈曦, 韩习习, 周玉, 李雷达. 基于多尺度的扫描电镜图像无参考质量评价方法[J]. 激光与光电子学进展, 2018, 55(11): 111005. Qiaoyue Li, Gangcheng Shang, Qiang Tian, Xi Chen, Xixi Han, Yu Zhou, Leida Li. No-Reference Quality Assessment Method of Evaluating Scanning Electron Microscopy Images Based on Multi-Scale Characteristics[J]. Laser & Optoelectronics Progress, 2018, 55(11): 111005.