光学显微图像定量评价方法及应用研究进展（特邀）

作为工业数字图像质量评价在应用领域的重要延伸，光学显微图像定量评价主要通过对图像特征和属性进行分析计算，针对性地量化评估图像的质量。近年来，随着各类光学显微成像技术的蓬勃发展，图像定量化评价的重要性日益凸显，在总体图像处理中具有指导性作用。对现有的光学显微图像定量评价指标及相关算法进行总结，对各个算法的模型结构和性能表现进行讨论说明，阐述显微图像定量评价的应用和发展趋势，并对该领域目前所存在的问题和难点进行分析和展望。

Abstract

Quantitative evaluation has emerged as a critical aspect of industrial digital image quality assessment, particularly in the field of optical microscopy. It primarily assesses the quality of optical microscopic images by analyzing their features and attributes. In recent years, the evolution of various optical microscopic technologies has highlighted the importance of quantitative image evaluation. Furthermore, it plays a pivotal role in guiding the overall image processing workflow. This review comprehensively examines quantitative evaluation indicators and their associated algorithms, focusing on their model structures and performances. Moreover, it addresses the current challenges in this domain, outlines the latest developments in the quantitative assessment of optical microscopic images, and suggests future research directions.

1　引言

光学显微成像技术自17世纪提出以来，以显著的非接触性和低损伤优势，成为生物和材料领域中主流的研究方法，在人类探索微观世界的旅程中扮演着举足轻重的角色。在实际应用场景中，受技术原理或装配软硬件等的限制，获得的光学显微图像在采集、处理、压缩、存储、传输和再现期间往往会经受各种各样的失真，其中任何一种都可能导致图像质量不同程度的劣化。因此，如何保证分析结果的准确性、可靠性、可重复性和客观性，是目前光学显微研究领域的关键问题之一。尽管工业上根据是否有原始图像（无失真）与失真图像进行比较发展出了诸多全参考^［1-2］和无参考^［3-5］图像质量评价方法，但这些方法往往是针对大尺寸、高分辨率或自然图像的。与之相对的，由于光学显微图像更容易受到相应成像系统和样本复杂性的影响，传统方法逐渐难以适用于显微图像评价，无法给出较为置信的定量评价结果。

光学显微图像定量评价是工业数字图像质量评价的重要分支，主要以分辨率、对比度、噪声等参数作为定量评价的重要指标。通过对这些指标的评估，可以判断图像的畸变程度、重构效果以及可能存在的噪声干扰情况。进一步，定量评价还可用于指导优化图像处理和分析的过程，如图像识别^［6］、增强^［7］、分割^［8］、重构^［9］等。准确的图像质量评价能够帮助研究者选择合适的图像处理方法，改善图像的可视化效果和信息提取能力，还可以评估关联算法的精度和鲁棒性，优化算法的参数设计。此外，对于显微镜设备的性能评估和比较^［10］，光学显微图像定量评价也具有重要的意义。

为拓展光学显微图像定量评价的相关研究，本文系统地综述了近年来涌现的各种评价方法和技术，包括分辨率、信噪比、对比度、结构相似度等，并探讨其在伪影校正、自动聚焦以及深度学习等方面中的实际应用和发展趋势，最后对本领域目前所存在的问题和难点进行分析讨论。通过对光学显微图像定量评价及应用的深入综述，以期为成像领域的进一步发展提供有效参考。

2　光学显微图像定量评价方法

光学显微图像定量评价主要对成像结果进行数值化定量表征，以提供关于图像分辨率、噪声、结构特性等方面的具体信息。

2.1　分辨率定量评价方法

分辨率是所有成像领域中最为核心的概念，广义上是指能够清晰分辨出两个相邻物体之间的最小距离。在光学显微领域中，光学系统的分辨率（光学分辨率）和相机分辨率^［11］决定了采集图像分辨率的大小。假设相机芯片尺寸不变，当像素个数增加时，单个像元的尺寸变小，相机分辨率提高。但并不是说此时应该选择像元尺寸无限小的相机，这是因为像元尺寸越小，信噪比也越低。另外，在实际光学显微成像应用中，相机的分辨率也需要与显微系统的光学分辨率相匹配，以保证获得高质量的图像。

光学分辨率的数学概念由Abbe提出，并在19世纪后期由Rayleigh准则^［12］实际定义。由于成像过程中信号通过光学显微镜中各个光学元件时会发生衍射，系统的焦点在焦面上并不是一个理想几何点，而是一个模糊的光斑，这个光斑被称为艾里斑。分辨率^［13］可以从该原始理论中推导得出，并表示为

d = 0.61 \cdot \frac{λ}{N A}

，（1）

式中： $d$ 为最小分辨距离； $λ$ 为波长；NA为显微镜物镜的数值孔径。对于传统光学显微镜来说，由式（1）可得，其横向分辨率极限为200 nm左右，很难满足实际应用尤其是微小生物细胞组织的成像需求。随着新型荧光探针和光电检测器等领域的不断发展，超分辨显微技术应运而生。按成像原理的不同，目前的超分辨显微技术主要分为3个大类^［14］：基于点扩散函数（PSF）压缩的激光扫描成像方法，如受激发射损耗显微技术（STED）^［15］；基于空间频谱扩展的宽场（WF）成像方法，如结构光照明显微技术（SIM）^［16］；基于单分子定位的显微成像方法（SMLM），如光激活定位显微技术（PALM）^［17］和随机光学重建显微技术（STORM）^［18］等。超分辨技术相较于传统的光学显微镜从原理上成功突破了衍射极限的限制，实现更高的分辨率，但相应的分辨率数值仍然需要具体的指标来得到量化分析。

Rayleigh判据认为，当一个艾里斑的边缘与另一个艾里斑的中心恰好重合时，对应的两个物点恰能被系统识别开来，如图1所示。计算此时两条相邻线剖面曲线峰值位置的距离，获得的分辨率称为理论分辨率。理论分辨率的计算前提是假设两点光源的强度相近，同时不考虑噪声影响，并且计算结果与两点光源的相干程度高度相关。

图 1. 对应点扩散函数的高斯拟合与艾里斑示例^［19］

Fig. 1. Example of the Gaussian fitting and Airy disk corresponding to the point spread function (PSF)^[19]

下载图片查看所有图片

2.1.1　基于线性结构轮廓的分辨率定量评价方法

在实际成像过程中由于系统像差、背景噪声等实际因素影响，需要重新评估显微系统可达到的实际分辨率。传统方法利用点状样本对系统实际成像时的PSF进行近似测量。首先计算待测系统的理论分辨率，然后根据其选择可视为理想样本（远小于理论分辨率尺寸）的点物（如荧光纳米颗粒）进行成像，最后通过对成像结果进行光强度剖面分析，高斯拟合后半峰全宽（FWHM）数值即为系统成像的分辨率大小。除此之外，系统分辨率也可以通过对实际采集的生物样本图像进行FWHM分析获得，如图2（b）所示的由所选单根微管强度谱线剖面计算得到的单线FWHM分辨率和图2（c）所示的由两根相邻微管的强度谱线剖面计算得到的两点间距分辨率^［20］。由于这两种方法测量出的分辨率可能由于采样不完整或手动误差而导致评价结果存在偏差，在此基础上又进一步发展出了图2（d）所示的由所选区域强度谱线长线剖面的投影剖面计算而来的投影线FWHM分辨率。Li等^［21］开发了一个名为LuckyProfiler的ImageJ插件来进一步量化显微图像分辨率，该插件利用投影线FWHM方法，能够从超分辨率图像中自动找出最佳位置，从选定位置确定重构图像的分辨率。

三种基于线性结构轮廓的分辨率计算方法［21］。（a）U2OS细胞微管超分辨率重构图像。右上方的子图像为左下角正方形区域的放大，该子图像中线条标记的强度分布情况显示在其上方,比例尺为2 μm,插图的比例尺为100 nm；（b）图2（a）中绿线标记结构的单线FWHM分辨率；（c）图2（a）中蓝线标记结构的两点分辨率；（d）图2（a）中黄色矩形标记结构的投影线FWHM分辨率

图 2. 三种基于线性结构轮廓的分辨率计算方法^［21］。（a）U2OS细胞微管超分辨率重构图像。右上方的子图像为左下角正方形区域的放大，该子图像中线条标记的强度分布情况显示在其上方,比例尺为2 μm,插图的比例尺为100 nm；（b）图2（a）中绿线标记结构的单线FWHM分辨率；（c）图2（a）中蓝线标记结构的两点分辨率；（d）图2（a）中黄色矩形标记结构的投影线FWHM分辨率

Fig. 2. Three image resolution calculation methods based on line profile^[21]. (a) Reconstructed super-resolution image of microtubules from U2OS cells. The sub-image on the upper right is an enlargement of the square area in the lower left corner. The intensity distribution of the line markers in this sub-image is displayed above it. The scale bar is 2 μm, and the scale bar of the inset is 100 nm; (b) single-line FWHM resolution of the structure marked by the green line in Fig.2(a); (c) two-point resolution of the structure marked by the blue line in Fig.2(a); (d) projected-line FWHM resolution of the structure marked by the yellow rectangle in Fig.2(a)

下载图片查看所有图片

2.1.2　基于频谱分析的分辨率半定量评价方法

基于线性结构轮廓的分辨率定量评价方法因直观性和良好的通用性得到了广泛的应用，然而该方法需要人为框选区域，只能提供局部的分辨率分析结果，在一定程度上无法准确代表系统的整体分辨率水平，容易产生分析偏差。为了解决这一问题，随之发展出了提取分辨率信息的另一种常见方法，即进行傅里叶频谱分析。通过对原始图像进行傅里叶变换，可以获得相应的光学传递函数（OTF）以及傅里叶光谱功率、傅里叶变换振幅等指标，从而有效揭示图像中的样本信息，给出分辨率的整体评价^［22］。图3展示了不同成像技术采集图像的傅里叶频谱信息，其中高频分量对应着图像中的细节信息，高频成分越多且清晰，表示图像的分辨率越高。

免疫荧光标记的果蝇巨噬细胞微管的传统和超分辨显微图像，比例尺为5 μm，插图里的比例尺为0.5 μm［23］。（a）宽场（WF）图像；（b）反卷积后的宽场（WFD）图像；（c）三维结构光照明显微（3D-SIM）图像；（d）受激发射损耗显微（STED）图像；（e）单分子定位显微（SMLM）图像；（f）~（j）对应的频谱图像

图 3. 免疫荧光标记的果蝇巨噬细胞微管的传统和超分辨显微图像，比例尺为5 μm，插图里的比例尺为0.5 μm^［23］。（a）宽场（WF）图像；（b）反卷积后的宽场（WFD）图像；（c）三维结构光照明显微（3D-SIM）图像；（d）受激发射损耗显微（STED）图像；（e）单分子定位显微（SMLM）图像；（f）~（j）对应的频谱图像

Fig. 3. Examples of traditional and super-resolution microscopic images of immunofluorescence labeled microtubules in Drosophila macrophages，the scale bar is 5 μm，and the scale bar of the inset is 0.5 μm^[23]. (a) Wide field image; (b) wide field image after deconvolution; (c) 3D-SIM image; (d) STED image; (e) SMLM image; (f)‒(j) corresponding Fourier spectra

下载图片查看所有图片

2.1.3　基于傅里叶环相关的分辨率定量评价方法

然而，上述频谱分析只能得到“半定量”的分辨率结果。为此，研究者们将最初由电镜分辨率分析演化而来的定量评价方法，即傅里叶环相关（FRC）^［24］法，应用于光学显微领域中。其原理是：对两幅具有独立噪声的图像在同一频域区域进行归一化互相关度量，通过计算图像中傅里叶频谱环的相关系数，得出图像的空间截止频率，以此频率为界来区分有效信号与噪声，进而评估图像的分辨率，如图4（a）所示；在此过程中，傅里叶频谱被划分为多个环形区域，产生一系列同心环，对于每个环形区域，计算原始图像与另一个图像（通常是模糊或降采样后的图像）之间的傅里叶频谱相关系数。重复上述步骤，将相关系数计算应用到所有的环形区域，计算方式^［25］为

FRC分辨率评价方法示意图。（a）通过FRC确定分辨率的工作流程，期间对图像进行相应的滤波［24］；（b）计算两幅独立图像在半径为q的圆周上的傅里叶变换之间的相关性，得到一条相关性随空间频率增加而衰减的FRC曲线，比例尺为1 μm［27］；（c）单一图像FRC计算原理［25］

图 4. FRC分辨率评价方法示意图。（a）通过FRC确定分辨率的工作流程，期间对图像进行相应的滤波^［24］；（b）计算两幅独立图像在半径为q的圆周上的傅里叶变换之间的相关性，得到一条相关性随空间频率增加而衰减的FRC曲线，比例尺为1 μm^［27］；（c）单一图像FRC计算原理^［25］

Fig. 4. Resolution evaluation methods for FRC. (a) Workflow used for the determination of the resolution through FRC and corresponding filtering of the image^[24]; (b) correlation between the Fourier transforms of the two independent images over the perimeter of the circle with radius q is calculated resulting in a FRC curve indicating the decay of the correlation with spatial frequency increasing, the scale bar is 1 μm^[27]; (c) illustration for single image FRC^[25]

下载图片查看所有图片

F R C (r_{i}) = \frac{\sum_{r \in r_{i}} F_{1} (r) \cdot F_{2} {(r)}^{*}}{\sqrt[]{\sum_{r \in r_{i}} {F_{1}}^{2} (r) \cdot \sum_{r \in r_{i}} {F_{2}}^{2} (r)}}

，（2）

式中： $F_{1}$ 和 $F_{2}$ 是两幅图像的傅里叶变换； $r_{i}$ 代表第 $i$ 个环形区域； $r$ 为所取像素点频率值所在位置对应的环半径。可以绘制相关系数与空间频率相关的图像，这个图像被称为FRC曲线，如图4（b）所示，当FRC计算值减小到预设阈值（一般默认为经验值1/7^［26］）以下时的频率即为截止频率，其倒数对应图像的分辨率。FRC方法的优点是可以实时定量地评估图像的分辨率，并且不需要进行额外的采样或测量。然而，传统的FRC分析需要两幅具有独立噪声和相同感兴趣区域的图像。为了解决这一问题，Koho等^［25］提出了一种单图像评估方法，如图4（c）所示。具体地，将单个图像划分为4个子集，即2个图像对。第一对，将每个具有（偶、偶）行/列索引的像素形成一个子图像，（奇、奇）索引形成另一个子图像；第二个图像对由（偶、奇）和（奇、偶）索引处的像素组成。将两个图像对FRC的平均值作为最终输出结果，以便于平衡特殊的光谱域对称性。与FWHM方法相比，FRC避免了人为主观因素的介入，它根据显微图像自身信号与外界噪声之间的频谱分布关系来确定分辨率，很好地保证了分辨率测量的稳定性和真实性。Tortarolo等^［27］进一步证实了FRC的高噪声鲁棒性和普适性。Shaw等^［28］使用在空间和时间上评估的成对自相关函数来测量静态样本图像的时间间隔相关点扩散函数，从而能够精确地测量标记物体之间的两两距离，在考虑空间采样的前提下补充了常用的FRC评价指标。

尽管FRC可以提供很好的全局分辨率评价，但在实际成像尤其是超分辨成像过程中，局部分辨率可能会在短时间内发生显著变化。例如在SMLM中，不同局部区域的实际分辨率通常由相应的分子活性强度和密度以及局部背景噪声水平决定^［29］。为了测量这种分辨率的异质性，Culley等^［30］引入了分模块FRC评价，但仍然无法准确描述超分辨尺度下分辨率变化的空间分离特性。基于此问题，Zhao等^［31］提出了一种滚动傅里叶环相关（rFRC）方法。该方法类似于在图像上进行滚动滤波，通过滑动窗口来为有效模块（中心像素的平均强度大于给定阈值的模块）分配相应的FRC分辨率。重复该过程，计算得到两个全局指标，rFRC值和rFRC分辨率，前者是一个无量纲指标，取值从0开始，反映了整个成像区域的劣化速率，后者则可以表示该幅图的平均分辨率。

传统的FRC主要用于定量描述显微图像的二维分辨率，为了进一步表征其三维分辨率，可以简单地将FRC推广到三维空间，即傅里叶壳相关（FSC）^［25］评价方法。然而，由于光学显微镜的轴向分辨率与横向分辨率往往具有较大差异，FSC评价方法的应用较为困难。罗喜亮等^［32］对横向与轴向所取的壳层模型进行优化和修正，提出了切片傅里叶壳层相关（sFSC）的分辨率评估方法。壳层模型为对称的双楔形，绕中心轴以一个固定旋转角度步进式旋转360°，得到各方位角对应的频域壳层相关性结果，可直接用于衡量原始图像的细节分辨水平。

2.1.4　基于去相关的分辨率定量评价方法

为了避免传统FRC方法采集两幅独立图像的困难，另外一种基于单一图像的去相关分辨率定量评价方法应运而生^［33］，如图5所示。该方法通过引入部分相位相关来避免阈值调节的必要性，无需先验知识，只需一个非饱和的、带宽有限的信号和足够的采样空间，同时不依赖于任何用户定义的参数。算法主要包括如下步骤：首先对图像进行标准边缘消隐处理后进行傅里叶变换，以抑制高频伪影；将傅里叶变换结果归一化，对归一化图像和原图在傅里叶空间中进行Pearson互相关，取值压缩到0和1之间，如图5（a）所示；重复以上运算，并利用一个二元圆形掩模对归一化的傅里叶图像进行滤波，如图5（b）所示；接着对输入图像进行多次从弱到强的高通滤波，计算每幅滤波后图像的去相关函数，提取峰值位置和振幅，根据去相关函数的局部最大值估计出最高频率，实现无参数的图像分辨率估计，如图5（c）和图5（d）所示。该方法的优势在于只使用线性运算，能够快速实时客观地评估图像分辨率并同时适用于宽场、SIM、STED、SMLM等多种成像技术。

图 5. 去相关分辨率评价流程^［33］。（a）图像与其经过傅里叶滤波的归一化图像进行互相关，比例尺为5 μm；（b）互相关系数作为掩模半径的函数；（c）对输入图像进行高通滤波；（d）用于图像分辨率计算的所有去相关函数曲线

Fig. 5. Workflow of image decorrelation resolution analysis^[33]. (a) Cross-correlation of the image with its Fourier-filtered normalized version, the scale bar is 5 μm; (b) cross-correlation coefficient as a function of the mask radius; (c) high-pass filtering for the input image; (d) all decorrelation function curves used for the resolution estimation

下载图片查看所有图片

2.2　误差及噪声定量评价方法

对于光学显微成像技术，尤其是超分辨技术来说，如何确保重构结果的准确性是至关重要的问题之一。重构误差一般指重构的高分辨率图像与真实样品之间的匹配误差。量化这种误差的最直观的方法是基于人眼视觉^［34］，但往往会受到研究人员经验与偏好的影响。定量评价光学显微图像的误差有多种方法，其中常用的是均方误差（MSE）^［35］和平均绝对误差（MAE）^［36］。MSE通过计算图像中每个像素值与其对应的原始像素值之间的差异，并求取这些差异平方和的平均值来得到定量评估，具体计算公式^［37］为

V_{M S E} = \frac{1}{N} \sum_{i = 1}^{N} {[I (i) - I' (i)]}^{2}

，（3）

式中： $N$ 表示图像中像素的总数； $I (i)$ 表示原始图像的第 $i$ 个像素值； $I' (i)$ 表示复原（或经过处理）后图像的第 $i$ 个像素值。基于量纲相当的特性，均方根误差（RMSE）也得到了广泛应用，表达式为

V_{R M S E} = \sqrt[]{V_{M S E}}

。（4）

MAE指误差绝对值的平均值^［38］，表达式为

V_{M A E} = \frac{1}{N} |I (i) - I' (i)|

。（5）

在具体评价情景中，如果图片存在一些极端异常值，使用MAE更加合适，如果评价目标是最小化整体误差，则使用RMSE效果更佳。因为RMSE会对大的误差进行平方放大，使得这些异常值对整体误差的贡献愈加凸显。而MAE只考虑误差的绝对值，因此更加符合误差的实际含义。MSE、RMSE和MAE指标通常只关注参考图像和目标图像在全局灰度水平上的像素差，忽略了局部颜色和纹理等其他方面的差异，从而在视觉感知方面表现较差，常与人眼感知的视觉质量不太匹配。基于此问题，Culley等^［30］提出了一种名为超分辨率定量图像评级和误差位置报告（SQUIRREL）的框架，如图6（a）所示，以便对局部图像误差进行定量评价。该算法需要首先输入参考图像（通常为衍射限制的低分辨率图像）、超分辨图像和代表性的分辨率缩放函数（RSF）图像以校正超分辨图像和参考图像之间的光学空间偏置；接着迭代估计RSF和线性缩放系数，将超分辨图像转换为衍射受限的等效图像，称为“分辨率缩放图像”；最后计算参考图像和分辨率缩放图像的像素绝对误差，生成最终的误差结果。该方法引入了两个全新的评价指标，即分辨率缩放误差（RSE）和分辨率缩放Pearson系数（RSP），计算方式^［31］为

I_{H L} = (I_{L} \times μ + θ) \otimes V_{R S F} = I_{H S} (μ, θ) \otimes I_{R S F} (σ)

，（6）

V_{R S E} = \sqrt[]{\frac{\sum_{x, y} I_{L} (x, y) - I_{H L} {(x, y)}^{2}}{n}}

，（7）

V_{R S P} = \frac{\sum_{x, y} [I_{L} (x, y) - {\bar{I}}_{L}] (I_{H L} - {\bar{I}}_{H L})}{\sqrt[]{\sum_{x, y} {(I_{L} - {\bar{I}}_{L})}^{2}} \sqrt[]{\sum_{x, y} {(I_{H L} - {\bar{I}}_{H L})}^{2}}}

，（8）

式中： $μ$ 和 $θ$ 为图像强度缩放因子； $σ$ 为RSF参数； $I_{L}$ 为低分辨图像； $I_{H S}$ 为缩放后的高分辨图像。RSE表示参考图像和分辨率缩放图像之间的均方根误差。RSP则表示参考图像和分辨率缩放图像之间的Pearson相关系数，该系数适用于不同超分辨成像模式图片间的分辨率定量比较，体现了图像的保真度水平。

图 6. RSE的评价方法示例。（a）SQUIRREL误差映射的典型工作流程^［30］；（b）用NanoJ-SQUIRREL进行误差评估，色块为经过放大渲染后的超分辨图像对应区域，比例尺为5 μm，局部感兴趣区域的比例尺为1 μm^［39］

Fig. 6. Example of the evaluation method based on RSE. (a) Representative workflow for SQUIRREL error mapping^[30]; (b) NanoJ-SQUIRREL for error evaluation. The color block is the corresponding area of the super-resolution image after enlargement and rendering, the scale bar is 5 μm, the scale bar of the region of interest is 1 μm^[39]

下载图片查看所有图片

基于上述工作，为了直观比较原始图像和重构图像的像素级绝对差异，Zhao等^［31］引入了新型分辨率比例误差图（RSM），以便获得高信噪比条件下的多点重构误差，同时与rFRC相结合，有效避免RSM可能出现的假阳性识别问题。Laine等^［39］综合RSE和RSP等指标，将SQUIRREL框架与ImageJ集成起来，提出了NanoJ-SQUIRREL质量评估方法，如图6（b）所示。除分辨率不同外，衍射受限图像和相应采集重构后获得的超分辨图像应该包含相同的底层结构信息，因此衍射受限图像可以被视为“高置信度基准”。通过比较超分辨图像与衍射受限的参考图像，统一映射在各个像素处的差异形成误差图，能够准确描述二者之间的均匀度一致性和平均强度失配程度。该方法支持GPU计算，具有能够确保快速处理大批量数据的显著优势。

促使采集图像与原始图像产生误差的另一主要因素是噪声的存在。光学显微图像噪声通常指统计噪声，即在代表微观图像的数据集中引入不确定性的采集因素的组合。从视觉上讲，这种不确定性表现为测量的图像强度值与它们的真实强度的差异。噪声模型一般是泊松和高斯分布模型的结合^［40］，如图7所示。前者又称为散粒噪声，是由光子/电子计数过程的随机性产生的，它通常遵循泊松分布。后者被称为暗电流，由复杂热效应和电磁效应引入，通常遵循加性高斯分布。光学显微图像的信噪比（SNR）^［41-42］是用来定量评估图像质量的重要指标之一，公式^［43］为

图 7. 两种典型噪声类型显示^［44］

Fig. 7. Illustration of two typical types of noise^[44]

下载图片查看所有图片

V_{S N R} = \frac{μ}{σ}

，（9）

式中： $μ$ 为原始图像信号平均值； $σ$ 为背景信号标准差。信噪比表示图像中有效信号与噪声的相对强度关系，即信号的强度与噪声的强度之比，二者比值越大，说明图像中有效信息的相对强度越高，图像质量越好。

在显微图像中，最常用的定量评价信噪比的指标为峰值信噪比（PSNR）^［45］，PSNR在MSE的基础上计算而来，用dB作单位，其计算公式^［46］为

V_{P S N R} = 10 l o g_{10} \frac{{V_{M A X}}^{2}}{V_{M S E}}

，（10）

式中： $V_{M A X}$ 为图像像素灰度值的最大可能取值，通常为255（8位灰度图像）或65535（16位灰度图像）。PSNR的取值区间为 $[0, + \infty]$ ，较高的PSNR值意味着更好的图像质量。PSNR计算方法相对简单，易于实现，在图像去噪等方面得到了广泛的应用，但其是基于图像像素灰度值的全局统计，因此无法准确把握图像的局部质量。考虑到不同噪声类型和噪声源的存在，还可以计算Paul等^［47］提出的局部信噪比，进行全局和局部噪声的对比估计。

另外，显微图像中由于背景可能包含除系统噪声之外的其他成分，例如来自样本本身的干扰等，从而信背比（BSR）可以更加全面地反映这一特点。图8展示了在不同BSR条件下的原始图像与重构SIM图像，由于高BSR原始图中的照明光场被模糊，高背景下重构图像与真实（GT）图像相比存在较多的拖尾现象。

图 8. 不同BSR条件下的原始图与SIM重构图像^［36］

Fig. 8. Raw and SIM images under different BSR conditions^[36]

下载图片查看所有图片

噪声和背景的影响也可以直观地反映在光学显微图像的对比度上，其代表了灰度反差的大小。经典的对比度计算方法有Weber对比度^［48］和Michelson对比度等。Weber对比度的计算公式为

C_{W} = \frac{I - I_{b}}{I_{b}}

，（11）

式中： $I$ 为样本信号灰度； $I_{b}$ 为背景信号灰度。 $C_{W}$ 的取值范围为 $[0, + \infty]$ ，当取值为0时，表示图像完全均匀，没有任何对比度差异；随取值逐渐增大，图像中对比度的差异开始变得显著。Michelson对比度的计算方法为

C_{M} = \frac{I_{m a x} - I_{m i n}}{I_{m a x} + I_{m i n}}

，（12）

式中： $I_{m a x}$ 和 $I_{m i n}$ 分别表示整幅图像最大和最小的灰度值。

Vietz等^［48］通过计算Weber对比度来量化方法的灵敏度，以证明对于智能手机摄像头模块，单色传感器在荧光检测方面优于彩色传感器，如图9（a）所示；Brunstein等^［49］为了定量表征设计结构的增强效果，在结构表面引入荧光探针，以便计算结构内外探针的Weber对比度，结果表明该结构存在下对比度比传统落射荧光技术增加1倍以上，如图9（b）所示；Zhou等^［50］根据Michelson对比度评价分析提出的新型非接触式共焦显微镜较传统明场技术的对比度增强效果，如图9（c）所示，与明场技术所对应的实线相比，共聚焦技术（虚线）具有更加明显的强度变化和更低的背景噪声水平，对比度增加约7倍。

图 9. 两种对比度定量评价方法。（a）不同样品的Weber对比度^［48］；（b）结构外部（左）和内部（右）溶液中覆盖有荧光素的荧光珠图像^［49］；（c）明场技术与共聚焦成像的Michelson对比度曲线和图像显示^［50］

Fig. 9. Two kinds of contrast evaluation methods. (a) Weber contrast values of different samples^[48]; (b) images of fluorescent beads covered with fluorescein in solution outside (left) and inside (right) the structure^[49]; (c) Michelson contrast curve and image display of bright field technology and confocal imaging^[50]

下载图片查看所有图片

2.3　结构相似度定量评价方法

考虑到单一灰度值评价的局限性，Wang等^［51］提出了结构相似度指数（SSIM）对参考图像和目标图像之间的像素块进行相似性感知。SSIM通过比较两幅图像的亮度、对比度和结构信息来计算相似度。它的原理可以分为3个部分：首先计算两幅图像的亮度信息的相似度，通过比较两幅图像的平均亮度来衡量它们之间的亮度差异；其次计算两幅图像的对比度信息的相似度，对比度衡量了图像中不同区域的亮度变化程度；最后计算两幅图像的结构信息的相似度，结构信息反映了图像中的边缘、纹理和细节等特征。将这3个部分的相似度计算结果加权求和，得到最终的SSIM。具象化演示如图10所示，具体计算方式为

S S I M (x, y) = {[L (x, y) C (x, y) S (x, y)]}^{α}

，（13）

L (x, y) = \frac{2 μ_{x} μ_{y} + C_{1}}{{μ_{x}}^{2} + {μ_{y}}^{2} + C_{1}}

，（14）

C (x, y) = \frac{2 σ_{x y} + C_{2}}{{σ_{x}}^{2} + {σ_{y}}^{2} + C_{2}}

，（15）

S (x, y) = \frac{σ_{x y} + C_{3}}{σ_{x} σ_{y} + C_{3}}

，（16）

式中： $x$ 和 $y$ 分别表示待比较的两幅图像； $L (x, y)$ 、 $C (x, y)$ 、 $S (x, y)$ 表示亮度、对比度和结构相似性的评分； $α$ 是一个可调参数； $μ_{x}$ 和 $μ_{y}$ 分别表示 $x$ 和 $y$ 图像的平均亮度值； $σ_{x}$ 和 $σ_{y}$ 表示 $x$ 和 $y$ 图像灰度的标准差； $σ_{x y}$ 表示 $x$ 和 $y$ 图像灰度的协方差； $C_{1}$ 、 $C_{2}$ 和 $C_{3}$ 代表小的正常数，目的是避免分母为0。SSIM的取值范围为 $[- 1,1]$ ，值越接近1表示两幅图像越相似，值越接近-1表示两幅图像越不相似。一般来说，当SSIM大于0.8时，认为两幅图像已经具备较高的相似性。

图 10. 量化图像质量的SSIM计算流程^［52］

Fig. 10. SSIM computation procedure to quantify the image quality^[52]

下载图片查看所有图片

SSIM计算方法的优点是能够考虑到人类视觉系统对图像的感知特性^［53］，因此对于评估图像质量具有较高的准确性。多尺度结构相似性指数（MS-SSIM）是SSIM的扩展，它能够计算多个图像分辨率下的结构相似性^{［36，51］}。为了评价生物标本的密度和复杂性，Qiao等^［36］引入了结构复杂度的概念，将其定义为灰度的平均梯度。Zhang等^［54］在SSIM的基础上提出了特征相似度指数（FSIM）。计算FSIM时需要率先提取目标图像的结构特征，即使用高斯滤波器对参考图像和目标图像进行平滑处理，对平滑后的图像进行一阶和二阶导数运算，提取特征；然后将结构特征图像分为不同的子窗口，依次计算结构相似性、亮度相似性、颜色相似性等参数，通过加权求和得到整体的特征结构相似性，利用相位一致的结构信息和梯度信息，表现出更佳的评价性能。Gao等^［55］提出了一种基于结构信息引导的伪影检测方法，通过计算宽场图像与退化超分辨图像的结构差异来识别伪影。为了使图像相似性评估集中在特定区域，对检测器引入一种权重掩模，以更好地从宽场图像中提取结构信息，并基于此结构信息提出了一种用于超分辨率图像伪影检测的结构相似度指标，命名为MASK-SSIM。在实际应用中，单一SSIM对特定类型的图像失真并不非常敏感，因此在实际应用中往往需要结合其他评估指标来综合评估图像质量，如图11所示。

图 11. 转盘共聚焦显微镜获得的硅罗丹明（SIR）-DNA标记的乳腺癌细胞图像以及使用三种不同模型进行去噪后的效果图示，不同的定量评价指标标注于图中以评价处理效果^［56］

Fig. 11. Image of silicon rhodamine (SIR)-DNA-labeled breast cancer cells obtained by spinning disk confocal microscope and the effect of denoising using three different models. Different quantitative evaluation indicators are marked in the figure to evaluate the processing effect^[56]

下载图片查看所有图片

2.4　其他定量评价方法

除上述基于分辨率、误差以及结构相似度等在光学显微领域内关键性参数的全参考定量评价方法外，鉴于在某些实际应用中，原始参考图像无法直接获得或所需的信息成本过大，由工业数字图像处理方法演变而来的无参考方法也得到了不同程度的发展。

工业上常用的无参考方法如基于图像信息熵^［57］的方法，通过信息熵衡量图像复杂度，较低的熵值表示图像具有较高的信息含量和清晰度；基于图像纹理特征的方法，通过纹理特征描述图像细节和结构，常用的有灰度共生矩阵^［58］、小波变换^［59-60］、局部离散余弦变换^［5］、局部二值模式^［61-62］、梯度相似性^［63］等；基于机器学习的方法，利用已有的图像数据集进行训练，建立图像质量评价模型。常用的机器学习算法包括支持向量机^［3，57］、人工神经网络^［64］等。这些方法对单一失真（如模糊、噪声和JPEG压缩）的图像具有良好的性能，而对于光学显微图像领域常见的多重失真情形，由于联合失真交互的影响，初始性能并不理想^［65］，研究者们针对这一问题进行了诸多改进。例如，为了确定成像时的最佳光照条件，Abd-Alameer等^［66］提出了一种使用小波变换中HL分量的直方图来进行质量评估的方法。该方法将参考方法（HVS）与无参考方法（熵和平均梯度）整合起来，获得相关系数以衡量不同照明条件下医学显微图像的质量。Huang等^［67］提出了一种基于在线全息技术的高精度片上显微镜，使用BRISQUE算法对全息恢复图像进行全局评估。算法的总体原理是：从归一化图像中提取mean subtracted contrast normalized（MSCN）系数并将其拟合成非对称广义高斯分布形式，提取拟合后的高斯分布特征，然后将其输入支持向量机进行回归计算，得到图像质量评价分数，分数越低表示恢复效果越好。Koho等^［68］将空域和频域方法结合起来，根据图像的相对质量对给定数据集中的图像进行排序，定义为“图像质量排名”。空域上通过直方图量化图像对比度，通过熵和标准差等量化图像细节和模糊度；频域度量则是根据频谱的高频信息进行整合计算。图像质量排名的概念是基于上述统计测量的平均值的，根据其归一化结果对图像进行排序。该方法获得的排序结果可与典型无参考方法DIIVINE^［3］、BRISQUE^［4］、BLIINDS2^［5］、NIQE^［69］和BIBLE^［70］进行联合验证，并且在实际STED图像数据集中表现出比主观评分结果更优越的相关性。

3　光学显微图像定量评价应用

光学显微图像定量评价在实际应用研究中也具有重要的意义，通过对这些指标进行准确评估，可以判断显微图像的重构效果，进而反向指导优化图像处理和分析的过程，优化算法的参数和设计，提升成像效果。定量评价在显微图像伪影校正、显微系统自动聚焦、深度学习算法优化等方面发挥了较大的作用。

3.1　伪影校正

对于任何光学显微系统来说，由于原理和技术上的限制，采集和重构过程中会不可避免地引入伪影或称虚假结果。显微图像伪影一般包括非均匀照明、模糊、噪声、数字化和压缩伪影^［44］等，其中尤以由分辨率限制和重构误差等诸多因素引起的图像感知锐度损失和重构结果错误为主，通过显微图像定量评价能很好地对这些伪影进行评估和校正。

Knapp等^［71］设计了基于多光子显微镜平铺拼接的伪影校正方法，并对获得的自发荧光图像进行了定量和定性比较，通过计算MSE、PSNR和与原始图像对应的SSIM来评估伪影去除情况。Wu等^［72］提出了高景深荧光全息显微技术，将深度学习框架引入图像重构中以抑制伪影并有效扩展传统荧光显微镜的自由度，抑制程度同样通过SSIM得到量化评价。特别的，超分辨重构图像由于饱受仪器设置、成像条件和重构方法复杂性的影响，往往会产生明显的结构缺失或结构锐化等典型伪影。如图12所示，Laine等^［73］提出了增强超分辨率径向波动（eSRRF）重构算法，通过平衡分辨率和保真度两个指标，得到质量和分辨率分数（QnR），以此评价图像的重构效果，反馈指导重构算法的参数设置，减小重构误差。QnR的表达式为

eSRRF图像重建工作流程［73］。（a）微管网络的原始图像、宽场图像和eSRRF重建图像，比例尺为1 μm；（b）eSRRF重构步骤；（c）RSP、FRC和QnR分辨率图以及随时间变化的SSIM（从上到下）；（d）宽场图像、eSRRF重建图像、低分辨率重建图像和低保真度重建图像，比例尺为20 μm

图 12. eSRRF图像重建工作流程^［73］。（a）微管网络的原始图像、宽场图像和eSRRF重建图像，比例尺为1 μm；（b）eSRRF重构步骤；（c）RSP、FRC和QnR分辨率图以及随时间变化的SSIM（从上到下）；（d）宽场图像、eSRRF重建图像、低分辨率重建图像和低保真度重建图像，比例尺为20 μm

Fig. 12. Produce of eSRRF image reconstruction^[73]. (a) Raw image, wide field image, and eSRRF image of a microtubule network, the scale bar is 1 μm; (b) eSRRF reconstruction steps; (c) RSP, FRC, and QnR resolution maps with SSIM metric observed over time (from up to bottom); (d) wide field image, eSRRF reconstruction image, low resolution reconstruction image, and low fidelity reconstruction image, the scale bar is 20 μm

下载图片查看所有图片

V_{Q n R} = \frac{2 \times V_{R S P} \times V_{n F R C}}{V_{R S P} + V_{n F R C}}

，（17）

式中：V_nFRC是标准化的FRC分辨率度量，取值在0到1之间，越接近1表示分辨率越高。

由于显微图像数据集的规模不断扩大，所带来的伪影复杂性日益提升，亟须发展快速全面的分析工作流程。Saraiva等^［74］提出了一种名为NanoPyx的自适应框架，针对生物样本高速采集图像进行质量分析。NanoPyx的核心是液体引擎，它动态生成基于CPU和GPU的代码变体，根据输入数据和硬件获得并预测最快速有效的代码。这种数据驱动的优化实现了超10倍的处理速度提升，使其广泛适用于需要高效率的反应灵敏度的显微和计算领域。通过NanoPyx，用户可以校正系统漂移、在多通道中执行配准、基于eSRRF生成超分辨图像、利用FRC，利用图像去相关和NanoJ-SQUIRREL定量评估生成图像的质量。Ball等^［75］设计了基于ImageJ的SIMcheck集成软件，通过输出多尺度参数分析结果，全面地评估采集获得的SIM图像分辨率并识别重构误差和伪影来源，有效简化了图像校准和分析步骤，现已成为SIM图像质量评估和数据标准化后处理的有力工具。Peng等^［76］引入了BaSiC，一种基于低秩和稀疏分解的图像伪影校正平台，以解决生物成像数据定量分析中受到的时空背景变化影响。与现有的伪影校正工具相比，BaSiC作为Fiji/ImageJ的插件时，不需要进行手动参数设置，可以通过极少的输入图像数量实现高精度复原和误差评估，并同时适用于明场、暗场、荧光等多种成像条件，且对特定类型伪影具有鲁棒性。

3.2　自动聚焦

在光学显微成像中，物镜对样本的聚焦是一个关键步骤，它决定了样本在图像平面上的清晰度和细节可见度。传统的手动对焦方法通常需要用户不断调整物镜位置，直到达到最佳清晰度为止。然而，这种方法对操作者的经验和技巧有一定的要求，并且在快速连续成像或需要自动化的应用中并不适用。如图13所示，自动对焦通过使用图像处理算法来评估图像的清晰度，并根据反馈信号调整镜头焦距，其核心在于选取适应使用场景的对焦评价函数，并配合适当的搜索策略，从而使仪器准确快速地找到焦平面位置，常用的算法中往往都会涉及显微图像定量评价的相关指标。

图 13. 自动对焦分析流程，对文献［84］提供例图稍作修改

Fig. 13. Schematic of autofocusing, slightly modifing the example provided in Ref.[84]

下载图片查看所有图片

Liang等^［77］将自动对焦视为回归问题，利用梯度提升决策树（GBDT）来同时预测逐步递进的步长和方向，以MAE作为衡量聚焦曲线的主要参数。Wei等^［78］提出了一种深度学习方法，使用卷积神经网络框架作为明场技术和相差显微镜的自动聚焦方法，图像的z平面位置单独由图像本身的信息确定，而不引入额外的参考图像，通过计算梯度或高频分量或提取边缘信息来量化评估聚焦图像的清晰度，以MSE为指标比较不同下采样因子和z轴堆栈宽度条件下所提出方法的定位精度与准确性。Wang等^［79］提出了一种同样基于卷积神经网络的梯度掩模关注网络（GMANet）方法，通过局部最大梯度值来评价图像质量，将显微图像的梯度信息引入低级卷积层作为掩模关注机制，迫使高级特征更多地关注到锐利区域。该网络与人类视觉特性具有良好的一致性，能够准确识别自动对焦过程中最清晰的显微图像，从而可以直接应用于粪便和血液等复杂样本的自动对焦过程，无需额外的迁移学习。Quintana-Quintana等^［80］为了量化在不同工作距离捕获的显微图像焦点，提出了一个用于模糊量化的背景框架，结合高光谱图像数据集进行分析，使用HVS、PSNR、基于自由能量的失真度量、感知锐度指数等多种方法比较评估结果。Sigdel等^［81］介绍了一种基于哈里斯角响应测量的新型自动对焦方法，通过PSNR值相近证明了与现有先进自动对焦方法的性能可比性。为了支持长时间对动态活体样本的高帧率成像，减少光毒性和光漂白影响，Jiang等^［82］提出了轻量级密集连接与挤压激励网络，并对焦点预测算法的结果在公共数据集和自建数据集上统一进行了验证。通过构建一个完整的评估系统，以比较和分析所属模型与经典模型的RMSE、训练时间等指标在多区域和高倍率焦点预测中的有效性。针对传统聚焦评价方法难以适应显微样本复杂纹理表面及反射率不均的问题，袁涛等^［83］提出了一种抗背光强度、抗反射率不均、亚微米精度的基于双模糊理论的显微图像聚焦评价方法（DB-FEM），通过分析采集图像及其人为模糊图像的特征差异程度实现聚焦判断，并提出了人工模糊有效标准差的概念，聚焦评估结果的清晰度、峰值灵敏度和陡度可以在传统聚焦评估方法的基础上得到不同程度的提高。

3.3　模型优化

光学显微图像定量评价的另一主要应用领域是深度学习中的算法模型优化。深度学习作为机器学习方法的一种，其核心思想是通过不同类别的神经网络模型来模拟和学习人类的认知过程，具体地，利用多层次非线性变换，从大规模的数据中学习并提取出高层次的抽象特征，用于解决复杂的模式识别、分类、回归等问题。常用的深度学习模型有卷积神经网络（CNN）^［85-87］及演化而来的U-net^［88-90］、循环神经网络（RNN）^［91］和生成对抗网络（GAN）^［92］等。随着深度学习的不断发展，它们在光学显微技术中具有广泛的应用，几乎参与到成像领域包括重建、分割、增强和追踪在内的各个环节中。然而，基于众所周知的“黑匣子”问题，深度学习的机制难以得到准确统一的阐述，为了评价深度学习框架的具体分析能力和效果，衍生出损失函数这一概念，其定义为度量模型预测图像与真实图像之间的差异的函数。显微图像定量评价在损失函数的相关评估中起到了指导性的作用，使其在训练过程中被最小化，促进模型能够更好地拟合训练数据，并提高对新数据的泛化能力。

如表1所示，大多数基于深度学习的超分辨重构模型使用MSE^{［85，88］}、MAE^［93］、SSIM及其延伸形式^［94］或结合判别误差^［95］作为损失函数。传统的单图像超分辨重构模型的超分辨卷积神经网络（SRCNN）和在此基础上发展出的增强深度残差网络（EDSR）等开创了使用MSE和MAE的先河，二者特性略有差异，MSE通常比MAE收敛更快，MAE则对异常值更为敏感。然而，由于缺乏高频结构，单一定义的损失函数形式在感知上无法很好地满足不同任务模型的评价期望。Huber损失，或称Smooth L1损失，可以将MSE与MAE结合起来，取两者优势定义模型的损失函数。误差接近0时使用MSE，使损失函数可导并且梯度更加稳定；误差较大时使用MAE，降低异常值的影响，提升训练对异常值的抵抗力度。随着GAN在超分辨重构领域应用的普及，基于该模型的Pix2Pix和交叉模态GAN（CMGAN）采用了由对抗性损失和内容损失组成的判别损失函数来进一步提高模型对重构效果准确度的评价效果。Qiao等^［36］设计了深度傅里叶通道注意网络（DFCAN）架构，利用判别函数估计不同图像特征之间的频率内容差异，在训练网络中自适应调整权重，使网络能够学习从低分辨到超分辨图像的精确层次映射并在低信噪比条件下实现SIM图像的重构。DFCAN的损失函数定义为MSE损失和SSIM损失的组合，前者保证了像素精度，均衡了预测的动态范围，后者则增加了输出图像的结构相似度，具体计算公式为

表 1. 不同重建方法的损失函数定义方法^［36］

Table 1. Loss function definition methods of different reconstruction methods^[36]

Network type	SRCNN	EDSR	RCAN	scU-net	Pix2Pix	CMGAN	DFCAN
Loss function	MSE	MAE	MAE	MAE+MSE	MAE+discriminative loss	MSE+SSIM+discriminative loss	MSE+SSIM

查看所有表

\begin{array}{l} L_{D F C A N} (\hat{Y}, Y) = \frac{1}{ω \times h} {\sum_{i = 1}^{ω \times h} ({\hat{Y}}_{i} - Y_{i})}^{2} + \\ λ \times [1 - S S I M (\hat{Y}, Y)] \end{array}

，（18）

式中： $\hat{Y}$ 为DFCAN的输出图像；Y为对应的GT图像； $ω 和 h$ 为输出图像的像素大小； $λ$ 是一个标量权重，用于平衡SSIM和MSE的相对贡献，大多数情况下取值为0.1。在上述诸多方法的基础上，Chen等^［96］开发了一个新型超分辨率网络（SRN），将MS-SSIM引入到损失函数评价中，如图14所示，与感知损失、对抗性损失和频率损失联用，形成多组分损失函数以获得更加全面的分析结果。其中感知损失作为铰链损失函数的变种，对判定边界点（正确端）的惩罚力度有所降低，从而能更好地保证模型的泛化能力。SRN可以成功将单个低分辨图像解析重构为分辨率提升10倍的超分辨图像。

图 14. 超分辨SRN架构^［96］

Fig. 14. Super resolution SRN architecture^[96]

下载图片查看所有图片

以上损失函数类型常用于回归问题分析中，深度学习领域内的另一主要问题是分类问题，此情景下常用交叉熵损失^［97］来进行分析，以完美解决平方损失函数权重更新过慢的问题。例如Yang等^［98］开发了一种基于ResNet的改进型UNet++网络用于图像分类，只须使用少量训练图像就可以在光学显微镜下高精度识别单层石墨烯，通过交叉熵、权重交叉熵、Dice^［99］等多重损失函数进行数据平衡，以分析分割结果的准确率。类似的，Patel等^［100］提出了一种基于残差网络的U-Net模型，用于对视网膜色素上皮干细胞图像中的细胞区域进行分割，使用多个损失函数的加权和，即二元交叉熵损失、Dice损失和倒Dice损失来优化网络权重，该方法在验证数据集的分割上具有相当高的准确系数。

除损失函数的选择外，各个网络之间的交叉联用也是深度学习模型优化的主流趋势之一。von Chamier等^［101］开发了名为ZeroCostDL4Mic的复合平台，利用Google Colab提供的免费云计算资源简化了深度学习的访问。ZeroCostDL4Mic允许没有编码专业知识的研究人员训练和应用典型的深度学习网络来执行诸如图像分割（使用U-Net和StarDist）、目标检测（使用YOLOv2）、去噪（使用CARE和Noise2Void）、超分辨显微重构（使用Deep-STORM）和图像间转换（使用Label-free prediction-fnett、Pix2Pix和CycleGAN）等任务，并为每个网络提供了适当的定量工具（SSIM、RSE、PSNR、MSE等）来评估模型性能，从而实现参数优化。

4　总结与展望

尽管随着光学显微成像技术的蓬勃发展，显微图像定量评价方法实现了从定性到半定量再到定量，从局部到全局的跨越，评价效果取得了长足的进步，但目前仍然存在一些问题，例如大多数评价方法仍然依赖于参数的选择、多参量联合评价的方法较少等。结合当前的研究现状，下一步的光学显微图像定量评价研究趋势可能包括以下几个方面。

1）主观与客观评价结合。主观评价是指人眼对光学显微图像质量的主观感知，而客观评价是通过计算机算法对图像质量进行量化。将主观评价与客观评价相结合，可以更全面地评价图像质量，既符合人眼视觉感受也方便大规模使用。

2）多模态评价。光学显微图像通常包含多个模态，例如明场、暗场、荧光等。传统的定量评价方法主要针对单一模态的图像，对于多模态图像的评价仍然存在挑战，开发适用于多模态图像的评价方法可以更好地满足实际需求。

3）端到端评价。传统的光学显微图像定量评价方法通常包含多个环节，例如图像预处理、特征提取和评价模型。而端到端的图像质量评价方法可以将这些环节整合在一起，通过一个统一的模型直接从原始图像中预测质量得分。这种方法可以进一步减少人为因素干扰，提高评价的可靠性。

4）大数据和自动化评价。随着显微图像数据的不断增加，大数据和自动化方法的应用将成为光学显微图像定量评价的重要趋势。通过收集和分析大量的显微图像数据，可以建立更准确的评价模型。同时，自动化方法可以减少人工干预，提高评价的效率和一致性。

参考文献

[1] Sheikh H R, Sabir M F, Bovik A C. A statistical evaluation of recent full reference image quality assessment algorithms[J]. IEEE Transactions on Image Processing, 2006, 15(11): 3440-3451.

[2] ZhangL, ZhangL, MouX Q, et al. A comprehensive evaluation of full reference image quality assessment algorithms[C]∥2012 19th IEEE International Conference on Image Processing, September 30-October 3, 2012, Orlando, FL, USA. New York: IEEE Press, 2013: 1477-1480.

[3] Moorthy A K, Bovik A C. Blind image quality assessment: from natural scene statistics to perceptual quality[J]. IEEE Transactions on Image Processing, 2011, 20(12): 3350-3364.

[4] Mittal A, Moorthy A K, Bovik A C. No-reference image quality assessment in the spatial domain[J]. IEEE Transactions on Image Processing, 2012, 21(12): 4695-4708.

[5] Saad M A, Bovik A C, Charrier C. Blind image quality assessment: a natural scene statistics approach in the DCT domain[J]. IEEE Transactions on Image Processing, 2012, 21(8): 3339-3352.

[6] Krizhevsky A, Sutskever I, Hinton G E. ImageNet classification with deep convolutional neural networks[J]. Communications of the ACM, 2017, 60(6): 84-90.

[7] Wang W J, Wang H Y, Yang S K, et al. Resolution enhancement in microscopic imaging based on generative adversarial network with unpaired data[J]. Optics Communications, 2022, 503: 127454.

[8] Chen L C, Papandreou G, Kokkinos I, et al. DeepLab: semantic image segmentation with deep convolutional nets, atrous convolution, and fully connected CRFs[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2018, 40(4): 834-848.

[9] Shah Z H, Müller M, Wang T C, et al. Deep-learning based denoising and reconstruction of super-resolution structured illumination microscopy images[J]. Photonics Research, 2021, 9(5): B168-B181.

[10] Faklaris O, Bancel-Vallée L, Dauphin A, et al. Quality assessment in light microscopy for routine use through simple tools and robust metrics[J]. The Journal of Cell Biology, 2022, 221(11): e202107093.

[11] Chen X Z, Zeng Z P, Li R Q, et al. Superior performance with sCMOS over EMCCD in super-resolution optical fluctuation imaging[J]. Journal of Biomedical Optics, 2016, 21(6): 66007.

[12] Rayleigh. On the theory of optical images, with special reference to the microscope[J]. The London, Edinburgh, and Dublin Philosophical Magazine and Journal of Science, 1896, 42(255): 167-195.

[13] UroneP P, HinrichsR. 27.6 limits of resolution: the Rayleigh criterion[EB/OL]. [2023-11-12]. https://openstax.org/books/college-physics-2e/pages/27-6-limits-of-resolution-the-rayleigh-criterion.

[14] 安莎, 但旦, 于湘华, 等. 单分子定位超分辨显微成像技术研究进展及展望(特邀综述)[J]. 光子学报, 2020, 49(9): 0918001.

An S, Dan D, Yu X H, et al. Progress and prospect of research on single-molecule localization super-resolution microscopy(invited review)[J]. Acta Photonica Sinica, 2020, 49(9): 0918001.

[15] Willig K I, Rizzoli S O, Westphal V, et al. STED microscopy reveals that synaptotagmin remains clustered after synaptic vesicle exocytosis[J]. Nature, 2006, 440(7086): 935-939.

[16] Schermelleh L, Carlton P M, Haase S, et al. Subdiffraction multicolor imaging of the nuclear periphery with 3D structured illumination microscopy[J]. Science, 2008, 320(5881): 1332-1336.

[17] Betzig E, Patterson G H, Sougrat R, et al. Imaging intracellular fluorescent proteins at nanometer resolution[J]. Science, 2006, 313(5793): 1642-1645.

[18] Rust M J, Bates M, Zhuang X W. Sub-diffraction-limit imaging by stochastic optical reconstruction microscopy (STORM)[J]. Nature Methods, 2006, 3(10): 793-796.

[19] Li M T, Huang Z L. Rethinking resolution estimation in fluorescence microscopy: from theoretical resolution criteria to super-resolution microscopy[J]. Science China Life Sciences, 2020, 63(12): 1776-1785.

[20] Douglass K M, Sieben C, Archetti A, et al. Super-resolution imaging of multiple cells by optimized flat-field epi-illumination[J]. Nature Photonics, 2016, 10(11): 705-708.

[21] Li M T, Song Q H, Xiao Y H, et al. LuckyProfiler: an ImageJ plug-in capable of quantifying FWHM resolution easily and effectively for super-resolution images[J]. Biomedical Optics Express, 2022, 13(8): 4310-4325.

[22] Pospíšil J, Fliegel K, Švihlík J, et al. Comparison of resolution estimation methods in optical microscopy[J]. Proceedings of SPIE, 2018, 10752: 107522Q.

[23] Demmerle J, Wegel E, Schermelleh L, et al. Assessing resolution in super-resolution imaging[J]. Methods, 2015, 88: 3-10.

[24] Banterle N, Bui K H, Lemke E A, et al. Fourier ring correlation as a resolution criterion for super-resolution microscopy[J]. Journal of Structural Biology, 2013, 183(3): 363-367.

[25] Koho S, Tortarolo G, Castello M, et al. Fourier ring correlation simplifies image restoration in fluorescence microscopy[J]. Nature Communications, 2019, 10: 3103.

[26] van Heel M, Schatz M. Fourier shell correlation threshold criteria[J]. Journal of Structural Biology, 2005, 151(3): 250-262.

[27] Tortarolo G, Castello M, Diaspro A, et al. Evaluating image resolution in stimulated emission depletion microscopy[J]. Optica, 2018, 5(1): 32-35.

[28] ShawT R, FazekasF J, KimS, et al. A lateral resolution metric for static single molecule localization microscopy images from time-resolved pair correlation functions[EB/OL]. [2023-05-06]. https://www.semanticscholar.org/reader/e783d7a52c6479b675f92db4c5952a371ef8f3ad.

[29] Sage D, Kirshner H, Pengo T, et al. Quantitative evaluation of software packages for single-molecule localization microscopy[J]. Nature Methods, 2015, 12(8): 717-724.

[30] Culley S, Albrecht D, Jacobs C, et al. Quantitative mapping and minimization of super-resolution optical imaging artifacts[J]. Nature Methods, 2018, 15(4): 263-266.

[31] Zhao W S, Huang X S, Yang J Y, et al. Quantitatively mapping local quality of super-resolution microscopy by rolling Fourier ring correlation[J]. Light: Science & Applications, 2023, 12: 298.

[32] 罗喜亮, 周舟, 黄江枫, 等. 三维显微图像的分辨率评估方法及应用[J]. 中国激光, 2022, 49(5): 0507205.

Luo X L, Zhou Z, Huang J F, et al. Resolution evaluation method and applications of 3D microscopic images[J]. Chinese Journal of Lasers, 2022, 49(5): 0507205.

[33] Descloux A, Grußmayer K S, Radenovic A. Parameter-free image resolution estimation based on decorrelation analysis[J]. Nature Methods, 2019, 16(9): 918-924.

[34] TariqT, Gonzalez BelloJ L, KimM. A HVS-inspired attention to improve loss metrics for CNN-based perception-oriented super-resolution[C]∥2019 IEEE/CVF International Conference on Computer Vision Workshop (ICCVW), October 27-28, 2019, Seoul, Public of Korea. New York: IEEE Press, 2020: 3904-3912.

[35] Girod B. What’s wrong with mean-squared error?[J]. Digital Images and Human Vision, 1993: 207-220.

[36] Qiao C, Li D, Guo Y T, et al. Evaluation and development of deep neural networks for image super-resolution in optical microscopy[J]. Nature Methods, 2021, 18(2): 194-202.

[37] Greeshma M S, Bindu V R. Super-resolution Quality Criterion (SRQC): a super-resolution image quality assessment metric[J]. Multimedia Tools and Applications, 2020, 79(47): 35125-35146.

[38] Ma L, Rathgeb A, Tran M, et al. Unsupervised super resolution network for hyperspectral histologic imaging[J]. Proceedings of SPIE, 2022, 12039: 120390P.

[39] Laine R F, Tosheva K L, Gustafsson N, et al. NanoJ: a high-performance open-source super-resolution microscopy toolbox[J]. Journal of Physics D: Applied Physics, 2019, 52(16): 163001.

[40] Luisier F, Blu T, Unser M. Image denoising in mixed Poisson-Gaussian noise[J]. IEEE Transactions on Image Processing, 2011, 20(3): 696-708.

[41] Moester M J B, Ariese F, de Boer J F. Optimized signal-to-noise ratio with shot noise limited detection in stimulated Raman scattering microscopy[J]. Journal of the European Optical Society: Rapid Publications, 2015, 10: 15022.

[42] Wang Y F, Kuang C F, Gu Z T, et al. Image subtraction method for improving lateral resolution and SNR in confocal microscopy[J]. Optics & Laser Technology, 2013, 48: 489-494.

[43] Guney G, Uluc N, Demirkiran A, et al. Comparison of noise reduction methods in photoacoustic microscopy[J]. Computers in Biology and Medicine, 2019, 109: 333-341.

[44] de VosW H, MunckS, TimmermansJ P. Focus on bio-image informatics[M]. Switzerland: Springer, 2016.

[45] 苏衡, 周杰, 张志浩. 超分辨率图像重建方法综述[J]. 自动化学报, 2013, 39(8): 1202-1213.

Su H, Zhou J, Zhang Z H. Survey of super-resolution image reconstruction methods[J]. Acta Automatica Sinica, 2013, 39(8): 1202-1213.

[46] NelsonK, BhattiA, NahavandiS. Performance evaluation of multi-frame super-resolution algorithms[C]∥2012 International Conference on Digital Image Computing Techniques and Applications (DICTA), December 3-5, 2012, Fremantle, WA, Australia. New York: IEEE Press, 2013.

[47] PaulP, KalamatianosD, DuessmannH, et al. Automatic quality assessment for fluorescence microscopy images[C]∥2008 8th IEEE International Conference on BioInformatics and BioEngineering, October 8-10, 2008, Athens, Greece. New York: IEEE Press, 2008.

[48] Vietz C, Schütte M L, Wei Q S, et al. Benchmarking smartphone fluorescence-based microscopy with DNA origami nanobeads: reducing the gap toward single-molecule sensitivity[J]. ACS Omega, 2019, 4(1): 637-642.

[49] Brunstein M, Cattoni A, Estrada L, et al. Improving image contrast in fluorescence microscopy with nanostructured substrates[J]. Optics Express, 2015, 23(23): 29772-29778.

[50] Zhou Y, Hong M H. Realization of noncontact confocal optical microsphere imaging microscope[J]. Microscopy Research and Technique, 2021, 84(10): 2381-2387.

[51] Wang Z, Bovik A C, Sheikh H R, et al. Image quality assessment: from error visibility to structural similarity[J]. IEEE Transactions on Image Processing, 2004, 13(4): 600-612.

[52] Mudeng V, Kim M, Choe S W. Prospects of structural similarity index for medical image analysis[J]. Applied Sciences, 2022, 12(8): 3754.

[53] Palubinskas G. Image similarity/distance measures: what is really behind MSE and SSIM?[J]. International Journal of Image and Data Fusion, 2017, 8(1): 32-53.

[54] Zhang L, Zhang L, Mou X Q, et al. FSIM: a feature similarity index for image quality assessment[J]. IEEE Transactions on Image Processing, 2011, 20(8): 2378-2386.

[55] Gao S, Xu F, Li H J, et al. DETECTOR: structural information guided artifact detection for super-resolution fluorescence microscopy image[J]. Biomedical Optics Express, 2021, 12(9): 5751-5769.

[56] Laine R F, Arganda-Carreras I, Henriques R, et al. Avoiding a replication crisis in deep-learning-based bioimage analysis[J]. Nature Methods, 2021, 18(10): 1136-1144.

[57] Liu L X, Liu B, Huang H, et al. No-reference image quality assessment based on spatial and spectral entropies[J]. Signal Processing: Image Communication, 2014, 29(8): 856-863.

[58] Rajagopal H, Mokhtar N, Khairuddin A S M, et al. Gray level co-occurrence matrix (GLCM) and Gabor features based no-reference image quality assessment for wood images[J]. Proceedings of International Conference on Artificial Life and Robotics, 2021, 26: 736-741.

[59] Sadiq A, Nizami I F, Anwar S M, et al. Blind image quality assessment using natural scene statistics of stationary wavelet transform[J]. Optik, 2020, 205: 164189.

[60] Joshi P, Prakash S. Continuous wavelet transform based no-reference image quality assessment for blur and noise distortions[J]. IEEE Access, 2018, 6: 33871-33882.

[61] Zhang M, Muramatsu C, Zhou X R, et al. Blind image quality assessment using the joint statistics of generalized local binary pattern[J]. IEEE Signal Processing Letters, 2015, 22(2): 207-210.

[62] ZhangM, XieJ, ZhouX R, et al. No reference image quality assessment based on local binary pattern statistics[C]∥2013 Visual Communications and Image Processing (VCIP), November 17-20, 2013, Kuching, Malaysia. New York: IEEE Press, 2014.

[63] Liu A M, Lin W S, Narwaria M. Image quality assessment based on gradient similarity[J]. IEEE Transactions on Image Processing, 2012, 21(4): 1500-1512.

[64] Wasson V, Kaur B. Image Quality Assessment: edge based entropy features estimation using Soft Computing Techniques[J]. Materials Today: Proceedings, 2022, 56: 3261-3271.

[65] Dong X J, Fu L, Liu Q. No-reference image quality assessment for confocal endoscopy images with perceptual local descriptor[J]. Journal of Biomedical Optics, 2022, 27(5): 056503.

[66] Abd-Alameer S A, Daway H G, Rashid H G. Quality of medical microscope image at different lighting condition[J]. IOP Conference Series: Materials Science and Engineering, 2020, 871(1): 012072.

[67] Huang X W, Li Y B, Xu X F, et al. High-precision lensless microscope on a chip based on in-line holographic imaging[J]. Sensors, 2021, 21(3): 720.

[68] Koho S, Fazeli E, Eriksson J E, et al. Image quality ranking method for microscopy[J]. Scientific Reports, 2016, 6: 28962.

[69] Mittal A, Soundararajan R, Bovik A C. Making a “completely blind” image quality analyzer[J]. IEEE Signal Processing Letters, 2013, 20(3): 209-212.

[70] Li L D, Lin W S, Wang X S, et al. No-reference image blur assessment based on discrete orthogonal moments[J]. IEEE Transactions on Cybernetics, 2016, 46(1): 39-50.

[71] Knapp T, Lima N, Duan S, et al. Evaluation of tile artifact correction methods for multiphoton microscopy mosaics of whole-slide tissue sections[J]. Proceedings of SPIE, 2022, 11966: 119660D.

[72] Wu P, Zhang D J, Yuan J, et al. Large depth-of-field fluorescence microscopy based on deep learning supported by Fresnel incoherent correlation holography[J]. Optics Express, 2022, 30(4): 5177-5191.

[73] Laine R F, Heil H S, Coelho S, et al. High-fidelity 3D live-cell nanoscopy through data-driven enhanced super-resolution radial fluctuation[J]. Nature Methods, 2023, 20(12): 1949-1956.

[74] SaraivaB M, CunhaI M, BritoA D, et al. NanoPyx: super-fast bioimage analysis powered by adaptive machine learning[EB/OL]. [2023-05-06]. https://www.biorxiv.org/content/10.1101/2023.08.13.553080v1.

[75] Ball G, Demmerle J, Kaufmann R, et al. SIMcheck: a toolbox for successful super-resolution structured illumination microscopy[J]. Scientific Reports, 2015, 5: 15915.

[76] Peng T Y, Thorn K, Schroeder T, et al. A BaSiC tool for background and shading correction of optical microscopy images[J]. Nature Communications, 2017, 8: 14836.

[77] Liang Y X, Yan M, Tang Z H, et al. Learning to autofocus based on Gradient Boosting Machine for optical microscopy[J]. Optik, 2019, 198: 163002.

[78] Wei L, Roberts E. Neural network control of focal position during time-lapse microscopy of cells[J]. Scientific Reports, 2018, 8: 7313.

[79] Wang X Z, Liu L, Du X H, et al. GMANet: gradient mask attention network for finding clearest human fecal microscopic image in autofocus process[J]. Applied Sciences, 2021, 11(21): 10293.

[80] Quintana-Quintana L, Ortega S, Fabelo H, et al. Blur-specific image quality assessment of microscopic hyperspectral images[J]. Optics Express, 2023, 31(8): 12261-12279.

[81] SigdelM S, SigdelM, DinçS, et al. Autofocusing for microscopic images using Harris Corner Response Measure[C]∥IEEE SOUTHEASTCON, March 13-16, 2014, Lexington, KY, USA. New York: IEEE Press, 2014.

[82] Jiang H S, Ma L, Wang X Y, et al. Focus prediction of medical microscopic images based on Lightweight Densely Connected with Squeeze-and-Excitation Network[J]. Frontiers in Neuroscience, 2023, 17: 1213176.

[83] 袁涛, 易定容, 蒋威, 等. 基于双模糊的显微图像聚焦评价方法[J]. 光学学报, 2023, 43(10): 1010001.

Yuan T, Yi D R, Jiang W, et al. Double blur micro-images focusing evaluation method[J]. Acta Optica Sinica, 2023, 43(10): 1010001.

[84] Xu Y, Wang X, Zhai C H, et al. A single-shot autofocus approach for surface plasmon resonance microscopy[J]. Analytical Chemistry, 2021, 93(4): 2433-2439.

[85] DongC, LoyC C, HeK M, et al. Learning a deep convolutional network for image super-resolution[M]∥FleetD, PajdlaT, SchieleB, et al. Computer vision-ECCV 2014. Lecture notes in computer science. Cham: Springer, 2014, 8692: 184-199.

[86] KimJ, LeeJ K, LeeK M. Accurate image super-resolution using very deep convolutional networks[C]∥2016 IEEE Conference on Computer Vision and Pattern Recognition (CVPR), June 27-30, 2016, Las Vegas, NV, USA. New York: IEEE Press, 2016: 1646-1654.

[87] Fang Y M, Zhang C, Yang W H, et al. Blind visual quality assessment for image super-resolution by convolutional neural network[J]. Multimedia Tools and Applications, 2018, 77(22): 29829-29846.

[88] Fang L J, Monroe F, Novak S W, et al. Deep learning-based point-scanning super-resolution imaging[J]. Nature Methods, 2021, 18(4): 406-416.

[89] Jena B, Digdarshi D, Paul S, et al. Effect of learning parameters on the performance of the U-Net architecture for cell nuclei segmentation from microscopic cell images[J]. Microscopy, 2023, 72(3): 249-264.

[90] Weigert M, Schmidt U, Boothe T, et al. Content-aware image restoration: pushing the limits of fluorescence microscopy[J]. Nature Methods, 2018, 15(12): 1090-1097.

[91] Li J Y, Tong G, Pan Y N, et al. Spatial and temporal super-resolution for fluorescence microscopy by a recurrent neural network[J]. Optics Express, 2021, 29(10): 15747-15763.

[92] Zhang H, Fang C Y, Xie X L, et al. High-throughput, high-resolution deep learning microscopy based on registration-free generative adversarial network[J]. Biomedical Optics Express, 2019, 10(3): 1044-1063.

[93] Yang W M, Zhang X C, Tian Y P, et al. Deep learning for single image super-resolution: a brief review[J]. IEEE Transactions on Multimedia, 2019, 21(12): 3106-3121.

[94] 王通, 董文德, 沈康, 等. 基于改进的U-Net神经网络的稀疏视角光声图像质量增强方法[J]. 激光与光电子学进展, 2022, 59(6): 0617022.

Wang T, Dong W D, Shen K, et al. Sparse-view photoacoustic image quality enhancement based on a modified U-Net[J]. Laser & Optoelectronics Progress, 2022, 59(6): 0617022.

[95] QuY Y, ChenY Z, HuangJ Y, et al. Enhanced Pix2pix dehazing network[C]∥2019 IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR), June 15-20, 2019, Long Beach, CA, USA. New York: IEEE Press, 2020: 8152-8160.

[96] ChenR, TangX, ShenZ Y, et al. Deep-learning super-resolution microscopy reveals nanometer-scale intracellular dynamics at the millisecond temporal resolution[EB/OL]. [2023-09-08]. https://www.biorxiv.org/content/10.1101/2021.10.08.463746v1.

[97] MaY D, LiuQ, QianZ B. Automated image segmentation using improved PCNN model based on cross-entropy[C]∥Proceedings of 2004 International Symposium on Intelligent Multimedia, Video and Speech Processing, October 20-22, 2004, Hong Kong, China. New York: IEEE Press, 2005: 743-746.

[98] Yang B, Wu M X, Teizer W. Modified UNet++ with attention gate for graphene identification by optical microscopy[J]. Carbon, 2022, 195: 246-252.

[99] MilletariF, NavabN, AhmadiS A. V-net: fully convolutional neural networks for volumetric medical image segmentation[C]∥2016 Fourth International Conference on 3D Vision (3DV), October 25-28, 2016, Stanford, CA, USA. New York: IEEE Press, 2016: 565-571.

[100] PatelG, TekchandaniH, VermaS. Cellular segmentation of bright-field absorbance images using residual U-net[C]∥2019 International Conference on Advances in Computing, Communication and Control (ICAC3), December 20-21, 2019, Mumbai, India. New York: IEEE Press, 2020.

[101] von Chamier L, Laine R F, Jukkala J, et al. Democratising deep learning for microscopy with ZeroCostDL4Mic[J]. Nature Communications, 2021, 12: 2276.

1　引言

2　光学显微图像定量评价方法

2.1　分辨率定量评价方法

2.1.1　基于线性结构轮廓的分辨率定量评价方法

2.1.2　基于频谱分析的分辨率半定量评价方法

2.1.3　基于傅里叶环相关的分辨率定量评价方法

2.1.4　基于去相关的分辨率定量评价方法

王瑾, 张祖鑫, 陈勰宇, 董建杰, 匡翠方, 刘文杰. 光学显微图像定量评价方法及应用研究进展（特邀）[J]. 激光与光电子学进展, 2024, 61(6): 0618013. Jin Wang, Zuxin Zhang, Xieyu Chen, Jianjie Dong, Cuifang Kuang, Wenjie Liu. Advancements in Quantitative Evaluation Methods for Optical Microscopic Images (Invited)[J]. Laser & Optoelectronics Progress, 2024, 61(6): 0618013.