0 引言

纳米计量是纳米产业发展的基础，纳米几何特征参量计量标准器是纳米计量的基石，是量值传递的关键载体^[1].其在成功制备后，必须经过校准定值才能作为计量标准器用于量值传递，因此纳米几何参量特征参量的计量校准能力直接决定了标准器的量值准确性和溯源性.原子力显微镜(Atomic Force Microscopy，AFM)作为微纳测量研究领域的主要工具，具有三维成像和纳米尺度高分辨率等优点.然而，AFM探针具有一定的物理结构，在成像时与样品表面形貌通过范德华力(van der Waals)进行耦合作用生成三维点云图像，在样品表面形貌边缘图像中产生了明显的失真现象^[2].从数学形态学角度看，AFM图像是由探针针尖形貌和样品表面形貌卷积(膨胀运算)而成，在样品表面的高度图中存在明显失真^[3-4].采用去卷积运算处理可以有效排除这类扫描成像干扰，但需要已知针尖形貌.为了更加精确地获得样品的表面形貌特征，首先需要重建针尖形貌，进而从得到的扫描图像中尽可能地消除由针尖形貌带来的失真影响，然后利用针尖模型和数学形态学腐蚀算法修正和重构扫描图像.目前获取探针针尖形貌的方法主要有扫描电子显微镜直接成像、利用校准过的探针表征样品建立针尖形貌和盲重建算法.其中扫描电子显微镜很难直接和精确地建立针尖三维形貌，盲重建算法以其不需要标定探针表征样品的形貌，仅从AFM图像中重建针尖形貌的优点而受到广泛的使用^[5].

然而在AFM扫描过程中，如果探针结构参数选取不合理，会对以AFM图像为基础的盲重建算法造成很大的影响，进而影响图像恢复的准确度.1995年，WANG W L和WHITEHOUSE D J提出了一种采用RBF(径向基)神经网络和MLP多层感知器恢复AFM图像的新方法^[6].2008年，BAKUCZ P等提出一个前馈神经网络得到AFM针尖磨损模型，并与线性模型进行比较，神经网络模型更为精确，其预测误差最小为(14.3±7.2)%^[7].2010年，袁帅和董再励等采用特征点优化提取改进了基于数学形态学的探针盲建模算法，重建线宽20 nm的碳纳米管AFM图像结果为29 nm^[5].2016年，WU Yi-nan等采用由两个隐藏层BPNN组成的神经网络训练AFM成像模型，提出了一种三次样条插值的方法来进行有效地补偿，低频和高频实验结果表明该方法提高了AFM成像系统的性能^[8].上述研究用神经网络实现AFM成像恢复，其恢复原理主要利用神经网络非线性映射的特性，需要可观的AFM图像样本数量.但是由于神经网络模型结构限制，添加隐藏层增加网络深度随之造成梯度消失或梯度爆炸问题^[9-10].本文基于迁移学习的思想，建立仿真样本数据集用于预训练U-Net网络源模型，将针尖卷积效应特征向量共享至U-Net网络靶模型，并采用自适应正则化方法将AFM实际测量数据导入靶模型进行训练，从而实现AFM成像恢复^[11].相比于其他恢复方法，本方法不需要重建探针针尖表面形貌，通过仿真样本训练U-Net网络源模型，解决AFM图像样本不足的问题，实现从端到端的AFM成像恢复^[12-13].

1 基于数学形态学的AFM探针扫描成像原理

数学形态学将探针类扫描显微镜成像过程中的探针、样本、图像看成三个几何体，每两者之间的相对运动可以得到第三个几何体(膨胀或腐蚀)，并且将几何体中的每一个点看作集合中的一个元素，于是这三者被看成三个体积元素的集合.但实际测量针对的是样本表面、图像表面和探针表面，对表面之下的体积并不关心.因此，本文利用数学形态学重要分支的灰度形态学中的单值函数来描述三个集合的表面高度^[14].

AFM探针扫描样本成像原理如图 1所示，S(x, y)是一个单值函数，用有限域D_S表示真实的样本表面；t(x, y)是一个单值函数，用定义域D_P表示针尖表面.AFM探针在样品表面扫描的图像输出I(x, y)(定义域D_I)是针尖尖端在对应点(x, y)的高度，且t(0, 0)的高度为零.

图 1. AFM tip scanning sample surface diagram

Fig. 1. AFM tip scanning sample surface diagram

下载图片 查看所有图片

在成像过程中，当针尖对准样品表面上的某一点(x, y)时，针尖尖端的高度是h(x, y)，此时针尖表面位置函数T_{x, y}(p, q)为

1 $ {T_{x,y}}\left( {p,q} \right) = {t_{x,y}}\left( {p,q} \right) + h\left( {x,y} \right) $

因此，

2 $ I\left( {x,y} \right) = {T_{x,y}}\left( {x,y} \right) = {t_{x,y}}\left( {x,y} \right) + h\left( {x,y} \right) $

3 $ I\left( {x,y} \right) = t\left( {0,0} \right) + h\left( {x,y} \right) = h\left( {x,y} \right) $

在AFM接触式测量下，针尖表面接触样本表面上每一个点，此时针尖尖端为图像测量点，∀(x, y)∈D_I, $\exists $(x_a, y_a)∈D_S

4 $ {T_{x,y}}\left( {{x_a},{y_a}} \right) = S\left( {{x_a},{y_a}} \right) $

根据式(4)，可得

5 $ I\left( {x,y} \right) = {T_{x,y}}\left( {{x_a},{y_a}} \right) - {t_{x,y}}\left( {{x_a},{y_a}} \right) $

6 $ I\left( {x,y} \right) = S\left( {{x_a},{y_a}} \right) - {t_{x,y}}\left( {{x_a},{y_a}} \right) $

对应于接触式中的每个测量点，针尖表面每个点总是大于或等于对应点，这是为了确保针尖表面没有渗透到样本表面内，可得∀(x, y), (x_a, y_a)∈D_S

7 $ {T_{x,y}}\left( {{x_a},{y_a}} \right) \ge S\left( {{x_a},{y_a}} \right) $

根据式(1)、(3)、(6)和(7)，可得

8 $ I\left( {x,y} \right) \ge S\left( {{x_a},{y_a}} \right) - {t_{x,y}}\left( {{x_a},{y_a}} \right) $

9 $ I\left( {x,y} \right) = \mathop {\max }\limits_{\left( {{x_a},{y_a}} \right)} \left[ {S\left( {{x_a},{y_a}} \right) - {t_{x,y}}\left( {{x_a},{y_a}} \right)} \right] $

式(9)表示AFM探针扫描样本得到的图像，其等价于灰度形态学中的膨胀运算，膨胀运算符号$ \oplus $定义为

10 $ f \oplus g = \mathop {\max }\limits_{\left( {x,y} \right) \in {D_f}} \left[ {f\left( {x,y} \right) + {g_{x,y}}} \right] $

根据式(9)和(10)，可得

11 $ \left\{ \begin{array}{l} I\left( {x,y} \right) = \mathop {\max }\limits_{\left( {{x_a},{y_a}} \right)} \left[ {S\left( {{x_a},{y_a}} \right) - {t_{x,y}}\left( {{x_a},{y_a}} \right)} \right]\\ I\left( {x,y} \right) = \mathop {\max }\limits_{\left( {{x_a},{y_a}} \right)} \left[ {S\left( {{x_a},{y_a}} \right) - r{t_{{x_a},{y_a}}}\left( {{x_a},{y_a}} \right)} \right] = \left[ {S \oplus rt} \right]{\left( {x,y} \right)^2} \end{array} \right. $

因此，在AFM接触式下的成像过程可由样品表面与针尖表面的灰度膨胀运算表示.

2 基于迁移学习的AFM成像恢复原理及方法

2.1 U-Net网络迁移学习模型及盲恢复方法实现

迁移学习是一种机器学习方法，将某个源领域上学习到的特征模型应用到目标靶领域中.由于AFM图像采集困难，不容易建立训练集，因此采用基于神经网络模型的迁移学习，即利用源模型和靶模型的针尖卷积效应特征向量参数共享模型进行深度学习^[15].

U-Net网络作为源模型具有局部感知能力，所需的训练样本较少，但是标准U-Net网络并没有对输入图像进行处理，导致输出图像含有大量噪声.因此使用U-Net网络源模型对仿真样本提取针尖卷积效应的特征向量之后，采用自适应正则化方法来增强AFM真实测量图像的栅格边缘部分，对U-Net网络靶模型增加先验信息.所提出的方法流程如图 2所示，数学形态法腐蚀操作得到的仿真样本训练集使用U-Net源模型进行特征向量映射迁移，AFM测量图像训练集在自适应正则化方法下对源模型所共享的权重参数进行监督学习，通过AdamOptimizer梯度下降算法得到结果.

图 2. Chief flowchart

Fig. 2. Chief flowchart

下载图片 查看所有图片

U-Net网络源模型基于标准U-Net网络，结构如图 3所示.图中模型包括一个收缩路径(Contracting path)和一个扩展路径(Expanding path)，其中使用到了卷积层、池化层与转置卷积层.卷积层采用的卷积核为3×3大小，步幅为1，填充值为1，使得卷积后特征图尺寸大小不改变，激活函数采用ReLU函数，可以防止出现梯度消失的问题，同时加快网络的收敛.池化层采用步幅为2的2×2最大池化下采样，如此可以使输入的特征图尺寸减小一半.收缩路径由两个卷积层和一个池化层交替应用.转置卷积层采用了一个特征谱的上采样以及一个2×2卷积核，使得特征数量通道减半.扩展路径由转置卷积层和卷积层组成，最后一个卷积层采用1×1卷积核.收缩路径的作用是将图像尺寸缩小，扩展路径的作用是将图像还原为原尺寸.与标准的U-Net模型不同，本文未采用concat层，可以有效减少计算量，加快网络训练速度.

图 3. Structure diagram of U-Net network

Fig. 3. Structure diagram of U-Net network

下载图片 查看所有图片

U-Net网络采用的损失函数是基于像素级别进行分割学习的，并不要求输入图像和输出图像的大小一致，对于AFM测量图像一维栅格高精度、边缘失真的研究前提，恢复效果不理想.因此损失函数根据训练输出的恢复图像与原一维栅格表面高度图进行比对，提出的U-Net网络源模型结构可以使得恢复图像和输入图像的尺寸一致^[16].

Huber损失函数是一种更加平滑的L₁损失函数，即

12 $ {L_\delta } = \left\{ \begin{array}{l} \frac{1}{2}{\left[ {y - f\left( x \right)} \right]^2}\;{\rm{ for }}\;\left| {y - f\left( x \right)} \right| \le \delta \\ \delta \left| {y - f\left( x \right)} \right| - \frac{1}{2}{\delta ^2}\;\;\;\;\;{\rm{otherwise}} \end{array} \right. $

式中，Huber损失函数由超参数δ来控制，Huber损失本质是绝对误差，当误差足够小时，就变为平方误差.当Huber损失在[0－δ, 0+δ]之间时，等价为L₁损失，而在[－∞, δ]和[δ, +∞]时为L₂损失.因此Huber损失结合了L₁损失和L₂损失的优点，对异常点更加鲁棒.

2.2 基于U-Net网络的自适应正则化方法

AFM失真图像形成的实质是一个灰度形态学中的膨胀运算过程，即针尖表面与样品表面卷积使得图像失真.成像恢复的主要目的就是从失真的观测图像中恢复出真实的样本表面，是一个去卷积的过程^[17].

AFM图像失真模型可表示为

13 $ I\left( {x,y} \right) = k * S\left( {x,y} \right) + n\left( {x,y} \right) $

式中，I(x, y)表示失真后的AFM测量图像；S(x, y)表示原始的样本表面图像；点扩散函数k表示探针针尖表面图像的模糊核；n(x, y)表示加性噪声；*表示卷积.

对于式(13)描述的AFM图像失真模型，成像恢复(即由求得S或S的近似解S)的基本思想是寻找一个恢复图像S，使得经过恢复后的S(x, y)最接近S，即

14 $ \bar S\left( {x,y} \right) = \mathop {\arg \min }\limits_{S \in {D_S}} \frac{1}{2}\left\| {I\left( {x,y} \right) - k * \bar S\left( {x,y} \right)} \right\|_2^2 $

在式(14)中采用了L₂范数的平方来度量S经过恢复后与S的接近程度.由于解S不唯一，需要对解S加以约束，即正则化方法.

AFM测量样本为一维栅格，其特征参数线宽由栅格边缘决定，且栅格顶部存在大量平坦区域.为了解决这些问题，提出一种L_p范数，该模型是L₂范数和L₁范数的综合，能够尽力克服L₂范数的边缘模糊效应和L₁范数的平坦区域阶梯效应，其基于U-Net网络的正则化方法可以表示为^[18]

15 $ \bar S = \mathop {\arg \min }\limits_{S \in {D_S}} \left\{ {\frac{1}{2}\left\| {I - k * \bar S} \right\|_2^2 + \lambda {{\left\| {\nabla \bar S} \right\|}^p}} \right\} $

式中，p是常数，且1＜p＜2.

在式(15)中p值的选取至关重要，对不同的样本表面需设定不同的参数，因此提出一种自适应的L_p范数正则化方法，将p看作是失真图像的函数，即

16 $ p\left( {x,y} \right) = 1 + \frac{1}{{1 + \left| {\nabla {G_\sigma } * I\left( {x,y} \right)} \right|}} $

式中，G_σ是高斯滤波器，σ＞0.该模型中p值选取不再是人为指定，而是根据失真图像I来选取，其恢复效果比L₂范数、L₁范数和L_p范数有所提高，鲁棒性更佳.

根据点扩散函数k是否已知，成像恢复问题可以分为非盲恢复和盲恢复两类.非盲恢复算法对先验知识过分依赖，在已知k的情况下实现成像恢复.传统盲恢复算法还是需要估计k来实现成像恢复，栅格图像的点扩散函数为针尖导致的卷积效应，然而针尖表面形貌重建不易.针对这些问题，提出一种成像恢复方法，即利用神经网络非线性映射特性，在自适应正则化方法监督学习下，使得网络模型中隐藏层的卷积核权重参数与针尖卷积效应特征向量共享，实现端到端成像恢复^[19].

3 纳米栅格成像恢复结果分析

3.1 源模型

如图 4所示，U-Net网络源模型训练集通过仿真针尖模型图 4(a)和模拟栅格样本图 4(b)膨胀得到AFM仿真图像图 4(c)，仿真针尖模型采用与顶部相切的圆锥形状针尖模型：针尖锥角θ为50°，曲率半径R为10 nm，高度H为45 nm；模拟栅格样本采用一维矩形光栅模型：线宽20 nm，高度10 nm.利用仿真针尖模型图 4(a)采用传统的针尖盲重建算法对AFM仿真图像图 4(c)进行重建，可得到AFM重构图像图 4(d).

图 4. Sketch map of model

Fig. 4. Sketch map of model

下载图片 查看所有图片

将半高宽(FWHM)与光栅线宽之间的绝对误差作为盲重建评价误差评价标准，图 5为仿真实验中模拟栅格样本图像重建误差变化趋势图.用R为10、15和25 nm的不同锥角的探针对光栅图像进行表面重建，当R=10 nm，θ＜40°时，FWHM＜0，针尖锥角越小，盲重建误差越大；当θ＞40°时，FWHM>0，针尖锥角越大，盲重建误差越大；当θ=40°时，FWHM接近0，盲重建误差最小，光栅重建效果最好.用同样的方法分析R分别为15 nm和25 nm：R=25 nm时的FWHM远大于光栅线宽，盲重建误差过大；R=15 nm时不同针尖锥角下FWHM变化较小，盲重建误差较小.因此，当针尖曲率半径R一定时，盲重建误差随针尖锥角(θ＞40°)的增大而增大，θ越大，盲重建误差越大，且光栅图像重建效果最好的针尖结构参数是R为10 nm，θ为40°.

图 5. Reconstruction errors of grating images

Fig. 5. Reconstruction errors of grating images

下载图片 查看所有图片

源模型训练集需要尽可能提取针尖模型接触样本表面卷积效应特征向量，遵循仿真针尖模型结构参数选取如下：θ从10°递增至80°、R从10 nm递增至30 nm、针尖高度H为50 nm、针尖矩阵大小为91 pixel×91 pixel、分辨率为1 nm/pixel.模拟栅格样本模型结构参数选取如下：线宽w从20 nm递增至40 nm、高度h从10 nm递增至40 nm、栅格矩阵大小为140 pixel×140 pixel、分辨率为1 nm/pixel^[14].源模型测试集则采用其中光栅图像重建效果最好的针尖结构参数R为10 nm，θ为40°，使得损失函数收敛更加迅速，模型更加稳定.

源模型训练采用python3.67在tensorflow 1.8.0框架中实现，该网络数据集来源于灰度形态法膨胀操作得到仿真样本集合，对于每个图像条件，188幅模拟针尖图像，1 850幅仿真栅格样本图像以及相对应膨胀后的仿真AFM模糊图像.其中，1 400幅图像用于训练集，350幅图片用于测试集.网络训练和测试使用1×英特尔Core i5-8400 2.80 GHz CPU，1×Geforce GTX 2060 GPU和16G RAM，最终得到的模型测试结果如图 6所示.

图 6. Training results of source model

Fig. 6. Training results of source model

下载图片 查看所有图片

图 6(a)为线宽20 nm、高度20 nm的模拟一维栅格模拟图像，图 6(b)为采用曲率半径10 nm、高度50 nm、锥角50°仿真针尖模型对图 6(a)进行成像仿真得到的AFM失真图像，图 6(c)为采用针尖盲重建算法所恢复的图像，图 6(d)为采用U-Net源模型得到的恢复图像.如图 7所示，Restored image1为图 6(c)的台阶结构图，传统针尖盲重建算法是基于针尖表面和栅格表面不发生挤压或渗透的假设，但由于针尖的有限尺寸无法作为一点与栅格表面接触，在栅格边缘产生了卷积伪影现象.图 7中Restored image2为图 6(d)的台阶结构图，与针尖盲重建算法相比可以看出本文方法所训练的源模型在栅格边缘部分对去除卷积伪影已经有了较好的恢复效果，采用FWHM作为线宽，用三次样条插值得到Simulated image模拟栅格图像线宽为20.00 nm，Distortion image失真图像线宽为42.07 nm，Restored image1针尖盲重建算法恢复图像线宽为26.19 nm，Restored image2源模型恢复图像线宽为18.81 nm，相对误差为5.95%，本文提出的方法相比传统方法可以得到精度更高的横向分辨力.

图 7. Diagram of step structure

Fig. 7. Diagram of step structure

下载图片 查看所有图片

图中源模型恢复光栅图像中顶部线宽明显小于模拟光栅实际线宽，其原因是模型对光栅图像的过修正现象，这是由于光栅图像并非数字化图像，而是具有栅格结构的体素图像，模拟光栅为一维矩形栅格，其顶部存在大量平坦区域.为了解决上述问题，提出基于U-Net网络的正则化方法，其作用是对AFM实际测量图像训练集在自适应正则化方法下对源模型所共享的权重参数进行监督学习.成像恢复图像所应具有性质的先验认知通过式(15)中的p值在失真图像Distortion image获取，该应用可以使恢复图像更好地与先验信息相匹配，从而获得最接近原始清晰图像的结果.

3.2 靶模型

采用仿真样本数据训练源模型，解决了AFM图像数量获取不易的问题.U-Net网络靶模型需要大量的训练时间资源，迁移学习可以在不同的模型之间共享已训练得的特征向量.因此，基于U-Net源模型获取的较深层次高阶针尖卷积效应特征空间基础之上，共享已训练模型权值参数，单独导入正则化后的AFM实际测量图像训练靶模型通过迁移学习动态增加的卷积层权值，构建AFM图像更深层次针尖特征向量空间，使得靶模型对真实AFM测量图像更加敏感.

靶模型的训练集采用中国计量科学研究院纳米新材料计量研究所提供的AFM纳米栅格数据，使用BRUKER公司生产的SCANASYST-AIR型号针尖，对线宽20 nm，高度40 nm的纳米栅格进行扫描.训练集包括160幅AFM真实扫描图像，所有图像均采用研究所提供的标称值作为标注，最终得到的成像恢复结果如图 8所示.其中，图 8(a)为训练集中线宽20 nm的一维矩形纳米栅格AFM扫描图像，图 8(b)为此图像经过靶模型得到的恢复结果，图 8(c)为AFM扫描图像测量值和恢复结果的台阶结构.采用FWHM作为线宽，三次样条插值得到AFM测量图像线宽为27.48 nm，靶模型恢复图像线宽为19.41 nm，相对误差为2.95%.本方法靶模型相比于源模型相对误差降低了3%，能更好地恢复AFM一维矩形纳米栅格图像，得到栅格边缘更多细节信息.

图 8. Training results of target model

Fig. 8. Training results of target model

下载图片 查看所有图片

上述AFM重建图像由实际测量图像构建的数据集训练模型得到，而训练集会影响所建立神经网络的泛化能力，采取特征向量的迁移使得本方法的泛化性能有所提升.另一方面，本文并未探究非固定周期栅格在该网络模型中的成像恢复效果，通过针对源模型和靶模型两个训练集进行数据增强，采用适合的迁移参数初始化网络来提升泛化性能实现成像恢复，这也是未来的研究重点之一.

4 结论

本文提出了一种基于迁移学习的原子力显微镜成像恢复方法.采用数学形态学膨胀操作对AFM成像过程仿真，然后将仿真得到的模拟栅格图像和AFM失真图像引入U-Net网络源模型进行特征选取，将参数迁移至靶模型中引入真实AFM扫描图像在自适应正则化方法约束下进行监督学习，通过AdamOptimizer梯度下降算法利用Huber损失函数进行训练，从而盲恢复得到AFM重建图像.实验结果表明，该方法对于线宽为20 nm的一维栅格测量图像有较好的恢复效果，针对经典针尖盲重建算法无法解决的栅格两侧伪影区域有较好的恢复结果，提升了横向分辨力.