1 引言

近年来随着信息技术和生物医学工程突飞猛进的发展，锥形束计算机断层成像(CBCT)技术被越来越多地应用于牙齿疾病的诊断与分析^[1]。口腔CBCT原始图像中除了牙齿以外还包含其他人体组织(如牙颌骨等人体骨骼组织)，会影响医生对病人病情的判断，另外，采集图像时引入的噪声也会降低CBCT图像应用效果，故而原始CBCT数据不经处理难以直接使用^[2]。为获取病人口腔真实状况，口腔医生常用人工手段对CBCT图像进行处理，即通过手工操作分割出牙齿的图像，这样做可以完成牙齿图像的分割提取，但工作量大、效率低、人力成本高。本文结合图像分割及三维重建算法，从口腔CBCT图像中自动化、智能化地获取牙齿的三维模型，能帮助医生高效地利用CBCT技术完成诊断和治疗。

在以往的研究中，为从复杂的口腔CBCT图像中获取准确的牙齿图像，通常采用两种方法：基于Snakes算法的水平集算法^[3]和基于神经网络的算法。王立新等^[4]提出加入了几何活动轮廓模型的基于水平集算法的区域自适应算法，有力地提高了对牙根区域的处理效果。Miki等^[5]提出用神经网络对牙齿类型进行标记，再从原始图像手动修剪每颗牙齿的图像，并将修剪后的二维图像用于学习。崔志明(Cui)等^[6]将Mask R-CNN网络和Girdhar等^[7]提出的3D RPN网络结合起来，提出了一种组合神经网络ToothNet，实现了口腔CBCT图像的牙齿分割。这种网络把CBCT图像当做一个整体的三维数据集，有效分割整个数据集，但将图像视作一个整体容易受到牙齿填充物的严重干扰。

当前牙齿图像分割面临两个核心问题。首先是人类口腔的环境复杂，各种人体组织特别是牙颌骨会严重影响算法对牙齿的分割，这个问题在牙齿根部尤为明显。其次是人体的牙齿填充物会对算法的运行产生严重干扰。因此，相比于其他分割算法，应用于牙齿图像分割的算法对分割准确度的要求更高，算法应具有在各种干扰中从灰度相近的物体中将目标准确分割的能力。常规的图像分割算法如U-net算法、Mask R-CNN算法等难以达到要求的分割准确率。

在人体组织的成像和三维重建方面，朱珊珊等^[8]采用光学相干层析技术实现了人体皮肤的成像；刘浩等^[9]采用光学相干层析技术实现了牙齿的成像；黄硕等^[10]提出利用梯度光图像对人脸进行三维重建；董帅等^[11]提出三维数字图像相关方法对口腔进行测量，完成了对人体口腔的建模。

本文在深度学习框架U-net网络的基础上进行改进，提出一种CBCT图像的牙齿分割和三维重建方法。通过制作口腔CBCT图像数据集，并经编程和训练，实现牙齿图像的三维重建。

2 改进U-net网络及图像三维重建原理

2.1 人工神经网络与全卷积神经网络

人工神经网络(ANN)是由对人类神经结构进行模仿，通过大量人工神经元相连接建立的网络，一般由输入层、输出层和隐藏层组成，其各个节点通过tanh函数或ReLU函数等激活函数进行连接。它对人工智能的产生和发展起到了奠基作用^[12-13]。在ANN的基础上人们发明了卷积神经网络(CNN)。卷积神经网络是典型的以反向传播（BP）为主的神经网络，其具有对图像空间信息的获取能力。

1998年LeCun等^[14]提出了LeNet网络，被认为是第一个CNN的实现。Girshick等^[15]在2014年首次用CNN网络实现了目标检测的功能。之后人们在CNN的基础上发展了很多改进算法，尤其是全卷积神经网络(FCN)，在图像分割领域做出了巨大的贡献。

2015年Long等^[16]在CNN的基础上提出了FCN。这种全新的神经网络采用反卷积对特征图进行采样以解决语义分割问题，用卷积层取代了原本的全连接层，使其可对图像中的目标物体做到像素点级别的精确识别。它可实现端到端的预测，能够适应任何尺寸的输入图像，分割准确且鲁棒性好。

2.2 U-net网络及其改进

U-net网络是2015年由Ronneberger等^[17]在FCN的基础上提出的一种典型的语义分割网络，其结构如图1所示。U-net被大量应用于医学图像语义分割领域，如杨柳等^[18]采用改进后的U-net网络实现了对细胞的自动聚焦相衬成像，李大湘等^[19]采用改进后的U-net网络对视网膜图像中的微小血管进行了有效分割，谢远志等^[20]用其完成了对乳腺肿块图像的分割工作。

图 1. U-net网络结构示意图^[17]

Fig. 1. Schematic diagram of U-net network^[17]

下载图片 查看所有图片

从图1可知，U-net网络包含两条路径，即左侧的收缩路径和右侧的扩张路径。数据先通过收缩路径进行特征的提取，再通过扩张路径得到输出结果。U-net的收缩路径和常规的卷积神经网络结构相同，由两个重复的3×3卷积组成，每个卷积后面跟着一个修正线性单元（ReLU）和一个步长为2的2×2最大池化以达到下采样的目的，每个下采样中特征通道数增加一倍。

在扩张路径上，U-net网络配置了大量的特征图通道，能让最终复原的分割图像保留丰富的输入信息。每一个步骤包含一个特征图上采样和一个2×2的上卷积，使通道数减半，然后是复制和裁剪，把收缩路径中相同层的特征图经过裁剪之后拼接在当前层（由于左侧路径中的特征图比右侧对应路径中的特征图要大一些，因此需要裁剪之后才能做拼接），接着是两个3×3卷积和修正线性单元。在最后一个层，使用1×1卷积将64元素的特征向量映射到不同的类别。这样的U-net网络共有23个卷积层。这种结构设计可以有效提取图像的细节信息，故有利于其在医学图像语义分割方面的应用。但处理人体口腔图像这种复杂图像时，常规U-net的识别效果已难以满足要求。

为了提高算法的识别效果，本文改进了原始的U-net网络，调整了U-net网络参数并引入了空间注意力机制^[21]。空间注意力机制是一种模拟人类的思维进行设计的优化方案，其核心思想是依据贡献值对资源进行再分配。本文引入该机制是为了改善神经网络的权重问题。由于研究目的是分割出牙齿，故引入空间注意力机制以改变图像不同区域的权重值，相关性高的区域会拥有更高的权重，使任务需要的目标区域更为突出,算法有更好的识别效果。图2为空间注意力机制模块结构图。空间注意力机制可以有效增强牙齿的特征并抑制不重要的特征，从而提高网络的识别能力。

图 2. 空间注意力机制模块示意图^[21]

Fig. 2. Schematic diagram of spatial attention mechanism module^[21]

下载图片 查看所有图片

空间注意力机制的具体实现，是对反馈特征图进行最大池化和平均池化操作得到结果X_max和X_avg，并将结果进行拼接，得到复合信号X_concat。通过1×1卷积对X_concat信号进行一维化，经过Sigmoid激活函数进行变换得到权重图。最终输出信号X_out为输入信号X_in经过权重图影响后的结果。上述过程表示为Xconcat＝C(Xmax＋Xavg)，(1)Xout=Xin·δ[conv(Xconcat)],(2)式中：C表示拼接操作；conv表示卷积。

加入空间注意力机制模块并调整了网络参数后，经过改进的U-net网络的结构如图3所示。将U-net网络输入设置为单通道，分类数为1，用以适应识别牙齿CBCT图像的要求，同时将所有训练用CBCT图像的分辨率统一为256 pixel × 256 pixel。

图 3. 改进U-net网络结构示意图

Fig. 3. Schematic diagram of improved U-net network

下载图片 查看所有图片

2.3 等值面提取三维重建算法

为得到牙齿的三维模型，本文对分割后的CBCT图像进行三维重建。常规重建方法主要有体绘制和面绘制两种，其中体绘制法重建效果好，但计算量很大，对设备的性能要求较高；面绘制法具有运行速度快、效率高的优点，医学图像重建采用较多。本文采用Lorensen等^[22]提出的经典面绘制重建算法——等值面提取算法，该算法也被称为移动立方体算法。

如图4所示，等值面提取算法的中心思想是通过线性插值对空间数据进行逼近，进而对三维数据进行处理。本文用一个由8 pixel创建、来自2个相邻切片的体素对表面进行定位。将由三维数据组成的数据集合的每个栅格单元看作一个体素，为了便于处理，规定每个体素有8个顶点，即立方体的8个顶点，对于大于等值面的顶点值规定为正值，反之规定为负值。因此，一个体素与等值面的关系达到2⁸即256种。我们可以建立一个表，将这种关系精确地反映出来。

图 4. 等值面提取的体素单元顶点和边的命名及14种拓扑结构^[22]

Fig. 4. Names of vertices and edges of voxel elements from isosurface extraction and 14 topological structures^[22]

下载图片 查看所有图片

体素顶点值大于和小于等值面的情况是完全对称的，因此可以把体素与等值面的关系数量减少一半，到2⁷即128种。再利用立方体的旋转对称特性，可以进一步减少到14种情形，如图4所示。然后对每个体素单元的边建立索引。

采用相同方法记录边的关系，再由线性插值对交点进行确认，从而生成局部三角。再将全部的三角连接起来，就可得到重建后的三维模型了。

总的说来，本文三维重建方法共有7个步骤：（1）将分割后的图片读入内存中；（2）按照顺序创建体素；（3）对比体素与等值面的顶点大小，计算出索引；（4）使用索引从表中查找对应参数；（5）重复第3步，对边进行计算；（6）根据顶点和边的情况，生成局部三角；（7）组合三角并绘制等值面图像。

3 CBCT图像的牙齿图像分割与三维重建

3.1 数据集的制作

为了对数据进行训练，通过与口腔医院合作，在征得病人同意的情况下，采用CBCT医学图像扫描仪获取了10名病人的牙齿扫描DICOM格式的数据。为了便于之后的训练，本文将分辨率统一处理为256 pixel×256 pixel。然后，采用Labelme软件对训练图片进行标记。根据形态学对10名病人的口腔CBCT断层扫描图像进行手工标记，定义Label为Tooth，选取每4 frame标注一次，得到500 frame图片的数据。图5为采用Labelme软件对数据进行标注的具体操作。

图 5. Labelme实现对数据集的标注

Fig. 5. Using Labelme to annotate datasets

下载图片 查看所有图片

3.2 训练模型

本文实验的深度学习平台采用PyTorch 1.7.0，采用NVIDIA GTX2080ti图形处理器（GPU）进行训练，使用了10组数据共计500张图片，其中8组数据用于训练，2组数据用于测试。为了方便训练，将图片从RGB格式转换为灰度图。网络训练过程中输入的初始学习率设定为0.00001，权重系数设为0.0005，批尺寸设置为1；采用RMSprop优化算法，权重衰减值为0.0000001，超参数为0.9。

RMSprop算法是在AdaGrad算法的基础上改进而来的，原理为先确定一个全局学习率，每次学习中将全局学习率不断地除以经过衰减系数控制的历史梯度平方和的平方根，从而保证每个参数的学习率不同。RMSprop算法可用下式表示：{Sw=βSw+(1−β)dw2Sb=βSb+(1−β)db2w=w−αdwSw+εb=b−αdbSb+ε,(3)式中：S_w和S_b表示权重w和偏置值b在t-1轮迭代中的梯度动量；dw和db表示权重w和偏置值b在t-1轮迭代中的微分；α为学习率；β为超参数；ε为防止分母为零的参数项。

完成训练后，使用模型对图像进行分割，再根据等值面提取算法对输入的分割结果进行三维重建，得到牙齿的三维模型。

3.3 分割图片实验结果

以CBCT断层扫描图像为输入，以图像分割结果为输出，实际测试算法分割识别的效果。

在实验中采用100张图像使用训练模型进行预测，再对比数据集从而对训练模型进行评估，获得其平均交并比(MIoU)参数。MIoU参数的计算公式为RMIoU=1k+1∑i=0kPii∑j=0kPij+∑j=0kPji−Pii,(4)式中：R_MIoU为MIoU参数值；k表示总类别数；i表示真实值；j表示预测值；P_xy表示图像内值x被预测为值y的像素总个数。

采用常规U-net网络训练的模型和采用本文的改进U-net网络训练的模型的MIoU参数如图6所示。

图 6. U-net模型的MIoU参数

Fig. 6. MIoU parameters of U-net models

下载图片 查看所有图片

MIoU参数可以有效地反映出网络模型对图像的识别精度，其取值为0~1，数值越大表示模型对目标的识别效果越好。对比本文的改进U-net网络和常规的U-net网络训练的模型的MIoU参数，可以看出改进后的算法对牙齿的识别效果提高了0.064，对背景的识别效果也提高了0.002，整体提高了0.033。通过对MIoU参数的定量分析可知改进后的算法有更好的识别能力。

实际的牙齿分割识别效果如图7所示。图7(a)为待识别图像，图7(b)为采用常规U-net算法训练的模型的识别效果,图7(c)为采用本文提出的改进U-net算法训练的模型的识别效果。

图 7. U-net模型识别效果。(a)待识别图像；(b)原始U-net方法识别效果；(c)改进U-net方法识别效果

Fig. 7. Recognition results of U-net models. (a) Images to be recognized; (b) recognition results using original U-net model; (c) recognition results using improved U-net model

下载图片 查看所有图片

通过对比可以看出，相对于原始的U-net算法，本文算法识别效果更佳。对比两种算法对于第一幅图像的识别效果可见，由于局部亮度影响，原始U-net方法缺失了大量图形，而本文的改进算法仍能准确识别。对比另两幅图像的识别效果可见，在图像细节很少的情况下，本文算法识别出的图片中毛刺状伪影更少，证明了本文算法在牙根处也能进行有效识别。

同时本文算法有较强的抗干扰能力。采用患者牙齿含有填充物的图像进行测试，效果如图8所示。可见在牙齿填充物的影响下，扫描图像出现了一片亮度极高的区域，但本算法仍然能够有效地实现对该图像的识别。

图 8. 带有牙齿填充物的图像识别效果。(a)待识别图像；(b)改进U-net方法识别效果

Fig. 8. Recognition result of image with dental fillings. (a) Image to be recognized; (b) recognition result using improved U-net model

下载图片 查看所有图片

3.4 三维重建实验结果

采用医学界常用软件MicroDicom Viewer进行三维重建开展参照实验。MicroDicom Viewer三维重建效果如图9所示。

图 9. 用MicroDicom Viewer对口腔CBCT数据进行重建的效果图

Fig. 9. Reconstruction result of oral CBCT data using MicroDicom Viewer

下载图片 查看所有图片

由图9可见，由于没有对牙齿进行分割，导致重建出的三维模型包含了所有人体组织，同时重建图像中有大量的断层，重建效果并不理想，不利于医生诊断病情。采用本文的改进U-net网络，在顺利解决了识别过程中牙颌骨和牙齿图像粘合的问题之后，对分割后的图像进行三维重建，得到的结果如图10所示。

图 10. 采用本文算法对口腔CBCT数据进行三维重建的效果

Fig. 10. Reconstruction result of oral CBCT data using proposed algorithm

下载图片 查看所有图片

对比图9和图10可见，图10中牙齿被有效地重建出来，能够清晰地看到牙齿的轮廓和相对位置以及牙齿的根部。在原始CBCT数据中，牙齿根部往往与牙颌骨靠近，因此难以被分辨出来。另外，图10的重建图像轮廓清晰完整，没有出现图9中大量存在的断层。

上述实验采用的是一位阻生智齿患者的CBCT数据，通过重建可以从侧面清晰地看到病人的病情，明显看出该病人最里侧两颗牙齿的生长方向与正常牙齿完全不同，尤其是下方的阻生齿。实验结果表明本文方法在口腔医疗领域能够取得较好的应用效果。

4 结论

为解决从口腔CBCT图像中分割出牙齿图像并对其进行三维建模的问题，制作了口腔CBCT图像数据集，设计了引入注意力机制的改进U-net网络并进行训练，结合三维重建算法顺利实现了牙齿图像分割和三维重建。

实验证明，改进后的网络能准确地从原始图像中识别出牙齿，相比于常规U-net网络有更好的识别能力，并能够在牙齿填充物的干扰下准确地进行识别。最终重建出的三维模型相比于MicroDicom Viewer软件重建的三维模型有着更为清晰完整的轮廓，能够更加真实地还原病人牙齿状况。

本文方法在合作医院进行试用反馈良好，帮助口腔科医生诊断和治疗的效果显著，有望在口腔医疗健康领域做出更大的贡献。