1 引言

由于饮食习惯和地域环境等因素影响,我国胃癌发病率一直居高不下,全球每年40%的新发病例都在我国^[1],因此能否对胃癌进行及时准确的诊断显得尤为重要。目前,组织病理学仍是胃癌等疾病诊断的“金标准”^[2]。病理学家通常需要对病理切片进行固定、染色等一系列处理,诊断过程繁琐费时,工作量大,诊断结果容易受人为经验的影响。随着新型医学成像技术与医学影像学的快速发展,现有的组织病理学有望在计算机辅助分析的基础上,得到更大的进步。

高光谱成像技术融合了光谱分析和光学成像两项传统光学诊断方法^[3-6],而医学显微高光谱成像技术则是建立在临床医学、影像学、病理组织分析等多门学科之上的综合交叉技术。对光谱进行分析可以获得生物组织样本上某一点在感兴趣波长范围的完整光谱^[7],从而对不同病理组织的化学组成和物理特征进行分析;光学成像技术则提供了各显微组织的空间分布信息,直观地呈现了不同的病理结构。因此,医学显微高光谱将二维图像信息与一维光谱信号结合成为一个三维的数据立方体,它不仅包含了丰富的空间信息,还包含了反映生物组织特性的光谱信息,这样能够准确区分不同的病理组织成分。2012年,Akbari等^[8]在获取肺部转移肿瘤在450~950 nm处显微高光谱图像的基础上,利用支持向量机(SVM)进行分类,对肺癌转移组织的检测灵敏度为92.6%;2015年,刘洪英等^[9]利用显微超光谱成像系统采集了运动神经细胞和感觉神经细胞的光谱数据,利用改进的光谱角制图(SAM)算法实现了神经细胞的分类。近年来,高光谱技术的新应用--医学病理组织的显微高光谱研究,无论是在样本制备、数据采集、数据预处理等方面,还是在进一步的建模分析等方面都还有较大的改进空间,总体来说仍处于初步摸索阶段^[10-14]。

深度学习是当前人工智能领域的研究热点,自从Hinton等^[15]提出深度学习理论以来,其已在图像分类、目标检测、面部识别等领域得到了广泛应用。深度学习通常需要构建多层神经网络,涉及到不同层次的数据表达,通过无监督学习进行初始化,以监督学习的方式进行模型微调。这种结构可以从浅层表现中学习到更本质的深层特征,利于提取数据的抽象特征和不变特征。在比较成熟的几类深度模型中,卷积神经网络(CNN)是最具代表性的模型之一^[16-17],其特有的权值共享和局部连接理论,使得CNN拥有更丰富的生物学意义,应用范围扩展到了语音识别和生物医学图像等领域,在各类任务中均取得了突出成果。对于高光谱图像处理,CNN在提取复杂光谱特征的有效结构和训练方法等方面仍需进一步研究。

因此,本文将CNN模型应用于显微高光谱图像的分类任务中,通过对光谱信息进行分析预处理,研究了合适高效的CNN模型架构,以提取胃癌组织的深层光谱特征,并实现准确分类。

2 方法原理

2.1 CNN

CNN是在局部连接理论基础上构建的深度神经网络,由输入层、隐含层和输出层组成。隐含层通常包括若干个卷积层、池化层和全连接层。局部连接的思想来源于生物学中的视觉系统结构,人类视觉表层的神经元就是接收局部信息的,只对某些特定区域刺激做出响应。如图1所示,上一层神经元只对低层局部几个神经元有响应。对于光谱数据而言,一个隐含单元连接的输入单元,仅需光谱输入序列中的一段光谱信号,相比于全连接网络,可以有效避免复杂的特征提取和数据重构过程。同样从生物学角度引出的还有权值共享理论,因为相邻神经元的活性往往相似,从而可以共享相同的连接参数。这意味着对于同一个卷积核而言,在某段序列区域提取的特征同样适用于其他区域,这就极大地降低了网络结构的复杂度,减少了模型参数的个数。

图 1. 局部连接理论示意图

Fig. 1. Illustration of local connection

下载图片 查看所有图片

总体来说,通过多层结构,CNN将数据的初始浅层特征逐渐转化为深层特征,然后通过逻辑回归(LR)等操作即可完成复杂的分类任务。其训练过程主要分为前向传播和反向传播两部分:前向传播是用当前网络参数对输入数据进行分类;反向传播用来更新训练参数,使当前分类结果与目标分类结果的差异最小。具体训练过程如图2所示。

图 2. 医学显微高光谱数据CNN建模流程图

Fig. 2. Flow chart of CNN modeling towards medical micro-hyperspectral data

下载图片 查看所有图片

2.1.1 前向传播

模型参数θ随机初始化,确定mini-batch样本数、训练迭代次数和学习率。输入原始光谱数据x,经过卷积层、池化层和全连接层之后,原始光谱转化为一个特征序列,最后通过逻辑回归分类器输出分类结果y。假设x_i是第i层输入,计算x_i+1:

xi+1=fi(ui),(1)ui=WTixi+bi,(2)

式中:W_i为第i层权值矩阵;b_i为偏置矩阵;f_i为第i层激励函数。本研究选择修正线性单元(ReLU)作为卷积层和全连接层的激励函数,池化层采用最大化函数maximum,输出层采用softmax函数并输出分类标签,P(y)预测了当前迭代中归属每一类的可能性,计算公式如下

P(y=l|x,W,b)=s(Wx+b)=exp(WTixi+bi)∑jexp(WTjxj+bj)。(3)

2.1.2 反向传播

在反向传播中,应用mini-batch随机梯度下降法来更新参数,通过最小化代价函数来实现。代价函数定义为

J(θ)=-1m∑i=1m[yilg(Yi)+(1-yi)lg(1-Yi)],(4)

式中:m为每个mini-batch包含的训练样本数;Y_i为目标输出;y_i为预测输出。代价函数的偏导数为

δi=∂J∂ui-(Yi-yi)·f'(ui),i=L(WTiδi+1)·f'(ui),i<L。(5)

在每次迭代中需要不断调整θ来优化模型,θ的表达式为

θ=θ-α'·∇θJ(θ),(6)

式中:α'模型训练中的学习率。

随着迭代次数逐渐增加,代价函数返回值不断减小,意味着当前输出正接近目标输出,当两者之间的差异足够小时迭代停止,CNN模型训练完成。

2.2 预防过拟合

通常,CNN等深度学习模型应用的对象都有大数据集,训练样本达到数万,甚至数百万级别。但对于高光谱图像,尤其是医学高光谱图像来说,训练样本的获取并不容易,需要医生等专业人员对少量的医学组织材料进行选取、制备、分类和标记,因此可供研究的样本数量通常不多,这就使得网络模型面临过拟合的风险。为了避免过拟合带来的影响,本研究采用组合训练策略,包括ReLU和Dropout方法等^[18],根据训练数据结构特点提出了简单高效的CNN模型架构,以便有效改善光谱数据维度较高与训练样本数量较少之间的不平衡。

3 实验部分

3.1 实验仪器与数据采集

本实验采用自主设计的显微高光谱成像仪,系统由高光谱成像仪和生物显微镜组成(如图3所示),通过C接口将高光谱成像系统与生物显微系统连接。高光谱成像系统主要由光谱成像部分、扫描机构和数据采集部分组成。光谱成像部分实现了一维光谱信息与一维空间信息的获取;扫描机构实现了另外一维空间信息的获取;数据采集部分主要实现了对图像参数的选择设定、CCD相机的运动控制、曝光时间的设置以及数据的显示和传输存储。光谱范围为350~1000 nm,共256个谱段,光谱分辨率优于4 nm,图像尺寸为753 pixel×696 pixel,生物显微镜物镜放大倍率为20倍,数值孔径为0.65,空间分辨率达到0.5 μm。采集的图像数据存储为BIL格式,即按照行-谱段的顺序存储,每个数据立方体首先依次存储第1、第2直至第256个谱段的第1行数据,然后再依次存储各谱段的第2行数据,最后组成一个完整的数据立方体。

图 3. 显微高光谱成像系统

Fig. 3. Micro-hyperspectral imaging system

下载图片 查看所有图片

实验样本来自于西安市中心医院病理科,包括胃癌病理切片和正常胃组织病理切片。其中:胃癌切片8例,来自于4名胃癌患者(每例患者2个病理切片);正常胃组织切片6例,来自于3名正常人体样本。经过H-E染色后,病理医生对胃癌组织与正常组织的范围进行了详细的区分标记。实验时调节光源强度,选取目标区域和调整调焦机构,以保证病理切片处于最佳位置,保持光源强度与物镜放大倍数不变,采集病理切片的显微高光谱图像。图4显示了胃组织的显微高光谱数据立方体,以及像素点光谱曲线提取示意图。

图 4. (a)胃组织显微高光谱数据立方体;(b)像素点光谱曲线提取示意图

Fig. 4. (a) Micro-hyperspectral data cube of gastric tissue; (b) schematic of pixel point spectrum curve extraction

下载图片 查看所有图片

3.2 光谱数据预处理

由于系统光源、光学部件和探测器性能等因素的影响,采集到的原始数据会不可避免地包含各种噪声,这会对图像质量造成一定影响。因此对于后期分类模型的建立,有效的预处理过程至关重要。首先从图像的角度考虑,随机噪声可能产生于数据采集的各个阶段,因其分布是分散且独立的,本实验采用高斯低通滤波来处理噪声;另外,由于探测器阵列的辐射响应不均匀,图像中会出现部分条带噪声,表现为周期性的竖条纹或亮线,根据其与相邻区域(8邻域)亮度值的差异,本实验对每一谱段进行了去条带处理。然后从光谱维的角度考虑,采用Savitzky-Golay(S-G)平滑结合一阶求导的方法,来消除高频噪声和基线偏移的影响。考虑到平滑去噪效果与有效信息保留,将移动窗口宽度设置为7,以实现两者之间的较好平衡。

3.3 样本数据选取

对于预处理之后的图像数据,根据医生标记的胃癌区域与正常组织区域,分别提取典型的光谱曲线。具体方法为:首先去除空白背景区域,保留有效组织信息并划定感兴趣区域(ROI),然后对于任一ROI均提取2个样本点,两者的平均光谱曲线作为此处ROI的特征光谱。考虑到350~410 nm和910~1000 nm两段光谱数据受到噪声干扰较大,将这部分数据剔除,保留410~910 nm共200个谱段的信息作为本次实验的研究对象。训练样本共包括1880条光谱曲线,胃癌组织与胃部正常组织样本各占一半。具体的训练集和测试集划分如表1所示,训练集用于训练模型参数,测试集用于评估最终分类性能。

4 结果与分析

4.1 光谱分析

训练样本中的2类组织的平均光谱曲线如图5所示,在722,697,678 nm处有明显的特征峰,而在732,710,690 nm处有明显的特征谷。在这几个波峰和波谷处,胃癌的光谱透射率绝对值略大于正常组织,但对于具体的各条光谱曲线,此特点并不明显,因此不足以作为2类样本的分类特征。为了明确全谱段范围内两者之间的关系,这里引入光谱角制图SAM的概念来分析光谱相似性,其计算公式如下:

α=arccos∑i=1nbtiri(∑i=1nbti2)12(∑i=1nbri2)12,(7)

式中:α为光谱角;n_b为波段数;t和r分别为参考光谱和测试光谱。若计算得到的光谱角较大,则说明两光谱的差异大,反之则为相似。将胃癌组织与胃部正常组织的平均光谱数据代入(7)式,计算结果为0.06°,说明两者的光谱变化趋势相似,仅通过设定光谱角阈值的方法难以对两者进行区分。因此,仅从光谱幅值和变化趋势的角度考虑,常用的传统方法对此样本无效,进而针对2类样本的深层光谱差异,提出了更有针对性的CNN模型。

图 5. 胃癌组织与胃部正常组织的平均光谱

Fig. 5. Average spectra of gastric cancer tissue and normal tissue

下载图片 查看所有图片

4.2 CNN模型参数的设置

本研究提出的CNN模型是利用keras框架实现的。keras是基于python语言的新型训练模型,可以实现对深度网络更高效的优化、调参和评估过程。通常,深度学习方法会构建多层网络,包含多个卷积层与池化层,因为更深层的神经网络可以代表更复杂的数据。其中:卷积层的应用保证了模型对高维输入降维的同时,能够提取到原始数据的核心特征;池化层通过亚采样使模型具有平移不变性^[19],增强了网络整体的泛化能力。考虑到本次显微高光谱数据的波段数以及训练样本数相对较少,过于深层的网络并不利于模型收敛,可能会导致分类效果不佳,因此将2个卷积层与2个池化层进行组合,测试第一类CNN模型(CNN-1)。

在训练过程中,使用70%的训练样本来学习每个神经元的权重参数,剩下的30%作为验证集,用来评估当前网络的性能,确定是否过拟合,从而引导正确的体系结构设计。然后优化模型,重点调整卷积核个数、卷积核尺寸以及全连接层神经元个数,根据模型收敛速率和分类效果再进行针对性的调整。得到的网络具体结构参数如表2所示,其中N代表各层卷积核个数或神经元个数,S代表卷积核或池化尺寸。I1为输入层,C2、C4为卷积层,P3、P5为最大池化层,F6为全连接层,O7为整个卷积神经网络的输出层。当dropout参数设为0.25时,结果最优,整体分类准确率达到了92.50%,训练误差与分类准确率随迭代次数的变化趋势如图6所示。

图 6. 训练误差与分类准确率随迭代次数的变化趋势

Fig. 6. Variations of training loss and classification accuracy with the number of iterations

下载图片 查看所有图片

观察发现,训练集的分类精度较高且不断提升,但验证集的精度变化较大。测试集的效果也并不理想,原因在于2个卷积层的结构仍相对复杂,对于输入的数据来说有过拟合的风险。因此将卷积层和池化层个数减到1,测试第二类更简单、更高效的CNN模型。为了提升调优效率,对2组参数(CNN-2,CNN-3)同时测试并分析、对比结果,具体结构参数如表2所示。池化尺寸增加为4,CNN-2包括10个卷积核,尺寸为7,CNN-3包括22个卷积核,尺寸为17,其余参数均相同。在测试过程中可以发现,虽然CNN-2的可训练参数最少,训练速度最快,但分类精度有限。随着卷积核个数和尺寸的增大,训练时间延长,分类精度逐渐提升,多组实验后最终确定了CNN-3为最优分类模型。

实验中训练迭代了100次之后,模型逐渐收敛到最佳。CNN-3共包含5层,包括输入层、卷积层、池化层、全连接层以及输出层。其中,输入层包括200个节点,卷积层的每个特征图包括(200-17+1)=184个节点,卷积层与输入层之间包括22×(17+1)=396个参数,全连接层与池化层之间包括[22×(184/4)+1]×100=101300个参数,所有的可训练参数个数之和达到了10万级别。在测试集上验证,得到分类准确率为95.71%,证明此模型在得到较高准确率的同时有效抑制了过拟合。这表明本次实验提出的CNN模型具有提取细微光谱特征的能力。

4.3 与其他方法对比

在本组实验中,将CNN-3模型与传统神经网络(NN)以及SVM进行比较,探讨3种模型对高光谱数据分析的差异。其中,神经网络设置3个隐藏层,模型结构为输入(200)-全连接(60)-全连接(40)-全连接(20)-输出(2)。SVM使用径向基函数(RBF)作为内核,对于模型中的2个可选择参数c和γ,采用2-D网格搜索进行参数寻优(即c=2^-12,2^-11,…,2¹²;γ=2^-14,2^-13,…,2¹⁴),并用最优参数构建模型。CNN模型训练用时较长,但该模型的测试速度与其余两者相近。除了统计各模型的整体准确率,还在测试集上计算了灵敏度和特异性,作为对胃癌样本鉴别能力的衡量标准,表3列出了CNN-3和以上2种模型的分类结果。显然,本研究提出的CNN模型获得了最好的分类效果,除了具有较高的准确率外,其鉴别胃癌样本的灵敏度和特异性分别达到94.29%和97.14%,均优于NN和SVM的结果。

5 结论

将高光谱成像技术应用于生物医疗领域已成为目前研究的热点,现有的数据处理算法多为主成分分析和SVM等传统方法。本研究针对胃癌组织高光谱数据,提出了一个包含单层卷积层的CNN分类模型,实现了对胃癌病变组织与胃部正常组织的高效鉴别,说明了两者在组织病理层面具有光谱特征差异,也证明了深度学习方法应用于此类显微高光谱图像的可行性。本研究提出的CNN模型结构相对简单且易训练,可以推广至其他医学组织研究中,如病理成分更复杂的部分浸润癌或癌前病变研究中。下一部工作将引入高光谱图像维特征,提取病理组织结构纹理特点,并与光谱维信息联合建模,以进一步提升模型的分类性能。