基于卷积神经网络的蛋胚活性精准检测方法研究
1 引言
孵化蛋胚是物种繁育、疫苗生产和种禽繁殖与生产的重要环节。流感疫苗主要以蛋胚为载体生产[1],其制备过程为:将流感病毒毒株接种在9日胚胎无特定病原体(specefic pathogen free,SPF)中,毒株在胚胎的尿囊腔中增殖培养,在15日时提取胚胎中的组织液,对组织液进行分离提纯并用于甲醛或者β-丙内酯灭活等方法处理后获得流感疫苗[2]。在接种病毒前,需要对蛋胚的活性进行检测,筛除死胚和弱胚,只有活胚能够接种病毒;在接种后,蛋胚需要定时进行活性检测,对活胚继续培养,对死胚及时清除以防止孵化箱内的交叉污染,对弱胚取出并回收利用以减少疫苗资源的浪费,弱胚若不及时处理会使整个孵化箱内培养的蛋胚都被放弃。在流感疫苗生产过程中,对孵化蛋胚在15日的孵化期内进行10次活性检测,而蛋胚的多样性差异会严重影响对蛋胚活性的判断。因此,快速、无创、准确的蛋胚活性检测是确保疫苗质量和提高禽类繁殖产能的重要因素,弱胚的准确检测是当前要攻克的关键技术之一。
在过去二十年,有关快速、准确的蛋胚活性分类方法的研究不断出现,包括声学振动法[3-4]、热差法[5]、超声成像法[6]、机器视觉[7]、高光谱成像法[8-9]等。声学振动在检测过程中会有声学共振现象,引起孵化蛋胚的一起振动,影响孵化蛋胚的正常发育。热差法运用在孵化过程中,检测过程缓慢且不能实时判断孵化蛋胚的活性。超声成像的高频信号对孵化蛋胚的发育也有一定的不良影响。常用的蛋胚检测方法有图像法和人工检测法,图像法和人工检测法均通过分辨血管和气室的特征进行活性检测。人工检测的检测效率和检测准确率都较低;图像法提取蛋胚图像的感兴趣区域,观察蛋胚内的血管分布和液体颜色,在检测过程中有较严格的要求,蛋盘中有空位时,光照会使相机过度曝光,获得的蛋胚图像较差,蛋胚的检测准确率降低。
光电容积脉搏波检测法[10](photo plethysmo graphy,PPG)是光吸收量随着动脉血液搏动而搏动,是检测蛋胚组织中血液容积变化的一种无创手段。将光源直射到蛋胚表面,入射光透过蛋壳射入蛋胚组织中,经过蛋壳、组织的吸收和散射作用,最终在蛋胚底部射出。采用透射式方法获得蛋胚光强信息,从蛋胚透射出的光强会随着蛋胚内血管的收缩和舒张而变化,将光强度变化的信号通过光电传感器转换成电信号,获得容积脉搏血流的变化。利用光电容积脉搏法对蛋胚进行检测,对胚胎的检测彻底,获得的蛋胚活性信息丰富。活胚和死胚的分类非常明确,但是弱胚在信号质量上与死胚相近。
近年来,卷积神经网络(convolutional neural networks,CNN)广泛应用于计算机视觉[11, 12]和自然语言处理领域[13-14],可通过一维卷积神经网络对患者心电图实时分类[15]及对人体运动信息分类识别[16]。CNN具有自适应提取特征的能力,能够高效提取数据特征,且不必对数据做过多的前期预处理,相较于其他预测模型,它特有的权重共享机制能够大大减少权重的数目,降低模型的复杂度。CNN从输入层到输出层经历多个隐藏层,能够解决复杂信息,实现复杂函数逼近,从而提升分类的准确率。
本文提出一种基于CNN模型的孵化蛋胚活性高通量检测方法,蛋胚活性检测装置可以同时采集大量蛋胚数据,通过数字高通滤波器和低通滤波器对蛋胚脉搏波进行预处理,去除信号中的基线漂移和部分噪声,信号的滑动功率谱密度(power spectral density, PSD)作为卷积神经网络模型的输入,对蛋胚活性快速作出判断。
1 检测原理及模型
当光入射蛋胚时,透过蛋壳、静态组织层,光强的衰减程度相同,由于脉搏搏动性,透过血管层时,光强随着脉搏波的波动呈周期性变化,从光电检测器可以获得透过蛋胚的光强信号[17],从而获得蛋胚的脉搏波。如图1中蛋胚波形图所示,从上至下依次为活胚、死胚和弱胚。本文通过对蛋胚信号的预处理,去除基线漂移,保留6 Hz以内的信号,再利用简单的运算分辨蛋胚活性的状态,获得的分类结果较差。通过研究发现,蛋胚信号在频域上有一定的区别。因此,提出脉搏波信号增强的滑动PSD方法,再利用CNN模型深度解析脉搏波的信息,区分蛋胚的活性,
1.1 滑动PSD的数据增强方法
快速傅里叶变换(fast Fourier transform,FFT),是根据离散傅氏变换的奇偶虚实等特性,对离散傅里叶变换的算法进行改进获得的。
对于标准的周期性信号,经过快速傅里叶变换,会出现一个峰值,而随着时间的推移,频谱图像上的峰值位置基本不会发生变化。由于噪声的随机性,在短时间的测量过程中,峰值的位置会出现波动。滑动功率谱的方法如图2所示,对于一段周期性信号,第1个窗为第1点至第6点,对其作FFT,形成FFT-1,第2个窗为第2点至第7点,对其作FFT,形成FFT-2,依次类推,最后一个窗口为第94点至第99点,对其作FFT,形成FFT-94。将经过FFT以后的信号进行合并,形成滑动PSD。
根据上述原理,对于一段检测时长为8 s、采样率为62.5 Hz的脉搏波信号,设计一个计算FFT的滑动窗,第1个窗为第1点至第60点,第2个窗为第2点至第61点,依次类推,最后一个窗口为第441点至第500点。将每一个窗口中的FFT按照时间进行拼接,形成蛋胚脉搏波滑动PSD,图3为活胚的脉搏波图像,经过滑动PSD的方法得到如图4所示的活胚脉搏波PSD结果。
根据以上方法,分别获得的活胚、死胚和弱胚的PSD对应结果如图5所示。
从图5可以看出死胚和活胚的分布区域有着明显的差异,可通过以上特征对蛋胚死、活状态进行判断;但是,死胚和弱胚在图像上的特征较为相似,信号的频率随着时间的变化比较杂乱,死胚没有主频,弱胚有主频。因此,采用简单的PSD信号增强的方法不能直接对蛋胚的死、弱状态做出判断。活胚的脉搏波博信趋于稳定,脉搏波的频率不随着时间发生变化,对应的PSD结果中,每个时间点的频谱基本保持不变,是一个稳定的周期性信号。弱胚和死胚的信号较为相似,对应的PSD结果也较为相似,不能明显地对弱胚和死胚信号进行区分。经过PSD方法的脉搏波信号得到了增强,经过比较分析,死胚和弱胚的脉搏波信号经过PSD技术的结果也难以区分蛋胚的活性。仅根据PSD的可视化方法不能精准地对蛋胚活性进行分类,可采用挖掘深度蛋胚脉搏波信息的神经网络模型分类。
1.2 CNN网络模型
CNN网络模型是一种包含卷积计算且具有深度结构的前馈神经网络,是深度学习中最具有代表性的算法之一。CNN网络模型构建多层神经网络,具有优异的表征学习能力,能够运用于监督学习和非监督学习中。随着大规模的数据获取和计算机硬件的飞速发展,CNN网络模型应用越来越广泛。
卷积神经网络的隐含层包含卷积层、池化层和全连接层。卷积层的功能是对输入数据的特征提取,其内部包含多个卷积核,组成卷积核的每个元素都对应一个相应的权重系数和一个偏差量。在卷积层进行特征提取后,输出的特征图被传递至池化层进行特征选择和信息过滤。卷积神经网络中输出层的上游通常是全连接层,对于图像分类问题,输出层使用逻辑函数或归一化函数输出分类标签。
卷积神经网络使用卷积运算代替矩阵乘法。设
其中:
池化层主要用于特征降维、压缩数据和参数数量,减少过拟合。文中使用最大池化获得一组最大输出,其式为
其中:
这里
其中:
在预测结果后,对CNN模型的分类结果进行分析,ROC曲线和AUC常用于评价二值分类模型的优劣。假设模型有n个预测值,对模型的预测值由低到高进行排序,依次遍历得分作为判断正负样本的阈值,计算不同阈值对应的正样本数TP和负样本数FP。ROC曲线中的横坐标FPR和纵坐标TPR计算形式为
其中:P为标签值为正的数目;N为标签值为负的数目。再利用复合梯形求积公式计算出曲线与坐标轴的面积AUC:
其中:x为ROC曲线的横坐标FPR;y为ROC曲线的纵坐标TPR。
2 CNN模型设计
本次实验采集数据的平台包含近红外光光源、放置蛋胚的蛋盘支架、数据采集器和PC。数据采集时应在无光的环境中,避免其他光源的干扰。本实验采用白壳鸡蛋,孵育时间为9至13天,其中蛋胚活性均已人工复检。采集不同孵化天数的蛋胚样本4791枚,其中活胚1 979枚,弱胚1083枚,死胚1729枚。
经典卷积神经网络结构复杂,参数众多,因此需要大量样本支撑网络训练,从而实现参数辨识,但是本文蛋胚活性分类识别属于小样本分类,不适用大部分经典的深度学习网络。本文应用的神经网络结构,如图6所示。
用于蛋胚活性检测的卷积神经网络参数如表1所示,像素为439×31的图片为蛋胚活性检测的输入,输入数据经过两层交替连接的卷积池化层获取图像数据特征,其中,两层卷积核的维度为5×5,个数为20,步长为1,池化层维度为2×2,激活函数为ReLU,学习率为0.01。根据第1节中卷积操作以及池化操作描述,每次经过卷积池化操作后的特征图维度如表2。再通过全连接层将多个二维特征图转换为一维向量以获得更高维的全局特征。最后,全局特征通过Softmax分类器进行3分类,分别为活胚、死胚和弱胚。获得训练抓取样本量128,最大迭代次数2200。
表 1. 卷积神经网络相关参数
Table 1. Convolutional neural network parameters
|
表 2. 经过卷积层与池化层的特征图维度
Table 2. Feature diagram dimension after convolutional layer and pooling layer
|
将蛋胚数据随机打乱,选择蛋胚总量的50%(2 396枚)作为CNN网络的训练数据集;蛋胚总量的30%(1 437枚),作为验证集数据;蛋胚总量的20%(958枚)作为测试集数据。训练集用于模型拟合的数据样本,验证集用来调整模型的参数,而测试集用来评估模型的泛化能力。采用Intel i7-7700HQ处理器、16GB DDR4内存以及Nvidia GTX 1060(6G)显卡进行CNN网络训练以及预测,同时记录测试集从数据预处理到预测结束所需的时间。
3 实验结果和讨论
滑动PSD技术不但包含时域信息,同时也含有孵化信号的频谱随时间变化的信息,增加了蛋胚信号的信息维度,增强了信号的辨识度。该信息作为CNN模型的输入,使训练更加充分,提高了模型对数据信息的辨识度。
CNN模型训练的ACC和LOSS曲线如图7所示。
图8为使用CNN的蛋胚分类结果画出的操作特性曲线(ROC曲线)。曲线越接近(0,1)点说明模型的分类效果越好,图8(a)为活胚和死胚分类的ROC曲线,图8(b)对应活胚和弱胚分类的ROC曲线,图8(c)对应弱胚和死胚分类的ROC曲线。求ROC曲线下的面积AUC,反映二分类模型分类的好坏,是一种常用的模型评价指标。图8(a)、图8(b)、图8(c)分别对应的AUC值为99.70%、97.57%、90.43%。分类模型对活胚和死胚的分辨率能力最好,其次是分辨活胚和弱胚较好,对弱胚和死胚的分辨能力较差。使用CNN模型对滑动PSD数据进行处理,提取PSD中的深度信息,挖掘出蛋胚数据中的特征,实现了蛋胚的活性分类。
图 8. 基于CNN网络的孵化蛋胚活性分类的ROC曲线和曲线下面积AUC
Fig. 8. ROC curve and area under curve AUC of hatching egg embryo activity classification based on CNN network
通过CNN模型的训练及验证参数的调整,本文对蛋胚活性的分类结果如表3所示。在CNN模型预测结果中,活胚的真阳率高达99.74%,死胚的真阳率为93.73%,弱胚的真阳率为84.39%。经过CNN模型的蛋胚的活性检测具有高准确率,预测时间仅为12.60 ms,可以支持蛋胚活性高通量检测产业化设计,具有一定的应用价值。
表 3. CNN模型预测结果
Table 3. CNN model prediction results
|
通过对误检部分分析,大部分弱胚被判断为死胚,大部分死胚被判断为弱胚。从蛋胚的脉搏波信号中可以得出,弱胚的信号强度很小,被掩盖在噪声信号中,弱胚的脉搏波与死胚的脉搏波有一定的相似性,同时经过PSD技术后的信号也难以区分,CNN模型也不能完全分辨。CNN能够更深层次地有效挖掘鸡胚数据的特征,实现蛋胚的分类,模型训练中的所有数据是随机打乱的,包含了实验所有的发育阶段,因此该模型可以预测当前实验蛋胚的所有发育阶段,相较于使用阈值法有更好的通用性,具有重要的市场应用价值。
4 结论
本文提出了一种解决孵化蛋胚分类的方法,使用光电容积脉搏波获得蛋胚的生理信号作为蛋胚活性检测的判断依据。此外,将脉搏波信号通过滑动PSD技术,增加了信息维度,利用PSD信号构建CNN模型,实现了蛋胚的活性分类。利用本方法构建的CNN模型进行蛋胚活性检测,单个蛋胚检测时间仅需12.60 ms,计算速度满足工业上的高通量检测需求,可以对大量蛋胚同时检测。本文提出的蛋胚活性检测方法可以对蛋胚的活、弱和死态进行分类,减少了疫苗生产车间的资源浪费,提高了生产效率。实验表明:本文提出的蛋胚检测技术,是一种高通量、无创、高准确率的检测方法,满足实际的应用需求。
[1] STEPHENSON J. Nanotechnology hazard[J]. Jama-Journal of the American Medical Association, 2008, 299(23): 2737.
[2] 李迎晓, 焦凤超, 易本驰, , et al. 禽流感疫苗研究进展[J]. 上海畜牧兽医通讯, 2012(5): 10-11.
LIU Yingxiao, JIAO Fengchao, YI Benchi, . Research progress of avian influenza vaccine[J]. Shanghai Journal of Animal Husbandry and Veterinary Medicine, 2012(5): 10-11.
[3] KEMPS B J, DE KETELAERE B, BAMELIS F R, , et al. Vibration analysis on incubating eggs and its relation to embryonic development[J]. Biotechnology Progress, 2003, 19(3): 1022-1025.
[4] COUCKE P M, ROOM G M, DECUYPERE E M, , et al. Monitoring embryo development in chicken eggs using acoustic resonance analysis[J]. Biotechnology Progress, 1997, 13(4): 474-478.
[5] TONG Q, ROMANINI C E B, Exadaktylos V, , et al. Detection of embryo mortality and hatch using thermal differences among incubated chicken eggs[J]. Liestock Science, 2016, 183: 19-23.
[6] MCQUINN T C, BRATOEVA M, DEALMEIDA A, , et al. High-frequency ultrasonographic imaging of avian cardiovascular development[J]. Developmental Dynamics, 2007, 236(12): 3503-3513.
[7] XU Q,CUI F.Non-destructive Detection on the fertility of injected SPF eggs in vaccine manufacture[C]//The 26th Chinese Control and Decision Conference.USA:IEEE,2014:1574-1579.
[8] ZHU Z, LIU T, XIE D, , et al. Nondestructive detection of infertile hatching eggs based on spectral and imaging information[J]. International Journal of Agricultural and Biological Engineering, 2015, 8(4): 69-76.
[9] LIU L, NGADI M O. Detecting fertility and early embryo development of chicken eggs using near-infrared hyperspectral imaging[J]. Food and Bioprocess Technology, 2013, 6(9): 2503-2513.
[10] 郭庆亮. 禽蛋胚胎检测技术进展[J]. 中国家禽, 2019, 41(16): 74-76.
GUO Qingliang. Progress in detection technology of poultry egg embryo[J]. China Poultry, 2019, 41(16): 74-76.
[11] HE K, ZHANG X, REN S, ET al. Spatial pyramid pooling in deep convolutional networks for visual recognition[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2015, 37(9): 1904-1916.
[12] NIU X, SUEN C Y. A novel hybrid CNN-SVM classifier for recognizing handwritten digits[J]. Pattern Recognition, 2012, 45(4): 1318-1325.
[13] AbDEL-HAMID O, MOHAMED A, JIANG H, , et al. Convolutional neural networks for speech recognition[J]. IEEE-ACM Transactions on Audio Speech and Language Processing, 2014, 22(10): 1533-1545.
[14] SAINATH T N,KINGSBURY B,MOHAMED A,et al.Improvements to deep convolutional neural networks for LVCSR[C]//2013 IEEE Workshop on Automatic Speech Recognition and Understanding.USA:IEEE,2013:315-320.
[15] KIRANYAZ S, INCE T, GABBOUJ M. Real-time patient-specific ECG classification by 1-D convolutional neural networks[J]. IEEE Transactions on Biomedical Engineering, 2016, 63(3): 664-675.
[16] RONAO C A, CHO S. Human activity recognition with smartphone sensors using deep learning neural networks[J]. Expert Systems with Applications, 2016, 59: 235-244.
[17] 李章俊, 王成, 朱浩, , et al. 基于光电容积脉搏波描记法的无创连续血压测量[J]. 中国生物医学工程学报, 2012, 31(04): 607-614.
LI Zhangjun, WANG Cheng, ZHU Hao, . Noninvasive continuous blood pressure measurement based on photoplethysmography[J]. Chinese Journal of Biomedical Engineering, 2012, 31(04): 607-614.
郭盟, 董新明, 韩广, 王慧泉, 王忠强, 赵喆. 基于卷积神经网络的蛋胚活性精准检测方法研究[J]. 应用光学, 2021, 42(2): 268. Meng GUO, Xinming DONG, Guang HAN, Huiquan WANG, Zhongqiang WANG, Zhe ZHAO. Research on accurate detection method of egg embryo activity based on convolutional neural network[J]. Journal of Applied Optics, 2021, 42(2): 268.