基于时域演化特征的细胞有丝分裂事件识别与检测

陈闯; 贾文武; 王亚

doi:doi:10.3788/LOP56.241007

激光与光电子学进展, 2019, 56 (24): 241007, 网络出版: 2019-11-26

基于时域演化特征的细胞有丝分裂事件识别与检测下载： 788次

Recognition and Detection of Mitosis Event Based on Feature of Evolution in Time Domain

论文大纲

陈闯贾文武 ^*王亚 ^**

作者单位

天津大学电气自动化与信息工程学院, 天津 300072

图像处理时域演化特征图像特征分类器有丝分裂 image processing feature of time-domain evolution image feature classifier mitosis

AI 词云图 AI语音精读 AI语音超短摘要

注：本部分内容由 AI 自动生成，请您知悉。

摘要

提出一种利用细胞时域演化特征来表示有丝分裂的方法。首先,该方法从细胞有丝分裂序列的每帧图像中提取三种不同特征,即通用搜索树(GIST)、尺度不变特征变换(SIFT)、卷积神经网络(CNN),针对提取的每种特征,用池化方法在空间和时间维度上对其进行处理;然后,将处理后的一系列池化特征组合成一个单一的特征向量来表示该细胞有丝分裂事件的最终特征;最后,将组合后的特征向量作为分类器的输入,利用传统的机器学习方法,即支持向量机(SVM)来处理有丝分裂事件的识别问题。实验结果表明所提方法在精度和召回率方面均优于传统方法,可以更好地应用于细胞有丝分裂检测中。

Abstract

Herein, a method to represent a mitosis event is proposed by using the feature of cell evolution in the time domain. First, three kinds of features are extracted for each frame of the mitotic sequence, i.e., the generalized search tree, scale invariant feature transformation, and convolutional neural network. Each series of extracted features is handled using the pooling method in spatial and temporal dimensions. Subsequently, the processed series of pooling features are combined into a vector to represent the final mitotic event characteristics. Finally, the combined feature vector is used as the classifier input, and the traditional machine learning method of support vector machine is used to address the mitotic recognition problem. The experimental results denote that the proposed method is superior to the traditional method with respect to the precision and recall rate and is more appropriate for mitosis detection applications.

1 引言

测量体外细胞的增殖行为对许多生物医学应用(如干细胞制造、药物发现、组织工程等)都有很重要的价值,因此如何准确和自动化地识别有丝分裂事件对此类测量至关重要。然而体外细胞增殖行为的测量需要对细胞长时间观测,使用人工标定方法不仅耗时,而且长时间连续工作也将导致手动注释的准确性大大降低。随着高通量成像的普及,细胞图像自动化分析成为解决这些问题的最优选择。

在显微图像序列中检测有丝分裂事件的方法大致分为两类,基于局部显著性的方法和基于时序建模的方法^[1-2]。基于局部显著性的方法:Siva等^[3]利用时移图像的时间信息来跟踪胚胎组织的变形,通过跟踪胚胎组织区域的强度变化来识别和定位细胞分裂事件的阶段;Ma等^[4]提出一种基于多尺度卷积特征对乳腺癌细胞进行有丝分裂分类的方法(MSSN),该方法利用正方形和非正方形滤波器从不同尺度^[5]对有丝分裂事件的局部空间形态关系进行描述,进而实现有丝分裂事件的分类。基于时序建模的方法:Gallardo等^[6]采用隐马尔可夫模型^[7](HMM)构建基于细胞形状和外观特征的时间模式,进而对候选序列进行分类;Liang等^[8]利用条件随机场(CRF)模型识别细胞有丝分裂的阶段;Su等^[9]提出一种基于隐状条件神经场(HSCNF)的有丝分裂事件检测方法,该方法提取候选序列中各帧的Gist特征进行可视化表示,然后在隐藏状态条件下训练一个神经场分类器对有丝分裂事件进行分类。

细胞图像自动检测方法通常包括两个重要步骤,即特征表示和模型学习。基于局部显著性的方法通过对图像序列完成顺序扫描,依据强度^[10]、纹理^[11]和形态三方面的特征^[12]的统计变化来对有丝分裂事件完成分类。尽管研究人员在这项任务上已经做了很多工作,但仍有一个问题有待解决,即现有的视觉特征和表现方法无法表征细胞外观随时间的变化趋势。基于时序建模的方法利用每帧细胞图像的形状特征来训练隐含时序动态信息的模型,进而识别和定位细胞有丝分裂事件,但是分类器捕捉细胞分裂过程中的时序变化信息,降低了模型检测的性能。因此,迫切需要一种新的表示方法来再现细胞序列中帧间的详细变化。然而,由于不同的细胞通常呈现不同的外观,并且在有丝分裂期间将发生显著的细胞形态变化,因此对细胞序列中外观随时间细节变化建模是非常困难的任务。为解决这一难题,本文提出一种新的特征表示方法 (EOF)。给出一个候选序列样本,提取该样本子序列中每帧图像的低级特征后,得到一个有限元矩阵;用一组滤波器处理该有限元矩阵后得到单个特征向量,该特征向量可以直接输入到支持向量机(SVM)实现模型学习和预测。在上述实现方法中使用时间金字塔结构^[13]来获得滤波器组,本文EOF通过使用获得的滤波器和多个池化操作符计算出低级特征描述符的短期和长期变化。

2 细胞有丝分裂事件的识别与检测方法

本文所介绍的系统包括两个主要步骤,即特征表示和模型学习。本节将详细介绍一种新的特征表示方法即时域演化特征,并简要介绍模型学习部分。特征提取的工作流程如图1所示。

图 1. 有丝分裂的识别与检测步骤

Fig. 1. Processes of mitosis recognition and detection

下载图片查看所有图片

2.1 特征表示

特征表示的目的是将一组低级特征描述符转换为高级特征表示,本文的EOF可以更好地抽象出细胞外观随时间的变化趋势。有丝分裂事件可以被视为一个有规律的运动,它包含了明显的结构信息,如图2所示。因此,根据有丝分裂事件的结构信息将有丝分裂序列分割成多个子序列,采用这种设计的原因是它可以捕获特征描述符的长期和短期变化。

图 2. 有丝分裂的全过程,当出现“8”形状时说明有丝分裂完成

Fig. 2. Whole process of mitosis. It means that mitosis is completed when shape of “8” appears

下载图片查看所有图片

本文EOF首先从给定的候选序列样本的每帧细胞图像中提取视觉特征。视觉特征选用尺度不变特征变换(SIFT)特征、通用搜索树(GIST)特征以及卷积神经网络(CNN)特征^[14],其中SIFT特征和GIST特征是用作细胞检测的常见特征,选择CNN特征是为了与传统视觉特征进行性能对比。在时间坐标系下,第t帧图像的特征描述符表示为V^t=[ $\begin{matrix} V_{1}^{t} \end{matrix}$ , $\begin{matrix} V_{2}^{t} \end{matrix}$ ,L, $\begin{matrix} V_{D}^{t} \end{matrix}$ ],因此T帧图像组成的候选序列就是由向量V¹,…,V^T构成的D×T维矩阵,D为每帧图像特征向量的维数。如图1所示,本文对候选序列的处理方式分为两种(level-1和level-2)。Level-1:使用1组包含j个池化操作符的过滤器对整个候选序列进行池化操作,得到的最终向量可以表示为y=(x^op1[t^s,t^e],x^op2[t^s,t^e],…,x^op^j[t^s,t^e]),其中x^op^j表示将第j个池化操作符应用于整个候选序列,t^s表示候选序列的起始帧,t^e表示候选序列的终止帧。Level-2:基于EOF框架的有丝分裂事件检测方法依据细胞有丝分裂的结构特性将候选序列解释为1组包含N个阶段(相位)的序列,即f_1,…,_D( $\begin{matrix} t_{1}^{s} \end{matrix}$ , $\begin{matrix} t_{1}^{e} \end{matrix}$ ),…,f_1,…,_D( $\begin{matrix} t_{n}^{s} \end{matrix}$ , $\begin{matrix} t_{n}^{e} \end{matrix}$ ),…,f_1,…,_D( $\begin{matrix} t_{N}^{s} \end{matrix}$ , $\begin{matrix} t_{N}^{e} \end{matrix}$ ),其中n表示第n个阶段的序列标号,f_1,…,_D( $\begin{matrix} t_{n}^{s} \end{matrix}$ , $\begin{matrix} t_{n}^{e} \end{matrix}$ )表示第n个阶段包含的每帧图片的D维特征组成的向量矩阵, $\begin{matrix} t_{n}^{s} \end{matrix}$ 表示第n个阶段的起始帧, $\begin{matrix} t_{n}^{e} \end{matrix}$ 表示第n个阶段的终止帧。对于每个阶段(相位),使用1组包含多个池化操作符的过滤器对其进行池化操作,该向量具体表示为x=( $\begin{matrix} x_{n}^{op 1} \end{matrix}$ [ $\begin{matrix} t_{n}^{s} \end{matrix}$ , $\begin{matrix} t_{n}^{e} \end{matrix}$ ], $\begin{matrix} x_{n}^{op 2} \end{matrix}$ [ $\begin{matrix} t_{n}^{s} \end{matrix}$ , $\begin{matrix} t_{n}^{e} \end{matrix}$ ],…, $\begin{matrix} x_{n}^{opj} \end{matrix}$ [ $\begin{matrix} t_{n}^{s} \end{matrix}$ , $\begin{matrix} t_{n}^{e} \end{matrix}$ ]),其中 $\begin{matrix} x_{n}^{opj} \end{matrix}$ [ $\begin{matrix} t_{n}^{s} \end{matrix}$ , $\begin{matrix} t_{n}^{e} \end{matrix}$ ]表示将第j个池化操作符应用于第n个阶段(相位)的序列f_1,…,_D( $\begin{matrix} t_{n}^{s} \end{matrix}$ , $\begin{matrix} t_{n}^{e} \end{matrix}$ )。因此由N个阶段(相位)构成的候选序列经过池化操作符处理后可以表示为x=( $\begin{matrix} x_{1}^{op 1} \end{matrix}$ [ $\begin{matrix} t_{1}^{s} \end{matrix}$ , $\begin{matrix} t_{1}^{e} \end{matrix}$ ],…, $\begin{matrix} x_{1}^{opj} \end{matrix}$ [ $\begin{matrix} t_{1}^{s} \end{matrix}$ , $\begin{matrix} t_{1}^{e} \end{matrix}$ ],…, $\begin{matrix} x_{N}^{op 1} \end{matrix}$ [ $\begin{matrix} t_{N}^{s} \end{matrix}$ , $\begin{matrix} t_{N}^{e} \end{matrix}$ ],…, $\begin{matrix} x_{N}^{opj} \end{matrix}$ [ $\begin{matrix} t_{N}^{s} \end{matrix}$ , $\begin{matrix} t_{N}^{e} \end{matrix}$ ])。

2.2 时间池化操作

图1中得到的连接池结果是在不同的时间间隔上应用多种池化方法级联得到的结果,由于采用由粗到细的划分方式,最后所得到的连接池结果同时包含细胞分裂过程中细胞外观的长期和短期变化。用到的四种池化操作为求和池化(sum pooling)、最大池化(max pooling)、及两种新的时间序列梯度池化直方图。

求和池化操作与最大池化操作定义分别为

\begin{matrix} \begin{matrix} x_{t}^{sum} [t^{s}, t^{e}] = \overset{t}{\sum_{n' = ts}} f (n'), (1) \\ x_{t}^{\max} [t^{s}, t^{e}] = \max_{n' = ts, \dots, t} f (n'), (2) \end{matrix} \end{matrix}

式中:f(n')表示在第n'帧处细胞图像的特征向量。(1)式表示在[t^s,t^e]中,对起始帧到第t帧细胞图片的特征向量进行求和运算后的结果作为池化处理在第t帧的输出,(2)式表示在[t^s,t^e]中,将起始帧到第t帧细胞图片的模最大的特征向量作为池化处理在第t帧的输出。

除这些传统的池化操作之外,还引入两种新的梯度池化操作,第一种用来计算时间过滤器内正(负)梯度的大小,第二种沿袭第一种池化操作的思想,但它不是简单计算梯度大小,而是对变化的正(负)梯度大小求和。新引入的两种操作符的定义为

\begin{matrix} \begin{matrix} x_{t}^{Δ + 1} [t^{s}, t^{e}] = {f (t) - f (t - 1), \\ f (t) - f (t - 1) > 0 ⋂ t^{s} \leq t \leq t^{e}}, (3) \\ x_{t}^{Δ - 1} [t^{s}, t^{e}] = {f (t - 1) - f (t), \\ f (t) - f (t - 1) < 0 ⋂ t^{s} \leq t \leq t^{e}}, (4) \\ x_{t}^{Δ + 2} [t^{s}, t^{e}] = \overset{t}{\sum_{n' = ts}} h^{+} (n'), (5) \\ x_{t}^{Δ - 2} [t^{s}, t^{e}] = \overset{t}{\sum_{n' = ts}} h^{-} (n'), (6) \\ h^{+} (t) = \{\begin{matrix} f (t) - f (t - 1), if [f (t) - f (t - 1)] > 0 \\ 0, ot h erwise \end{matrix}, (7) \\ h^{-} (t) = \{\begin{matrix} f (t - 1) - f (t), if [f (t) - f (t - 1)] < 0 \\ 0, ot h erwise \end{matrix}, (8) \end{matrix} \end{matrix}

式中: $\begin{matrix} x_{t}^{Δ + 1} \end{matrix}$ 为第一种梯度池化操作中正梯度的处理结果,表示相邻帧图片特征向量的变化为正梯度的输出; $\begin{matrix} x_{t}^{Δ - 1} \end{matrix}$ 为第一种梯度池化操作中负梯度的处理结果,表示相邻帧图片特征向量的变化为负梯度的输出; $\begin{matrix} x_{t}^{Δ + 2} \end{matrix}$ 为第二种梯度池化操作中正梯度的处理结果,表示在前t帧图片中对相邻帧图片特征向量正梯度的求和; $\begin{matrix} x_{t}^{Δ - 2} \end{matrix}$ 为第二种梯度池化操作中负梯度的处理结果,表示在前t帧图片中对相邻帧图片特征向量负梯度的求和;h⁺(t)为第二种梯度池化操作中相邻帧图片特征向量变化为正梯度的输出;h^-(t)为第二种梯度池化操作中相邻帧图片特征向量变化为负梯度的输出。(3)式和(4)式表示在[t^s,t^e]中,将第t-1帧到第t帧的特征向量的梯度作为池化处理在第t帧的输出,(5)~(8)式表示在[t^s,t^e]中,将起始帧到第t帧的特征向量的梯度和作为池化处理在第t帧的输出。

与求和池化操作和最大池化操作不同,上文介绍的新的梯度池化操作在对每个时间滤波器进行操作后生成一对值(即 $\begin{matrix} x_{t}^{Δ +} \end{matrix}$ 和 $\begin{matrix} x_{t}^{Δ -} \end{matrix}$ ),并且这两个值呈现在池化时间序列表中。

2.3 模型学习

在模型学习过程中,将经典的SVM^[15]分类器与卡方核(Chi-square kernel)结合应用于有丝分裂事件分类的模型建立。本文将2.1节特征表示中得到的连接池结果输入到现成的SVM分类器中进行分类。

3 有丝分裂事件检测实验

在细胞有丝分裂事件检测领域,为评估本文检测方法的检测性能,在相同的实验条件下,本文就池化时间长短、池化方法和特征提取三部分对本文方法的性能影响进行评估。此外,本文通过对比EOF与先前的特征表示,如视觉词袋模型^[16](BoW)等,分类检测结果证明本文方法具有更优越的性能。

3.1 实验数据集

在两种干细胞群上测试上文提出的池化时间序列表示方法:C3H10间充质干细胞和C2C12^[9]成肌干细胞。C2C12为小鼠成肌干细胞群落,该数据集包含四个子集并具有很高的汇合度。这四个子集分别包含634、636、608和257个有丝分裂事件序列。每个序列由1013个图像(1392×1040分辨率)组成。C3H10为小鼠髓间充质干细胞群落,该数据集包含5个相位对比细胞图像子集,总共有409个有丝分裂事件序列,每个序列由1436个图像(1392×1040分辨率)组成。

对于候选序列提取部分,本实验首先在C2C12和C3H10共9个子集上手动注释有丝分裂事件,遵循的原则为当可以清楚地观察分裂后两个子细胞之间的边界时,标记边界的中心。利用这种注释信息,本实验可以确定包含有丝分裂事件的阳性样本,反之,阴性样本是在相同的时空维度下随机生成的。由于F0002子集包含最多的有丝分裂事件,本实验选其作为训练数据集,而除F0002外的其他子集作为测试数据集。训练数据集包括1013个候选序列,即501个有丝分裂事件(阳性样本)和512个非有丝分裂事件(阴性样本)。

3.2 有丝分裂事件检测方法的评估

为评估每个候选序列中有丝分裂事件检测方法的性能,本实验分别计算C3H10上测试数据集的准确度(accuracy)、精确度(precision)、召回率(recall)以及F-score。同时,本实验计算了C2C12上测试数据集测试的准确度、精确度、召回率和F-score。为计算四种性能评估参数,定义四种情况TP、FN、FP和TN:对于阳性样本(包含有丝分裂事件的斑块序列),如果检测结果中具有丝分裂标记,则定义为TP(真阳性),否则,它将被定义为FN(假阴性);当阴性样本(不包含有丝分裂事件的斑块序列)在检测结果中具有有丝分裂标记,将其定义为FP(假阳性),否则它被定义为TN(真阴性)。准确度、精确度、召回率以及F-score的定义为

\begin{matrix} \begin{matrix} A_{accuracy} = \frac{T_{TP} + T_{TN}}{T_{TP} + F_{FN} + F_{FP} + T_{TN}}, (9) \\ P_{precision} = \frac{T_{TP}}{T_{TP} + F_{FP}}, (10) \\ R_{recall} = \frac{T_{TP}}{T_{TP} + F_{FN}}, (11) \\ F_{F ⁃ score} = \frac{2 \cdot P_{precision} \cdot R_{recall}}{P_{precision} + R_{recall}}, (12) \end{matrix} \end{matrix}

式中:A_accuracy、P_precision、R_recall、F_F-score分别为测试数据集的准确度、精确度、召回率以及F-score,T_TP、F_FN分别为阳性样本检测结果中有、无丝分裂,F_FP、T_TN分别为阴性样本在检测结果中有、无有丝分裂标记。

3.3 时间池化长短对识别性能的影响

在这项工作中,为确认本文基于EOF框架的有丝分裂事件检测方法在捕获每个描述符的长期和短期变化方面的优势,进行两个不同相位划分结构的对比实验,以找到最佳的划分比例,如图1所示。第1种划分结构(level-1)可以保存有丝分裂事件中特征描述符的长期变化信息,第2种划分结构(level-2)可以保存其短期变化信息。实验结果如表1所示。

表 1. C2C12数据库不同level的实验结果

Table 1. Experimental results with different levels on C2C12 dataset

Method	Accuracy /%	Precision /%	Recall /%	F-score /%
Level-1	97.89	95.78	98.20	96.97
Level-2	97.95	98.14	95.91	96.97
Combine	98.30	97.81	97.27	97.51

查看所有表

实验结果显示两种划分结构得到的检测结果无明显差异,但组合两个划分结构能实现最佳的性能,因为组合两个划分结构可以保存特征描述符的长期变化和短期变化。这个实验也证明了本文检测框架的有效性。

3.4 池化方法对识别性能的影响

本文介绍四种类型的池化操作符:求和池化操作符、最大池化操作符、以及两种不同类型的时间序列梯度池化操作符。考虑到池化组合策略在时空特征学习中的重要作用,本课题组进行了对比实验以找到最佳池化组合,继而实现七种组合策略,包括单一类型池化操作模式和组合模式。组合模式是指将多个池化操作的结果连接起来作为连接池结果的最终表示。本实验使用与3.3节相同的训练集和测试集,在获得最终表示后,应用SVM分类器对有丝分裂事件进行分类。相关结果如表2所示,其中Max+Sum+G1表示最大池化、求和池化、第一种梯度池化的组合模式,G1+G2表示第一种梯度池化和第二种梯度池化的组合模式,Max+Sum+G1+G2表示最大池化、求和池化、第一种梯度池化、第二种梯度池化的组合模式。

在表2中,结果表明与其他六种组合策略相比,求和池化、最大池化和第一种梯度池化的组合模式精度达到98.69%、准确率达到98.05%、召回率达到98.22%、F-score达到98.12%,获得最佳结果。在单类型池化操作模式的比较中最大池化操作优于其他池化操作。此外,求和池化操作在四种单类型池化操作中的性能最差。

3.5 特征提取对识别性能的影响

之前的实验结果表明第2种相位划分结构

表 2. C2C12数据库不同池化方法的实验结果

Table 2. Experimental results with different pooling strategies on C2C12 dataset

Pooling	Accuracy /%	Precision /%	Recall /%	F-score /%
Sum pooling	96.53	94.22	95.93	95.05
Max pooling	98.46	97.66	97.89	97.76
Gradient pooling 1	98.44	97.83	97.66	97.73
Gradient pooling 2	98.14	95.69	99.13	97.39
Max+Sum+G1	98.69	98.05	98.22	98.12
G1+G2	98.61	97.64	98.37	97.97
Max+Sum+G1+G2	98.30	97.82	97.27	97.51

查看所有表

(level-2)和多个池化算子组合的池化策略是EOF的最佳选择。对于细胞图像特征的提取,选用SIFT特征、GIST特征以及CNN特征分别在C2C12数据集和C3H10数据集上进行识别性能对比试验,其中SIFT特征和GIST特征是用作细胞检测的常见特征,CNN特征是基于VGG-16模型^[17]训练得到的特征,相关实验结果如表3和表4所示。

表 3. 不同特征在C2C12数据库的实验结果

Table 3. Experimental results with different features on C2C12 dataset

Feature	Accuracy /%	Precision /%	Recall /%	F-score /%
GIST	98.30	97.82	97.27	97.51
SIFT	98.27	97.34	97.25	97.29
CNN	98.34	96.34	99.04	97.67

查看所有表

表 4. 不同特征在C3H10数据库的实验结果

Table 4. Experimental results with different features on C3H10 dataset

Feature	Accuracy /%	Precision /%	Recall /%	F-score /%
GIST	89.92	93.32	88.91	91.61
SIFT	88.96	93.53	88.96	91.18
CNN	95.77	94.70	89.40	94.95

查看所有表

实验结果显示CNN特征优于GIST和SIFT特征,证明了深度学习在视觉特征提取中的优越性。

3.6 有丝分裂事件检测方法与当前技术进行比较

为证明本文基于EOF框架的有丝分裂事件检测方法的优越性,将本文方法与其他方法进行比较,包括结合线性SVM分类器的视觉词袋(BoW)模型,及基于图模型的方法,如隐条件随机场^[18](HCRF)、隐状态条件随机场^[19](HSCRF)、隐状态条件神经场^[9](HSCNF)等。定量比较结果如表5和表6所示。

表 5. EOF+SVM与其他方法在C2C12数据库的比较

Table 5. Comparison of EOF+SVM with other methods on C2C12 dataset

Method	F-score /%	Precision /%	Recall /%
EOF+SVM	97.51	97.82	97.27
BoW+SVM	87.80	95.20	91.30
HCRF	91.80	91.97	92.50
HSCRF	93.12	92.40	93.70
HSCNF	93.50	92.40	94.60

查看所有表

表 6. EOF+SVM与其他方法在C3H10数据库的比较

Table 6. Comparison of EOF+SVM with other methods on C3H10 dataset

Method	F-score /%	Precision /%	Recall /%
EOF+SVM	94.95	94.70	89.40
MM-HCRF+MM-SMM^[18]	91.80	95.80	88.10
MM-HCRF^[18]	87.20	82.80	92.20
EDCRF^[20]	88.90	91.30	87.00
CRF^[8]	81.50	90.50	75.30
HMM^[6]	81.00	83.40	79.40

查看所有表

结果表明本文基于EOF框架的检测方法(EOF+SVM)在准确度、召回率以及F-sore评估参数上都达到最优。特别地,基于EOF框架的检测方法显著优于基于BoW的检测方法,这表明本方案对于时空表示辨别力更强。

3.7 有丝分裂时空联合检测

在时空联合检测实验中,利用空间和时间的滑动窗口对候选序列进行详尽的搜索。通过计算序列中所有帧的标准偏差总和,可以滤除大多数背景序列,因此,本文方法在实际应用中仍然有效。这里,选择来自C2C12数据集的子集F0001作为测试集以证明本文方法的性能。一些检测结果如图3所示,红色框表示groundtruth,绿色框表示真阳性(TP),蓝色框表示假阳性(FP)。当红色框和绿色框重合时说明对图片中发生的有丝分裂事件实现了准确的检测;当单独存在一个红色框时说明检测出现漏检;当单独存在一个蓝色框时说明检测出现错检。图3的检测结果表明存在极少漏检和错检情况并且对相邻较近的有丝分裂事件实现了精准检测,反映出本文方法在实际检测中具有较高的精度和召回率。

图 3. 在C2C12数据集上的相差显微镜图像中的有丝分裂位点的结果。(a)第918帧检测结果;(b)第952帧检测结果;(c)第782帧检测结果;(d)第902帧检测结果

Fig. 3. Results of mitosis locations in phase-contrast microscopy image on C2C12 dataset. (a) Detection result of 918th frame; (b) detection result of 952nd frame; (c) detection result of 782nd frame; (d) detection result of 902nd frame

下载图片查看所有图片

4 结论

提出一种新的特征表示框架来表示有丝分裂事件,池化时间序列可以表示细胞子序列帧之间的时间关系,其思想是追踪特征描述符值随时间的变化趋势,并将其汇总以表示细胞序列中的外观。除此之外,本文的表示框架通用性很强,它能够处理任何类型的低级特征描述符,对比实验也证明了本方法的优越性。但是由于在细胞分裂过程中,细胞位置的动态变化会影响候选序列的提取,因此最终提取到的静态候选序列对整个有丝分裂事件的描述是不完全的,这必然会对有丝分裂事件的特征表示产生影响,进而降低识别结果的精度。这是当前有丝分裂事件检测领域的难点,也是未来研究的方向。

参考文献

[1] Gao Y, Zhang H W, Zhao X B, et al. Event classification in microblogs via social tracking[J]. ACM Transactions on Intelligent Systems and Technology, 2017, 8(3): 35.

[2] Gao Y, Zhen Y, Li H J, et al. Filtering of brand-related microblogs using social-smooth multiview embedding[J]. IEEE Transactions on Multimedia, 2016, 18(10): 2115-2126.

[3] SivaP, Brodland GW, ClausiD. Automated detection of mitosis in embryonic tissues[C]∥Fourth Canadian Conference on Computer and Robot Vision (CRV '07), May 28-30, 2007, Montreal, Que., Canada. New York: IEEE, 2007: 9830332.

[4] Ma ML, Shi YH, Li WB, et al. A novel two-stage deep method for mitosis detection in breast cancer histology images[C]∥2018 24th International Conference on Pattern Recognition (ICPR), August 20-24, 2018, Beijing, China. New York: IEEE, 2018: 3892- 3897.

[5] 单倩文, 郑新波, 何小海, 等. 基于改进多尺度特征图的目标快速检测与识别算法[J]. 激光与光电子学进展, 2019, 56(2): 021002.

Shan Q W, Zheng X B, He X H, et al. Fast object detection and recognition algorithm based on improved multi-scale feature maps[J]. Laser & Optoelectronics Progress, 2019, 56(2): 021002.

[6] Gallardo G M, Yang F X, Ianzini F, et al. Mitotic cell recognition with hidden Markov models[J]. Proceedings of SPIE, 2004, 5367: 661-668.

[7] 张宏伟, 张凌婕, 袁小锋, 等. 基于离散余弦变换特征和隐马尔科夫模型的铜熔炼过程烟雾分级[J]. 激光与光电子学进展, 2018, 55(12): 121504.

Zhang H W, Zhang L J, Yuan X F, et al. Smoke classification in copper smelting process based on discrete cosine transform features and hidden Markov model[J]. Laser & Optoelectronics Progress, 2018, 55(12): 121504.

[8] Liang LC, Zhou XB, Li FH, et al. Mitosis cell identification with conditional random fields[C]∥2007 IEEE/NIH Life Science Systems and Applications Workshop, November 8-9, 2007, Bethesda, MD, USA. New York: IEEE, 2007: 9- 12.

[9] Su YT, YuJ, Liu AN, et al. Cell type-independent mitosis event detection via hidden-state conditional neural fields[C]∥2014 IEEE 11th International Symposium on Biomedical Imaging (ISBI), April 29-May 2, 2014, Beijing, China. New York: IEEE, 2014: 222- 225.

[10] Soda P, Iannello G. Aggregation of classifiers for staining pattern recognition in antinuclear autoantibodies analysis[J]. IEEE Transactions on Information Technology in Biomedicine, 2009, 13(3): 322-329.

[11] ThibaultG, AnguloJ. Efficient statistical/morphological cell texture characterization and classification[C]∥Proceedings of the 21st International Conference on Pattern Recognition (ICPR2012), November 11-15, 2012, Tsukuba, Japan. New York: IEEE, 2012: 2440- 2443.

[12] LiK, Yin JP, LuZ, et al. Multiclass boosting SVM using different texture features in HEp-2 cell staining pattern classification[C]∥Proceedings of the 21st International Conference on Pattern Recognition (ICPR2012), November 11-15, 2012, Tsukuba, Japan. New York: IEEE, 2012: 170- 173.

[13] ChoiJ, Jeon WJ, Lee SC. Spatio-temporal pyramid matching for sports videos[C]∥Proceeding of the 1st ACM international conference on Multimedia information retrieval - MIR '08, October 30-31, 2008, Vancouver, British Columbia, Canada. New York: ACM, 2008: 291- 297.

[14] 史紫腾, 王知人, 王瑞, 等. 基于卷积神经网络的单幅图像超分辨[J]. 激光与光电子学进展, 2018, 55(12): 121001.

Shi Z T, Wang Z R, Wang R, et al. Single image super-resolution based on convolutional neural network[J]. Laser & Optoelectronics Progress, 2018, 55(12): 121001.

[15] Vapnik VN. The nature of statistical learning theory[M]. New York, NY: Springer, 2000: 13- 20.

[16] Liu L, Chen J, Fieguth P, et al. From BoW to CNN: two decades of texture representation for texture classification[J]. International Journal of Computer Vision, 2019, 127(1): 74-109.

[17] DengJ, DongW, SocherR, et al. ImageNet: a large-scale hierarchical image database[C]∥2009 IEEE Conference on Computer Vision and Pattern Recognition, June 20-25, 2009, Miami, FL, USA. New York: IEEE, 2009: 248- 255.

[18] Liu A A, Li K, Kanade T. A semi-Markov model for mitosis segmentation in time-lapse phase contrast microscopy image sequences of stem cell populations[J]. IEEE Transactions on Medical Imaging, 2012, 31(2): 359-369.

[19] Tran T, Phung D, Bui H, et al. Hierarchical semi-Markov conditional random fields for deep recursive sequential data[J]. Artificial Intelligence, 2017, 246: 53-85.

[20] Huh S. Ker D F E, Bise R, et al. Automated mitosis detection of stem cell populations in phase-contrast microscopy images[J]. IEEE Transactions on Medical Imaging, 2011, 30(3): 586-596.

3.6 有丝分裂事件检测方法与当前技术进行比较

3.7 有丝分裂时空联合检测

4 结论

陈闯, 贾文武, 王亚. 基于时域演化特征的细胞有丝分裂事件识别与检测[J]. 激光与光电子学进展, 2019, 56(24): 241007. Chuang Chen, Wenwu Jia, Ya Wang. Recognition and Detection of Mitosis Event Based on Feature of Evolution in Time Domain[J]. Laser & Optoelectronics Progress, 2019, 56(24): 241007.

基于时域演化特征的细胞有丝分裂事件识别与检测下载： 788次

1 引言

2 细胞有丝分裂事件的识别与检测方法

图 1. 有丝分裂的识别与检测步骤

Fig. 1. Processes of mitosis recognition and detection

2.1 特征表示

图 2. 有丝分裂的全过程,当出现“8”形状时说明有丝分裂完成

Fig. 2. Whole process of mitosis. It means that mitosis is completed when shape of “8” appears

2.2 时间池化操作

2.3 模型学习

3 有丝分裂事件检测实验

3.1 实验数据集

3.2 有丝分裂事件检测方法的评估

3.3 时间池化长短对识别性能的影响

表 1. C2C12数据库不同level的实验结果

Table 1. Experimental results with different levels on C2C12 dataset

3.4 池化方法对识别性能的影响

3.5 特征提取对识别性能的影响

表 2. C2C12数据库不同池化方法的实验结果

Table 2. Experimental results with different pooling strategies on C2C12 dataset

表 3. 不同特征在C2C12数据库的实验结果

Table 3. Experimental results with different features on C2C12 dataset

表 4. 不同特征在C3H10数据库的实验结果

Table 4. Experimental results with different features on C3H10 dataset

3.6 有丝分裂事件检测方法与当前技术进行比较

表 5. EOF+SVM与其他方法在C2C12数据库的比较

Table 5. Comparison of EOF+SVM with other methods on C2C12 dataset

表 6. EOF+SVM与其他方法在C3H10数据库的比较

Table 6. Comparison of EOF+SVM with other methods on C3H10 dataset

3.7 有丝分裂时空联合检测

图 3. 在C2C12数据集上的相差显微镜图像中的有丝分裂位点的结果。(a)第918帧检测结果;(b)第952帧检测结果;(c)第782帧检测结果;(d)第902帧检测结果

Fig. 3. Results of mitosis locations in phase-contrast microscopy image on C2C12 dataset. (a) Detection result of 918th frame; (b) detection result of 952nd frame; (c) detection result of 782nd frame; (d) detection result of 902nd frame

4 结论

Article Outline

关于本站 Cookie 的使用提示

全站搜索

基于时域演化特征的细胞有丝分裂事件识别与检测 下载： 788次

1 引言

2 细胞有丝分裂事件的识别与检测方法

图 1. 有丝分裂的识别与检测步骤

Fig. 1. Processes of mitosis recognition and detection

2.1 特征表示

图 2. 有丝分裂的全过程,当出现“8”形状时说明有丝分裂完成

Fig. 2. Whole process of mitosis. It means that mitosis is completed when shape of “8” appears

2.2 时间池化操作

2.3 模型学习

3 有丝分裂事件检测实验

3.1 实验数据集

3.2 有丝分裂事件检测方法的评估

3.3 时间池化长短对识别性能的影响

表 1. C2C12数据库不同level的实验结果

Table 1. Experimental results with different levels on C2C12 dataset

3.4 池化方法对识别性能的影响

3.5 特征提取对识别性能的影响

表 2. C2C12数据库不同池化方法的实验结果

Table 2. Experimental results with different pooling strategies on C2C12 dataset

表 3. 不同特征在C2C12数据库的实验结果

Table 3. Experimental results with different features on C2C12 dataset

表 4. 不同特征在C3H10数据库的实验结果

Table 4. Experimental results with different features on C3H10 dataset

3.6 有丝分裂事件检测方法与当前技术进行比较

表 5. EOF+SVM与其他方法在C2C12数据库的比较

Table 5. Comparison of EOF+SVM with other methods on C2C12 dataset

表 6. EOF+SVM与其他方法在C3H10数据库的比较

Table 6. Comparison of EOF+SVM with other methods on C3H10 dataset

3.7 有丝分裂时空联合检测

图 3. 在C2C12数据集上的相差显微镜图像中的有丝分裂位点的结果。(a)第918帧检测结果;(b)第952帧检测结果;(c)第782帧检测结果;(d)第902帧检测结果

Fig. 3. Results of mitosis locations in phase-contrast microscopy image on C2C12 dataset. (a) Detection result of 918th frame; (b) detection result of 952nd frame; (c) detection result of 782nd frame; (d) detection result of 902nd frame

4 结论

Article Outline

相关论文

相关资讯

关于本站 Cookie 的使用提示

全站搜索

基于时域演化特征的细胞有丝分裂事件识别与检测下载： 788次