激光与光电子学进展, 2021, 58 (8): 0800002, 网络出版: 2021-04-12   

基于红外热成像的早期疾病检测技术的研究进展 下载: 1282次

Research Progress of Early Disease Detection Technology Based on Infrared Thermography
作者单位
1 贵州大学大数据与信息工程学院, 贵州 贵阳 550025
2 贵阳学院农产品无损检测工程研究中心, 贵州 贵阳, 550005
摘要
通过疾病的早期筛查,制定针对性治疗方案的精准医疗已成为医学发展的重要趋势。医学影像学检测是实现精准医疗的重要基础。疾病初期无明显表征,采用常规检测方法进行诊断具有一定的局限性,但机体会表现出异常的温度分布,红外热成像技术可以灵敏地检测出温度的变化,因此将其应用于早期疾病检测成为国内外的研究热点。本文首先介绍了当前医学影像学检测手段(如X线检查、超声、磁共振成像)的优缺点,重点介绍了红外热成像技术用于疾病检测的原理;然后对红外热成像技术和先进图像识别技术在早期疾病检测识别领域的国内外现状进行阐述,对比分析了红外热成像技术在早期疾病检测中的优缺点,其优点是无损、快速、准确率高,缺点是所需数据量大、图像处理算法性能差。将红外热成像技术与深度学习相结合对早期疾病进行无损检测,将成为今后的主要研究方向。
Abstract
Through the early screening of diseases, the development of targeted treatment programs of precision medicine has been essential to medical development. Medical imaging detection is an important foundation for precision medicine. There is no obvious characterization in the early stage of the disease, thus, the conventional detection method has certain limitations, but the body will show abnormal temperature distribution, and infrared thermography can detect the change of temperature sensitively. So, its application in early disease detection has attracted significant attention. In this study, the advantages and disadvantages of X-ray examination, ultrasound, magnetic resonance imaging, and other medical imaging detection methods, especially the mechanism of infrared thermography applied to disease detection, are introduced. Then, it systematically expounds on the domestic and foreign current situation of infrared thermography and advanced image recognition technology in early disease detection and recognition. It analyzes the advantages and disadvantages of infrared thermography in early disease detection, with the advantages of lossless, fast, and high accuracy and disadvantages such as the need for a large amount of data and poor performance of image processing algorithm. It suggested that the combination of infrared thermography and deep learning will be the main research direction in the future.

1 引言

精准医疗就是利用现代遗传技术、分子影像技术、生物信息技术,结合患者生活环境和临床数据[1],实现疾病的早期诊断,从而制定针对性的个性化治疗方案,达到预防疾病和提高诊疗效率的目的。精准医疗的基础是精准检测,而医学影像数据作为最大的证据源,其涉及的医学成像技术、图像处理与计算机辅助诊断技术是实现精准医疗的重要基础。

目前,常用的医学影像学检测手段有X线检查、超声诊断、磁共振成像(MRI)和电子计算机断层扫描(CT)等。X线检查利用的是X线的穿透作用。当X线穿透人体时,组织器官间的密度和厚度不同,对X线的衰减程度不同,因此在荧光屏上形成了具有黑白对比的X线影像。该方法具有成像清晰、检测方便等优点,但当邻近组织器官重叠或病变与正常组织密度差异不大时,易出现漏诊。超声诊断是基于不同结构或状态(正常或患病)的组织器官的声阻抗不同而开发的一种检测方法。向人体发射超声波,超声波在体内传播时遇到声阻抗突变界面就会产生回波信号,超声诊断就是通过对该回波信号进行处理来获得组织器官结构影像的,具有无损、无害、检测成本低的特点,但对微小病变的检测灵敏度较低。MRI是对组织器官中的氢原子在外磁场共振作用下产生的信号进行重建成像的影像学技术。病变会导致氢原子的含量和分布发生改变,基于此,MRI可对病变部位清晰成像,但其成本较高,而且部分良恶性病变的磁共振成像表现存在一定的重叠,易造成误诊。CT是利用X线或超声波等对人体进行断层扫描得到被检测部位横断面图像的方法,该方法解决了常规X线检查存在的重叠显示问题,但病变与正常组织无明显差异时易漏诊。常规的医学影像学检测手段主要是通过射线、磁场、超声等,利用反射原理对使人体组织产生结构、形状、器质等空间分布变化的疾病进行影像学诊断。受限于成像分辨率的影响,这些检测手段对早期疾病、微小病变的检测敏感性较低,且人体一般要承受射线、强磁场的伤害;而且这些检测手段需要患者服用标记药物、造影剂等对人体病变进行染色示踪,患者需要承受标记药物、造影剂带来的伤害。常规的医学影像检测手段都不能监测人体在自然状态下的机体症状,而且存在检查费用高、检测过程和结果易受干扰等不足。

红外热成像检测作为功能影像学检查手段,不需要引入外加发射源或服用造影剂等标记药物,可对人体在自然状态下的情况进行无损、无介入、无污染的监测,在机体未出现明显表征前,可以灵敏地检测到新陈代谢紊乱导致的温度场异常改变,从而用于健康评估、早期疾病辅助检测和疗效的功能性评价。与常规影像学检测手段、生化检测手段相比,红外热成像技术可以获取连续、动态的红外信息,具有无辐射、非侵入性、简单快速、成本低等优点,已成为近年来疾病早期监测的研究热点。本文主要介绍了红外热成像技术在早期疾病无损检测中的国内外研究现状及发展趋势。

2 红外热成像技术用于疾病检测的原理

温度高于绝对零度(-273.15 ℃)的物体都会产生红外辐射,利用红外辐射可以监测物体的相关特性。人体作为天然的红外辐射源,不断地向外辐射波长为8~10 μm的红外线。由于人体的解剖结构、组织代谢、血液循环和神经状态不同,人体的不同部位有不同的温度,从而形成了不同的温度场[2]。健康人体的温度分布相对稳定和对称,当发生疾病或人体机能状态变化时,相应区域的新陈代谢和血液循环就会发生改变,从而引起局部或全身温度的异常变化。红外热成像技术可以敏感地显示人体热辐射的异常变化(温度变化小于0.05 ℃),通过伪色彩图直观地表示人体温度的分布状况。通过对体内、体表温度场分布及变化趋势进行分析,可以及时准确地判断组织器官是否发生了生理或病理性改变。

医学领域常用的红外热成像仪为非制冷焦平面红外热成像仪。红外热成像检测系统的工作流程如图1所示:首先,红外热成像仪通过光学成像系统接收人体产生的红外辐射,然后对接收信号进行空间滤波,将红外辐射能量分布图像反映在红外探测器的焦平面感光元件上;接着,红外探测器将接收到的光信号进行光电转换,将其变为电信号,并将信号送入红外探测器的读出电路中,读出电路对电信号进行放大、多路传输、模数转换;最后,图像信号处理单元对数字信号进行滤波、非均匀校正、数模转换等处理,生成可以直观显示人体各部位温度的伪色彩图。通过图像识别系统分析温度异常区域温度场的分布深度、形态和温度值,就可以对病灶区域进行定位,同时对疾病的性质、严重程度和当前的生理状况进行动态监测与评估。

图 1. 红外热成像检测系统的工程流程

Fig. 1. Workflow of infrared thermal imaging detection system

下载图片 查看所有图片

红外热成像技术检测的优点如下:1)检测方式为完全非侵入式,人体无痛感,对人体无辐射;2)检测方式为非接触式,温度场不会被破坏,检测准确率高;3)成像速度快且图像清楚,可以直观地反映信息,便于疾病的诊断;4)图像可以进行录制和存储,且检测成本低,便于对多次检测结果进行对照分析,跟踪病情[3]。红外热成像技术在发热、疼痛性疾病、炎症性疾病、癌症早期筛查、健康状况以及诊疗效果评估等方面具有重要的应用价值。

3 红外热成像技术在疾病检测中的研究进展

3.1 国外研究现状

1961年,英国医生 Lloyd Williams等[4]利用红外扫描仪拍摄了世界上第一张乳腺癌的红外热像图,同时,他们用辐射温器电堆测量了100例病人胸部的温度,在57例恶性病变中,54例是用红外热像技术检查出来。自此,红外热成像技术在临床医学上的运用开始得到重视。红外热成像技术可以对由人体机体功能状态变化引起的温度分布异常改变清晰成像,因此,越来越多的研究者将其用于临床诊断和临床疗效评估。

Amalric等[5]在10年间利用红外热成像仪对61000名女性的乳腺部位进行图像采集,统计后发现,癌症病例中60%患者的癌变信息最早是通过红外热像图显示出来的,这说明红外热成像技术在癌症早期具有预警作用。2018年,土耳其的Sarigoz等[6]利用红外热成像技术对54例乳腺肿块患者胸部进行热成像,对成像结果进行分析后发现,红外热成像技术可以区分乳腺肿块的良恶性病变,其灵敏度和特异度分别为95.24%和72.73%。上述54例乳腺肿块患者胸部的平均温度、最高温度和最低温度如图2所示,可见,纤维腺瘤患者胸部的平均温度相对于浸润性导管癌患者的高,囊肿患者胸部的平均温度相对浸润性导管癌患者的低。这说明红外热像图在鉴别纤维腺瘤、囊肿和浸润性导管癌方面发挥了一定作用。基于人体生理学变化与温度之间的关系,研究者就可以利用体表温度数据对疾病的性质和病变程度进行辅助诊断。

图 2. 乳腺肿块的红外热像图[6]。(a)浸润性导管癌患者;(b)纤维腺瘤患者;(c)囊肿患者

Fig. 2. Infrared thermograms of breast masses[6]. (a)Patient with invasive ductal carcinoma; (b)patient with fibroadenoma; (c)patient with cyst

下载图片 查看所有图片

皮肤癌中的黑色素瘤致死率高,在早期病变部位较小,仅在表皮下出现黑色素沉着。目前的常规检测手段对微小病变以及体内较深处病变的检测灵敏度较低。红外热成像技术可以灵敏地对这些病变引起的异常温度分布进行成像,但成像质量不佳,导致假阳性率较高,目前尚没有可靠性和稳健性较高、复杂度较低的算法对热像图进行直接识别[7]。2017年,美国的Godoy等[8]提出了基于动态红外热成像技术对皮肤癌进行检测的算法,如图3所示。他们先对可疑病变部位进行冷却刺激,待其自然恢复到室温后,利用红外热像仪以60 frame/s的速度拍摄升温期间病变部位的红外热像图(拍摄时间为2 min),记录热恢复曲线(TRCs);然后计算TRCs的自协方差矩阵,求取特征值和特征向量;之后对TRCs进行K-L展开,利用特征值和特征向量求取K-L系数,构造TRCs的似然函数,得到似然比检验统计量;最后按照聂曼-皮尔逊准则进行似然比检验,得到最佳检测准则阈值和给定误报率下准确率最高的皮肤癌检测准则。似然比检验统计量的数学表达式为[8]

Z=k=1Y0,k2λ0,k-Y1,k2λ1,k><η,(1)

式中:λj,k为两种假设(j=0,1,其中0为良性,1为恶性)下的特征值;Yj,k为特征值λj,k对应的K-L展开式的系数;η为最佳检测准则阈值;Z为似然比检验统计量。在检测过程中,利用疑似患者的热恢复曲线计算特征值λj,k对应的K-L系数Yj,kYj,k,计算似然比检验统计量Z,将Z与最佳检测准则阈值η进行比较,对早期皮肤癌进行决策分类(如果Z大于最佳检测准则阈值η,则被归为恶性肿瘤)。

图 3. 皮肤癌检测算法框图

Fig. 3. Skin cancer detection algorithm block diagram

下载图片 查看所有图片

实验人员对140名受试者进行检测,结果显示,该方法对皮肤癌诊断的特异性和灵敏度均在99%以上,是目前已知准确率最高和鲁棒性最好的无损检测方法。红外热成像技术对微小病变、较深处病变的筛查有效、可行。在实际应用上,可结合临床情况对红外热像图数据的处理方法进行改进,并基于动态热成像技术获取有效时间段内的完整信息,通过对动态数据进行综合分析得出最优决策,提高疾病的筛查效果。

疼痛性疾病和炎症性疾病,如肱骨外上髁炎[9]、腕管综合征[10]、膝关节侧副韧带损伤[11]等,在体表没有明显的表征,临床诊断多为触诊方式,存在经验性强、敏感度低、误诊率高、不能可视化等问题。2017年,波兰的Baic等[12]使用红外热成像仪分别采集了15名特发性腕管综合征患者手掌手术前后4周的红外图像以及15名健康人手掌的红外图像。对于特发性腕管综合征患者来说,其腕管内容积减少或压力增高,正中神经在管内受压,桡侧拇指、食指、中指麻木、疼痛,轻度患者外观无明显变化,但手掌温度会出现异常改变。根据临床症状表现,实验人员分别对食指关节、中指关节、拇指关节、手心温度以及手心温度与关节温度的温差进行统计分析,结果如图4所示[12]。可见:特发性腕管综合征患者手心温度与关节温度的平均温差较大,术后的平均温差减小,更接近健康人;拇指与手心温度之间的平均温差在术前和术后变化明显,术后与健康组基本一致,说明术后拇指恢复得更快。红外热成像技术在一定程度上消除了触诊方式存在的受医师主观影响的问题,为疼痛性疾病等提供了新的诊断手段和愈后疗效评估方法。

图 4. 腕管综合征患者手部的红外热像图对比[12]。(a)术前;(b)术后;(c)健康志愿者

Fig. 4. Comparison of infrared thermograms of hands in patients with carpal tunnel syndrome[12].(a)Before operation; (b)after operation;(c)healthy volunteer

下载图片 查看所有图片

在国外,红外热成像技术已被广泛应用于乳腺肿瘤初筛,但在疾病性质以及疼痛性疾病、炎症性疾病检测领域还处于初级探索阶段。红外热成像技术弥补了现有检测和诊断方式的缺陷,提供了客观化、可视化的诊断方式,实现了对疾病的早预警和早筛查,为未知原因引起的疾病检测提供了新思路。此外,研究人员对静态红外数据采集方式进行了改进。利用动态红外成像技术对疾病进行筛查,旨在提高对微小病变以及体内较深处病变检测的准确度。目前,人体红外热像图的研究多集中在利用视觉手段判断体表温度是否发生了异常变化,从而对疾病进行定性诊断,而对内部热源位置和尺寸进行精确定量分析的手段尚不成熟,从而给疾病的精确诊断带来了局限性。

3.2 国内研究现状

在国内,红外热成像技术在医学检测中的应用起步相对较晚,但发展速度较快。刘忠齐教授等提出了热断层扫描成像(TTM)技术[13],并采用该技术对组织细胞早期功能异常改变进行了无损、非侵入检测,之后对得到的伪彩色红外图像进行识别处理,计算出了体内热源的深度、强度和形状,实现对病灶的定位以及对病情的定性和定量分析,开辟了功能医学影像技术的新局面。红外热成像技术已被广泛应用于对关节炎[14]、乳腺癌[15]等疾病的筛查以及健康评估、体质辨识及疗效追踪等方面,在临床应用上具有广阔的前景。

随着人们生活理念的改变,传统的医疗模式逐渐向“防、治、养”模式发展,“治未病”理念慢慢被人们重视起来[16]。2007年,孙丽萍等[17]利用红外热成像技术对老年人头部进行成像,结果发现两例患者额头出现凉斑,左右躯体温度不对称。根据临床经验,他将这两例病症诊断为脑部供血不足,但未得到患者的重视,患者未进行积极治疗,不久两患者均发生中风。红外热成像技术可对疾病的发生进行预警,为早期疾病或无症状疾病提供客观的诊断依据。

2014年,武汉大学的Yao等[18]对乳腺疾病患者进行了乳腺远红外热成像检查、乳腺超声检查、钼靶检查以及病理检查,影像学医师对三种影像学图像进行了解读,并将解读结果与病理结果进行了对照;表1给出了三种检测方式对直径<2 cm病灶的临床诊断效能(准确度、灵敏度和特异性),表2中给出了三种检测方式对直径> 2cm病灶的临床诊断效能。

表 1. 钼靶、超声和远红外热成像诊断直径<2 cm乳腺病灶效能的比较(n=853)[18]

Table 1. Comparison of mammography, ultrasonography, and far-infrared thermography in the diagnosis of breast lesions less than 2 cm in diameter (n=853)[18]
ItemPathological examinationAccuracy/%Sensitivity/%Specificity/%
MalignantBenign
Mammography
Malignant591996.180.897.6
Benign14761
Color Doppler ultrasonography
Malignant632695.886.396.6
Benign10754
Far-infrared thermography
Malignant661797.190.497.8
Benign7763

查看所有表

表1中给出了853例(乳腺癌73例,原位癌22例)直径<2 cm病灶的钼靶、超声和远红外热成像检测结果,可以看出,远红外热成像检查的准确度、特异性分别为97.1%、97.8%,优于钼靶检查和超声检查,但无明显差异,其灵敏度为90.4%,明显高于其他两项检查。

表 2. 钼靶、超声和远红外热成像诊断直径>2 cm乳腺病灶效能的比较(n =1193)[18]

Table 2. Comparison of mammography, ultrasonography, and far-infrared thermography in the diagnosis of breast lesions large than 2 cm in diameter (n=1193)[18]

ItemPathological examinationAccuracy/%Sensitivity/%Specificity/%
MalignantBenign
Mammography
Malignant35411685.084.985.1
Benign63660
Color Doppler ultrasonography
Malignant3967891.795.090.0
Benign21698
Far-infrared thermography
Malignant3753993.290.095.0
Benign42737

查看所有表

表2中给出了1193例(乳腺癌407例,无原位癌)直径>2 cm病灶的钼靶、超声和远红外热成像检测结果,可以看出,乳腺远红外热成像检查的准确度、特异性分别为93.2%、95.0%,明显高于钼靶检查和乳腺超声检查,其灵敏度为90.0%,明显低于乳腺超声检查的灵敏度(95.0%)。

综合表1表2临床诊断效能分析可知:对于乳腺疾病中的微小病灶区域,钼靶检查的临床价值较高,但其灵敏度较低且具有辐射;超声检测在乳腺疾病检测中更稳定,但其无法获取完整的乳腺图像,检测可靠性有待提高。相对于常规检测手段,红外热成像技术在疾病没有明显临床表现之前,就能灵敏地捕捉到早期或微小病灶区域的温度变化,在早期疾病或体内微小肿瘤筛查中更具优势,且无损、获取信息全面,临床诊断效能更好。

2019年,北京大学的陶船思博等[19]利用红外热成像技术对人体颈部进行了成像,影像学医师对图像进行了解读。诊断结果的统计学分析表明,红外热成像技术对口腔鳞状细胞癌颈淋巴结转移癌诊断的灵敏度为75.0%,与其他常规术前检查(颌面部螺旋CT及增强CT、正电子发射断层显像、磁共振成像等)并联试验的灵敏度为87.9%,串联试验的特异度为97.6%。红外热成像技术在疾病诊断方面的灵敏度达到了临床筛查的效能要求,降低了临床筛查的误诊率,但该技术易受环境因素的干扰,产生的图像噪声大,有效信息易被掩盖[20];因此,尚不能替代其他检测方法独立作为临床决策的依据,将该技术与图像融合及多模态技术相结合,实现信息互补,可以提高其在诊断方面的有效性和临床应用价值。

对影像学图像的解释通常依靠专业医师的临床经验,主观性强,诊断结果易受人为干扰。2019年,燕山大学的宓保宏等[21]基于红外热像图和BP(back propagation)神经网络建立了泛化能力较强的心肌缺血分类模型,并采用该模型对心肌缺血疾病进行了预诊断,诊断方法如图5所示。首先利用模板匹配法对165名受试者人体红外图像的心前区及对侧进行几何定位,提取对应的温度集合,并利用对称集合镜像求差法得到心前区及对侧对应点的温差集合;然后将样本分为训练集、验证集和测试集,在BP神经网络中进行训练与验证,建立分类模型。该模型对测试集的诊断准确率达到了95.56%。将红外热成像技术与计算机技术结合起来对早期疾病进行检测,特别是在治未病阶段,为中医望闻问切提供了可视化参考,减少了医师经验差异带来的误诊,为疾病的诊断提供更加客观、准确的判定依据。

图 5. 基于红外热成像数据的心肌缺血预诊断方法流程图[21]

Fig. 5. Process of myocardial ischemic pre-diagnosis based on infrared imaging data[21]

下载图片 查看所有图片

本研究团队于2019年10月至2019年12月期间利用红外热成像技术采集了10例面瘫患者和10例健康人的面部红外图像,部分图像如图6所示。可以看出:健康人面部左右两侧的温度呈明显的对称分布,而面瘫患者左右两侧温度分布的对称度降低,如图6(a)中左侧周围性面瘫患者左侧(患侧)的整体温度低于右侧(健侧),但这一结果与临床表现有关。病变部位不同,临床表现也不同,如周围性面瘫临床上表现为同侧上下面肌同时瘫痪,而中枢性面瘫临床表现为病灶对侧下部面肌瘫痪,且上部面肌无明显症状(多与脑部疾病有关),因此出现了图6(b)所示的中枢性面瘫患者额头温度与面部整体温度存在差异的现象。研究发现,对红外热像图温度分布进行分析可对病因进行确定,病变区域与邻近区域的温差大小或温度对称性与病变程度相关,但还需大量数据进行深入研究验证,同时应建立标准的多方位温度分析系统对相关温度指标进行分析,为临床诊断提供更多的辅助依据。

图 6. 面部红外热像图。(a)左侧周围性面瘫患者;(b)中枢性面瘫患者;(c)健康志愿者

Fig. 6. Infrared thermograms of face.(a)Patient with left-sided peripheral facial paralysis;(b)patient with central facial paralysis;(c)healthy volunteer

下载图片 查看所有图片

在国内,红外热成像技术在某些疾病诊断的准确度方面已经符合临床筛查的要求,尤其是在“治未病”、乳腺癌早期筛查、皮肤癌早期筛查、微小肿瘤筛查等方面具有显著优势。在中医领域,该技术被应用于“治未病”、体质辨识[15]等。近年来,研究人员将机器视觉用于对医学红外图像的识别中,降低了医师对医学图像解读存在的误差大、费时等问题,进一步提高了疾病检测的效率。但采集设备本身存在的问题、操作环境、诊断标准以及图像处理算法等,使得红外热成像技术尚不能对疾病进行精准定位及定量分析,只能作为疾病筛查的辅助手段,不能作为独立诊断的手段对疾病进行筛查。

在国外,红外热成像技术已被广泛应用于发热筛查[22],并在临床医学中被作为早期肿瘤、心血管疾病、疼痛性疾病筛查、诊疗效果评估的辅助手段。采用红外热成像仪对身体局部或全身进行成像,对红外热像图呈现出的温度、温差大小、温度分布进行分析,结合临床经验,可以无损快速地对疾病进行预警、定位及定性分析,并可对全身健康状况进行系统分析。

红外热成像技术采集到的人体的原始红外图像受环境及运动等因素的影响,具有一定的伪影;此外,红外热像图中存在对比度低、清晰度不够、小目标和细节纹理信息分辨能力不足等问题,为后续红外图像特征信息的提取、目标的识别等带来了诸多不便。利用机器视觉技术对红外医学图像进行去噪增强等处理,提取对应目标的特征,基于特征信息对图像进行识别,可以降低复杂环境和人为因素的干扰,实现对病变区域的精确分类,辅助医师对病情进行准确快速的判断。将基于机器视觉的图像识别技术应用于医学图像的识别,建立标准化、客观化的智能诊断系统对早期疾病进行定位并进行定性、定量分析已成为国内外研究的热点。

4 疾病图像识别的研究进展

4.1 常规的图像识别方法

传统的图像识别方法主要依靠人工从原始数据中提取特征,然后训练机器学习模型进行分类识别。依据先知经验手工设计的特征提取模型的参数有限,不能利用大数据的优势,模型的泛化能力不强,提取到的大多是信息量有限的局部特征,识别率不高。在分类识别中多采用线性分类器对人工提取的特征进行模型训练[23],算法简单,计算速度快,但模型无自学习能力,不能有效解决样本线性不可分的问题,拟合效果不佳。基于上述问题,研究人员提出了以人工神经网络为代表的非线性分类器,并将其用于模式识别。人工神经网络通过引入非线性激励函数解决样本线性不可分的问题,具备自学习自适应能力,通过不断地训练和学习,可以得到拟合能力强的最优识别模型。对医学图像进行识别分类是复杂的非线性问题,而人工神经网络通常只设计一层隐藏层,无法有效地解决复杂背景下医学图像的分类问题。增加隐藏层的节点数或层数,可以提高网络训练的精度,但会使网络复杂化,降低网络的计算速度,优化函数容易陷入局部最优解,从而出现过拟合现象。云计算的发展提高了模型的计算能力,网络训练速度加快,而大数据的发展增加了训练数据,降低了模型过拟合的风险[24];因此,以深度学习为代表的复杂模型受到了研究人员的极大关注。

4.2 基于深度学习的疾病图像识别方法

深度学习又称为深层神经网络,可以理解为有多层隐藏层的人工神经网络,其将特征提取与分类集成到一个结构中,利用深层次非线性学习模型对复杂函数进行逼近,自动从样本集中逐层提取特征,学习数据集的本质特征[25-26],得到最优的识别模型。基于深度学习的典型的网络模型有卷积神经网络(CNN)、深度置信网络(DBN)、循环神经网络(RNN)等。

图7所示的卷积神经网络主要包括输入层、隐藏层和输出层,隐藏层又包括卷积层、池化层、全连接层。卷积层通过卷积核进行卷积运算,在最大程度上对输入数据进行特征提取,卷积操作具有平移不变性,训练的特征鲁棒性好。池化层对数据进行降维处理,以减少卷积层输出的特征向量,保留数据的有用特征,降低计算难度,提高计算效率,防止过拟合。卷积层与池化层交替出现,且网络层次之间通过激活函数引入非线性映射,解决了样本线性不可分的问题。全连接层将全部的局部特征整合成全局特征,输出层的分类器对其识别分类,实现模式识别。卷积神经网络是前馈神经网络,训练模型时,通过反向传播算法调整各层的权重和偏置。深度学习的网络模型层次越深、越复杂,提取到的特征就越抽象,越接近于图像的本质特征。深度学习对医学图像识别时不需要对样本进行预处理和手工设计,它从大数据中自动提取数据集的全局特征以及上下文相关信息,学习能力强,识别准确率大幅提高。

图 7. 卷积神经网络的基本结构图

Fig. 7. Basic structure diagram of convolutional neural network

下载图片 查看所有图片

4.3 深度学习在红外医学图像检测识别中的进展

近年来,越来越多的研究人员将深度学习应用到医学图像处理中,尤其是对X光图像[27]、MR[28]图像的分割处理识别技术已较为成熟。相对于其他医学图像处理技术,将深度学习应用于红外医学图像识别的技术仍处于起步阶段。2017年,华中科技大学的侯丽[29]对94例乳腺样本(48例健康样本,46例异常样本)进行了分类,她借鉴平均脸的方法对健康样本取平均值,得到了健康乳腺基准热图,利用乳腺红外热像图与基准热图相减得到差图,然后提取差图的纹理特征;之后,她利用支持向量机(SVM)对原图样本集、差图样本集进行分类,利用基于支持向量机的AdaBoost强分类器对差图样本集进行分类。表3给出了基于差图的乳腺癌分类结果对比。

表 3. 基于差图的乳腺癌分类结果对比

Table 3. Comparison of breast cancer classification results based on differential thermal images

ItemAccuracy/%Sensitivity/%Specificity/%
Original images
CNN62.823.9100
Differential thermal images
CNN73.497.865.2
AdaBoost87.291.383.3

查看所有表

表3可知,利用支持向量机对原图样本集、差图样本集进行处理后,准确率分别为62.8%和73.4%,敏感度分别为23.9%和97.8%。可见,采用差图样本集进行分类,精度明显提高,这说明合适的特征提取提高了识别分类的准确率。采用基于支持向量机的AdaBoost强分类器对差图样本集进行分类,结果表明,AdaBoost算法提高了分类器特征选择的效果,使其具有良好的泛化能力,降低了整个样本集的分类错误率,分类准确率可达87.2%,同时敏感度(91.3%)与特异性(83.3%)较均衡,结果更可靠。之后,侯丽对数据进行增强和扩充,利用半监督阶梯网络进行识别分类(利用批标准化层对数据进行预处理),得到了89.55%的准确率。基于机器学习对红外医学图像进行识别具有可行性,明显提高了疾病的检测效率;深度学习直接将图像输入网络中进行训练和分类,避免了人工神经网络中人为选择特征而导致的分类精度不高的问题。

2019年,中国计量大学的吴穗岚等[30]将健康膝关节红外图像作为正样本,膝关节炎症患者的膝关节红外图像作为负样本,使用相同的样本对基于方向梯度直方图(HOG)特征提取的支持向量机分类器和基于卷积神经网络的二分类模型进行训练和测试,比较了两种分类模型的准确率;结果显示:在样本数量较少的训练集上,基于支持向量机的分类模型的准确率为89.5%,准确率相对较高;在训练样本数量较多时,基于卷积神经网络的分类模型的准确率高达99.8%,诊断结果更加可靠。医学图像分类属于多分类问题,目前多采用二分类方法对红外医学图像进行分类,大多只能得出正常和患病两种结论。在未来的研究中,需要对模型进行不断的优化和学习,结合临床医学诊断标准,建立疾病程度的多分类模型,为疾病提供客观、精准的诊断。

数据集中样本较少时,采用传统的深度学习模型进行学习训练易出现过拟合现象,分类效果不佳,若要提高网络的性能,需要海量样本。目前还没有成熟的医学图像数据库,研究时需要人工大量采集[31]。传统的深度学习模型无法很好地解决训练样本中的不确定性,对无标签的数据进行训练时,容易做出过于自信的决策,训练后的模型泛化能力弱。2020年,土耳其的Ekici等[32]利用卷积神经网络模型对140例乳腺癌患者的乳腺红外热像图进行了分类,筛查准确率为97.97%;他们利用贝叶斯算法对神经网络模型参数进行优化后,对相同的样本进行识别,准确率高达98.95%,识别结果明显改善。不断地对深度学习模型进行优化和改进,可以在样本数量有限的情况下得到泛化能力更强的图像识别模型,且该模型对其他疾病的红外图像识别具有一定的可迁移性。

研究表明,相对于医师和人工神经网络解读医学图像,深度学习可以提高红外医学图像检测识别的精度,明显提高早期疾病的临床诊断效能。目前,国内外多采用二分类模型对医学图像进行分类,较难满足医学图像的多分类问题。为提高网络模型的分类性能,需要大量的数据对深度学习模型进行学习训练。现阶段,公开的红外图像数据集都是小型数据集。未来,应对深度学习模型进行持续优化和改进,解决小样本集下模型训练存在的问题,提高模型的泛化和迁移能力。基于二分类模型建立疾病程度的多分类诊断模型从而提高医学图像分类精度将是今后的研究热点,建立基于深度学习与红外热成像技术的智能化医疗诊断系统具有广阔的研究前景。

5 结束语

人体解剖结构、组织代谢、血液循环和神经状态改变等都会导致温度分布表现出异常的梯度变化,红外热成像技术能敏感地检测出这种梯度变化,形成伪彩色图,清晰地显示出异常温度区域。据此,可对病灶大小和病灶区域进行定位诊断,对病因和病变程度进行辅助性判断。目前,在医学检测领域,研究人员多通过医用红外热成像仪获取人体的热像图,依据医师经验对图像中的温度分布状况进行分析,实现疾病的初筛。这种方法具有图像方便解读、操作简单快速、检测价格低等优点,但会受医师主观经验的影响。引入机器视觉对红外医学图像进行处理和模式识别,从红外热像图、温度等不同角度分析,可以实现疾病的早期检测;将红外热成像技术与机器视觉相结合,可以更早、更直观、更准确地对疾病进行无损检测,消除主观经验和不相关因素的影响。上述方法在相关实验中已经达到了预期的效果,但在现实应用中还存在许多缺陷,主要表现在以下几个方面:

1)温度、光照等外界因素以及被检测人员晃动等都会对成像质量产生影响,难以保证医学图像采集的精度,从而影响了红外图像的准确解读;

2)医学红外热像图中常存在清晰度不够、小目标和细节纹理信息分辨能力不足等问题,图像数据处理算法不够成熟,处理精度有待提高;

3)传统图像数据处理算法通过对大量数据进行训练学习来提高识别精度,训练速度慢;

4)医学数据库的规模和质量会在很大程度上影响图像识别的规模,目前尚无完善的红外医学数据库支撑相关实验研究。

红外热成像技术在早期疾病检测领域存在一些问题,难以保证该技术在复杂环境下的检测结果,而且该技术目前尚不能作为独立的检测手段应用于临床检查。为解决红外热成像技术在医学检测领域存在的缺陷,应该从成像技术和图像处理算法等多个层面进行探索,深入研究动态红外成像系统,并将其与深度学习、统计纹理特征等多模态技术相结合,提高医学检测准确率。利用红外热成像技术对早期疾病进行无损检测时,除了检测是否患病,还要根据红外热像图的温度、纹理等特征实现更精准的疾病种类和病程分类,拓宽其在实际医学检测中的应用。

参考文献

[1] 王芳. 精准医学时代下的精准临床护理定位的思考[J]. 全科护理, 2017, 15(9): 1043-1045.

    Wang F. The thinking of the precise clinical nursing positioning in the precision medicine[J]. Chinese General Practice Nursing, 2017, 15(9): 1043-1045.

[2] Zhang L, Guo H J, Li Z B. Application of medical infrared thermal imaging in the diagnosis of human internal focus[J]. Infrared Physics & Technology, 2019, 101: 127-132.

[3] 李洪娟. 红外成像检测与中医[M]. 北京: 中医古籍出版社, 2015.

    Li HJ. Infrared imaging detection and traditional Chinese medicine[M]. Beijing: Publishing House of Ancient Chinese Medical Books, 2015.

[4] Lloyd Williams K, Lloyd Williams F J, Handley R S. Infrared thermometry in the diagnosis of breast disease[J]. The Lancet, 1961, 278(7217): 1378-1381.

[5] Amalric R, Giraud D, Altschuler C, et al. Does infrared thermography truly have a role in present-day breast cancer management?[J]. Progress in Clinical and Biological Research, 1982, 107: 269-278.

[6] Sarigoz T, Ertan T, Topuz O, et al. Role of digital infrared thermal imaging in the diagnosis of breast mass: a pilot study: diagnosis of breast mass by thermography[J]. Infrared Physics & Technology, 2018, 91: 214-219.

[7] 王好贤, 董衡, 周志权. 红外单帧图像弱小目标检测技术综述[J]. 激光与光电子学进展, 2019, 56(8): 080001.

    Wang H X, Dong H, Zhou Z Q. Review on dim small target detection technologies in infrared single frame images[J]. Laser & Optoelectronics Progress, 2019, 56(8): 080001.

[8] Godoy S E, Hayat M M, Ramirez D A, et al. Detection theory for accurate and non-invasive skin cancer diagnosis using dynamic thermal imaging[J]. Biomedical Optics Express, 2017, 8(4): 2301-2323.

[9] . External humeral epicondylitis[J]. Rheunatism and Arthritis, 2013, 2(3): 77-78.

    . 肱骨外上髁炎[J]. 风湿病与关节炎, 2013, 2(3): 77-78.

[10] . 腕管综合征[J]. 风湿病与关节炎, 2013, 2(3): 71-73.

    . Carpal tunnel syndrome[J]. Rheumatism and Arthritis, 2013, 2(3): 71-73.

[11] . Collateral ligament injury of knee joint[J]. Rheumatism and Arthritis, 2013, 2(4): 79-80.

    . 膝关节侧副韧带损伤[J]. 风湿病与关节炎, 2013, 2(4): 79-80.

[12] Baic A, Kasprzyk T, Rżany M, et al. Can we use thermal imaging to evaluate the effects of carpal tunnel syndrome surgical decompression?[J]. Medicine, 2017, 96(39): e7982.

[13] Liu ZQ, WangC. Method and apparatus for thermal radiation imaging: US6023637[P]. 2000- 02- 08.

[14] 金超, 杨阳, 薛祖军, 等. 基于红外热成像的膝关节骨性关节炎早期筛查临床研究[J]. 北京生物医学工程, 2014, 33(5): 456-462.

    Jin C, Yang Y, Xue Z J, et al. Clinical research of knee osteoarthritis screening based on infrared thermography[J]. Beijing Biomedical Engineering, 2014, 33(5): 456-462.

[15] 黄宝婵, 陈华, 聂雄. 基于模糊C聚类的乳腺肿瘤红外图像识别[J]. 广西大学学报(自然科学版), 2018, 43(5): 1827-1835.

    Huang B C, Chen H, Nie X. The recognition of mammography tumor infrared image based on fuzzy C-means[J]. Journal of Guangxi University (Natural Science Edition), 2018, 43(5): 1827-1835.

[16] 程波敏, 吴海滨, 尹霖, 等. 红外热成像技术在中医“治未病”思想中的应用概况[J]. 红外, 2019, 40(4): 29-34.

    Cheng B M, Wu H B, Yin L, et al. Application of infrared thermal imaging technology in the thought of “treatment of disease” in traditional Chinese medicine[J]. Infrared, 2019, 40(4): 29-34.

[17] 孙丽萍, 王仁香, 张芸玲. 红外热图及早提示腔隙性脑梗死2例[J]. 中华现代影像学杂志, 2007, 4(8): 687.

    Sun L P, Wang R X, Zhang Y L. Early diagnosis of lacunar infarction by infrared thermography: report of 2 cases[J]. Journal of Chinese Modern Imaging, 2007, 4(8): 687.

[18] Yao X L, Wei W, Li J J, et al. A comparison of mammography, ultrasonography, and far-infrared thermography with pathological results in screening and early diagnosis of breast cancer[J]. Asian Biomedicine, 2014, 8(1): 11-19.

[19] 陶船思博, 董凡, 王佃灿, 等. 红外热成像技术诊断口腔鳞状细胞癌颈淋巴结转移[J]. 北京大学学报(医学版), 2019, 51(5): 959-963.

    Tao C S B, Dong F, Wang D C, et al. Diagnostic test for detection of cervical lymph node metastasis from oral squamous cell carcinoma via infrared thermal imaging[J]. Journal of Peking University (Health Sciences), 2019, 51(5): 959-963.

[20] 李恒, 张黎明, 蒋美容, 等. 一种基于ResNet152的红外与可见光图像融合算法[J]. 激光与光电子学进展, 2020, 57(8): 081013.

    Li H, Zhang L M, Jiang M R, et al. An infrared and visible image fusion algorithm based on ResNet152[J]. Laser & Optoelectronics Progress, 2020, 57(8): 081013.

[21] 宓保宏, 洪文学, 宋佳霖, 等. 基于红外热成像技术与BP神经网络的心肌缺血预诊断方法研究[J]. 激光与光电子学进展, 2019, 56(1): 011101.

    Mi B H, Hong W X, Song J L, et al. Myocardial ischemia pre-diagnosis method based on infrared thermal imaging and BP neural network[J]. Laser & Optoelectronics Progress, 2019, 56(1): 011101.

[22] 马力, 韩溟, 孙晶环. 医用红外热像在发热筛查中的应用[J]. 中国医疗设备, 2019, 34(11): 169-172.

    Ma L, Han M, Sun J H. Application of medical infrared thermography in fever screening[J]. China Medical Devices, 2019, 34(11): 169-172.

[23] LeCun Y, Bengio Y, Hinton G. Deep learning[J]. Nature, 2015, 521(7553): 436-444.

[24] 殷琪林, 王金伟. 深度学习在图像处理领域中的应用综述[J]. 高教学刊, 2018(9): 72-74.

    Yin Q L, Wang J W. Summarizes the application of deep learning in the field of image processing[J]. Journal of Higher Education, 2018(9): 72-74.

[25] 孙志远, 鲁成祥, 史忠植, 等. 深度学习研究与进展[J]. 计算机科学, 2016, 43(2): 1-8.

    Sun Z Y, Lu C X, Shi Z Z, et al. Research and advances on deep learning[J]. Computer Science, 2016, 43(2): 1-8.

[26] 王晓刚. 图像识别中的深度学习[J]. 中国计算机学会通讯, 2015, 11(8): 15-21.

    Wang X G. Deep learning in image recognition[J]. Communications of the China Computer Federation, 2015, 11(8): 15-21.

[27] Mohamed A A, Berg W A, Peng H, et al. A deep learning method for classifying mammographic breast density categories[J]. Medical Physics, 2018, 45(1): 314-321.

[28] Sajid S, Hussain S, Sarwar A. Brain tumor detection and segmentation in MR images using deep learning[J]. Arabian Journal for Science and Engineering, 2019, 44(11): 9249-9261.

[29] 侯丽. 基于AdaBoost和深度学习的红外乳腺癌检测方法研究[D]. 武汉: 华中科技大学, 2017.

    HouL. Detection of breast cancer with infrared thermal images based on AdaBoost and deep learning[D]. Wuhan: Huazhong University of Science and Technology, 2017.

[30] 吴穗岚, 陈乐, 曾涛. 基于卷积神经网络的膝关节炎患者的膝盖红外图像分类[J]. 中国计量大学学报, 2019, 30(2): 185-190.

    Wu S L, Chen L, Zeng T. Knee infrared image classification of knee arthritis patients based on convolutional neural networks[J]. Journal of China University of Metrology, 2019, 30(2): 185-190.

[31] 牛学猛, 吕晓琪, 谷宇, 等. 基于改进ResNeXt的乳腺癌组织病理学图像分类[J]. 激光与光电子学进展, 2020, 57(22): 221021.

    Niu X M, Lü X Q, Gu Y, et al. Breast cancer histopathological image classification based on improved ResNeXt[J]. Laser & Optoelectronics Progress, 2020, 57(22): 221021.

[32] Ekici S, Jawzal H. Breast cancer diagnosis using thermography and convolutional neural networks[J]. Medical Hypotheses, 2020, 137: 109542.

赵明珠, 张艳, 朱应燕. 基于红外热成像的早期疾病检测技术的研究进展[J]. 激光与光电子学进展, 2021, 58(8): 0800002. Mingzhu Zhao, Yan Zhang, Yingyan Zhu. Research Progress of Early Disease Detection Technology Based on Infrared Thermography[J]. Laser & Optoelectronics Progress, 2021, 58(8): 0800002.

本文已被 4 篇论文引用
被引统计数据来源于中国光学期刊网
引用该论文: TXT   |   EndNote

相关论文

加载中...

关于本站 Cookie 的使用提示

中国光学期刊网使用基于 cookie 的技术来更好地为您提供各项服务,点击此处了解我们的隐私策略。 如您需继续使用本网站,请您授权我们使用本地 cookie 来保存部分信息。
全站搜索
您最值得信赖的光电行业旗舰网络服务平台!