西安邮电大学 通信与信息工程学院，陕西西安710121
由于卷积操作的局限性，现有的皮肤病变图像分割网络无法对图像中的全局上下文信息建模，导致其无法有效捕获图像的目标结构信息，本文设计了一个融入交叉自注意力编码的U型混合网络，用于皮肤病变图像分割。首先，将设计的多头门控位置交叉自注意力编码器引入到U型网络的最后两个层级中，使其能够在图像中学习语义信息的长期依赖关系，弥补卷积操作全局建模能力的不足；其次，在跳跃连接部分引入一个新的位置通道注意力机制，用于编码融合特征的通道信息并保留位置信息，提高网络捕获目标结构的能力；最后，设计一个正则化Dice损失函数，使网络能够在假阳性和假阴性之间权衡，提高网络的分割结果。基于ISBI2017和ISIC2018数据集的对比实验结果表明，本文网络的Dice分别为91.48%和91.30%，IoU分别为84.42%和84.12%，分割精度在整体上优于其他网络，且具有较低的参数量和计算复杂度，即本文网络能够高效地分割皮肤病变图像的目标区域，可为皮肤疾病辅助诊断提供帮助。
医学图像分割 皮肤病变 交叉自注意力编码 位置通道注意力 medical image segmentation skin lesion cross-self-attention coding position channel attention
1 北方民族大学 计算机科学与工程学院，宁夏银川75002
2 宁夏医科大学 医学信息工程学院，宁夏银川750004
3 北方民族大学 图像图形智能处理国家民委重点实验室，宁夏银川750021
基于生成对抗网络（Generative Adversarial Network，GAN）的医学图像融合是计算机辅助诊断领域的研究热点之一，但是现有基于GAN的融合方法存在训练不稳定，提取图像的局部和全局上下文语义信息能力不足，交互融合程度不够等问题。针对上述问题，本文提出了双耦合交互式融合GAN （Dual-Coupled Interactive Fusion GAN， DCIF-GAN）。首先，设计了双生成器双鉴别器GAN，通过权值共享机制实现生成器之间和鉴别器之间的耦合，通过全局自注意力机制实现交互式融合；第二，设计耦合CNN-Transformer的特征提取模块（Coupled CNN-Transformer Feature Extraction Module， CC-TFEM）和特征重构模块（CNN-Transformer Feature Reconstruction Module， C-TFRM），提升了对同一模态图像内部的局部和全局特征信息提取能力；第三，设计跨模态交互式融合模块（Cross Model Intermodal Fusion Module， CMIFM），通过跨模态自注意力机制，进一步整合不同模态间的全局交互信息。为了验证本文模型的有效性，在肺部肿瘤PET/CT医学图像数据集上进行实验，该文方法在平均梯度，空间频率，结构相似度，标准差，峰值信噪比，信息熵等上与其他四种方法中最优方法相比，分别提高了1.38%，0.39%，29.05%，30.23%，0.18%，4.63%。模型能够突出病变区域信息，融合图像结构清晰且纹理细节丰富。
医学图像 图像融合 PET/CT 耦合生成对抗网络 Swin Transformer medical image image fusion PET/CT coupled generative adversarial network swin transformer
1 中国科学技术大学工程科学学院精密机械与精密仪器系，安徽 合肥 230027
2 中国科学技术大学苏州高等研究院，江苏 苏州 215123
3 中国科学技术大学微电子学院，安徽 合肥 230027
宫颈异常细胞与正常细胞在形态上存在较大相似性且细胞尺寸变化较大，这使得宫颈异常细胞的精准检测变得非常困难。鉴于此，开发了一种基于Transformer模型的宫颈异常细胞自动识别模型，以帮助病理学家作出更准确的诊断。提出了两种创新性方法，一是一种改进的Transformer编码器结构，通过引入深度（DW）卷积来高效获取图像的特征，捕捉图像中的全局依赖信息；二是自适应的动态交并比（IOU）阈值，在模型训练的不同阶段使用不同的IOU阈值，实现尽可能多的有效检测，提升模型的收敛速度和检测精度。在宫颈异常细胞数据集上，通过消融实验，证明了改进的Transformer编码器和动态IOU阈值的有效性。此外，与已有的宫颈异常细胞识别方法相比，所提出的方法在平均精度指标上有明显的提高。实验结果表明，所提出的方法能够高效且准确地识别宫颈异常细胞，且能辅助病理专家提高诊断准确率和效率，具有应用到临床的潜力。
医用光学 宫颈细胞病理图像 目标检测 医学图像处理
1 中国人民解放军军事科学院军事医学研究院辐射医学研究所, 北京 100850
2 中国人民解放军军事科学院军事医学研究院辐射医学研究所, 北京 100850河南科技大学信息工程学院, 洛阳 471023
3 河南科技大学信息工程学院, 洛阳 471023湖南三一工业职业技术学院, 长沙 410129
4 河南科技大学信息工程学院, 洛阳 471023
深度学习作为机器学习领域的重要研究方向, 其强大的特征学习能力以及优秀的可移植性使得深度学习技术渗入到科学研究的各个领域, 尤其是深度学习中前沿领域的成果对医学图像的识别、分类、分割、量化等方面起到了积极作用。光学相干断层扫描成像( OCT)技术具有非侵入、分辨率高的特点, 能够无创获取生物组织内部微米级的高分辨率三维切面图像, 在生物医学的眼科、血管、皮肤科等方面有着广泛应用。本文首先介绍了 OCT及深度学习的基本原理以及二者相结合在皮肤领域的应用优势, 然后详细阐述了深度学习在皮肤 OCT医学图像领域的应用, 主要包括在皮肤癌的分析分类、美容领域、指尖图像的分割以及在损伤皮肤的定性定量评估中的应用。
光学相干断层扫描成像 医学图像 深度学习 皮肤疾病 卷积神经网络 optical coherence tomography medical imaging deep learning skin disease convolutional neural network
光学 精密工程
2023, 31(23): 3482
广东工业大学 信息工程学院, 广东 广州 510006
针对现有医学图像分割模型存在着计算复杂度较高、参数量大,难以部署到实时医疗辅助诊断系统中,而现有的轻量化模型存在参数减小后导致分割性能下降等问题,提出了一种基于改进的轻量化U-Net分割模型。该模型由编码器、解码器和跳连接三个主要部分组成。编码器使用了由标准卷积和深度可分离卷积组合形成的多尺度融合模块,在此基础上,为增强神经网络学习能力,引入了瓶颈层结构,使用聚合方法设计出轻量级的跨级部分网络模块作为特征提取器对输入的图像进行特征提取; 在解码器中继续使用了该轻量级模块来进一步优化模型,降低模型的计算复杂度以及减少参数量,同时能够产生更好分割效果; 通过跳连接的方式实现编码器与解码器之间不同分辨率的特征信息融合。在腹部器官CHAOS和胸腔Chest X-ray数据集上进行实验,结果表明,改进型U-Net分割模型的参数量以及计算复杂度都得到了不同程度的降低,在模型参数量仅为1.28M的情况下,DSC分别为87.53%和95.85%,IOU分别为85.25%和92.21%,取得了不弱于其他网络的分割性能。
深度学习 医学图像分割 U-Net模型 轻量化 deep learning medical image segmentation U-Net model lightweight
1 北方民族大学 计算机科学与工程学院， 宁夏银川75002
2 北方民族大学图像图形智能处理国家民委重点实验室， 宁夏银川75001
3 宁夏医科大学 医学信息工程学院， 宁夏银川750004
多模态医学图像融合在医学临床应用中起着至关重要的作用，为了解决现有方法大多数侧重于局部特征的提取，对全局依赖关系的探索不足，忽略了全局和局部信息交互，导致难以有效解决周围组织与病灶区域之间的模式复杂性和强度相似性问题。该文提出面向PET和CT医学图像融合的LL-GG-LG Net模型。首先，提出了局部-局部融合模块（Local-Local Fusion Module，LL Module），该模块采用双层注意力机制更好地关注局部细节信息特征；其次，设计了全局-全局融合模块（Global-Global Fusion Module，GG Module），该模块通过在Swin Transformer中加入残差连接机制将局部信息引入全局信息中，提高了Transformer对局部信息的关注程度；然后，提出一种基于可微分神经架构搜索自适应的密集融合网络的局部-全局融合模块（Local-Global Fusion Module，LG Module），充分捕获全局关系并保留局部线索，有效解决背景和病灶区域相似度高问题；使用临床多模态肺部医学图像数据集验证模型的有效性，实验结果表明，该文方法在平均梯度，边缘强度，QAB/F，空间频率，标准差，信息熵等感知图像融合质量评价指标上与其他七种方法中最优的方法相比，分别平均提高了21.5%，11%，4%，13%，9%，3%。模型能够突出病变区域信息，融合图像结构清晰且纹理细节丰富。
医学图像融合 深度学习 注意力机制 可微分架构搜索 密集网 medical image fusion deep learning attention mechanism differentiable architecture search dense network 光学 精密工程
2023, 31(20): 3050
肾肿瘤危害极大，严重影响人类身体健康，对肾肿瘤进行早期检测和诊断有助于患者的治疗与康复。为高效地从腹部电子计算机断层扫描（CT）图像中分割出肾脏及肾肿瘤图像，提出一种基于三维U2型网络（U2-Net）的分割方法。首先，将二维U2-Net升维并调整网络深度、损失函数与深度监督策略；其次，为了增强解码端的特征表达能力，提出残差特征强化模块，对解码端特征图进行通道与空间域的强化；最后，为提高网络对全局信息的提取能力，提出基于全局特征的多头自注意力模块，计算特征图所有体素点间的长期依赖关系，获取丰富的三维医学图像上下文信息。所提方法在KiTS19官方数据集上的实验结果表明，平均Dice值为0.9008，参数量为4.60 MB，与现有方法相比，所提方法能够在参数量较小的前提下，取得较好的分割精度，对小内存嵌入式肾脏和肾肿瘤图像分割系统具有很高的应用价值。
医学图像分割 卷积神经网络 残差特征强化 多头自注意力 激光与光电子学进展
2023, 60(22): 2210010
1 重庆大学 光电技术与系统教育部重点实验室，重庆 400044
2 重庆市妇幼保健院 超声科，重庆 401147
3 重庆大学附属肿瘤医院 影像科，重庆 40000
高光谱成像技术的飞速发展给非侵入式医学成像带来新的契机，但高光谱医学图像具有高维度、高冗余以及“图谱合一”的特点，亟需针对上述特点设计智能诊断算法。近年来，Transformer已经在高光谱医学图像处理领域得到广泛应用。然而，不同仪器设备、不同采集操作所获得的高光谱医学图像差异较大，这给现有Transformer诊断模型的实际应用带来了巨大挑战。针对上述问题，本文提出了一种空-谱自注意力Transformer （S3AT），自适应挖掘像素与像素间、波段与波段间的内蕴联系，并在分类阶段融合多个视野下的预测结果。首先，在Transformer编码器中，设计一种空-谱自注意力机制，获取不同视野下高光谱图像上的关键空间信息和重要波段，并将不同视野下所获得的空-谱自注意力进行融合。其次，在模型分类阶段，将不同视野下的预测结果根据可学习权重进行加权融合，对图像进行综合预测。在 In-vivo Human Brain 和 BloodCell HSI 两个数据集上，本文算法总体分类精度分别达到82.25%和91.74%。实验结果表明，所提出的算法有效改善高光谱医学图像分类性能。
高光谱医学图像 Transformer 空-谱自注意力 预测融合 medical hyperspectral images transformer spatial-spectral self-attention predictions fusion 光学 精密工程
2023, 31(18): 2752
