1 北方民族大学 计算机科学与工程学院，宁夏银川75002
2 北方民族大学 图像图形智能处理国家民委重点实验室，宁夏银川75001
3 宁夏医科大学 医学信息与工程学院，宁夏银川750004
针对肺部X射线图像的病灶区域较小、形状复杂，与正常组织间的边界模糊，使得肺炎图像中的病灶特征提取不充分的问题，提出了一个面向特征增强的双残差Res-Transformer肺炎识别模型，设计3种不同的特征增强策略对模型特征提取能力进行增强。设计了组注意力双残差模块（GADRM），采用双残差结构进行高效的特征融合，将双残差结构与通道混洗、通道注意力、空间注意力结合，增强模型对于病灶区域特征的提取能力；在网络的高层采用全局局部特征提取模块（GLFEM），结合CNN和Transformer的优势使网络充分提取图像的全局和局部特征，获得高层语义信息的全局特征，进一步增强网络的语义特征提取能力；设计了跨层双注意力特征融合模块（CDAFFM），融合浅层网络的空间信息以及深层网络的通道信息，对网络提取到的跨层特征进行增强。为了验证本文模型的有效性，分别在COVID-19 CHEST X-RAY数据集上进行消融实验和对比实验。实验结果表明，本文所提出网络的准确率、精确率、召回率，F1值和AUC值分别为98.41%，94.42%，94.20%，94.26%和99.65%。DRT Net能够帮助放射科医生使用胸部X光片对肺炎进行诊断，具有重要的临床作用。
肺炎识别 X射线图像 特征增强 双残差结构 Transformer pneumonia recognition X-ray image feature enhancement dual residual model Transformer
1 北方民族大学 计算机科学与工程学院，宁夏银川75002
2 北方民族大学 图像图形智能处理国家民委重点实验室，宁夏银川75001
3 宁夏医科大学 理学院，宁夏银川750004
基于残差神经网络的新冠肺炎（Corona Virus Disease 2019， COVID-19）辅助诊断是最近的研究热点，但是COVID-19胸部X-Ray图像病变区域多样化，其大小、形状、位置因患者而异，且与周围组织的边界模糊，对比度较低，导致难以充分提取病变区域的有效特征。本文针对上述问题，提出一种COVID-19辅助诊断模型REC-ResNet，该模型以ResNet50为主干网络，引入三种特征增强策略，用来提高模型的特征提取能力。首先，采用残差自适应特征融合模块以自适应加权的方式有效地融合模型每个Stage中来自不同残差块的分层特征，该模块不仅建模不同通道之间的相关性，还学习自适应地估计不同层次信息的相对重要性；然后，在模型主干中引入高效特征增强Transformer模块，采用特征增强多头自注意力提取胸部X-Ray图像中的全局信息以增强模型的表达能力，有效地弥补了CNN捕获全局特征表示能力较弱的不足；其次，为了获得更丰富的上下文信息，提出跨层注意力增强模块，分别采用通道注意力和空间注意力对深层和浅层特征进行增强，并在充分考虑长距离特征依赖的情况下有效地融合高级语义信息和低级空间细节实现跨层注意力特征增强，使模型提取更多有效特征以进一步提高模型分类准确率。最终，在COVID-19胸部X-Ray图像数据集上的实验结果表明：本文模型与其他先进的CNN分类模型相比能够实现优异的分类性能，Acc，Pre，Rec，F1 Score和Spe指标分别为97.58%，97.60%，97.58%，97.59%和97.46%，进一步通过Grad-CAM可视化技术对模型进行解释，以增强特征的直观性。本文方法有助于临床医生做出正确的医学判断和更好的患者预后，为COVID-19的辅助诊断提供有效的帮助。
新冠肺炎 胸部X-Ray图像 残差神经网络 注意力机制 特征增强 COVID-19 chest X-Ray image residual neural network attention mechanism feature enhancement 光学 精密工程
2023, 31(14): 2093
1 山东中医药大学智能与信息工程学院，山东 济南 250355
2 山东中医药大学第一临床医学院，山东 济南 250355
卷积神经网络（CNN）在新冠肺炎X射线图像分类中取得诸多成果，但卷积结构只能学习到特征图相邻空间位置的上下文信息。为了更好地结合胸部X射线图像全局信息，除了提高CNN的深度，所提网络通过设计主干网络ConvNeXt、聚合注意力模块、长短期记忆网络，更加关注全局与局部信息的交互性。对公开访问的COVID-19 Radiography Database数据集图像分类，所提网络在三分类实验中相较于基础模型ConvNeXt在准确率、精确率、召回率上分别提高1.60个百分点、1.23个百分点、1.76个百分点，且其在多项实验指标上优于Vision Transformer、Swin-Transformer，准确率、精确率、召回率、特异度分别提高到95.6%、96.03%、95.76%、97.53%。另外选用Chest X-ray数据集进一步验证所提网络泛化能力，采用Score-CAM算法验证其有效性。实验结果表明，所提网络对新冠肺炎X射线图像具有较好的分类效果。
图像处理 X射线图像 新冠肺炎 注意力机制 长短期记忆网络 激光与光电子学进展
2023, 60(14): 1410001
1 中国刑事警察学院警察技能战术训练部, 辽宁沈阳 110854
2 中国刑事警察学院公安信息技术与情报学院, 辽宁沈阳 110854
在安全检查过程中快速准确地识别违禁物品有利于维护公共安全。针对 X射线行李图像中存在的物品堆叠变形、复杂背景干扰、小尺寸违禁物品检测等问题, 提出一种改进模型用于违禁物品检测。改进基于 YOLOX模型进行, 首先在主干网络中引入注意力机制加强神经网络对违禁品的感知能力; 其次在 Neck部分改进多尺度特征融合方式, 在特征金字塔结构后加入 Bottom-up结构, 增强网络细节表现能力以此提高对小目标的识别率; 最后针对损失函数计算的弊端改进 IOU损失的计算方式, 并根据违禁物品检测任务特点改进各类损失函数的权重, 增大对网络误判的惩罚来优化模型。使用该改进模型在 SIXray数据集上进行实验, mAP达到 89.72%, FPS到达 111.7 frame/s具备快速性和有效性, 所提模型与阶段主流模型相比准确率和检测速度都有所提升。
X射线图像 违禁品 注意力机制 YOLOX YOLOX, X-ray image, prohibited items, attention me
上海工程技术大学电子电气工程学院，上海 201620
脊柱侧弯是当今社会中常见的脊柱疾病，在X光图像上快速而准确地定位脊椎骨角点并计算其Cobb角度数是医生诊断脊柱弯曲程度的金指标。针对X光骨科图片中其他器官的遮挡以及复杂背景干扰等问题，提出一种基于嵌入注意力机制和向量损失模块的神经网络模型。所提模型以vertebra-focused landmark detection（VFLD）网络为基础网络，在编码器和解码器之间嵌入旋转注意力机制模块加强网络对于脊椎骨深层、高维特征的提取，抑制其他器官的干扰，同时利用向量相似性的损失函数对网络进行训练。实验结果表明，在MICCAI 2019公开脊椎挑战赛数据集中，所提模型的对称平均绝对百分比误差准确度高达9.31，可以有效提高原模型检测椎骨角点能力。与现有的诸多模型相比，其具有较高的准确率和稳健性。
图像处理 X光图像 神经网络 注意力机制 Cobb角 激光与光电子学进展
2023, 60(10): 1010024
1 中国人民公安大学信息网络安全学院，北京 102600
2 公安部安全防范技术与风险评估重点实验室，北京 102600
针对X光行李图像安全检测过程中存在物品高度重叠遮挡及复杂背景干扰等问题，提出了一种融合注意力机制、数据增强策略与加权边框融合算法的改进YOLOv5网络模型用于X光违禁品检测。模型在Neck部分引入卷积注意力模块加强网络对违禁品深层重要特征的提取，抑制背景干扰；训练阶段采用Mixup数据增强策略模拟带有高度重叠及遮挡物品的检测场景，加强模型复杂样本的学习能力；测试阶段采用加权边框融合算法对冗余预测框进行优化，提高模型精准预测能力。所提模型在3个大型复杂数据集SIXray、HiXray、OPIXray进行了测试，平均精度均值分别达到了89.6%、83.1%和91.6%。结果表明：所提模型能够有效提高YOLOv5检测复杂违禁品的能力，与现有诸多先进算法相比，具有较高的准确率和稳健性。
X光图像 违禁品检测 注意力机制 加权边框融合 激光与光电子学进展
2023, 60(4): 0415005
1 西安建筑科技大学信息与控制工程学院，陕西 西安 710055
2 陕西省文物保护研究院，陕西 西安 710075
锈蚀覆盖的古铜镜在非接触探伤检测中，因镜缘与镜心厚度各异，X光成像无法呈现完整的病害信息。以古铜镜X光信号为输入，搭建生成对抗融合网络。针对损失和梯度算子所导致的重构模糊、纹饰和裂痕等多尺度特征细节表达等问题，设计了能够增强古铜镜X光信息融合效果的优化策略。通过添加损失正则化生成器的特征学习过程，改善损失生成信息平滑的现象；定义拉普拉斯纹饰损失，加强训练网络对纹饰和病害的抽取效果；在训练网络中加入多尺度特征融合模块，提高细节信息生成质量。通过与7种融合方法进行实验对比，所提算法在5组对照数据中仅2组的交叉熵值略差，其余信息熵、平均梯度、空间频率、联合熵和非参考特征互信息值均取得最优，可有效呈现古铜镜X光探伤检测信息。
X光图像 生成对抗网络 多尺度融合 L2,12稀疏 拉普拉斯算子 激光与光电子学进展
2023, 60(2): 0234001
西安工程大学电子信息学院，陕西 西安 710600
针对X光安检图像中多目标违禁品识别难度高的问题，提出了一种多目标违禁品识别算法。首先，综合考虑实际应用需求、网络性能和运行速度，用残差网络（ResNet50）作为骨干网络，并添加局部强化模块弥补空洞卷积导致的棋盘格现象。然后，用空洞残差特征增强模块和可变形空洞空间金字塔池化分别处理不同层级特征，自适应学习违禁品的多尺度特性。最后，引入注意力机制，强化对重点通道的学习能力并实现空间维度上的特征聚焦，加强违禁品区域的细节表征能力。在安检违禁品图像数据集上的测试结果表明，相比其他对比算法，本算法可在保证实时性的前提下取得更优的分割精度，平均交并比为82.26％，图像处理速度为16.21 frame/s。
机器视觉 X光图像 深度学习 语义分割 违禁品识别 激光与光电子学进展
2022, 59(10): 1015009
武汉工程大学计算机科学与工程学院，湖北 武汉 430205
针对锂电池正负极缺陷造成严重安全事故的问题，提出一种锂电池正负极距离缺陷检测方法。先获取锂电池的X光图像，通过分水岭算法截取图像中的感兴趣区域，并对感兴趣区域进行旋转校正。针对锂电池负极直线区域难以分割的问题，设计水平方向梯度模板提取正极边界，截取锂电池负极直线部分。利用多尺度视网膜增强算法和扩大差分模板提取负极直线。对提取出的负极直线进行水平投影以获取直线纵坐标，根据正极梯度和提取的负极直线获取正负极端点坐标，进而获取锂电池正负极距离。实验结果表明，所提算法的漏检率低，运行稳定，满足工业要求。
图像处理 锂电池 X光图像 分水岭算法 多尺度视网膜增强 梯度投影 激光与光电子学进展
2022, 59(10): 1010001
中国民航大学电子信息与自动化学院，天津 300300
安检X光图像违禁品尺度多变、姿态各异，为自动识别带来很大的困难。针对该问题，提出了一种基于金字塔卷积和带状池化的X光目标检测算法。首先，以一阶段无锚框目标检测框架CenterNet为基础，引入金字塔卷积，提出金字塔沙漏网络，丰富Hourglass-104特征提取网络的感受野，增强多尺度特征提取能力。其次，带状池化的引入能够捕捉图像上下文全局信息，防止无关区域的信息干扰，兼顾局部细节信息。最后，在训练过程中将预测目标尺度分支的训练损失替换为交并比（IoU）损失函数，进一步提升尺度预测分支的性能。消融实验结果表明，改进后网络的平均精度（mAP50）由86.6%提升为88.3%，准确率有显著提升。
图像处理 X光图像目标检测 深度学习 金字塔卷积 带状池化 交并比损失函数 激光与光电子学进展
2022, 59(4): 0410017
