1 解放军总医院第二医学中心，北京 100853
2 中国科学院自动化研究所中国科学院分子影像重点实验室，北京 100190
3 中国科学院大学人工智能学院，北京 100049
4 解放军总医院第一医学中心，北京 100853
5 中国人民解放军总医院肾脏疾病全国重点实验室，北京 100853
浅静脉清晰成像对于透析患者动静脉内瘘术前手术路径规划和术中引导手术治疗等具有重要作用，对临床疾病的诊断和治疗具有重要作用。目前临床上常用的血管成像方法能够清晰地实现血管的成像，但对静脉血管网的成像效果难以满足临床需求。笔者利用临床获批的荧光染料吲哚菁绿（ICG）开展了前臂血管的近红外二区（NIR-II）荧光成像，结合人工智能算法获得分辨率更高的血管NIR-IIb荧光图像，更准确地描绘浅表细小血管的直径。在此基础上，笔者继续结合Fluent流体仿真模拟方法，辅助医生在术前判断主干引流静脉，并在术中结扎中选择主干引流静脉进行保留，对大侧枝引流静脉进行结扎，提高患者肾透析血液通路手术的成功率。利用荧光血管造影技术结合模拟方法引导肾透析血液通路手术将桡动脉接入头静脉，手术的早期通畅率为100%（8/8），而接受常规手术的对照组的早期通畅率为73.33%（11/15）。本研究验证了NIR-II荧光血管造影技术的安全性和有效性，并在此基础上进一步验证了荧光成像结合人工智能算法在肾透析血液通路手术中潜在的应用价值。
医用光学 近红外二区荧光 荧光血管造影 吲哚菁绿 人工智能 计算机仿真模拟
1 西京学院 材料与能源科学技术研究院，陕西 西安 710123
2 北京星航机电装备有限公司，北京 100074
3 西北工业大学 光电与智能研究院，陕西 西安 710072
在计算机视觉领域中，基于孪生网络的跟踪算法相比于传统算法提高了精度和速度，但是仍会受到目标遮挡、变形、环境变化等影响，导致孪生网络的跟踪算法的性能降低。为了深入了解基于孪生网络的单目标跟踪算法，本文对现有基于孪生网络目标跟踪算法进行了总结和分析，主要包括在孪生网络中引入注意力机制方法、超参数推理方法和模板更新方法，对这3种方法的目标跟踪算法进行了综述，详细介绍了国内外近几年基于孪生网络的算法研究和发展现状。对3个方面的代表算法采用VOT2016、VOT2017、VOT2018和OTB-2015数据集进行实验对比，获得了多种基于孪生网络的目标跟踪算法的性能。最后对基于孪生网络的目标跟踪算法进行了总结，并对未来的发展方向进行了展望。
计算机视觉 目标跟踪 孪生网络 深度学习 computer vision target tracking Siamese networks deep learning
1 辽宁工程技术大学 软件学院，辽宁 葫芦岛 125105
2 汕头职业技术学院 计算机系，广东 汕头 515071
现有的层级式文本生成图像的方法在初始图像生成阶段仅使用上采样进行特征提取，上采样过程本质是卷积运算，卷积运算的局限性会造成全局信息被忽略并且远程语义无法交互。虽然已经有方法在模型中加入自注意力机制，但依然存在图像细节缺失、图像结构性错误等问题。针对上述存在的问题，提出一种基于自监督注意和图像特征融合的生成对抗网络模型SAF-GAN。将基于ContNet的自监督模块加入到初始特征生成阶段，利用注意机制进行图像特征之间的自主映射学习，通过特征的上下文关系引导动态注意矩阵，实现上下文挖掘和自注意学习的高度结合，提高低分辨率图像特征的生成效果，后续通过不同阶段网络的交替训练实现高分辨率图像的细化生成。同时加入了特征融合增强模块，通过将模型上一阶段的低分辨率特征与当前阶段的特征进行融合，生成网络可以充分利用低层特征的高语义信息和高层特征的高分辨率信息，更加保证了不同分辨率特征图的语义一致性，从而实现高分辨率的逼真的图像生成。实验结果表明，相较于基准模型（AttnGAN），SAF-GAN模型在IS和FID指标上均有改善，在CUB数据集上的IS分数提升了0.31，FID指标降低了3.45；在COCO数据集上的IS分数提升了2.68，FID指标降低了5.18。SAF-GAN模型能够有效生成更加真实的图像，证明了该方法的有效性。
计算机视觉 生成对抗网络 文本生成图像 CotNet 图像特征融合 computer vision generative adversarial networks text-to-image cotnet image feature fusion
1 重庆大学ICT研究中心光电技术及系统教育部重点实验室，重庆 400044
2 重庆大学工业CT无损检测教育部工程研究中心，重庆 400044
针对相对平行直线扫描CT（PTCT）图像重建存在的有限角伪影问题，提出一种学习局部和非局部正则项的深度迭代展开方法。该方法将具有固定迭代次数的梯度下降算法迭代展开到神经网络，利用具有坐标注意力（CA）机制的卷积模块和Swin-Transformer模块作为迭代模块交替级联部署，构成端到端的深度重建网络。卷积模块学习局部正则化，其中CA用于减少图像过平滑；Swin-Transformer模块学习非局部正则化，提高网络对图像细节的恢复能力；在相邻模块间，使用迭代连接（IC）增强模型提取深层特征的能力，提高每次迭代的效率。通过消融实验验证了网络各部分的有效性，并在两种类型的数据集上进行实验，结果证明了本文方法的效果。实验结果表明，本文方法在抑制PTCT重建图像有限角伪影的同时，能较好地保留重建图像细节，提高重建图像质量。
X射线光学 计算机断层成像 相对平行直线扫描 图像重建 有限角 深度学习
1 中国人民公安大学信息网络安全学院，北京 100038
2 首都师范大学数学科学学院，北京 100048
3 首都师范大学检测成像北京市高等学校工程研究中心，北京 100048
4 北京工商大学数学与统计学院，北京 100048
针对被测样品的组成物质已知且彼此不混合的情况，提出了一种结合能谱信息的单能谱计算机断层扫描（CT）图像重建方法。该方法利用已知物质作为基材料对CT投影数据的采集过程进行数学建模，然后对该非线性模型进行基材料图像的迭代求解。在求解中，通过将基材料“不混合”的性质转化为向量正交性，实现了迭代过程的快速收敛。本文方法充分考虑了X射线的能谱和被测样品材料的属性，可显著地校正传统CT图像中的硬化伪影和金属伪影，有效地提高该类样品的CT成像质量。实验验证了所提方法的有效性。
成像系统 X射线计算机断层扫描 硬化伪影 金属伪影 基材料分解
1 重庆大学机械与运载工程学院，重庆 400044
2 重庆大学工业CT无损检测教育部工程研究中心，重庆 400044
在微焦CT成像中，通常利用增大X射线源管电压、管电流来提高扫描效率，但射线源功率增加会导致焦点尺寸增大，投影图像模糊，从而降低重建图像的空间分辨率。为了解决因非理想射线源焦点引起的图像模糊问题，本文提出利用深度学习在投影域映射非理想焦点与理想焦点投影之间的关系。推导了理想焦点投影与非理想焦点投影的正向关系，基于该关系构建配对数据集；提出一种基于自注意力机制的U-net网络（SU-net）学习非理想焦点投影到理想焦点投影的逆向关系。仿真实验和实际实验结果表明，提出的SU-net方法能准确地从非理想焦点投影中估计出理想焦点投影，可有效减少焦点导致的图像模糊。
计算机断层扫描 微焦点CT 空间分辨率 深度学习 X射线源焦点
1 通感融合光子技术教育部重点实验室，广东省信息光子技术重点实验室，广东工业大学信息工程学院，先进光子技术研究院，广东 广州 510006
2 南方海洋科学与工程广东省实验室（珠海），广东 珠海 519082
3 光场调控与信息感知工业和信息化部重点实验室，陕西省信息光子技术重点实验室，西北工业大学物理科学与技术学院，陕西 西安 710129
提出一种跨模态光学信息交互和模板动态更新的可见光和热红外（RGBT）跟踪方法，选取能够在跟踪速度和精度上取得平衡的Siamese跟踪器作为基本框架，并设计特征交互模块以重构不同模态的信息比例和增强模态间信息交流。在此基础上，基于无锚框的思想构建预测网络，以提升跟踪器的灵活性和通用性，同时提出一种模板动态更新的策略，通过动态更新跟踪模板增强模型对变化目标的适应能力。在GTOT等3个基准数据集上的对比实验表明，所提方法可显著提升跟踪器在复杂环境下的目标跟踪性能。
机器视觉 计算机视觉 目标跟踪 孪生网络 模板更新
1 中国地质大学（武汉） 自动化学院，湖北武汉430074
2 复杂系统先进控制与智能自动化湖北省重点实验室，湖北武汉430074
3 地球探测智能化技术教育部工程研究中心，湖北武汉40074
4 中国科学院 微小卫星创新研究院，上海201203
5 上海微小卫星工程中心，上海201203
为解决基于深度学习的立体匹配方法面临着网络规模大、网络结构复杂等问题，提出了一个网络规模较小、精度较高的网络结构。该网络在特征提取模块删减修改了复杂冗余的残差层并引入了空洞卷积金字塔池化模块来扩大视野范围，提取更多有用的上下文信息；在代价计算模块中使用了三维卷积层以成本聚合提升立体匹配的精度；最后，在代价聚合模块引用了双边格网模块以较低分辨率的成本量来获取精度较高的视差图。将该网络在KITTI 2015数据集和Scene Flow数据集等主流数据集上进行实验，结果显示，相较于其他主流优秀网络类如金字塔立体匹配网络（Pyramid Stereo Matching Network ，PSM-Net），网络规模参数量减少了约38%，并取得了较高的实验精度，其中Scene Flow数据集的终点误差（End-point Error，EPE）为0.86，是一个同时兼顾速度与精度的立体匹配网络。
计算机视觉 立体匹配 人工神经网络 视差 computer vision stereo matching artificial neural network parallax
1 安徽工程大学计算机与信息学院，安徽 芜湖 241000
2 计算机网络和信息集成教育部重点实验室（东南大学），江苏 南京 210096
3 东南大学影像科学与技术实验室，江苏 南京 210096
提出一种基于多通道交叉卷积UCTransNet（MC-UCTransNet）的图像域双材料分解方法。该网络以UCTransNet为基础架构，采用通道交叉融合转换器和通道交叉注意模块来提高基材料分解性能，实现双输入双输出的端到端映射。网络中通道交叉融合模块和通道交叉注意模块可更好地捕捉复杂的通道信号相关性，以更充分地进行特征提取与融合，实现基材料生成路径之间的信息交换。为进一步提高模型的拟合性能，网络训练时采用混合损失及Sigmoid函数的归一化方法。实验结果表明，在骨骼基材料及软组织碘基材料分解任务中，所提方法能获得优质的基材料图像，与对比方法相比，其分解后的基材料图像在准确度及噪声伪影抑制上表现更好。
机器视觉 双能计算机断层成像 基材料分解 多通道交叉卷积 注意力 噪声抑制
1 天津大学微电子学院，天津 300072
2 天津师范大学数学科学学院，天津 300387
3 天津市成像与感知微电子技术重点实验室，天津 300072
多能计算机断层扫描（Computed tomography，CT）技术可以更加精确地分辨出人体组织对不同能量X射线光子的吸收情况，是医学成像领域的重要发展方向。为了解决因量子噪声等非理想效应加重导致重建图像质量急剧退化的问题，提出了一种基于移位窗口多头自注意力机制的双流Transformer网络结构。该结构利用移位窗口Transformer和局部增强窗口Transformer分别提取投影数据的全局和局部特征，充分利用投影数据的非局部自相似性以保留投影数据的内部结构；然后通过残差卷积融合提取的特征；最后使用带有非局部全变分的混合损失函数来监督网络模型的训练，提升该网络模型对投影数据内部细节的敏感程度。实验结果表明，所提方法处理后的重建图像峰值信噪比（PSNR）值、结构相似性（SSIM）值和特征相似度（FSIM）值分别达到37.7301 dB、0.9944和0.9961。与目前先进的多能CT去噪方法相比，所提方法在去除低剂量多能CT投影数据噪声的同时，可保留更多的细节特征，有利于后续的精确诊断。
图像处理 计算机断层扫描成像 低剂量 卷积神经网络 Transformer网络 激光与光电子学进展
2024, 61(8): 0837008
