1 北京工业大学信息学部计算智能与智能系统北京市重点实验室，北京 100124
2 先进信息网络北京实验室，北京 100876
近红外光谱断层成像是一种可以获得乳腺组织内部光学特性，弥补传统乳腺影像学检查方法的不足，具有无创无辐射、高特异性等特性，在乳腺成像中有重要应用价值的光学成像技术。近红外光谱断层成像系统对该技术在乳腺疾病临床诊断中的应用起着重要的作用。然而，近红外光谱断层成像系统的空间分辨率低，限制了其在乳腺成像中的应用。将连续波模式与频域或时域测量模式相结合，并融合临床用的数字乳腺断层摄影、超声或核磁共振成像等技术有助于解决上述问题。先对近红外光谱断层成像系统的测量模式、多模态系统和多模态融合技术进行梳理、对比，然后介绍了该技术在乳腺成像中的最新应用，进一步讨论了乳腺近红外光谱断层成像系统未来的发展方向。
成像系统 生物光学 近红外光谱断层成像 乳腺成像 多模态
中国人民解放军63870部队，陕西渭南714299
在可见光红外跟踪（RGB and Thermal Infrared Tracking，RGB-T）的研究中，为了在常规跟踪算法的基础上实现两个模态的有效融合，基于注意力机制提出了一种基于注意力交互的RGB-T跟踪算法。该算法引入注意力机制对可见光和红外两种模态的图像特征进行增强和融合，设计了自特征增强编码器对单一模态的特征进行增强，设计了互特征解码器对两个模态增强后的特征进行交互融合。编码器和解码器均采用两层注意力模块。为了减小算法模型的复杂度，对传统注意力模块进行简化，将全连接层改为1
![]()
![]()
1卷积。此外，该算法对多个卷积层的特征均进行分层融合，以充分挖掘各层卷积特征中的细节和语义信息。在GTOT，RGBT234和LasHeR三个数据集上进行对比测试。实验结果表明，所提算法性能优异，特别是在RGBT234和LasHeR这两个大规模数据集上取得了最优的跟踪结果，验证了注意力机制在RGB-T跟踪中的有效性。
江南大学 轻工过程先进控制教育部重点实验室，江苏无锡214122
声音作为物体固有属性之一能为目标检测提供有价值的信息，当前仅通过监测环境声进行目标定位的方法鲁棒性较低，为解决这一问题提出了跨级特征知识转移下的多模态自监督目标检测网络。首先，针对教师网络和学生网络同级特征间学习能力有限的问题，设计了基于注意力融合的多教师跨级特征知识转移损失，通过注意力融合的方式融合学生的深层和浅层特征，更高效地学习对应的教师中间层特征，以提取更多的知识，同时结合KL散度，实现教师和学生网络中间层特征的对齐。此外，为了解决定位信息的缺失的问题，加入定位蒸馏损失，通过让学生的包围盒分布去拟合教师的包围盒分布的方式，来获取更多的定位信息。在多模态视听检测MAVD数据集中对网络进行训练，该网络的mAP值在IOU值为0.5，0.75和平均的情况下较基线网络分别有6.71%，14.36%和10.32%的提升。实验结果证明了该检测网络的优越性。
多模态 知识蒸馏 目标检测 自监督 深度学习 multimodal knowledge distillation object detection self-supervised deep learning
1 香港理工大学生物医学工程学系，中国 香港
2 香港理工大学光子技术研究院，中国 香港
3 香港理工大学深圳研究院，广东 深圳 518063
基于多模光纤或多芯光纤的无透镜超细光纤内窥成像技术近些年获得了快速发展，有望成为下一代的极微创、高分辨率内窥显微镜。通过对相干入射光场的时空调控，该技术可克服多模光纤中模式色散或多芯光纤中相位畸变的影响，在无需光纤末端透镜或扫描器件的情况下实现高分辨率的聚焦、成像及相关应用。此外，在无透镜光纤内窥成像或图像传输等场景下，通过构建物理或深度学习模型，从光纤输出测量中也能实现物体信息重建。对相干光纤无透镜成像技术的发展进行综述，首先说明无透镜光纤成像的基础原理，并从主动波前调控和被动目标重建这两类角度阐述无透镜光纤成像方法，接着介绍一些先进光纤成像模态和技术，列举光纤成像相关应用，最后分析该领域所面临的挑战，总结并展望其进一步发展方向和应用前景。
多模光纤 多芯光纤 波前整形 内窥成像 光学显微成像 深度学习 激光与光电子学进展
2024, 61(6): 0618002
重庆邮电大学通信与信息工程学院，重庆 400065
提出一种具有模式保持功能的片上模式分离器方案。该方案基于多模干涉耦合器（MMI），通过在MMI多模区加入微型热电极，并通过合理设计热电极的位置和精确控制热电极的加热温度，实现TE0、TE1和TE2三种模式的分离，其插入损耗均低于1.06 dB，模式串扰均低于-15.38 dB。该方案具有模式分离数量多和可扩展的优势，可被广泛用于信号处理系统和通信系统中。
集成光学 模式保持 多模干涉耦合器 模式分离器 微型热电极
1 太原理工大学新型传感器与智能控制教育部/山西省重点实验室，山西 太原 030024
2 中国科学院长春光学精密机械与物理研究所应用光学国家重点实验室，吉林 长春 130033
3 广东工业大学广东省信息光子技术重点实验室，广东 广州 510006
4 中国工程物理研究院应用电子学研究所，四川 绵阳 621900
提出了一种基于多模光纤模间色散的无时延特征混沌产生方案。在多模光纤长度为4.4 km、芯径为62.5 μm、反馈强度为0.1的条件下，实验获得了无时延特征的混沌信号。进一步理论分析了多模光纤的纤芯直径、相对偏移、长度对混沌光模场的影响，结果显示：随着纤芯直径和相对偏移的增大，模式数量逐渐增多，模场分布变复杂；随着光纤长度的增加，模式分离程度（即模间色散）增大。最终探明了多模光纤相对偏移、反馈强度、长度对时延特征的抑制规律。结果表明，在与实验相同的纤芯直径和反馈强度下，消除时延特征的多模光纤的临界长度为1 km。
光纤光学 半导体激光器 混沌激光 时延特征 多模光纤
中国电子科技集团公司第十研究所航空电子信息系统技术重点实验室，四川 成都 610036
针对人工描述子在多模态匹配任务中辨识能力不足导致匹配效果不佳的问题，基于构造的累积结构特征图对多模态图像特征匹配方法的特征点提取、主方向分配和描述子构造等3方面进行扩展。在特征提取阶段，在不同尺度的累积结构特征图上提取混合特征点，兼顾特征点重复性和定位精度；在主方向分配阶段，采用累积结构特征和方向构造局部结构特征场提取特征点主方向，缓解特征点主方向估计容易出错的问题；在描述子构造阶段，对累积结构特征描述子进行L1距离归一化及开方操作替代L2距离归一化，提高描述子在特征匹配阶段的辨识能力。多模态匹配对比实验结果表明：相较于LHOPC、RIFT和HAPCG，所提方法在平均匹配正确点数目和平均匹配正确率等综合指标上明显占优；相较于CSF，所提方法平均正确率提升6.6%，平均匹配精度提升5.8%，表明其有效性。
多模态遥感图像 非线性辐射差异 累积结构特征 特征场 特征匹配 激光与光电子学进展
2024, 61(4): 0428002
深圳大学物理与光电工程学院，教育部/广东省光电子器件与系统重点实验室，广东 深圳 518060
介绍各种非线性光学显微成像的基本原理，并阐述非线性光学成像的多模态耦合所面临的技术挑战与解决方案。从成像速度、空间分辨率以及信噪比三个方面介绍了多模态非线性光学成像的研究进展，并扩展了多模态非线性光学内窥镜和图像分析方法。最后展望了多模态非线性光学成像的发展趋势和所面临的挑战，以期给相关领域研究人员提供参考。
成像系统 显微成像 非线性光学 多模态光学成像 光学内窥镜
深圳大学物理与光电工程学院，光电子器件与系统教育部/广东省重点实验室，广东 深圳 518060
高时空分辨可视化技术是脑科学研究的重要工具。荧光显微成像技术在特异性、多样性、图像对比度和时空分辨率等方面具有显著优势，但由于光在组织中的穿透深度有限，无创的荧光成像难以在活体水平获取深层脑区神经血管单元的高分辨结构和功能信息。因此，在脑科学研究中，荧光内窥显微成像技术受到越来越多研究者的青睐。得益于相关科学技术的发展，内窥镜探头在保持高性能的同时，实现了小型化并提供了更大的灵活性，可以植入活体大脑的不同深度处，开展特定深层脑区的功能调控研究。本综述介绍了基于梯度折射率透镜和单根多模光纤这两种探头的植入式荧光内窥显微成像技术及其发展和迭代进程，概述了它们在高分辨活体脑成像研究中的应用，以及在临床神经外科手术中的初步探索性应用。最后，展望了荧光内窥脑成像技术未来的发展前景。
显微 荧光内窥显微成像 活体脑成像 梯度折射率透镜 多模光纤
