作者单位
摘要
兰州交通大学 电子与信息工程学院,甘肃兰州730070
针对多模态医学图像融合中存在纹理细节模糊和对比度低的问题,提出了一种结构功能交叉神经网络的多模态医学图像融合方法。首先,根据医学图像的结构信息和功能信息设计了结构功能交叉神经网络模型,不仅有效地提取解剖学和功能学医学图像的结构信息和功能信息,而且能够实现这两种信息之间的交互,从而很好地提取医学图像的纹理细节信息。其次,利用交叉网络通道和空间特征变化构造了一种新的注意力机制,通过不断调整结构信息和功能信息权重来融合图像,提高了融合图像的对比度和轮廓信息。最后,设计了一个从融合图像到源图像的分解过程,由于分解图像的质量直接取决于融合结果,因此分解过程可以使融合图像包含更多的细节信息。通过与近年来提出的7种高水平方法相比,本文方法的AG,EN,SF,MI,QAB/F和CC客观评价指标分别平均提高了22.87%,19.64%,23.02%,12.70%,6.79%,30.35%,说明本文方法能够获得纹理细节更清晰、对比度更好的融合结果,在主观视觉和客观指标上都优于其他对比算法。
多模态医学图像融合 结构功能信息交叉网络 注意力机制 分解网络 multimodal medical image fusion structural and functional information cross-interacting network attention mechanism decomposition network 
光学 精密工程
2024, 32(2): 252
作者单位
摘要
江南大学 轻工过程先进控制教育部重点实验室,江苏无锡214122
声音作为物体固有属性之一能为目标检测提供有价值的信息,当前仅通过监测环境声进行目标定位的方法鲁棒性较低,为解决这一问题提出了跨级特征知识转移下的多模态自监督目标检测网络。首先,针对教师网络和学生网络同级特征间学习能力有限的问题,设计了基于注意力融合的多教师跨级特征知识转移损失,通过注意力融合的方式融合学生的深层和浅层特征,更高效地学习对应的教师中间层特征,以提取更多的知识,同时结合KL散度,实现教师和学生网络中间层特征的对齐。此外,为了解决定位信息的缺失的问题,加入定位蒸馏损失,通过让学生的包围盒分布去拟合教师的包围盒分布的方式,来获取更多的定位信息。在多模态视听检测MAVD数据集中对网络进行训练,该网络的mAP值在IOU值为0.5,0.75和平均的情况下较基线网络分别有6.71%,14.36%和10.32%的提升。实验结果证明了该检测网络的优越性。
多模态 知识蒸馏 目标检测 自监督 深度学习 multimodal knowledge distillation object detection self-supervised deep learning 
光学 精密工程
2024, 32(2): 237
作者单位
摘要
中国电子科技集团公司第十研究所航空电子信息系统技术重点实验室,四川 成都 610036
针对人工描述子在多模态匹配任务中辨识能力不足导致匹配效果不佳的问题,基于构造的累积结构特征图对多模态图像特征匹配方法的特征点提取、主方向分配和描述子构造等3方面进行扩展。在特征提取阶段,在不同尺度的累积结构特征图上提取混合特征点,兼顾特征点重复性和定位精度;在主方向分配阶段,采用累积结构特征和方向构造局部结构特征场提取特征点主方向,缓解特征点主方向估计容易出错的问题;在描述子构造阶段,对累积结构特征描述子进行L1距离归一化及开方操作替代L2距离归一化,提高描述子在特征匹配阶段的辨识能力。多模态匹配对比实验结果表明:相较于LHOPC、RIFT和HAPCG,所提方法在平均匹配正确点数目和平均匹配正确率等综合指标上明显占优;相较于CSF,所提方法平均正确率提升6.6%,平均匹配精度提升5.8%,表明其有效性。
多模态遥感图像 非线性辐射差异 累积结构特征 特征场 特征匹配 
激光与光电子学进展
2024, 61(4): 0428002
作者单位
摘要
深圳大学物理与光电工程学院,教育部/广东省光电子器件与系统重点实验室,广东 深圳 518060
介绍各种非线性光学显微成像的基本原理,并阐述非线性光学成像的多模态耦合所面临的技术挑战与解决方案。从成像速度、空间分辨率以及信噪比三个方面介绍了多模态非线性光学成像的研究进展,并扩展了多模态非线性光学内窥镜和图像分析方法。最后展望了多模态非线性光学成像的发展趋势和所面临的挑战,以期给相关领域研究人员提供参考。
成像系统 显微成像 非线性光学 多模态光学成像 光学内窥镜 
光学学报
2024, 44(4): 0400002
李丽亚 1,2何松 1,2赵柱 1,2,*宋亚 1,2[ ... ]余东毅 1,2
作者单位
摘要
1 华北光电技术研究所,北京 100020
2 中电科光电科技有限公司,北京 100020
近年来,以无人机为代表的“低慢小”目标发展迅速,通过搭载侦察、通信、干扰、打击等载荷和运用先进信息技术,已应用于实战或恐怖袭击,对城市防护、要人要地、公共安全造成了重大安全隐患;其以廉降耗、以量增效的新战法和新特点,对现有的防控体系构成了极大挑战。文中结合近10年工程经验,分析“低慢小”目标的特点和防控问题,提出基于OODA理论的“低慢小”目标防控作战流程以及复合组网、态势融合、多元分级、平台开放的体系建设发展思路;面向应用,充分探索各探测、处置手段的发展方向,为开展“低慢小”目标防控技术的发展和能力建设提供重要参考。文中指出,“低慢小”防控任务需要多学科、跨领域的协同配合,并通过常态化的测试与使用,对相关经验进行总结,不断优化迭代体系能力,才有可能解决“低慢小”目标防护的问题。
“低慢小”目标 OODA环 复合探测 态势融合 多元处置 low-slow-small(LSS) targets OODA loop composite detection situation integration multimodal disposal 
红外与激光工程
2023, 52(12): 20230034
作者单位
摘要
1 广西大学计算机与电子信息学院,广西 南宁 530004
2 广西多媒体通信与网络技术重点实验室,广西 南宁 530004
随着深度学习的发展,基于卷积神经网络(CNN)的目标检测方法取得巨大成功。现有的基于CNN的目标检测模型通常采用单一模态的RGB图像进行训练和测试,但在低光照环境下,检测性能显著下降。为解决此问题,提出了一种基于YOLOv5构建的多模态目标检测网络模型,将RGB图像和热红外图像相结合,以充分利用多模态特征融合信息,从而提升目标检测精度。为了实现多模态特征信息的有效融合,提出了一种多模态自适应特征融合(MAFF)模块。该模块通过自适应地选择不同模态特征并利用各模态间的互补信息,实现多模态特征融合。实验结果表明:所提算法能有效融合不同模态的特征信息,从而显著提高检测精度。
卷积神经网络 多模态 YOLOv5 多模态目标检测 自适应特征融合 
激光与光电子学进展
2023, 60(24): 2410003
作者单位
摘要
北京邮电大学 信息光子学与光通信国家重点实验室, 北京 100876
当前光子神经网络的研究主要集中在单一模态网络的性能提升上,而缺少对多模态信息处理的研究。与单一模态网络相比,多模态学习可以利用不同模态信息之间的互补性,因此,多模态学习可以使得模型学习到的表示更加完备。本文提出了将光子神经网络和多模态融合技术相结合的方法。首先,利用光子卷积神经网络和光子人工神经网络相结合构建异构光子神经网络,并通过异构光子神经网络处理多模态数据。其次,在融合阶段通过引入注意力机制提升融合效果,最终提高任务分类的准确率。在多模态手写数字数据集分类任务上,使用拼接方法融合的异构光子神经网络的分类准确率为95.75%;引入注意力机制融合的异构光子神经网络的分类准确率为98.31%,并且优于当前众多先进单一模态的光子神经网络。结果显示:与电子异构神经网络相比,该模型训练速度提升了1.7倍。与单一模态的光子神经网络模型相比,异构光子神经网络可以使得模型学习到的表示更加完备,从而有效地提高多模态手写数字数据集分类的准确率。
光子神经网络 多模态 注意力机制 photonic neural network multimodal attention mechanism 
中国光学
2023, 16(6): 1343
作者单位
摘要
1 上海科技大学 信息科学与技术学院, 上海 201800
2 中国科学院上海技术物理研究所, 上海 200083
针对单一传感器在复杂路况以及恶劣天气情况下车辆行人检测效果不佳,搭建了一套可见光、可见光偏振、短波红外和长波红外多模态数据采集系统,构建了一个多模态数据集,并提出了一种多模态车辆行人检测算法。首先,提出了一种基于改进型SIFT特征点的多尺度部分强度不变特征的异源图像配准算法; 然后,提出基于YOLOv5多模态数据目标检测网络。最终实现了平均精度在日间数据集1.0%的提升,日间夜间混合数据集10.9%的提升。
多模态 红外与偏振 图像配准 多模态目标检测 multimodal infrared and polarization image registration multimodal target detection 
半导体光电
2023, 44(5): 775
张苏贵 1,2张晶晶 1,2,*寻丽娜 1,2孙晓兵 3[ ... ]李穗 4
作者单位
摘要
1 安徽大学计算智能与信号处理教育部重点实验室, 安徽 合肥 230601
2 安徽大学电气工程与自动化学院, 安徽 合肥 230601
3 中国科学院通用光学定标与表征技术重点实验室, 安徽 合肥 230031
4 安徽文达信息工程学院, 安徽 合肥 231201
云检测对于遥感图像的应用具有重要意义。目前已有的云检测方法关于遥感图像的偏振信息研究较少,性能和泛化能力有限。为有效利用遥感图像偏振信息,提出了一种基于深度学习的多模态融合遥感图像云检测方法并进行了初步实验评价。该网络是一种三参数输入流架构,具有编码器-解码器结构,利用通道空间注意模块对遥感图像中的反射率特征和偏振特征进行多模态融合。在解码器上采样阶段,利用迭代注意特征融合方法融合高、低级特征映射。评价实验数据集来源于多角度偏振成像仪 (DPC) 云产品和云掩码产品。评价实验结果表明,所提出的网络模型实现了良好的云检测性能,识别准确率达到93.91%。
云检测 偏振信息 多模态融合 通道空间注意 迭代注意特征融合 cloud detection polarization information multimodal fusion channel-spatial attention iterative attention feature fusion 
大气与环境光学学报
2023, 18(4): 371
杨健 1,2王媛媛 1,2艾丹妮 1,2宋红 3[ ... ]王涌天 1,2,*
作者单位
摘要
1 北京理工大学光电学院,北京 100081
2 北京市混合现实与新型显示工程技术研究中心,北京 100081
3 北京理工大学计算机学院,北京 100081
4 北京理工大学医学技术学院,北京 100081
5 中国人民解放军总医院激光医学科,北京 100853
手术导航综合运用器官分割建模与手术规划、位姿标定与跟踪定位、多模态图像配准与融合显示等技术,使医生精确定位病灶与手术工具的位置,透过组织表面对内部组织进行观测,可大幅提升手术的安全性,缩短手术时间并提高手术效率。常规手术通常使用超声、内窥镜或X光等单模态影像进行手术过程引导,信息单一且均为二维影像,空间立体信息缺失,手术过程严重依赖医生经验;而多模态图像引导的手术导航技术通过融合多模态图像的优势,在三维空间提供病灶的结构或功能信息,大幅提升医生对血管、神经以及重要组织结构的空间辨识力。由此,本文针对多模态图像分割建模、手术方案决策、手术空间位姿标定与跟踪、多模态图像配准、图像融合与显示等多模态图像引导手术导航的关键技术进行总结和分析,提出其进一步发展面临的挑战并展望其未来发展趋势。多模态图像引导手术导航技术已成为神经外科、颅颌面、骨科、经皮穿刺、血管介入等临床科室精准治疗的新兴手段,具有重要的应用前景。
手术导航 手术机器人 多模态医学影像 医学图像处理 定位跟踪 配准融合 
光学学报
2023, 43(15): 1500002

关于本站 Cookie 的使用提示

中国光学期刊网使用基于 cookie 的技术来更好地为您提供各项服务,点击此处了解我们的隐私策略。 如您需继续使用本网站,请您授权我们使用本地 cookie 来保存部分信息。
全站搜索
您最值得信赖的光电行业旗舰网络服务平台!