光学 精密工程
2023, 31(10): 1532
上海电力大学电子与信息工程学院, 上海 201000
针对目前遥感图像检测精度低、召回率低、实时性差等问题, 提出基于GhostNet和 CoT多分支残差网络(MBRNet)的遥感飞机检测算法。借鉴YOLOv4网络模型, 采用MBRNet作为新的主干网络, 从而减少梯度消失问题并弥补了CNN欠缺的全局特征计算能力; 为了减少小目标丢失问题, 同时在主干与PANet中引入多方位的特征提取与融合思路, 实现在高、低特征层之间和同尺度特征层之间的信息充分互补。提出的算法在具有背景复杂、过度曝光、目标密集等场景的RSOD 和LEVIR数据集上准确率达到了97.64%, 召回率达到了89.11%。
遥感图像 遥感飞机 多分支残差网络 remote sensing image remote sensing aircraft Multi Branch-Residual Network(MBRNet) YOLOv4 YOLOv4 GhostNet GhostNet
江南大学人工智能与计算机学院，江苏 无锡 214122
腺体和息肉的自动分割是人工智能辅助结直肠腺癌诊断的基础，但医学图像中的分割目标大小、形状多变，基于单一的卷积神经网络的自动分割方法已陷入瓶颈。基于此，提出了一种卷积神经网络和自注意力相结合的双分支网络（LG UNet），用以提升分割的精度。首先，基于U-Net设计了Local UNet分支，利用卷积神经网络的优势，学习分割目标的局部信息。然后在Global Transformer分支中，利用Transformer全局依赖关系的学习能力来优化分割细节。最后在编码过程中通过交叉融合模块将Local分支和Global分支的特征图进行融合，将两者优势互补。在腺体分割挑战数据集Glas的两个测试子集Test A和Test B上，以Dice系数和交并比（IOU）系数为主要评价指标，LG UNet的测试结果分别为93.62%、88.44%和88.17%、80.49%。在息肉分割数据集Kvasir-SEG上，LG UNet的Dice系数和IOU系数分别为85.63%和77.82%。实验结果表明，结合Transformer和卷积神经网络优势的LG UNet在腺体和息肉分割上取得了更好的性能。
医用光学 自注意力机制 卷积神经网络 双分支网络 结直肠腺癌 腺体分割 息肉分割 激光与光电子学进展
2023, 60(2): 0217002
1 中国科学院 长春光学精密机械与物理研究所，吉林 长春 130033
2 中国科学院大学，北京 100049
针对基于人体骨架序列的动作识别存在的特征提取不充分、不全面及识别准确率不高的问题，本文提出了基于多分支特征和多尺度时空特征的动作识别模型。首先，利用多种算法的结合对原始数据进行了特征增强；其次，将多分支的特征输入形式改进为多分支的融合特征信息并分别输入到网络中，经过一定深度的网络模块后融合在一起；然后，构建多尺度的时空卷积模块作为网络的基本模块，用来提取多尺度的时空特征；最后，构建整体网络模型输出动作类别。实验结果表明，在NTU RGB-D 60数据集的两种划分标准Cross-subject和Cross-view上的识别准确率分别为89.6%和95.1%，在NTU RGB-D 120数据集的两种划分标准Cross-subject和Cross-setup上的识别准确率分别为84.1%和86.0%。与其他算法相对比，本文算法提取到了更为多样化、多尺度的动作特征，动作类别的识别准确率有一定的提升。
动作识别 多尺度特征 多分支特征 特征融合 action recognition multi-scale features multi-branch features feature fusion
1 长安大学电子与控制工程学院，陕西 西安 710064
2 广西新发展交通集团有限公司信息部，广西 南宁 530029
针对路面裂缝检测时裂缝的位置、形态的不确定性及裂缝特征与路面背景纹理的相似性等问题，提出了一种改进的多分支特征共享结构网络的裂缝图像分割算法。为了在减少计算参数冗余的同时提高检测精度，使用轻量化特征提取网络获取高层特征，采用多分支跳跃连接的方法提高通道间的信息利用。各分支融合全局卷积网络（GCN）模块和边界细化（BR）模块，提高了对裂缝边缘的分割性能和对裂缝区域内部分类的鲁棒性，利用循环残差卷积（RRC）模块，推动了对裂缝特征的累积。最后采用中轴法提取裂缝骨架，计算裂缝的形态参数，得到裂缝长度和宽度的相对误差分别为4.73%和5.21%。设计的多组对比实验结果表明，所提改进算法能够有效地提高对路面裂缝检测的精度和效率。
图像处理 语义分割 裂缝检测 裂缝参数计算 边界细化 多分支特征共享 激光与光电子学进展
2022, 59(12): 1215005
1 内蒙古科技大学机械工程学院, 内蒙古 包头 014010
2 内蒙古科技大学信息工程学院, 内蒙古 包头 014010
3 内蒙古工业大学, 内蒙古 呼和浩特 010051
提出了一种基于二维(2D)转三维(3D)骨架的实时检测双分支子网络,可实现2D骨架关键点的3D估计和2D、3D骨架特征融合的人体3D动作识别。在检测过程采用OpenPose框架实时获取视频中人体骨架的2D关键点坐标。在2D转3D骨架估计过程中,设计了一种输入为难样本且具有反馈功能的孪生网络。在3D动作识别过程中设计了一种2D、3D骨架特征双分支孪生网络,以完成3D姿态识别任务。在Human3.6M数据集上训练3D骨架估计网络,在基于欧拉变换的NTU RGB+D 60多视角增强数据集上训练骨架动作识别网络,最终得到的3D骨架动作识别交叉受试者准确率为88.2%,交叉视野准确率为95.6%。实验结果表明,该方法对3D骨架的预测精度较高,且具有实时反馈能力,可适用于实时监控中的动作识别。
图像处理 三维骨架估计 人体动作识别 多分支网络 多特征融合 激光与光电子学进展
2021, 58(24): 2410010
1宁波大学信息科学与工程学院, 浙江 宁波 315211
衍射效应会导致出射光发散到各个方向。为了减小衍射效应带来的发散效果,并解决出射端波导辐射距离短、辐射效率低的问题,采用二维正方晶格光子晶体构建了一种新型的光子晶体波导出射口结构。首先采用Y型通道结构来提高输出端的透射率;然后采用多支路结构进行耦合,以提高出射光的集束性,从而增大光波的辐射距离;最后进一步优化了出射口的周期数。通过平面波展开法和时域有限差分法进行分析和仿真,仿真结果表明:在辐射距离为110 μm处,辐射光波的发散角度约为3°,辐射效率可达到25%以上;具有Y型缺陷、出射口数目为16,并且出射口周期数为4的正方晶格光子晶体能够实现良好的定向辐射。
集成光学 光子晶体 缺陷 辐射 多支路 出射场
1 陕西科技大学 电气与控制工程学院, 西安 710021
2 西北工业大学 无人系统技术研究院, 西安 710072
3 陆军装备部 装备技术合作中心, 北京 100000
针对遥感图像背景复杂且存在某场景图像中关键物体小且尺度变化较大, 需提升模型表征能力来准确辨别各类场景的问题, 提出了一种深度多分支特征融合网络的方法进行遥感图像场景分 类.利用多分支网络结构提取高、中、低三个层次的特征信息, 将三个层次的特征进行基于拆分-融合-聚合的分组融合, 最后为了关注难辨别样本和标签位置损失, 提出一种损失函数.试验结果证明 , 本文所提出的方法对于提高分类准确率十分有效, 在UCM、AID和OPTIMAL三个数据集上的准确率超过其他算法.在数据集UCM上80%样本训练, 准确率达到了99.29%, 与ARCNet-VGG16算法相比分类准 确率提高了1.35%.在数据集AID上50%样本训练, 准确率达到了95.56%, 与Two-Stream算法相比提高了0.98%.在数据集OPTIMAL上80%样本训练, 准确率达到95.43%, 与ARCNet-VGG16算法相比提升 2.73%.
遥感图像 场景分类 多分支网络 特征融合 损失函数 Remote image Scene classification Multi branch network Feature fusion Loss function
