1 江苏科技大学 计算机学院， 江苏镇江22000
2 南京大学 计算机软件新技术国家重点实验室， 江苏南京10046
为了提高动态场景RGB-D SLAM中相机位姿精度，基于实例分割与光流算法，提出一种高精度RGB-D SLAM方法。首先，通过实例分割算法检测出场景中的物体，删除非刚性物体并构造语义地图。接着，通过光流信息计算运动残差，检测场景中动态刚性物体，并在语义地图中追踪这些动态刚性物体。然后，删除每一帧中非刚性物体和动态刚性物体上的动态特征点，利用其他稳定的特征点优化相机位姿。最后，通过TSDF模型重建静态背景，并以点云的形式显示动态刚性物体。在TUM和Bonn数据集中测试表明，本文方法与当前最先进的SLAM工作ACEFusion相比相机精度提升约43%。消融实验结果表明，保留动态刚性物体处于静止状态下的特征点对相机位姿估计结果提升约37%。稠密建图实验结果表明，本文方法在动态场景中重建结果优于当前先进的工作，平均重建误差为0.042 m。代码开源在https：//github.com/wawcg/dy_wcg。
动态场景 同步定位与地图构建 实例分割 光流 dynamic scenes SLAM instance segmentation optical flow 光学 精密工程
2023, 31(19): 2884
1 国网保定供电公司, 河北保定 071000
2 华北电力大学动力工程系, 河北保定 071000
无人机拍摄下的红外图像中变电设备的分割精度直接影响着热故障诊断的结果, 针对复杂红外背景下变电设备分割精度低的问题, 提出了一种融合可见光和红外图像的多模态路径聚合网络Multimodal Path Aggregation Network, MPAN)。首先提取并融合两种模态图像的特征, 考虑到两种模态图像的特征空间存在差异, 提出了自适应特征融合模块(Adaptive Feature Fuse Module, AFFM), 以充分融合两种模态特征; 对具有多尺度特征的主干网络增加自底向上的金字塔网络, 并对横向连接的路径增强模块引入自注意力机制; 最后使用 dice系数优化掩膜损失函数。实验结果表明, 多模态图像的融合能够增强分割性能, 且验证了提出各模块的有效性, 该模型能够显著提高红外图像中变电设备实例分割的准确率。
实例分割 变电设备 红外图像 可见光图像 自适应特征融合模块 自注意力机制 dice系数 instance segmentation, substation equipment, infra
传统接触式甲烷泄漏传感器检测范围小且效率低，而结合非接触式红外热成像的机器视觉算法可实现远距离、大范围红外甲烷实例分割，对于提高甲烷检测效率及保障人员安全具有显著优势。然而远距离甲烷气体图像轮廓模糊、泄漏的甲烷气体与背景对比度较低且形状易受大气流动因素影响等问题限制了红外甲烷实例分割性能。针对上述问题，本文提出一种空间信息自适应调控和特征对齐的网络模型（Adaptive spatial information regulation and Feature alignment Network， AFNet）实现甲烷泄漏红外实例分割。首先，为增强模型的特征提取能力，提出自适应空间信息调控模块赋予主干网络不同尺度残差块自适应权重丰富模型提取的特征空间；其次，构建加权双向金字塔弥补特征金字塔自顶而下的特征传播方式导致的低层特征空间位置和实例边缘信息弥散丢失问题，以适应甲烷气体复杂轮廓变化下前景目标定位检测和轮廓分割需求。最后，设计原型特征对齐模块捕获长距离气体特征之间的语义关系丰富原型语义信息量以改善生成目标掩码质量提高甲烷气体分割精度。实验结果表明，本文提出的AFNet模型AP50@95，AP50定量分割精度分别达到42.42%，92.18%，相比于原始Yolact模型分割精度，分别提高9.79%，6.18%，推理速度达到36.80 frame/s，满足甲烷泄漏分割需求。实验结果验证了本文算法对红外甲烷泄漏分割的有效性和工程实用性。
红外甲烷 自适应调控 特征对齐 特征金字塔 实例分割 infrared methane adaptive regulation feature alignment feature pyramids instance segmentation 光学 精密工程
2023, 31(20): 3034
针对主流单阶段实例分割算法因冗余语义信息造成实例掩码缺失和泄漏的问题，提出一个基于语义对齐和图节点交互的实例分割算法。在全局掩码生成阶段，设计一个语义对齐模块，通过全局映射和高斯映射评估语义信息对全局和局部语义完整性的影响，从而对冗余语义信息进行抑制。此外，在实例掩码组装阶段，设计一个图节点交互模块。该模块通过对特征图进行图结构数据变换和图节点信息交互，提取拓扑图的空间特征，补充了掩码组装信息，进一步提高了实例掩码的准确度。实验结果表明，所提算法在MS COCO数据集上实现了38.3%的平均精度均值（mAP），与其他先进算法相比，有很强的竞争力。
图像处理 实例分割 语义对齐 图节点交互 MS COCO数据集 激光与光电子学进展
2023, 60(22): 2210008
昆明理工大学 机电工程学院，云南 昆明 650000
视频实例分割是车辆辅助驾驶多目标感知和场景理解的一项关键技术。针对弱监督视频实例分割仅使用边界框对网络进行训练严重制约交通场景大尺度动态范围目标分割精度的问题，本文提出尺度自适应生成调控弱监督视频实例分割网络（Scale Adaptive Generation Regulation weakly supervised video instance segmentation network，SAGRNet）。首先，设计一种多尺度特征映射贡献度动态自适应调控模块，通过动态调整不同尺度特征映射信息贡献度取代原有的线性加权以强化对目标局部位置和整体轮廓的聚焦能力，解决了车辆、行人等目标由于成像距离远近造成的尺度动态范围过大问题；其次，构建目标实例多细粒度空间信息聚合生成调控模块，通过聚合基于不同空洞率提取的多细粒度空间信息生成权重参数以调控各尺度特征，实现了细化实例边界和增强跨通道信息交互掩码特征映射表征能力，有效弥补了实例边缘信息匮乏导致边缘轮廓分割mask连续性缺失问题。最后，为缓解边界框标签监督信息弱化，引入正交损失和颜色相似性损失缩小模型预测mask与真实边界框偏差并计算逐像素点对间标签属性归类模糊问题。Youtube-VIS2019提取的交通场景数据集实验结果表明，SAGRNet相较于弱监督基准网络平均分割精度提升5.1%达到38.1%，为实现多目标感知和实例级场景理解提供了有效算法依据。
辅助驾驶 弱监督 视频实例分割 自适应生成调控 细粒度 assisted driving weakly supervised video instance segmentation adaptive generation regulation fine grain 光学 精密工程
2023, 31(18): 2736
1 电子科技大学光电科学与工程学院，四川 成都 610000
2 陆军研究院装甲兵研究所，北京 100072
设计了一种无偏振片液晶透镜的离焦深度测量（DFD）方法。分别建立液晶透镜成像下的o光和e光的高斯模糊退化模型，将其加权求和得到自然光在液晶透镜成像下的模糊退化模型，求取自然光和e光下深度估计对噪声的偏导，并进行数值仿真，结果表明，自然光模型比e光模型抗干扰能力更强，小模糊光斑比大模糊光斑抗干扰能力更强。在无偏模糊均衡滤波器（UDE）算法的基础上，利用导向滤波对偏差进行滤波，并对置信度模型进行修正，引入实例分割对估计结果进行优化。搭建了放大率恒定的液晶透镜光学成像系统，实现了自然光条件下利用液晶透镜的深度测量。实验结果表明，本文方案和e光条件下UDE方法相比，均方根误差降低了56%。
机器视觉 无偏振片 液晶透镜 失焦深度估计 无偏滤波器 实例分割 光学学报
2023, 43(14): 1415002
1 安徽工程大学电气工程学院，安徽 芜湖 241000
2 高端装备先进感知与智能控制教育部重点实验室，安徽 芜湖 241000
3 芜湖市固高自动化技术有限公司，安徽 芜湖 241000
针对视觉同步定位与建图算法在遮挡情况下易受到干扰而导致定位误差较大且闭环检测精度较低等问题，提出一种融合混合注意力实例分割的视觉同步定位与建图算法。该算法能够动态调整被遮挡物识别权重，在出现遮挡情况时提升对被遮挡物的特征提取与识别能力。同时采用概率去误匹配算法去除错误匹配点对，增加位姿求解及关键帧选取精度，从而更好地修正机器人位姿、提高系统构图的准确率。通过KITTI公开数据集和真实场景对所提算法进行测试，结果表明，所提算法在闭环准确率上与ORB-SLAM2算法相比约提高10.7%，平移误差约减小27.6%，体现了良好的构图能力。
遥感 同步定位与地图构建 注意力机制 实例分割 目标识别 闭环检测 激光与光电子学进展
2023, 60(10): 1028008
准确自动检测台风风眼位置可为台风预报与监测研究提供先验信息，以减少灾害损失。由于台风形态结构的多变性，其中心自动定位仍存在一定的困难。本研究利用台风卫星云图，提出一种基于多尺度镶嵌的R-CNN台风风眼检测方法。收集日本气象厅发布的1981—2017年5000多张台风卫星云图，利用图像数据中风眼眼壁轮廓曲线及内外明暗差别清晰明显的特点对图中风眼进行分割标注。通过台风风眼半径多尺度估算算法，将原始图像划分为多尺度台风云图，整合训练集和测试集。借助多尺度图像镶嵌、超参数选择和多条件测试分析，构建利用多尺度Mask R-CNN模型检测分割台风风眼的总体算法框架，开展多尺度对比实验。在自建标定数据集中，台风风眼的识别准确率最高达到92.63%、最低为88.36%，平均每张图片的检测时间最少为0.043 s，均方误差最小达到2154，平均交并比最大为0.9454。实验结果表明，所提多尺度镶嵌数据增强方法在大中规模尺度融合时效果最好、中小尺度较差，与现有主要数据增强方法相比，能更有效地提升神经网络准确率。整体检测模型在台风中心定位中的综合效率优于其他深度学习定位方法。
图像处理 台风风眼 目标检测 实例分割 卫星云图 数据增强 激光与光电子学进展
2023, 60(10): 1010009
1 福州大学 物理与信息工程学院, 福州 350116
2 中国福建光电信息科学与技术创新实验室, 福州 350116
3 福州大学 先进制造学院, 福建 泉州 362200
为提高单阶段实例分割的检测精度和改善小目标漏检、错检情况, 提出一种基于YOLACT改进的YOLACTR算法。该算法首先利用CNN与Transformer相结合, 设计一种新的头部预测网络, 对特征进一步提取, 并使用双向注意力来关联同一实例的掩码信息并区分不同实例之间的掩码特征, 注重特征点周围的关联信息, 使得检测框的预测更加准确; 然后利用多级上采样和设计的CS注意力模块结合形成掩码分支, 使其融入多种不同尺度信息, 并利用CS注意力来关注不同的尺度信息。在MS COCO数据上, YOLACTR算法与YOLACT算法相比, 其边框和掩码检测精度分别提升了7.4%和2.9%, 在小目标检测上分别提升了18.9%和13.5%。实验表明, YOLACTR算法可以在多目标复杂场景下, 提升检测和分割精度以及分类的准确度, 改善小目标和重叠目标漏检、错检的问题。
实例分割 注意力机制 小目标检测 YOLACT YOLACT instance segmentation Transformer Transformer attention mechanism small target detection
