1 宁波大学信息科学与工程学院，浙江 宁波 315211
2 宁波大学医学院，浙江 宁波 315211
3 宁波市海曙区第二医院，浙江 宁波 315099
4 宁波大学附属第一医院，浙江 宁波 315000
在检测侧面脊柱关键点时，由于受到器官遮挡的影响，以往的热图回归方法难以区分不同椎骨上的关键点，容易出现关键点与对应椎骨的匹配错误。为了解决这个问题，提出了一个新的单阶段侧面脊柱关键点检测方法，该方法同时预测关键点热图和关键点匹配线索（椎骨中心热图和关键点offset），利用匹配线索建立关键点与对应椎骨的匹配关系。为了提升匹配效果，提出几何感知特征增强模块，通过提取关键点特征增强椎骨中心的特征表达。此外，利用加权损失函数缓解关键点热图和椎骨中心热图中正负样本比例失衡问题。实验结果表明，所提方法的平均检测误差为8.84，相较于性能第二的方法精度提升36%。
医用光学 关键点检测 卷积网络 可变形卷积 脊柱侧弯 激光与光电子学进展
2024, 61(4): 0417001
1 中国科学院 微小卫星创新研究院，上海 201203
2 中国科学院大学，北京 100049
3 中国科学院 空天信息创新研究院，北京 100049
传统的单目姿态估计算法采用卷积网络在图像中定位若干关键点，再基于2D-3D匹配技术估计目标的姿态，但卫星上的关键点分布较分散，卷积网络由于其受限的感受野导致关键点的定位精度低，影响后续姿态估计的精度。此外传统流程需要人工标注关键点位置和目标的掩膜，标注成本高。为了解决传统方法感受野受限问题，在卷积网络中引入自注意力机制，赋予其全局建模能力，提高了关键点的定位精度。为了改善传统方法需要大量人工标注的问题，通过空间雕刻，重构了目标的点云，再将点云重投影回像素平面，自动化获取所需标签，省略了人工标注过程，提高了算法实用性。实验结果表明：所提算法在SPEED数据集上进行验证，关键点定位精度为92%，姿态平移误差为0.236%，姿态旋转误差为9.8610-3弧度，在简化算法复杂度的同时提升了精度。可以有效应用于航天器之间的相对姿态估计。
计算机视觉 姿态估计 关键点检测 自注意力 空间雕刻 computer vision pose estimation landmark localization self-attention space carving
1 中国科学院光束控制重点实验室, 成都 610209
2 中国科学院光电技术研究所, 成都 610209
3 中国科学院大学, 北京 100049
针对现有单人姿态估计网络结果缺乏可靠性评估和鲁棒性保障等问题, 提出了一种基于偶然不确定性的测试时增强方法。该方法首先利用随机并行的数据增强和模型推理得到多样化输出, 随后通过计算该输出的偶然不确定性得到其可靠性评估, 最后根据可靠性将该输出及其不确定性进行加权融合以得到更准确鲁棒的结果及其评估。在MPII数据集上的实验表明, 该算法可即插即用地应用于任意现有单人姿态估计网络, 从而得到更精确鲁棒的结果及其不确定性评估。
单人姿态估计 关键点检测 偶然不确定性 测试时增强 single human pose estimation key points detection aleatoric uncertainty testing-time-augmentation
1 上海交通大学机械与动力工程学院，上海 200240
2 上海智能网联汽车技术中心有限公司，上海 201499
复杂交通场景下的3D目标检测是重要且具有挑战性的任务。针对主流检测算法使用的高线数激光雷达昂贵和基于毫米波雷达和相机的检测算法效果不佳的问题，提出了一种利用低线数激光雷达和相机实现3D目标检测的算法，可以大幅降低自动驾驶的硬件成本。首先，将64线激光雷达点云降采样至原始点云数量的10%，生成极端稀疏点云，并将其和RGB图片一同输入到深度补全网络中得到深度图；然后，在新提出的计算点云强度的算法基础上，由深度图生成点云俯视图；最后，将点云俯视图输入检测网络，得到目标立体边界框的几何信息、航向角和类别等信息。在KITTI数据集上对算法进行实验验证，实验结果表明所提算法在检测精度上可以超过部分基于高线数激光雷达的检测算法。
遥感 激光点云 卷积神经网络 关键点检测 深度学习 激光与光电子学进展
2022, 59(18): 1828004
1 重庆理工大学电气与电子工程学院, 重庆 400054
2 电梯智能运维重庆市高校工程中心, 重庆 402260
3 光纤传感与光电检测重庆市重点实验室, 重庆 400054
传统三维(3D)点云配准过程中存在配准误差高、计算量大及耗时长等问题,针对该问题,提出了一种3D点云中关键点的配准与优化算法。在关键点选取阶段,用边缘点检测算法剔除边缘关键点,以提高关键点特征描述的全面性和重复性,降低3D点云配准误差。在3D点云配准阶段,用K-维树(KD-tree)加速的最近邻算法和迭代最近点算法剔除粗配准结果中的误配准关键点,降低配准误差,提高3D点云配准的速度与精度。实验结果表明,本算法在不同点云数据下,均能获得良好的配准结果。与传统3D点云配准算法相比,本算法的平均配准速率提高了68.725%,平均配准精度提高了49.65%。
图像处理 关键点检测 边缘检测 三维重建 点云处理 误差优化 激光与光电子学进展
2021, 58(4): 0415008
1 天津大学精密测试技术及仪器国家重点实验室, 天津 300072
2 中国科学院深海科学与工程研究所, 海南 三亚 572000
针对当前人脸关键点检测算法网络模型复杂度高、在计算资源受限时不利于部署的问题,基于知识蒸馏思想,提出了一种高精度、轻量级的人脸关键点检测算法。通过改进残差网络(ResNet50)中的Bottleneck模块并引入分组反卷积,得到轻量级的学生网络。同时提出逐像素损失函数和逐像素对损失函数,通过对齐教师网络与学生网络的输出特征图与中间特征图,将教师网络的先验知识迁移至学生网络,从而提高学生网络的检测精度。实验结果表明,本算法得到的学生网络参数量为2.81M,模型大小为10.20MB,在GTX1080显卡上的每秒传输帧数为162frame,在300W和WFLW数据集上的平均误差分别为3.60%和5.50%。
图像处理 卷积神经网络 人脸关键点检测算法 知识蒸馏 模型优化 模轻量级网络 激光与光电子学进展
2020, 57(24): 241026
1 武汉科技大学 信息科学与工程学院, 湖北 武汉 430081
2 冶金自动化与检测技术教育部工程中心, 湖北 武汉 430000
针对Receptive Fields Network(RF-Net)中存在网络较浅、缺乏深层语义信息的问题, 提出了一种基于Residual Network(ResNet)和RF-Net的改进网络用于遥感影像匹配。首先, 通过对真实遥感影像进行裁剪、光照变换和仿射变换处理, 得到图像对并计算同一序列中不同图像间的单应性矩阵, 构建了一个遥感影像数据集。然后, 提出了一种双通道的网络结构用于关键点检测, 该双通道网络由Receptive Fields Detection(RF-Det)和ResNet构成, 前者提取含有细节信息的浅层特征图, 后者提取含有语义信息的深层特征图。此外, 采用特征描述子提取网络L2-Net, 得到128维特征向量用以描述关键点。最后, 分别采用最近邻、带阈值的最近邻和最近邻距离比的策略对特征描述子进行匹配。实验结果表明, 该网络在仅含光照变换、仅含仿射变换和同时包含这两种变换的遥感影像数据集上的匹配得分, 比RF-Net分别提高了0.002, 0.117, 0104, 在关键点检测和匹配精度方面具有更优的性能。
图像匹配 关键点检测 特征描述子提取 仿射变换 特征向量 image matching keypoints detection feature descriptor extraction affine transform feature vectors
1 天津大学精密测试技术及仪器国家重点实验室, 天津 300072
2 中国科学院深海科学与工程研究所, 海南 三亚 572000
针对当前人脸关键点检测算法网络模型复杂度高、在计算资源受限时不利于部署的问题,基于知识蒸馏思想,提出了一种高精度、轻量级的人脸关键点检测算法。通过改进残差网络(ResNet50)中的Bottleneck模块并引入分组反卷积,得到轻量级的学生网络。同时提出逐像素损失函数和逐像素对损失函数,通过对齐教师网络与学生网络的输出特征图与中间特征图,将教师网络的先验知识迁移至学生网络,从而提高学生网络的检测精度。实验结果表明,本算法得到的学生网络参数量为2.81M,模型大小为10.20MB,在GTX1080显卡上的每秒传输帧数为162frame,在300W和WFLW数据集上的平均误差分别为3.60%和5.50%。
图像处理 卷积神经网络 人脸关键点检测算法 知识蒸馏 模型优化 模轻量级网络 激光与光电子学进展
2020, 57(21): 210703
1 长沙理工大学电气与信息工程学院, 湖南 长沙 410114
2 云南电网有限责任公司电力科学研究院, 云南 昆明 650217
提出一种基于关键点训练学习的防振锤滑移检测方法。首先利用改进SSD模型对防振锤进行识别、定位;再选择防振锤关键点,训练MobileNetV3网络,通过上一级定位结果设定输入区域,从而实现关键点的检测;最后依据线路图像特征,制定相应判别规则。当档距内悬挂m(m≥2)个防振锤时,利用关键点几何约束关系实现判别;当档距内悬挂单防振锤时,采用EPnP算法估计相机在多个角度的位姿,通过位姿与线夹关键点像素坐标间的关系求解最邻近点的世界坐标,判断最邻近点与防振锤间的距离是否在阈值范围内。实验结果表明,所提方法能对滑移异常进行有效识别,为输电线路异常检测提供了新思路。
机器视觉 关键点检测 异常检测 位姿估计 激光与光电子学进展
2020, 57(20): 201502
