南京航空航天大学电子信息工程学院，江苏 南京 211106
随着传感器技术的不断发展，三维点云被广泛应用于自动驾驶、机器人、遥感、文物修复、增强现实、虚拟现实等领域的视觉任务中。然而，直接应用收集到的海量原始点云数据得到的效果不佳，因此，基于深度学习的点云处理方法受到了越来越多的关注和研究。本文综述了近6年来基于深度学习的三维点云处理方法的研究进展。首先给出了三维点云的基本概念和获取方式，简述了4种点云处理任务；然后针对点云去噪和滤波、点云压缩、点云超分辨率以及点云修复-补全-重建任务，重点阐述了相应的深度学习方法的原理，并分析了其优缺点；随后介绍了22种点云数据集和4类评价指标，同时给出了性能对比结果；最后探讨了点云处理方法目前存在的问题，并对未来的研究趋势进行了展望。
深度学习 三维点云处理 点云去噪 点云压缩 点云修复
北京理工大学光电学院精密光电测试仪器及技术北京市重点实验室，北京 100081
针对现有的基于点的网络平等地对待所有的点从而无法有效关注重要特征的问题，在激光雷达点云处理领域引入注意力机制，即CSA模块，其中CA表示通道注意力，SA表示空间注意力。两个模块以数据驱动的方式自动学习不同特征通道信息和不同空间位置信息的重要性，从而提升网络在点云分类和分割任务上的表现。在基于点的网络中引入了上述两个模块，提出了CSA-PointNet++结构。实验结果表明：所提方法在ModelNet40数据集上的分类准确率达93.20%，在ShapeNetPart数据集上的部件分割实验的平均交并比（mIoU）为82.62%，优于其他对比方法，验证了所提网络的有效性；同时，在真实世界自建数据集上，所提方法的分类准确率达92.14%，证明了网络在真实世界的数据上具有良好的泛化能力。
深度学习 激光点云 点云处理 特征提取 注意力机制 激光与光电子学进展
2023, 60(24): 2415003
红外与激光工程
2023, 52(8): 20230427
1 国防科技大学 电子对抗学院，安徽 合肥 230037
2 国防科技大学 脉冲功率激光技术国家重点实验室，安徽 合肥 230037
3 国防科技大学 电子制约技术安徽省重点实验室，安徽 合肥 230037
4 合肥综合性国家科学中心 信息安全研究中心，安徽 合肥 230037
激光成像在多个领域中应用广泛，其成像时包含一系列的信号和信息处理过程，会对成像质量造成关键性的影响，并在成像信息运用的过程中起着关键性作用。文中主要针对典型激光成像处理技术进行综述性研究。首先，讨论了典型成像体制的激光成像处理技术特征，按照信号处理和信息处理两个阶段归纳了主要的共性处理方法和内容。其次，分析了激光信号去噪、辐射与几何校正和激光点云处理技术，激光测距、图像重建、目标检测的信息处理技术的发展现状，研究了典型处理技术特别是基于深度学习的激光成像智能处理技术的实现过程。最后，分析了激光成像处理技术的发展需求和未来发展方向，希望能对激光成像的相关研究带来一定的参考作用。
激光成像 信号处理 信息处理 点云处理 深度学习 laser imaging signal processing information processing point cloud processing deep learning 红外与激光工程
2023, 52(6): 20230169
1 中国科学院沈阳自动化研究所机器人学国家重点实验室，辽宁 沈阳 110016
2 中国科学院机器人与智能制造创新研究院，辽宁 沈阳 110169
3 中国科学院大学，北京 100049
4 中国航空制造技术研究院，北京 100049
导管弯曲内侧面的褶皱变形是一种加工缺陷，它会降低导管承压能力，影响设备运行安全。为了实现褶皱变形的精确测量，提出了一种利用扫描点云的导管褶皱度测量方法。首先，结合弯管的形态特征，提出了一种切线圆弧切线模型方法以重建弯管脊线，确定导管形态参数。然后，借助各个表面点在各自脊线截面下的极角，实现导管轮廓线的管理与提取。最后，提出了一种轮廓线的展平方法，避免导管自身的弯曲形态影响褶皱辨识。基于最大褶皱深度计算导管褶皱度，使用典型导管样件进行脊线的重建验证，优化后的脊线点误差均值接近于零，均方根误差由优化前的0.297~15.439 mm降至优化后的0.171~1.129 mm；使用标准件进行褶皱度分析精度的验证，褶皱度误差稳定在0.011%。因此，所提方法可以实现导管褶皱度的准确测量。
测量 工业检测 褶皱度 点云处理 脊线重建 轮廓线提取 弯曲变形 中国激光
2023, 50(13): 1304001
1 东华大学机械工程学院，上海 201620
2 森赫电梯股份有限公司，浙江 湖州 313009
3 中国计量大学机电工程学院，浙江 杭州 200031
direct driver（DD）马达的端面全跳动直接影响着其定位精度。由于端面全跳动测量复杂，实际生产中一般使用千分表测量其端面跳动来近似替代。此方法易损坏被测物的表面，效率低下且精度不高。针对上述问题，提出一种基于点云驱动的DD马达端面全跳动测量方法。首先，采用线激光传感器获得DD马达表面的点云，该传感器使用激光三角测量法测量被测物的距离，Z轴测量精度为，重复精度为；其次，使用均匀下采样算法压缩点云；接着，设计一种基于曲率和密度的混合分割算法分割压缩后的点云，获得DD马达工作面的点云；然后，对工作面点云进行异常值分析，并采用基于拉依达准则的算法将异常值剔除；最后，使用随机抽样一致性算法对点云进行平面拟合，获得点云平面方程，并将该平面作为基准面计算DD马达的端面全跳动。实验结果表明，所提方法测量结果为，与参考结果（）在微米级别上误差为12%左右，满足工业精度要求，有效验证了所提方法的优越性。此外，还基于点云库、Qt和Visual Studio平台开发了DD马达端面全跳动测量软件，实现了数据显示、点云处理、一键测量、数据管理等功能。
机器视觉 端面全跳动 点云处理 线激光 direct driver马达 随机抽样一致性算法 激光与光电子学进展
2023, 60(12): 1215006
1 西南科技大学信息工程学院，四川 绵阳 621010
2 特殊环境机器人技术四川省重点实验室，四川 绵阳 621010
针对交联聚乙烯（XLPE）电缆接头反应力锥参数测量问题，本文结合XLPE电缆接头结构特征与三维点云处理提出了一种XLPE电缆接头反应力锥参数测量算法。该算法先对点云进行去噪及坐标摆正预处理；之后根据XLPE电缆接头的结构特征，得到反应力锥及其相邻区域的目标点云；然后使用依据目标点云中各点与坐标轴的夹角信息及高度信息提出的点云空间划分方法，实现对目标点云的条状划分及块元划分；接着根据条状点云上块元法向量的轴线夹角及改进的凹凸性准则求得各条状点云不同区域的局部点云；在此基础上，使用随机采样一致性（RANSAC）算法及拉格朗日乘数法求取相邻区域拟合平面的相交线，再根据条状点云上各点到相交线的距离，得到初步测量结果；最后，基于残差估计对初步测量结果进行误差校正，得到最终的测量结果。使用尺寸标准及表面具有缺陷的两类电缆接头点云进行测量实验，测量结果的绝对误差分别小于0.2 mm与1.0 mm，相对误差分别小于0.5%与1.5%，说明所提算法具有较高的鲁棒性与测量精度。
测量 三维点云处理 交联聚乙烯电缆接头 反应力锥 参数测量 机器视觉
1 中国科学院 光电信息处理重点实验室，辽宁沈阳006
2 中国科学院 沈阳自动化研究所，辽宁沈阳110016
3 中国科学院 机器人与智能制造创新研究院，辽宁沈阳110169
4 中国科学院大学，北京10009
为了解决点云处理过程中空间信息损失的问题，同时在融合过程中最大程度地提取可见光图像的纹理信息，本文提出了一种基于特征切片的激光点云与可见光图像融合车辆检测方法（FVOIRGAN-Detection）。在CrossGAN-Detection方法中加入了FVOI（Front View Based on Original Information）的点云处理思路，将点云投影到前视角度并把原始点云信息的各个维度切片为特征通道，在不降低网络性能的情况下显著提高点云信息利用效率。并且引入了相对概率的思想，采用鉴别器鉴别图像的相对真实概率替代绝对真实概率，使得融合图像提取的纹理信息更加接近真实的纹理信息。在KITTI数据集上进行检测性能实验验证结果表明，本文方法在容易、中等和困难三个类别中的AP指标分别达到97.67%、87.86%和79.03%。在光线受限的场景下，AP指标达到了88.49%，与CrossGAN-Detection方法相比提高了2.37%，提高了目标检测的性能。
点云处理 空间信息 相对概率 GAN 特征切片 车辆检测 point cloud processing spatial information relative probability GAN feature slice vehicle detection 光学 精密工程
2022, 30(12): 1478
上海交通大学机械与动力工程学院, 上海 200240
传统的船舶平直板材测量利用皮卷尺人工测量, 该方法精度低、误差大并且依赖于测量人员的经验。由于平直板切割多为大型板材, 因此接触式测量方法无法广泛应用。采用嵌入式线激光视觉传感器结合数控机床, 提出大型船舶平直板材柔性测量方法, 可以解决上述问题。由线激光视觉传感器扫描板材, 通过获取的机床的实时坐标和视觉传感器-机床相对关系标定结果, 使得到的点云数据统一在机床坐标系中, 通过改进的点云边界轮廓特征提取方法来实现对被测板边界特征的快速准确提取, 由边界轮廓点拟合直线并计算尺寸。试验表明, 该方法测量板材的尺寸误差小于0.1 mm, 重复性精度高于0.2 mm, 满足测量要求。
船舶平直板 线激光测量 柔性测量 点云处理 ship flat board line laser measurement flexible measurement point cloud processing
1 重庆理工大学电气与电子工程学院, 重庆 400054
2 电梯智能运维重庆市高校工程中心, 重庆 402260
3 光纤传感与光电检测重庆市重点实验室, 重庆 400054
传统三维(3D)点云配准过程中存在配准误差高、计算量大及耗时长等问题,针对该问题,提出了一种3D点云中关键点的配准与优化算法。在关键点选取阶段,用边缘点检测算法剔除边缘关键点,以提高关键点特征描述的全面性和重复性,降低3D点云配准误差。在3D点云配准阶段,用K-维树(KD-tree)加速的最近邻算法和迭代最近点算法剔除粗配准结果中的误配准关键点,降低配准误差,提高3D点云配准的速度与精度。实验结果表明,本算法在不同点云数据下,均能获得良好的配准结果。与传统3D点云配准算法相比,本算法的平均配准速率提高了68.725%,平均配准精度提高了49.65%。
图像处理 关键点检测 边缘检测 三维重建 点云处理 误差优化 激光与光电子学进展
2021, 58(4): 0415008
