南京航空航天大学电子信息工程学院，江苏 南京 211106
随着传感器技术的不断发展，三维点云被广泛应用于自动驾驶、机器人、遥感、文物修复、增强现实、虚拟现实等领域的视觉任务中。然而，直接应用收集到的海量原始点云数据得到的效果不佳，因此，基于深度学习的点云处理方法受到了越来越多的关注和研究。本文综述了近6年来基于深度学习的三维点云处理方法的研究进展。首先给出了三维点云的基本概念和获取方式，简述了4种点云处理任务；然后针对点云去噪和滤波、点云压缩、点云超分辨率以及点云修复-补全-重建任务，重点阐述了相应的深度学习方法的原理，并分析了其优缺点；随后介绍了22种点云数据集和4类评价指标，同时给出了性能对比结果；最后探讨了点云处理方法目前存在的问题，并对未来的研究趋势进行了展望。
深度学习 三维点云处理 点云去噪 点云压缩 点云修复
1 中国计量大学机电工程学院，浙江 杭州 310018
2 浙江大学控制科学与工程学院，浙江 杭州 310027
3 浙江新再灵科技股份有限公司，浙江 杭州 310051
激光扫描仪等设备直接收集到的原始点云通常会受到噪声的影响，这会影响后续的处理，如三维重建、语义分割等，因此点云去噪算法尤为重要。现有的点云去噪网络大多以噪声点与干净点的距离作为目标函数进行迭代训练，这可能导致点云聚集与异常值。针对以上问题，提出一种基于多尺度点云分布分数（即点云对数概率函数的梯度）的新型去噪网络multiscale score point（MSPoint）。MSPoint网络主要由两部分组成：特征提取模块和位移预测模块。在特征提取模块中输入点云的邻域，通过对数据添加多尺度噪声扰动加强MSPoint的抗噪性能，使提取到的特征具有更强的表达能力。位移预测模块根据分数估计单元预测的分数迭代学习噪声点的位移。在公开数据集上的实验结果表明，相比现有的方法，MSPoint有着更好的去噪效果以及更强的鲁棒性。
机器视觉 点云去噪 深度学习 点云分布 多尺度扰动 激光与光电子学进展
2023, 60(16): 1615002
1 同济大学 测绘与地理信息学院，上海200092
2 上海市航天测绘遥感与空间探测重点实验室，上海0009
3 上海海洋大学 海洋科学学院，上海20106
ICESat-2（Ice， Cloud and Land Elevation Satellite-2）是世界首颗采用光子计数模式的激光测高卫星，可快速获得高精度、大尺度地面三维数据。光子探测机制使得数据中除了地面信号外，还包含大气散射等背景信号，需要通过滤波才能获得地形等信息。为分析ICESat-2背景和信号光子的分布特点及点云滤波算法的效果和适用性，本文首先选取了六种地表覆盖类型（城市、海冰、沙漠、植被、海洋及冰盖/冰川）及不同观测条件的数据，对其背景光子率进行统计分析。分析结果表明：白天观测数据的背景光子率平均为106（点/秒）数量级，远高于夜晚观测数据的背景光子率——104（点/秒）数量级，弱波束的背景光子率与强波束背景光子率相当，六种地表覆盖类型中，冰盖/冰川的背景光子率最高。然后，根据统计结果筛选出21组测高数据，并选取七种具有代表性的点云滤波对其进行去噪实验，分析精度后得出结论：改进局部密度法的去噪效果最佳，算法召回率、精准度和F值均大于0.90，算法较为稳定。最后，对所选取各滤波算法的精度、特点与适用性等性质进行了总结与分析，可为后续该数据的使用和滤波算法的选择提供参考。
ICESat-2 激光测高 光子计数激光雷达 点云去噪 背景光子率 ICESat-2 laser altimetry photon counting LiDAR photon denoising background rate
1 黄河水利职业技术学院电气工程学院，河南 开封 475004
2 漯河技师学院校企合作办，河南 漯河 462000
为了提高激光雷达点云去噪效果，提出不同尺度算法。首先采用均值法删除激光雷达点云数据的重复点；其次对噪声点进行判断；再次对偏离主体点云较远的大尺度噪声动态设置距离阈值，初始时设置较小的距离进行噪声点的大范围删除，再逐渐增加距离值，小范围删除噪声点；最后采用改进双边滤波算法处理与主体点云混在一起的小尺度噪声点，使数据点向法向方向聚集，不断调整采样点的位置及坐标，移动采样点的位置至修正后的位置，从而达到光顺去噪。实验显示，所提算法能够保持扫描目标点云数据的整体与局部特征，信噪比指标均值为17.56 dB，均方根误差指标均值为0.34，平滑度指标均值为0.21，优于其他算法。
激光雷达 点云去噪 大尺度 小尺度 lidar point cloud denoising large scale small scale
在进行建筑景观重建时，为防止周围环境、信号干扰等原因产生点云噪声，提出基于3D激光打印的建筑景观可视化视觉艺术重建方法。利用Kinect获取物体表面点云数据，并做多视角对齐和点云去噪处理，使模型数据更加精准。利用迭代最近点算法对数据进行点云配准与融合，通过数据的预处理，使点云数据融合为表面光滑、无孔洞模型，根据建筑景观的三维模型，使用3D激光打印机打印技术的可视化系统实现模型的视觉艺术展现。模拟试验结果表明，所设计的建筑景观重建误差率在10%以下，重建数据平滑值保持在0.9左右，满足了建筑景观视觉艺术重构的要求。
3D激光打印 艺术重建 ICP算法 点云数据 点云去噪 3D laser printing art reconstruction ICP algorithm point cloud data point cloud denoising
1 中国科学院国家空间科学中心, 北京 100190
2 中国科学院大学, 北京 100049
飞行时间(Time-of-Flight, ToF)三维成像方法由于多路径干扰和混合像素等问题降低了目标物体深度测量的精度。传统的方法通过优化重构异常点云数据或滤除噪声点云数据来提高目标的准确性, 但是这些方法复杂度高且容易导致过度平滑。三维点云图像中的有效点云与噪声点云之间的关系很难用数学模型来表示。针对上述问题, 本文提出了一种基于置信度的飞行时间点云去噪方法。首先, 分析多帧点云数据的概率相关性, 以点云数据的置信度作为判别有效点云与噪声点云的依据; 其次, 利用多帧点云之间的矢量对偶性, 提出了一种快速提取不同置信度点云的算法, 其时间复杂度为O(L); 最后使用该算法提取多帧三维图像中置信度高的点云数据获得目标物体的真实测量数据, 并重点对4组不同场景的点云数据进行对比实验。实验结果表明, 该算法能够在有效滤除噪声的同时, 显著提高目标物体的距离测量精度, 增强目标物体的特征, 因此具有广泛的应用价值。
飞行时间 点云去噪 置信度 ToF, point cloud denoising, confidence level
西北大学信息科学与技术学院，陕西 西安 710127
数字化技术在文物保护工作中的应用极大促进了文化遗产领域的快速发展。三维激光扫描设备获得的文物点云数据不可避免包含大量噪声，直接影响点云数据的后续处理。为有效去除无序点云中的噪声点，较好恢复点云数据，基于无监督网络提出了一种新型点云去噪算法。首先通过上层网络分类并去除离群点；然后通过引入空间先验项引导待去噪点云中数据点收敛到流形上多模式中最接近真实点云的最优模式，从去除离群噪声点的点云数据中得到干净点云的分布，实现无监督精细点云去噪；最后通过计算去噪后点云间的chamfer distance来进行定量评价。与一些经典算法的对比分析实验结果表明，所提算法在去噪的同时，能有效保持点云模型的几何特征，对文物点云数据的去噪效果良好，去噪后的点云模型极大程度复原了原始干净点云模型，这对文物数字化保护的后续环节至关重要。
机器视觉 点云去噪 神经网络 无监督 chamfer distance 激光与光电子学进展
2022, 59(12): 1215014
西安理工大学机械与精密仪器工程学院，陕西 西安 710048
精确高效获得可移动文物的三维数字档案及外形参数对于可移动文物的保护与研究有重要意义。在多视图几何三维重建中，针对匹配点占比对重建精度与效率的影响展开研究，得出匹配点占比约为50%时可实现精确高效重建，该结论可有效指导基于多视图几何三维重建的图像序列的采集。针对重建产生的噪声，在HSV颜色特征空间中滤除点云噪声，利用基于标准差阈值的检测算法去除离群点，有效提高了三维重建的精度和视觉效果。在三维重建后，采用有向包围盒算法计算可移动文物外形参数，采用基于点云疏密程度的加权主成分分析法（PCA）计算包围盒的主方向。采用所提方法测量的仿元代瓷制花瓶，外形参数的重复性标准差小于0.15 mm，最大测量误差小于0.25 mm，高于可移动文物保护与研究中对外形参数的测量要求。
测量 运动恢复结构 精确高效三维重建 点云去噪 有向包围盒 激光与光电子学进展
2022, 59(12): 1212001
