融合改进Canny算法的点云特征规则化 下载: 1135次
1 引言
随着丰富的摄影测量数据与位置感知应用程序的结合,建筑场景的三维重建和可视化成为一个日益重要的研究问题[1]。目标物点云边界是描述物体形状的基本特征,同时也为点云快速三维重建提供重要的数据基础。目前建筑物点云特征提取的方法主要有两种:第一种是直接法,即直接使用点云提取三维特征点;第二种是间接法,即使用二维图像和相应点云相结合来提取特征点[2]。
近年来,更多学者开始研究点云的特征提取,如孙殿柱等[3]运用“R-tree”动态空间索引结构,获取采样点近邻,并以最小二乘法拟合该数据的微切平面,将近邻点向此平面投影,根据采样点与投影点连线最大夹角识别散乱点云边界特征;陈朋等[4]以采样点到其每3个相邻邻域点所构成的平面的距离平均值进行特征点的提取;韩玉川等[5]利用种子点邻域内点的边缘系数选择种子边缘点,通过搜索视角确定搜索方向进而提取闭合的点云边缘;王晓辉等[6]对点云进行区域分割,再对各分区进行局部径向基函数(RBF)曲面重构,计算各分区曲率信息,通过局部特征权值和曲率极值法对特征点进行检测。
由于二维图像拓扑关系明显,可用于提取规则化边界。相关提取方法已经比较成熟。传统提取方法有Canny检测算法[7]和Hough算法[8-9],这些方法提取速度较慢且会产生一定数量的错误检测[10],而点云数据具备更多的空间维度信息。鉴于此,通过融合两种数据类型进行点云特征的提取。如Oesau等[8]通过永久结构对点云进行垂直分割生成水平切片,之后对切片采用多尺度线性拟合提取特征线;Lin等[10]将点云在不同视角下转换成一系列灰度图像,确定二维线支撑区域,之后反投影至三维线支撑区域,进而提取直线;张志佳等[11]提出一种基于八邻域深度差(8N-DD)的点云边缘提取算法,对每个特征点沿深度方向进行垂直投影并进行栅格划分,通过深度差判断该栅格内是否存在边缘点;刘浩等[12]将三维点云转换成深度图像,然后逐点比较图像中每个采样点与邻域点的距离变化,判断其是否为边界点,但要求边界点有一定的梯度变化。闫利等[13]根据法向量得到非地面点的点云面域并将其投影至二维栅格图像,基于栅格图像计算点云面域之间的拓扑关系,最终实现建筑单体点云的提取。
针对以往算法的不足,本文综合了点云与图像的优势,提出一种结合影像和点云的规则化特征提取算法,该算法较已有算法有以下优点:1)可对不同视角下的点云投影进行不同视角下影像的规则化;2)在点云规则化过程中使用优化替代法进行灰度值赋值,提高了处理效率;3)采用改进的Canny算法对特征进行规则化提取,效果更好,弥补了传统算法中噪声多、特征线不完整、规则化程度不高等缺陷。
2 点云特征规则化提取算法
点云特征规则化提取算法的基本思路是:1)对散乱点云进行重采样等预处理,通过栅格化将点云映射成二维影像,包括对投影方向和灰度值的确定;2)对引入的噪声进行滤波去噪;3)利用改进的Canny算法进行特征规则化提取。算法流程见
2.1 点云二维影像构建
地面三维激光扫描系统采集到的点云是杂乱无章的,因此先将点云数据进行规则栅格化。点云栅格化一般是利用内插算法[14-15],但是这种方法易受内插函数的影响。针对此,采用二维栅格覆盖法,即将扫描区域用边长固定的小方格均匀分割,使扫描点分布在不同网格内[16-17],网格大小设定为小于等于采样点的平均间距,即扫描仪扫描距离分辨率。计算各采样点的距离信息作为其投影到二维图像的灰度值
灰度值的计算公式为
式中:
对于
式中:[·]表示取整;
将每一个采样点分配到各栅格,则采样点对应栅格的位置
式中:
当点属于第一行或第一列的时候可能存在取零的情况,为避免信息缺失,将其赋值为1。
2.1.1 投影方向的确定
只对扫描仪扫描方向进行投影会丢失其他信息,所以提出多视角栅格投影。将给定两相交平面形成的折边面沿着相交线方向投影到平面,这时会在投影面形成“V”形。其中投影方向可根据投影点的密集程度确定,
式中:dist(
2.1.2 栅格灰度值的确定
二维图像每一个像素点只能有一个灰度值与之对应,但栅格化后,可能存在某一栅格内多点或者点缺失的情况。为最大限度地保留原始数据信息,对这两种情况进行分析。
1) 栅格内多点情况
针对栅格内出现两个及以上点的情况,对栅格内点灰度值进行平均化[9]或加权平均化,如
对于任意
式中:
考虑到点距离栅格中心的不同情况,根据栅格内点到栅格中心进行反距离加权,此时灰度值可表示为
式中:
下面对两种情况下的灰度值
式中:
通过上述分析可知:
(1) 假设一个平面栅格内的两点如
式中:
(2) 由于将点投影到
式中:Δ
因为点
(3)依据(8)式,可得
2) 栅格内无点情况
由于选取栅格间距或扫描时存在噪声等原因,可能会出现某些栅格内没有采样点的情况,对此,采用八邻域平均插值法赋予其灰度值。
式中:
2.2 特征规则化提取
由上述栅格化步骤将三维点云映射为二维影像,会产生图像噪声,主要是脉冲型噪声、高斯噪声,所以要先对图像进行去噪。本研究采用一种非线性滤波器中值滤波器[18]对其进行去噪。该方法的优点是可以克服线性滤波器带来的图像细节模糊。然后采用改进Canny算法进行规则化提取,改进Canny算法具体的提取步骤如下。
1) 形态学滤波。采用两个不同尺度结构元素(十字形和菱形)对图像进行开闭滤波[19]:
对图像进行开闭波计算,即
式中:
2) 梯度幅值和方向计算。借鉴Sobel算子的思想,采用3*3卷积核对图像进行边缘卷积,卷积核为
式中:
式中:
3) 非极大值抑制。将像素的八邻域根据像素梯度方向分成8份,4部分。如0°<
4)双阈值算法检测。根据双阈值从候选边缘点中寻找最终的边缘点,因此高低阈值设定会直接影响边缘检测效果。文中通过梯度幅值的直方图自适应地计算出梯度图像分割阈值。
3 实验及分析
为了验证本文算法的有效性和可行性,使用徕卡ScanStation P30/P40型号的三维激光扫描仪获取某广场地标雕塑的点云数据,导入Cloud Compare中的效果图如
利用(1)式将采样点进行灰度归一化处理,并将灰度值赋值给相应的栅格形成影像。在此基础上,分别采用本文算法、传统Canny算法和8N-DD算法对雕塑进行规则化提取,并将三者进行比较分析,其中
图 6. 不同算法对雕塑规则化效果对比图。(a)原始点云;(b)本文算法;(c)传统Canny算法;(d) 8N-DD算法
Fig. 6. Comparison of different algorithms for sculptural regularization. (a) Original point cloud; (b) proposed algorithm; (c) traditional Canny algorithm; (d) 8N-DD algorithm
从
表 1. 图6雕塑模型特征规则化情况和运行时间比较
Table 1. Comparison of feature regularization and running time of sculpture model in Fig. 6
|
4 实例分析
为了验证本文算法的优越性,使用多组目标点云进行对比实验。
1)直线特征规则化提取。截取一部分教室窗户(场景一),在最佳投影方向,对其进行特征规则化提取,
图 7. 不同算法对窗户规则化提取效果对比图。(a)原始点云;(b)本文算法;(c)传统Canny算法;(d) 8N-DD算法
Fig. 7. Comparison of different algorithms for window regularization. (a) Original point cloud; (b) proposed algorithm; (c) traditional Canny algorithm; (d) 8N-DD algorithm
由
2)曲线特征规则化提取。
图 8. 不同算法对立柱规则化提取效果对比图。(a)原始点云;(b)本文算法;(c)传统Canny算法;(d) 8N-DD算法
Fig. 8. Comparison of different algorithms for column regularization. (a) Original point cloud; (b) proposed algorithm; (c) traditional Canny algorithm; (d) 8N-DD algorithm
3)复杂曲面特征规则化提取。前面两个例子是简单的点云模型,为了验证算法对于复杂曲面模型同样适用,采用龙模型进行实验(场景三),
图 9. 不同算法对龙模型规则化提取效果对比图。(a)原始点云;(b)本文算法;(c)传统Canny算法;(d) 8N-DD算法
Fig. 9. Comparison of different algorithms for dragon boundary regularization. (a) Original point cloud; (b) proposed algorithm; (c) traditional Canny algorithm; (d) 8N-DD algorithm
场景三是非规则复杂曲面,由
在这三种场景中,本文算法和8N-DD算法对规则化线性边界的提取效果较好,但是8N-DD算法对于含复杂曲面场景的提取效果较差,会出现特征缺失情况。虽然传统Canny算法能较好地提取场景边界但是存在噪声较多的问题,导致提取不精确。而本文算法可以克服以上缺点,在保证提取精度的同时达到速度最优化。
5 结论
提出了融合改进Canny算法的特征规则化提取算法。基于点云和影像在特征规则化提取方面的相关优势,通过改进栅格化方法进行灰度赋值,并对散乱点云进行规则化投影。对得到的影像进行特征提取时使用3×3卷积核和形态学滤波等方法使边界提取更加准确。将本文算法和传统Canny算法、8N-DD算法进行对比分析,实验结果表明,本文算法提取有效特征的占比为94%,优于其他两种方法,且从效果图可知,本文算法对规则的场景边界和复杂的场景边界的规则化程度较高,这为点云的目标识别和重建提供了新思路,同时为点云和图像的配准等进一步的研究作铺垫。
[2] 倪欢, 张继贤, 林祥国. 三维点云边缘检测和直线段提取进展与展望[J]. 测绘通报, 2016( 7): 1- 4.
NiH, Zhang JX, Lin XG. Edge detection and straight line segment extraction from 3D-point clouds: review and prospect[J]. Bulletin of Surveying and Mapping, 2016( 7): 1- 4.
[3] 孙殿柱, 范志先, 李延瑞. 散乱数据点云边界特征自动提取算法[J]. 华中科技大学学报(自然科学版), 2008, 36(8): 82-84.
Sun D Z, Fan Z X, Li Y R. Automatic extraction of boundary characteristic from scatter data[J]. Journal of Huazhong University of Science and Technology(Natural Science Edition), 2008, 36(8): 82-84.
[4] 陈朋, 谭晔汶, 李亮. 地面三维激光扫描建筑物点云特征线提取[J]. 激光杂志, 2016, 37(3): 9-11.
Chen P, Tan Y W, Li L. Extraction of building's feature lines based on 3-D terrestrial laser scanning[J]. Laser Journal, 2016, 37(3): 9-11.
[5] 韩玉川, 侯贺, 白云瑞, 等. 一种基于边缘系数的闭合点云边缘提取算法[J]. 激光与光电子学进展, 2018, 55(11): 111003.
[6] 王晓辉, 吴禄慎, 陈华伟, 等. 基于区域聚类分割的点云特征线提取[J]. 光学学报, 2018, 38(11): 1110001.
[7] WangY, EwertD, SchilbergD, et al. Edge extraction by merging 3D point cloud and 2D image data[C]∥2013 10th International Conference and Expo on Emerging Technologies for a Smarter World (CEWIT), October 21-22, 2013, Melville, NY, USA. New York: IEEE, 2013: 14041978.
[8] Oesau S, Lafarge F, Alliez P. Indoor scene reconstruction using feature sensitive primitive extraction and graph-cut[J]. ISPRS Journal of Photogrammetry and Remote Sensing, 2014, 90: 68-82.
[9] 张帆, 高云龙, 黄先锋, 等. 基于球面投影的单站地面激光点云直线段提取方法[J]. 测绘学报, 2015, 44(6): 655-662.
Zhang F, Gao Y L, Huang X F, et al. Spherical projection based straight line segment extraction for single station terrestrial laser point cloud[J]. Acta Geodaetica et Cartographica Sinica, 2015, 44(6): 655-662.
[10] Lin Y B, Wang C, Cheng J, et al. Line segment extraction for large scale unorganized point clouds[J]. ISPRS Journal of Photogrammetry and Remote Sensing, 2015, 102: 172-183.
[11] 张志佳, 魏信, 周自强, 等. 一种基于八邻域深度差的点云边缘提取算法[J]. 仪器仪表学报, 2017, 38(8): 2015-2021.
Zhang Z J, Wei X, Zhou Z Q, et al. 8N-DD-based point cloud edge extraction algorithm[J]. Chinese Journal of Scientific Instrument, 2017, 38(8): 2015-2021.
[12] 刘浩, 李冬, 于振国, 等. 基于深度图像的点云边界点提取[J]. 水利与建筑工程学报, 2013, 11(3): 156-158.
Liu H, Li D, Yu Z G, et al. Boundary point extraction of point cloud based on range image[J]. Journal of Water Resources and Architectural Engineering, 2013, 11(3): 156-158.
[13] 闫利, 魏峰. 利用密集匹配点云的建筑单体提取算法研究[J]. 中国激光, 2018, 45(7): 0710004.
[14] 何丽, 李嘉, 郑德华. 基于栅格的点云数据的边界探测方法[J]. 测绘工程, 2013, 22(3): 69-73.
He L, Li J, Zheng D H. Boundary detection of point cloud data based on grid[J]. Engineering of Surveying and Mapping, 2013, 22(3): 69-73.
[15] 唐咸远, 周国恩, 梁鑫. 基于数字图像处理技术的LiDAR数据建筑物提取[J]. 四川建筑科学研究, 2010, 36(3): 335-337.
Tang X Y, Zhou G E, Liang X. Building extraction from LiDAR data based on digital image processing[J]. Sichuan Building Science, 2010, 36(3): 335-337.
[16] 卢秀山, 黄磊. 基于激光扫描数据的建筑物信息格网化提取方法[J]. 武汉大学学报(信息科学版), 2007, 32(10): 852-855.
Lu X S, Huang L. Grid method on building information extraction using laser scanning data[J]. Geomatics and Information Science of Wuhan University, 2007, 32(10): 852-855.
[17] 周春艳, 罗敏, 邹峥嵘. 数字图像辅助激光点云特征提取[J]. 微计算机信息, 2011, 27(10): 140-141, 131.
Zhou C Y, Luo M, Zou Z R. Digital image assisted point cloud feature extraction[J]. Microcomputer Information, 2011, 27(10): 140-141, 131.
[18] 杨长强, 叶泽田, 卢秀山, 等. 车载激光点云数据的栅格化处理[J]. 测绘科学, 2009, 34(5): 23-24, 20.
Yang C Q, Ye Z T, Lu X S, et al. Transforming vehicle-borne laser point cloud to grid point cloud[J]. Science of Surveying and Mapping, 2009, 34(5): 23-24, 20.
[19] 王佐成, 刘晓冬, 薛丽霞. Canny算子边缘检测的一种改进方法[J]. 计算机工程与应用, 2010, 46(34): 202-204, 248.
Wang Z C, Liu X D, Xue L X. Improved method of Canny operator edge detection[J]. Computer Engineering and Applications, 2010, 46(34): 202-204, 248.
[20] 孙智鹏, 邵仙鹤, 王翥, 等. 改进的自适应Canny边缘检测算法[J]. 电测与仪表, 2016, 53(6): 17-21.
Sun Z P, Shao X H, Wang Z, et al. The improved adaptive Canny edge detection algorithm[J]. Electrical Measurement & Instrumentation, 2016, 53(6): 17-21.
Article Outline
袁俏俏, 章光, 陈西江, 徐卫青. 融合改进Canny算法的点云特征规则化[J]. 激光与光电子学进展, 2019, 56(16): 162801. Qiaoqiao Yuan, Guang Zhang, Xijiang Chen, Weiqing Xu. Regularization of Point Cloud Features by Fusing Improved Canny Algorithm[J]. Laser & Optoelectronics Progress, 2019, 56(16): 162801.