基于语义分割的城区激光点云与光学影像配准

基于点云数据与光学遥感影像的协同应用在遥感领域获得广泛关注，为了对两种数据进行精确的配准以更好地融合两者优势，提出了一种城市场景下点云与光学遥感影像的自动配准方法。首先，由点云数据生成深度影像，即3D数据转换为2D影像；然后，运用Unet模型对深度影像和光学遥感影像分别进行训练并分割得到建筑面；再基于建筑面轮廓点集构建建筑最小外接矩形，将矩形长宽比作为寻找同名点的约束条件；接着，利用相似三角形原理寻找矩形中心同名点；最后，同名点坐标代入变换模型计算模型参数，完成配准。实验结果表明该方法对于运用传统点特征方法匹配困难的情况可实现较好的配准效果，且对图像平移、旋转、缩放均具有可抗性。

Abstract

The collaborative application of point cloud data and optical remote sensing image has been widely concerned in the field of remote sensing. In order to accurately register two kind of data and better integrate their advantages， an automatic registration method of point cloud and optical remote sensing image in urban scene is proposed. Firstly， the depth image is generated from point cloud data， that is， 3D data is converted into 2D image. Secondly， the Unet model is used to train the depth image and the optical remote sensing image respectively and get building segmentations. Thirdly， the minimum circumscribed rectangles of buildings are constructed based on the contour set of building segmentation， and the length-width ratio of rectangle is taken as the constraint condition to find Corresponding Points（CPs）. Then， we use the similar triangle principle to find CPs of the rectangle’s center point. Finally， the coordinate of the CPs are substituted into the transformation model to calculate the model parameters， thus the registration is achieved. The experimental results show that the proposed method can achieve better registration effect when it is difficult to match with traditional point feature method， and it is resistant to image translation， rotation and scaling.

0 引言

图像配准是图像分析中一项重要的预处理技术 ［ 1 ］ ，是激光雷达（Light Detection And Ranging， LiDAR）点云和光学遥感影像融合的必要前提条件。通过配准将两种数据变换至同一坐标系下，结合空间信息和语义信息以充分发挥激光雷达和光学影像的优势，弥补单一数据源的局限性。该技术广泛应用于灾害评估、三维城市建模、农业和林业等领域，有助于改善社会经济效益。

特征点配准是图像配准领域较为成熟的方法，即便在点云数据与遥感光学影像配准领域亦有所应用。特征点匹配方法主要利用邻域内像素差异性来寻找同名点，常用的特征算子包括：Moravec算子、Forstner算子、Harris算子和尺度不变特征变换算子（Scale Invariant Feature Transform， SIFT） ［ 2 ］ 等。然而，在异源影像间尺度差异较大，噪声干扰多，纹理差异大或影像间灰度值存在非线性差异的情况下，此类算法不具备实用性。

综上可见，在基于特征配准的算法中，建筑物在激光点云与遥感光学影像中呈现面积大、结构相对稳定、几何特征易提取的特点，因此其多作为寻找特征的基础，另鉴于特征在纹理弱和重复度较高的场景中误配率高，所以本文进行如下设计和改进：1）运用深度学习思想，对点云数据生成的深度影像和航空影像分别进行训练，分割得到建筑面。该方法与传统分割方法相比有效提高了准确度。2） 由分割得到的建筑面生成最小外接矩形，将矩形长宽比作为约束条件，提高了利用相似三角形匹配稀疏点集方法的效率。

1 本文算法基本框架

卷积神经网络作为目前最为高效的图像分割手段之一得到深入研究和广泛应用，通过对图像的卷积操作自主学习特征信息，提取的特征更全面，分割结果更准确。鉴于此，本文提出一种新的LiDAR点云和光学遥感影像的自动配准方法，如 图1 所示，该方法包括5个步骤：

图 1.

Fig. 1. Flow diagram

下载图片查看所有图片

1） 生成深度影像。利用点云数据的高程信息生成深度影像，深度影像的每个像素点灰度值表示场景中某一点距离摄像机的远近，反应了地物表面的几何形状和高度。

2） 分割建筑面。将影像与标签输入卷积神经网络，进行语义分割的训练，得到相应网络权重，即可对深度影像和遥感光学影像进行建筑面的分割提取。

3） 构建最小外接矩形。由分割结果可得到建筑面轮廓，再生成最小外接矩形，具体方法见1.2节。

4） 寻找同名点。基于最小外接矩形的长宽比约束，运用相似三角形原理寻找同名矩形中心点，亦作为建筑中心点。

5） 变换模型参数估计。LiDAR点云与光学遥感影像间的3D-2D问题转换为深度影像与光学遥感影像间的2D-2D，将仿射变换作为映射转换模型。将4）中得到的同名点代入，通过最小二乘法得到变换模型参数。

1.1 基于深度学习的LiDAR和光学遥感图像语义分割方法

深度图像和光学影像的图像特征复杂且多样，对其进行图像分割具有一定难度。另外，传统的图像分割多是基于阈值和聚类的方法，对于异源图像，采取的分割方法则不可一概而论，需结合多样化的特征，如纹理、分布、像素值等信息，拟定针对性的算法从而得到最佳分割效果。而深度学习方法可以避免高难度的算法设计，其端到端的模式和强大的计算能力可自动学习图像特征具有泛化性，并实现快速分割。对于不同类型的影像数据，网络结构固定，网络权重根据训练数据自动分配。因此，本文结合深度学习思想，训练二分类的网络模型，对图像中的每一个像素判别类型，从而实现建筑物面特征的提取。

本文选择Unet ［ 12 ］ 作为分割网络，利用Unet的深层特征进行定位，浅层特征用于精确分割。Unet结构简明，左右对称，如 图2 所示，左边为编码部分，右边为解码部分。

图 2.

Fig. 2. Construction of Unet

下载图片查看所有图片

编码部分即下采样，作用是提取不同分辨率的特征映射，由一系列“卷积+池化”操作实现。在 图2 中Conv_BN表示卷积后设置批量归一化层（Batch Normalization， BN），以加快网络收敛速度的同时避免过拟合。线性整流函数（Rectified Linear Unit， ReLU）作为激活函数连接在Conv_BN后。经过编码部分的下采样后，特征映射分辨率为输入图像的1/16，则相应地，解码部分通过上采样将抽象的特征映射再还原解码至输入图像尺寸，从而恢复图像信息。

上采样由一系列“反卷积+拼接+卷积”操作实现。反卷积用于提高特征映射分辨率，拼接是将反卷积结果与编码部分中相同分辨率的特征映射在维度上叠加，融合多尺度特征信息，有助于还原下采样所带来的信息损失。网络末端采用1\times1卷积核，将特征维度压缩到一维，该特征映射表示像素属于“建筑物”的得分，最后经过sigmoid激活函数 式（1） ，将值域转换到［0，1］之间，如果大于0.5，则认为属于“建筑物”类别，否则属于“背景”类别。损失函数用于评估模型的预测值与真实值的不一致程度，指导模型学习。本文选择二分类交叉熵作为损失函数，如 式（2） 。 图3 中展示了深度影像和光学影像的分割效果。

\hat{y} = \frac{1}{1 + e^{- s}}

L = - [y \cdot l o g_{2} (\hat{y}) + (1 - y) \cdot l o g_{2} (1 - \hat{y})]

图 3.

Fig. 3. The segmentation results of UNET model for different kind image

下载图片查看所有图片

1.2 建筑物稀疏点匹配

由于点云图像与光学影像成像原理不同，对于这两种图像使用传统特征点检测方法存在相当大的困难。另外，对于同一地区获取的数据，尤其是摄影姿势近垂直时，可将三维与二维的配准转化为二维与二维之间的仿射变换。因此，本文提出结合建筑物面特征和相似三角形原理的点集匹配方法，寻找建筑物的最小外接矩形的中心点作为同名点，然后借助仿射变换模型实现图像配准，见 图4 。

图 4.

Fig. 4. The outline of buildings(blue) and the minimum enclosing rectangle(red) from the segmentation result

下载图片查看所有图片

1）最小外接矩形

对于不同类型影像分别进行Unet模型训练，得到的建筑分割结果边缘不同，又因为网络模型的分割精度不能达到100%，导致建筑中心点有所偏移，因此本文对分割得到的建筑构建最小外接矩形框，将矩形中心点作为特征点，有助于后续配准。

构造建筑面最小外接矩形过程为：首先，寻找轮廓。利用边界跟踪算法 ［ 13 ］ 对二值图像进行拓扑分析，区分二值图像边界之间的包围关系，在此基础上改进，只追踪外轮廓，并为每个边界产生一个标记，从而得到建筑物轮廓点集；然后，生成凸包。运用Sklansky提出的算法思想 ［ 14 ］ 找出每个建筑物轮廓点集的凸包，即对于给定平面中的一些点，找出一个最小点集连成一个凸多边形，使得这若干个点皆在此多边形内或此多边形上，以此构成每个建筑物轮廓点集的凸包；最后，求最小外接矩形。因为最小外接矩形的一条边必然与凸包的其中一条边共线，所以只需要枚举多边形的边，做外接矩形，比较选择面积最小的矩形即可。

2）相似三角形匹配

利用相似三角形来匹配稀疏点集的算法指通过分别对两个列表中的任意三个点建立三角形关系，来实现点对匹配，该方法速度较慢并且准确率有待提高。假设两个列表中各有和个点，则每个列表中生成的三角形数目为和对两个列表中的三角形进行遍历，利用相似三角形对应内角相等的原理寻找对相似三角形从而确定匹配点对。在所有可能的相似三角形中，将匹配次数最多的点对作为同名特征点。

3）长宽比约束

由于相似三角形匹配方法效率较低，建筑形状不规则，因此将建筑外接矩形的长宽比作为同名点匹配的约束条件，为深度影像中的建筑中心点集在光学影像中的寻找候选配准建筑中心点集，表示点候选配准点的数量。即假设深度影像中有个建筑物，光学影像中有个建筑物，当满足条件 式（3） 时，将矩形框的中心坐标加入到点集中，由此构建的候选匹配点。

|\frac{h_{i}}{w_{i}} - \frac{h_{j}}{w_{j}}| < Z i \in [1, m_{1}], j \in [1, m_{2}]

式中， h 、 w 分别为矩形框的长和宽； Z 为设定的阈值，本文中 Z =0.17 。

初始同名点匹配关系为“一对多”，接着，利用相似三角形属性，即对应内角相等的原理筛选同名点配对。从中随机取三点构成三角形，计算内角，即

\{\begin{matrix} a = \sqrt[]{(x_{2} - x_{3})^{2} + (y_{2} - y_{3})^{2}} \\ b = \sqrt[]{(x_{1} - x_{3})^{2} + (y_{1} - y_{3})^{2}} \\ c = \sqrt[]{(x_{2} - x_{1})^{2} + (y_{2} - y_{1})^{2}} \\ θ_{1} = \frac{180}{π} \cdot a r c c o s \frac{a^{2} - b^{2} - c^{2}}{- 2 b c} \\ θ_{2} = \frac{180}{π} \cdot a r c c o s \frac{b^{2} - a^{2} - c^{2}}{- 2 a c} \\ θ_{3} = \frac{180}{π} \cdot a r c c o s \frac{c^{2} - b^{2} - a^{2}}{- 2 a b} \end{matrix}

然后遍历所构建的三角形，筛选的同名点。从候选配准点集中各取一点构建三角形，同理计算内角。当满足 式（5） 时，则说明点和点匹配，将他们分别添加至当前迭代的输出和中。

\{\begin{matrix} |θ_{1} - φ_{1}| < T \\ |θ_{2} - φ_{2}| < T \\ |θ_{3} - φ_{3}| < T \end{matrix} T = 3

从中循环取点，最终，匹配结果和中仍可能存在“一对多”情况即，因此再重复迭代，直至，则同名点匹配结束。筛选同名点流程如 图5 所示。

图 5.

Fig. 5. Find the pairs of matched points

下载图片查看所有图片

1.3 配准变换模型

配准的基本原理是将不同数据通过数学模型变换，实现空间坐标的统一。本文采用的空间变换模型为仿射变换模型，如 式（6） 。

\{\begin{matrix} x^{'} = a_{0} + a_{1} x + a_{2} y \\ y^{'} = b_{0} + b_{1} x + b_{2} y \end{matrix}

式中，是仿射变换中待求解的参数，分别为深度影像和航空影像中的像素点坐标。代入同名点对和，利用最小二乘原理求解仿射模型参数，实现异源图像配准。

2 实验与分析

2.1 数据集

实验数据ISPRS-CommissionⅢWorkingGroupⅢ/4为官方提供的公开数据 ［ 15 ］ ，测区为德国的Vaihingen（法伊英根）。点云数据由10个条带点云构成，平均条带重叠率30%，点云密度为4，飞行高度500 m。遥感光学影像数据类型为彩色红外图像，分辨率为0.08 m，飞行高度900 m。数据采集区域为城市地区，包含各种建筑类型，以及树木，河流等对象。

本文采用规则网格 ［ 16 ］ 组织点云数据，网格的宽度根据平均点距确定，利用其地表（包括地面对象）高程信息生成对应的深度影像。尽管网格化后的二维图像中会造成部分信息缺失或冗余，甚至改变数据的边沿结构，但因为激光点云的数据量很大，而数据网格化处理速度的提升是迫切需要的，因此引入的不利影响可忽略不计。对数据点进行遍历得到高程信息最值和，根据 式（7） 计算得到深度影像灰度值 ［ 17 ］ 。

G_{i} = \frac{z_{i} - z_{m i n}}{z_{m a x} - z_{m i n}} \times 255

深度影像像素值与高程值成正比关系，地物越高，其在深度影像上显示越“亮”，如 图6 所示。从深度影像上能够比较直观地分辨出建筑物、道路、河流等地物，也可一定程度上判断地势变化。实验中截取50张512\times512的建筑稀疏区域的深度影像进行语义标注，标签类型为建筑物和背景。数据集中另外包含了33张不同分辨率的遥感光学影像及对应的语义分割标签数据。在训练中采用数据增强，对输入图像进行平移、旋转、缩放以扩充数据，并且有助于在配准中对于图像变换具有更好的可抗性。

图 6.

Fig. 6. The depth image

下载图片查看所有图片

2.2 实验仿真

2.2.1 传统分割方法与基于Unet网络的分割方法比较

传统分割方法通常可分为阈值法、聚类法、区域增长、边缘检测、神经元网络等。本文选择一种常用阈值法——最大熵阈值法作为比较方法之一，最大熵阈值分割法就是找出一个最佳阈值使得背景与前景两个部分熵之和最大。鉴于建筑形状不一，部分屋顶的颜色与街道或周围区域相似，难以确定固定的类别数目，因此选择Meanshift聚类法作为另一种比较方法。Meanshift聚类是一种基于密度的非参数聚类算法，不需要任何先验类数。然后对Meanshift聚类结果灰度化之后的影像进行自适应阈值分割得到最终结果。

本文对同样的两组光学遥感影像与深度影像进行分割实验，结果如图 7 ~ 10 。

图 7.

Fig. 7. The first comparative experiment of optical image segmentation results between traditional segmentation method and deep learning method

下载图片查看所有图片

图 8.

Fig. 8. The second comparative experiment of optical image segmentation results between traditional segmentation method and deep learning method

下载图片查看所有图片

图 9.

Fig. 9. The first group of comparative experiments of point cloud segmentation results between traditional segmentation method and deep learning method

下载图片查看所有图片

图 10.

Fig. 10. The second group of comparative experiments of point cloud segmentation results between traditional segmentation method and deep learning method

下载图片查看所有图片

通过观察可发现，深度影像的聚类结果中，高度较低的建筑部分易与背景地面融合为同一像素类别，从而导致分割结果中缺失一部分建筑，遗漏信息。而对于光学遥感影像，传统分割方法则很难分离建筑与背景。原因归纳为以下三点：1）建筑物之间像素值差异较大，在聚类结果中并不统一；2）在灰度图中部分建筑类灰度值与背景灰度值无明显区分性；3）光学遥感影像中存在建筑背光面，此类情况易与背景混淆。由此可见，基于深度学习的分割方法相对于传统方法在图像分割领域具有明显优势，其算法基于所有图集而非单张图像，且先验信息即标签明确，在特征判定上具有更高的准确度。

为更好地分析分割效果，本文运用如下指标对分割结果进行定量分析 ［ 18 - 19 ］ ：检测率，漏检率和准确度。用于衡量被检测到的建筑物确实是真实建筑物的比例；用来衡量该方法对于建筑物的漏检程度；是一个综合考虑了正确性和完整性指标。这些指标的计算公式为

S_{D R} = \frac{N_{T P}}{N_{T P} + N_{F P}} \times 100 %

S_{F N R} = \frac{N_{F P}}{N_{T P} + N_{F P}} \times 100 %

S_{A C C} = \frac{N_{T P}}{N_{T P} + N_{F P} + N_{F N}} \times 100 %

式中，为正确分类的“建筑物”像素；为被错分为“背景”的“建筑物”像素；为被错分为“建筑物”的“背景”像素。 表1 具体显示了对于光学影像和深度影像运用不同分割方法的定量比较，可知Unet网络分割准确性无论是对光学影像还是对深度影像均明显优于Meanshift聚类和最大熵阈值分割法，漏检程度相对较低。而漏检像素主要分布在建筑边缘，由于矩形框的约束，该误差暂可不计。

表 1. 分割指标数据

Table 1. Segmentation index data

Data	Segment method	$S_{D R}$	$S_{F N R}$	$S_{A C C}$
The first optical image	Unet	94.93%	11.22%	84.76%
	Meanshift clustering segmentation	85.06%	14.19%	74.58%
	Maximum entropy threshold segmentation	85.56%	8.53%	79.24%
The second optical image	Unet	99.65%	11.82%	87.91%
	Meanshift clustering segmentation	78.71%	34.17%	55.88%
	Maximum entropy threshold segmentation	80.46%	6.08%	76.48%
The first point cloud	Unet	95.67%	10.74%	86.80%
	Meanshift clustering segmentation	25.19%	49.53%	20.20%
	Maximum entropy threshold segmentation	22.29%	56.72%	17.25%
The second point cloud	Unet	99.60%	14.62%	85.08%
	Meanshift clustering segmentation	20.28%	3.91%	20.11%
	Maximum entropy threshold segmentation	22.29%	56.72%	17.25%

查看所有表

2.2.2 基于语义分割的图像配准效果与分析

本部分主要进行了三组实验仿真，第一组数据存在不同方向的相对平移；第二组数据存在相对平移和旋转偏移；第三组数据在平移和旋转的基础上设置了不同的尺度因子。每组实验种包含5种不同程度的变化以验证算法的配准效果。三组实验数据见 图11 ~ 图13 。

图 11.

Fig. 11. The first group of test data

下载图片查看所有图片

图 12.

Fig. 12. The second group of test data

下载图片查看所有图片

图 13.

Fig. 13. The third group of test data

下载图片查看所有图片

图14 为特征点匹配结果。可见，点对匹配完全准确，建筑中心点一一对应。对于不同时出现在两幅影像中的建筑面能做到有效剔除，不存在误匹配。房屋点云配准后效果如 图15 所示，能够较好地叠加在对应的航空影像上，无明显偏移。

图 14.

Fig. 14. Point matching result

下载图片查看所有图片

图 15.

Fig. 15. Registration result

下载图片查看所有图片

为验证本文配准精度，将配准后的激光雷达数据与光学遥感图像中同名点作为检查点，统计像素偏移量作为误差值，以评估算法精度 ［ 6 ， 8 ， 20 - 21 ］ 。 表2 分别给出了各检查点配准后误差最小值、最大值以及平均值。考虑到点云点的平均距离为0.5 m，航空影像的分辨率为0.08 m，那么点云的点间距相当于6~7个像素，以上三组实验的平均误差均在2~5之间，越小的误差表示配准的结果越好，所以认为误差是在合理的范围内。

表 2. 配准精度

Table 2. Registration accuracy（uint:pixel）

Data		Min error	Max error	Average error
The first group of test data	a	1.41	4.47	2.85
	b	2.23	5.38	3.05
	c	2.23	5.83	3.51
	d	1.00	3.61	2.14
	e	1.00	3.00	2.27
The second group of test data	a	2.23	6.06	4.05
	b	4.47	5.00	4.73
	c	2.00	3.60	2.88
	d	1.07	4.24	2.76
	e	1.41	5.65	3.51
The third group of test data	a	1.24	4.00	2.71
	b	2.00	2.82	2.47
	c	2.00	5.09	3.27
	d	2.23	6.08	3.98
	e	1.00	4.00	2.39

查看所有表

2.2.3 配准实验对比与分析

将三种算法与本文配准方案进行性能比较，第一种是互信息法，第二种是基于点线相似不变性的配准方法 ［ 24 ］ ，第三种是基于超点（SuperPoint） ［ 25 ］ 的配准方法。

方法一中，互信息是信息论中的一种信息度量，由于光学影像灰度图和点云深度影像存在一定的统计相似性，因此互信息也被用于光学影像与激光点云的自动配准。

方法二先用Forstner算子做粗配准，然后用传统方法检测图片中的线段，利用线段矩形邻域内正确匹配的特征点到线段之间距离作为约束条件，寻找两种数据影像中的匹配线段，从而构建更为精细化的变换矩阵，得到配准结果。

方法三是通过自监督学习方式利用卷积神经网络生成特征点和描述符，体现了深度学习综合利用图像深层信息和浅层特征的优势，在配准领域得到广泛重视。在相同匹配方式的前提下，准确提取更多稳定特征点并生成描述子是神经网络的强项，也是传统方法的弱项。该方法首先构建一个合成形状的数据集，其中包含简单的几何形状并具有明确的特征点，使用该数据集训练MagicPoint模块；对未被标注的图像进行单应变换，使用MagicPoint来检测变换后的图像，对其进行特征点标注，这种方式能够尽可能多的实现图像中特征点的检测，并且相对于传统特征点检测而言，对噪声具有更好的鲁棒性；通过MagicPoint得到的图像特征点信息训练SuperPoint网络，从而输入图像后通过一个编码器对图像进行降维，接着由两个解码器分别输出感兴趣特征点和描述符。

为了更好地比较四种配准方法，在 表3 中给出了方法二、方法三和本文方法的特征点匹配情况，对有效的配准结果手工选取分布于各建筑上的5个检查点来计算均方根误差 E ［ 21 - 23 ］ 以评价配准精度。

表 3. 方法二、三与本文方法的特征点匹配情况和四种配准方法的均方根误差

Table 3. The matching of feature points of method II, method III and our method. And the root mean square error of four registration methods

Data	Method I	Method II			Method III			Our method
Data	E	Match points	Correct match	E	Match points	Correct match	E	Match points	Correct match	E
a-1	9.83	9	2	/	4	0	/	5	5	3.16
a-2	10.21	18	2	/	7	4	4.08	4	4	3.93
a-3	8.14	20	2	/	5	0	/	3	3	3.75
a-4	10.18	25	1	/	5	1	/	5	5	2.78
a-5	15.07	18	3	2.65	5	2	/	4	4	2.38
b-1	74.79	19	0	/	6	0	/	4	4	4.55
b-2	191.55	17	0	/	5	2	/	5	5	4.74
b-3	191.28	13	0	/	6	0	/	5	5	2.95
b-4	88.64	13	0	/	6	1	/	5	5	3.34
b-5	138.46	12	0	/	4	1	/	5	5	3.51
c-1	115.18	14	1	/	4	1	/	4	4	2.94
c-2	154.13	26	0	/	6	2	/	4	4	2.49
c-3	124.37	17	0	/	6	0	/	3	3	3.42
c-4	107.55	9	0	/	7	4	4.41	4	4	4.30
c-5	149.23	13	1	/	6	0	/	4	4	2.70

查看所有表

由 表3 对比可见，方法一对于只存在平移情况的影像的配准精度尚可，而对于存在缩放及旋转情况的影像，误差过大从而不具备配准意义。

在方法二中Forstner算子匹配特征点对数量虽多，但错误率高。Forstner算子依赖于中心像素周围固定窗口内的像素值，因此对于旋转缩放后导致影像分辨率明显改变的情况，该算子适用性不高，其更适合分辨率接近的待配准图像。如 图16 、 图16 （a）中存在18对特征点对，而其中正确的点对数量为3（黄色线标注）。即使存在正确匹配点对，又因为两种数据影像上检测到的线段不一致从而难以得到较好的配准结果。 图16 （b）蓝色线段为可见光影像中的线特征，红色线段为深度影像上得到的线特征，在可见光下检测到的线段在深度影像中不一定存在，并且由于匹配特征点过少，无法进行有效的线段匹配。 图16 （d）中线特征清晰然而 图16 （c）中无正确的匹配点对，故不能实现配准。本文运用深度学习的思想结合传统方法做配准具有很强的泛化性，避免了图像差异导致的配准困难。

图 15.

Fig. 15. Registration result

下载图片查看所有图片

SuperPoint方法相对Forstner算子正确匹配率有所提高，主要在于深度学习特有的扩充数据集的训练方式，即运用单应变换使数据集图像包含各种变换形式，所以受图像变换影响较小，对噪声不敏感，相对稳定。但光学影像灰度图与深度影像差异太大，得到的描述符匹配度依然不高。

综上可见本文算法可实现较好的配准效果，在城区背景下不受图像差异度的影响，且对图像平移、旋转、缩放均具有可抗性。

3 结论

本文提出了一种城市场景下基于建筑面特征的配准方法。首先，运用深度学习对点云数据生成的深度影像和光学遥感影像做语义分割，提取建筑面。然后，对建筑面构建最小外接矩形，基于矩形长宽比并结合相似三角形原理，完成同名点匹配。实验仿真中可见该方法切实可行，误差在合理范围内，弥补了传统特征点对于点云与光学遥感影像之间因数据类型差异巨大造成的配准劣势，并对图像旋转、平移、缩放均具有一定可抗性。在未来的研究中，将对配准精度及适用场景进行进一步的拓展研究。

参考文献

[1] 赵明, 安博文, 王天真. 基于双向邻域过滤策略的图形匹配类遥感图像配准算法[J]. 红外与毫米波学报, 2014, 33(1): 78-83+89.

ZHAO Ming, AN Bowen, WANG Tianzhen. A graph matching algorithm based on filtering strategy of Bi-directional K-nearest-neighbors[J]. Journal of Infrared and Millimeter Waves, 2014, 33(1): 78-83+89.

[2] LINa. Registration of airborne LiDAR point cloud and aerial imagery for desert areas［D］. Wuhan： Wuhan University， 2015：30李娜. 沙漠地区机载激光点云和光学影像配准及应用研究［D］.武汉：武汉大学，2015：30

LINa. Registration of airborne LiDAR point cloud and aerial imagery for desert areas［D］. Wuhan： Wuhan University， 2015：30李娜. 沙漠地区机载激光点云和光学影像配准及应用研究［D］.武汉：武汉大学，2015：30

[3] 叶沅鑫, 郝思媛, 曹云刚. 基于几何结构属性的光学和SAR影像自动配准[J]. 红外与毫米波学报, 2017, 36(6): 720-726.

YE Yuanxin, HAO Siyuan, CAO Yungang. Automatic registration of optical and SAR image using geometric structural properties[J]. Journal of Infrared and Millimeter Waves, 2017, 36(6): 720-726.

[4] 张靖, 江万寿. 激光点云与光学影像配准：现状与趋势[J]. 地球信息科学学报, 2017, 19(4): 528-539.

ZHANG Jing, JIANG Wanshou. Registration of laser point cloud and optical image： current situation and trend[J]. Journal of GeoInformation Science, 2017, 19(4): 528-539.

[5] 张永军, 熊小东, 沈翔. 城区机载 LiDAR 数据与航空影像的自动配准[J]. 遥感学报, 2012, 16(3): 579-595.

ZHANG Yongjun, XIONG Xiaodong, SHEN Xiang. Automatic registration of urban aerial imagery with airborne LiDAR data[J]. Journal of Remote Sensing, 2012, 16(3): 579-595.

[6] LI N, HUANG X, ZHANG F. Registration of aerial imagery and lidar data in desert areas using the centroids of bushes as control information[J]. Photogrammetric Engineering & Remote Sensing, 2013, 79(8): 743-752.

[7] 张良, 马洪超, 高广. 点、线相似不变性的城区航空影像与机载激光雷达点云自动配准[J]. 测绘学报, 2014, 43(4): 372-379.

ZHANG Liang, MA Hongchao, GAO Guang. Automatic registration of urban aerial images and airborne lidar point clouds based on point and line similarity invariance[J]. Acta Geodaetica et Cartographica Sinica, 2014, 43(4): 372-379.

[8] 何培培, 万幼川, 杨威. 基于线特征的城区激光点云与影像自动配准[J]. 光学学报, 2015, 35(5): 360-368.

HE Peipei, WAN Youchuan, YANG Wei. auto-registration of aerial imagery with airborne LiDAR data based on structure feature[J]. Acta Optica Sinica, 2015, 35(5): 360-368.

[9] 赵中阳, 程英蕾, 何曼芸. 基于面特征和SIFT特征的LiDAR点云与航空影像配准[J]. 空军工程大学学报（自然科学版）, 2018, 19(5): 69-74.

ZHAO Zhongyang, CHENG Yinglei, HE Manyun. LIDAR point cloud and aerial image registration based on surface feature and SIFT feature[J]. Journal of Air Force Engineering University （Natural Science Edition）, 2018, 19(5): 69-74.

[10] NGUYENT H， DANIELS， DGUERIOT， et al. Robust building-based registration of airborne lidar data and optical imagery on urban scenes［C］. Japan：IGARSS2019-2019 IEEE International Geoscience and Remote Sensing Symposium， 2019， 8474-8477.

[11] KWAK T S, KIM Y I, YU K Y. Registration of aerial imagery and aerial LiDAR data using centroids of planer of surfaces as control information[J]. Journal of Civil Engineering, 2006, 10(5): 365-370.

[12] RONNEBERGER O, FISCHER P, BROX T. 20］[J], 5.

[13] SATOSHI S, KEIICHI A. Topological structural analysis of digitized binary images by border following[J]. Computer Vision Graphics & Image Processing, 1985, 30(1): 32-46.

[14] SKLANSKY J. Finding the convex hull of a simple polygon[J]. Pattern Recognition Letters, 1982, 1(2): 79-83.

[15] . The Vaihingen data set was provided by the German Society for Photogrammetry， Remote Sensing and Geoinformation[J]. ：.

[16] WANGMingshan. Research on registration method of airborne lidar DSM depth image and aerial image［D］. Chengdu： Southwest Jiaotong University，2013：30-31.王明山.机载LiDAR DSM深度影像与航空影像配准方法研究［D］.成都：西南交通大学， 2013：30-31.

WANGMingshan. Research on registration method of airborne lidar DSM depth image and aerial image［D］. Chengdu： Southwest Jiaotong University，2013：30-31.王明山.机载LiDAR DSM深度影像与航空影像配准方法研究［D］.成都：西南交通大学， 2013：30-31.

[17] HOVADJ， KOMARKOVAJ， SEDLAKP. Slope based grid creation using interpolation of LIDAR data sets ［C］. Iceland： Proceedings of the 8th International Joint Conference on Software Technologies， SCITE， 2013：227-232.

[18] 吴炜, 骆剑承, 沈占锋. 光谱和形状特征相结合的高分辨率遥感图像的建筑物提取方法[J]. 武汉大学学报（信息科学版）, 2012, 37(7): 800-805.

WU Wei, LUO Jiancheng, SHEN Zhanfeng. Building extraction from high resolution remote sensing images based on spectral and shape features[J]. Geomatics and Information Science of Wuhan University, 2012, 37(7): 800-805.

[19] WANG J, YANG X, QIN X. An efficient approach for automatic rectangular building extraction from very high resolution optical satellite imagery[J]. IEEE Geoence & Remote Sensing Letters, 2014, 12(3): 487-491.

[20] 徐景中, 寇媛, 袁芳. 基于结构特征的机载LiDAR数据与航空影像自动配准[J]. 红外与激光工程, 2013, 42(12): 3502-3508.

XU Jingzhong, KOU Yuan, YUAN Fang. Automatic registration of airborne lidar data and aerial images based on structural features[J]. Infrared and Laser Engineering, 2013, 42(12): 3502-3508.

[21] SHENG Qinghong, WANG Qi, ZHANG Xinyue. Registration of urban aerial image and LiDAR basedon line vectors[J]. Applied Science, 2017, 7(10): 965.

[22] YANG Bisheng, CHEN Chi. Automatic registration of UAV-borne sequent images and LiDAR data[J]. Isprs Journal of Photogrammetry & Remote Sensing, 2015, 101: 262-274.

[23] WONG A, ORCHARD J. Efficient FFT-accelerated approach to invariant optical-LIDAR registration[J]. IEEE Transactions on Geoence & Remote Sensing, 2008, 46(11): 3917-3925.

[24] PENG S, MA H, ZHANG L. Automatic registration of optical images with airborne LiDAR point cloud in urban scenes based on line-point similarity invariant and extended collinearity equations[J]. Sensors, 2019, 19(5): 1086.

[25] DETONE D, MALISIEWICZ T, RABINOVICH A. Superpoint： self-supervised interest point detection and description ［DB/OL］[J].

0 引言

1 本文算法基本框架

1.1 基于深度学习的LiDAR和光学遥感图像语义分割方法

2.2.1 传统分割方法与基于Unet网络的分割方法比较

2.2.2 基于语义分割的图像配准效果与分析

2.2.3 配准实验对比与分析

3 结论

朱颖, 赵明. 基于语义分割的城区激光点云与光学影像配准[J]. 光子学报, 2021, 50(1): 188. Ying ZHU, Ming ZHAO. Registration of Laser Point Cloud and Optical Image in Urban Area Based on Semantic Segmentation[J]. ACTA PHOTONICA SINICA, 2021, 50(1): 188.