1 引言

激光测距技术被广泛应用于三维成像、地形测绘、目标跟踪、着陆导航、空间交会对接和空间碎片探测等相关领域,主要采用脉冲激光测距方法,即飞行时间测量法,测量系统发射的激光脉冲和从目标返回的回波脉冲之间的时间差,计算目标距离,回波信号的时刻鉴别精度决定了测距精度。时刻鉴别精度受回波信号幅度、动态范围和回波形状等影响,特别在远距离激光测距中,受目标距离变化、目标种类和反射率变化等的影响,信号动态范围很大,例如在激光测深应用中,信号动态范围可达5~6个数量级^[1]。对于回波信号的时刻鉴别处理,常用的方法有上升沿判别、恒比阈值判别、多点平均法、双阈值差分信号法、信号自相关高斯拟合法、高斯拟合法和高斯回波信号分解法等^[2-6]。这些方法都取得了比较好的结果,但应用条件都有一定的要求,比如多点平均法不适合应用于快速扫描,信号自相关高斯拟合法、高斯拟合法和高斯回波信号分解法都要求回波信号为高斯形状,而在机载激光雷达测绘应用中,地形和反射率变化对激光脉冲信号前后沿的影响不同,导致回波波形出现严重的不对称性^[1]。此外,大多数方法提取固定的一些特征,如宽度和上升斜率等,以这些特征作为判别依据,在复杂的应用环境下,一旦出现不符合特征的回波数据,即需重新改进研究新算法,不利于复杂场景的数据处理。

深度学习通过学习一种深层非线性网络结构,表征输入数据,实现复杂函数逼近,并展现了强大的从少数样本集中学习数据集本质特征的能力,即用数据学习特征,减少了手工设计特征的庞大工作量。近年来,深度学习算法得到了迅速发展,被广泛应用于语言识别、图像识别和自然语言处理等领域,且已被应用于激光雷达的数据处理和应用领域,如建筑物的建模^[7]、土地覆盖或物体的分类^[8-10]、自动着陆飞机^[11]和自动驾驶目标识别^[12-15]等。

本课题组长期从事车载激光测距、机载激光测距和机载激光测深研究,不同场景下的激光测距回波各异,在回波信号时刻鉴别解算上通常采用恒比插值法或高斯波形拟合法,这些方法在饱和信号、不同海域海水信号展宽和多回波等情况下通用性较差,需针对不同情况作优化。因此,迫切需要一个具备泛化能力的处理方法,可适应各种应用场景。笔者以所在单位研制的Mapper5000机载双频激光雷达^[16]的陆地雷达回波波形为研究对象,将全波形采样的脉冲激光测距回波时刻解算问题转换为深度学习的分类问题,验证了深度学习方法在脉冲激光测距回波时刻鉴别处理上的潜力。

2 数据和方法

2.1 激光雷达参数

Mapper5000是国家重大科学仪器设备开发专项支持的产品化机载双频激光雷达^[16],可以同时对陆地地形和海底地形进行测绘,陆地雷达和海洋雷达共用定位定姿系统(POS),可联合或独立工作。海洋雷达具备0.25~51 m的测深能力,5 kHz的激光重复频率。陆地雷达质量为9 kg,测距量程为100~1500 m,系统框图如图1所示,包括激光器、收发器、塔镜扫描机构、串行接口固态硬盘(SATA SSD)存储单元和基于现场可编程门阵列(FPGA)的高速采集控制单元。激光器为高重复频率光纤激光器,波长为1550 nm,重复频率(可调)为100~400 kHz,脉冲宽度为4 ns,脉冲能量为20 μJ;光学收发器的发射激光发散角为0.4 mrad,接收视场角为1.3 mrad,接收透镜通光口径为70 mm,滤光片带宽为50 nm;四面塔镜扫描结构的最高转速为2000 r/min;主波信号采用PIN探测器接收,回波信号采用雪崩光电二极管(APD)探测器接收;高速采集控制单元采用两通道全波形采样技术,分别采集激光发射的主波信号和从目标返回的回波信号,各通道最高采样率达1.25 GHz(通常工作在1 GHz采样率下),10 bit分辨率,可实时完成数据采集、压缩和存储。

图 1. 陆地雷达系统框图

Fig. 1. System schematic of land radar

下载图片 查看所有图片

图2为理想高斯形状回波波形和1 GHz采样率下数字化后的回波波形的对比,横轴为采样时间,纵轴为数字化后的幅度。可以看出,离散数字化后,饱和信号和非饱和信号的最大值时刻均发生了变化,特别是饱和信号变化超过1 ns,空气中1 ns的变化对应约150 mm的距离变化。

图3为雷达实际采集到的信号,横轴为采样时间,纵轴为数字化后的幅度,主波和回波之间的飞行时间差即对应测距值。由于测量范围大,为了压缩数据存储量,主波和回波之间的无用本底数据在数字化时被自动丢弃。图3(b)为经过方波整形后的主波信号,图3(c)~(i)为回波信号,可以看出,回波信号形状不同程度地偏离了高斯形状。

图 2. 原始回波波形和数字采样后波形对比。 (a)饱和信号;(b)非饱和信号

Fig. 2. Comparison of raw signal waveform and digitized signal waveform. (a) Saturated signal; (b) unsaturated signal

下载图片 查看所有图片

图 3. 激光雷达测量信号。(a)主波回波;(b)主波细节图;(c)~(i)回波细节图

Fig. 3. Signal waveforms from lidar. (a) Main signal and echo signal; (b) main signal detail; (c)-(i) echo signal details

下载图片 查看所有图片

2.2 处理方法

机载激光雷达的测距量程为100~1500 m,对应飞行时间为667~10000 ns。为了便于表述,假设主波的时刻为0 ns,回波时刻为1~10000 ns,回波为高斯形状,则回波时刻高斯波形的中心位置和回波的幅度、宽度没有关系。如果把每个不同时刻(高斯波形的中心位置)认为是一个类别,例如以1 ns为时间分辨率,则10000 ns对应10000个类别,对应类别标签号为1~10000;把回波波形按回波时刻划分类别,则不同回波时刻的回波波形属于不同的类别,同一回波时刻的回波波形属于同一类别;获得回波波形所属类别,即获得了该波形对应的回波时刻;而深度学习方法可自动学习出回波时刻和回波所属类别的关系,从而将回波时刻的解算问题转化为对回波波形分类的问题。

一般机载激光测绘应用的垂直精度需要优于150 mm(包含测距精度、POS精度和测角精度等),测距精度需要优于15 mm(时间分辨率0.1 ns)。0.1 ns时间分辨率下,10000 ns对应100000个类别,如果测距范围更大,或者测距精度要求更高,则类别数量需对应增加。每个类别里的训练样本数量越多、类型越多,深度学习方法分类的效果就越好。在类别非常多的情况下,收集足够多的训练样本波形,在工程实现上是不现实的。每次测量时,不考虑解算精度可简单获取回波的粗时刻,而回波的精确时刻一定在该粗时刻附近的一定范围内,因此可以把分类工作限制在粗时刻所处的小范围内,大幅降低飞行时间的范围,从而降低分类类别的数量;相应地,不能采用回波的绝对时刻计算分类号,需采用回波绝对时刻相对范围起点的时间差值计算分类号,从而保证不同测距值波形的分类都在同一范围内,进而基于深度学习方法实现自动学习特征。综合考虑陆地波形可能展宽的范围和保留足够的本底信号,只截取能完全覆盖回波波形的40 ns内的波形进行分类处理,相对40 ns的0点,回波时刻范围为0~40 ns,在0.1 ns解算分辨率下,对应400个类别。因为主波信号变化非常小,时刻是很容易计算获得,故采用高斯拟合的方法进行处理。在1 GHz采样率下(波形数据点间隔1 ns),距离解算的具体步骤如下:

1) 在已知回波时刻为t的一次测量的完整波形数据中搜索回波信号最大信号幅值对应的时刻k;

2) 从(k-20 ns)时刻开始向后截取40个采样点长度的波形数据,存储作为深度学习样本数据集中的数据;根据已知回波时刻计算对应样本波形的分类标签号{[t-(k-20 ns)]/0.1}取整后的值,将该值作为深度学习的样本标签集中的标签;

3) 重复以上步骤,产生足够数量的样本数据集和标签集;

4) 用样本数据集和样本标签训练神经网络模型;

5) 在一次测量获得的完整波形数据中搜索回波信号最大信号幅值所对应的时刻k(ns);

6) 从(k-20 ns)时刻开始向后截取40个采样点长度的波形数据,存储作为解算对象数据;

7) 用训练所得的神经网络模型对解算对象数据分类,获取对应的分类标签m;

8) 计算获得本次测量的主波时刻n(ns);

9) 则本次测量飞行时间为[(k-20 ns)+m×0.1-n],根据介质中的光速即可算出本次测量的距离。

2.3 训练和测试数据集

上述处理方法的关键在于训练出高分类精度的神经网络模型,而模型的好坏取决于所提供的训练数据和测试验证数据的质量。训练和测试数据集要求包含覆盖各种可能波形情况的波形数据和对应的真实时刻的标签数据,提供的回波波形类型越多,标签数据精度越高,则训练效果越好。真实环境下若要提供覆盖各种波形情况,时间精度为0.1 ns的真实时间标签,则需要采集不同目标、各个方向各个距离上的回波波形,通过测量真实距离,从而标记真实时刻标签,工作量巨大,且难以覆盖所有的真实情况。若进一步提高解算精度,则工作量更大。从工程实现的角度考虑,回波波形是在高斯形状基础上的变形,回波时刻是变形前的高斯形状的中心位置,参照激光发射波形和激光雷达实际工作条件,在100~10000 ns测量范围,2~10 ns脉冲宽度,信号实际幅度为20~1500条件下,采用理论仿真产生基于高斯形状的各种回波波形,并叠加随机噪声和随机非对称,对仿真波形进行1 GHz数字化(数字化饱和上限为1023,本底为200)采样生成样本波形,以理论时刻位置为分类标签,批量产生了数量比例为1∶5的训练数据集和测试数据集,共60000个样本波形,用以训练深度学习神经网络模型。图4为典型的几种理论仿真计算的样本回波波形图(虚线为理论时刻位置),覆盖了常见的回波类别。

图 4. 理论仿真计算样本回波。(a)理想回波;(b)小信号较大噪声;(c)饱和信号较大噪声;(d)非对称性较小;(e)非对称性较大;(f)极小信号

Fig. 4. Sample echoes obtained by theoretical simulation calculation. (a) Ideal echo; (b) small signal with large noise; (c) saturated signal with large noise; (d) small asymmetry; (e) large asymmetry; (f) very small signal

下载图片 查看所有图片

2.4 深度学习工具和卷积神经网络模型

深度学习工具为Google公司的深度学习框架Tensorflow。Tensorflow为用于高性能数值计算的开源软件库,可为机器学习和深度学习提供强大支持。由于架构灵活,用户可以轻松地跨多个平台(CPU,GPU,TPU)和设备(台式机、服务器群集、移动设备和边缘设备等)部署计算工作(https:∥www.tensorflow.org)。该工具是目前主流的深度学习工具之一。

卷积神经网络(CNN)是深度学习中常用的神经网络类型,广泛使用的神经网络结构是LeNet-5^[17]结构或其变体,但该结构为二维卷积神经网络,适用于图像处理等领域。一维卷积神经网络非常适合处理时间序列的信号^[18-19],而脉冲激光测距的回波即强度信号为随时间变化的时间序列。因此,笔者参考二维卷积神经网络,设计了一维卷积神经网络的结构,如图5所示。第1层为包含1×40个神经元的输入层;第2层和第3层为卷积层,包含256个滤波器,卷积核尺寸为3×1;第4层为最大值池化层,尺寸为2×1,用于完成特征压缩和主要特征提取;第5层和第6层为卷积层,包含512个滤波器,卷积核尺寸为3×1;第7层为平均值池化层,尺寸为2×1,用于完成特征压缩和主要特征提取;第8层为具有2048个神经元的全连接层,将输出值送给分类器;最后一层为含400个神经元的softmax分类器层,输出最终分类结果,对应间隔0.1 ns的400个分类。这个一维卷积神经网络共有3248784个参数需要训练。

图 5. 一维卷积神经网络模型结构

Fig. 5. Structure of one-dimensional convolutional network model

下载图片 查看所有图片

通过深度学习标准的训练、测试评估和参数优化三个步骤对模型进行循环训练。该过程包括使用训练数据集训练模型、使用测试数据集的测试模型、通过Tensorflow中的Tensorboard图形模块直观地评估分析训练效果,调整模型参数,然后循环上述过程。

本研究尝试使用不同梯度下降优化器、学习速率、激活函数和损失函数等改善学习效果;训练期间,还对层数和神经元数量进行调整,用于比较模型精度和性能,上述层数和神经元数量为最终优化后的结果。

深度学习方法采用的是随机梯度下降算法,因此每个循环训练后的模型参数都不一样,分类精度也不确定。本文循环训练了50组神经网络模型参数,最终选择在测试数据集上分类精度最高的模型参数作为应用模型所用参数。

2.5 应用测试评估

用所选应用模型对不同环境下的真实测量数据进行回波时刻解算,对最终解算的飞行时间(测距值)进行分析和评估,同时对比激光雷达目前采用的高斯拟合方法的解算结果,评估新深度学习方法的效果。

应用测试的数据包括实验室内静态定点测量数据、平整墙面线扫测量数据和外场机载飞行试验数据。静态定点测试虽然是测量固定长度,但回波信号受激光能量起伏、激光触发抖动、探测器噪声和数字化走离等因素的影响也会有变化,可以用来评估测距解算方法的误差和稳定性;墙面线扫测量数据和飞行试验数据的回波信号宽度、幅度会产生较大的跳动,并且会产生信号饱和,该数据可以用来评估仿真样本训练下,深度学习算法处理宽度和幅度剧烈变化的实际波形时的效果。

3 实验结果

3.1 训练和测试

在神经网络的训练中,一个训练批次指使用部分数据完成一次前向传播和一次后向传播计算后更新一次参数权重的过程,一个训练代次指所有训练数据集都训练一次,一个训练代次包含多个训练批次。图6为Tensorboard记录的训练过程中分类精度和损失变化趋势,从图6(a)、(b)可见,每批次训练中分类精度和分类损失都趋于收敛;从图6(c)、(d)可见,20个代次迭代训练后的分类效果较好, 100个代次训练后,未出现过拟合现象。应用模型在测试集上的分类精度达99.85%,分类损失低至0.49%。结果表明,通过仿真模拟计算的数据训练模型在仿真模拟计算的测试数据集上的分类精度较高,方法本身实现了自洽。不同的学习迭代速率、梯度下降优化器、激活函数和损失函数基本不影响最终分类精度,仅影响模型的学习速度。

图 6. 训练过程中分类精度和损失变化趋势。(a)分类精度随训练批次的变化;(b)分类损失随训练批次的变化;(c)分类精度随训练代次的变化;(d)分类损失随训练代次的变化

Fig. 6. Trends of classification accuracy and loss in training. (a) Classification accuracy versus training batch; (b) classification loss versus training batch; (c) classification accuracy versus training epoch; (d) classification loss versus training epoch

下载图片 查看所有图片

3.2 应用测试

静态定点测量共有1285248个测量数据,高斯拟合方法解算的飞行时间(测距值)统计均方差为0.04799 ns(7.4 mm),采用深度学习方法解算的飞行时间(测距值)统计均方差为0.07949 ns(11.9 mm)。

平整墙面线扫描测试共246702个测量数据,雷达离墙面约3.8 m,扫描角为±38°,回波波形的信号幅度和宽度统计分布直方图如图7所示,可以看出,在5.3 m长的测线上,信号幅度有5倍的变化,信号宽度有2倍的变化。

图 7. 回信信号参数分布统计。(a)信号幅度直方图;(b)信号宽度直方图

Fig. 7. Echo signal parameter distributions. (a) Signal amplitude histogram; (b) signal width histogram

下载图片 查看所有图片

计算每个数据用高斯拟合方法和深度学习方法解算的飞行时间(测距值)的差值,对所有差值进行统计后获得的均方差为 0.05289 ns(7.9 mm);图8为两种方法解算的飞行时间的对比,直线拟合相关系数为0.99981,这验证了该方法在处理信号幅度和宽度大范围变化波形时的有效性。

图 8. 高斯拟合解算的飞行时间和深度学习解算的飞行时间对比

Fig. 8. Comparison of fly time of Gaussian fitting and fly time of deep learning

下载图片 查看所有图片

图9为用深度学习方法处理外场飞行试验中一个岛屿数据生成的点云图,可清晰分辨岛屿上面的建筑物、风力发电机和水塔等设施。

图 9. 外场飞行试验岛屿部分点云图

Fig. 9. Partial point clouds of an island in field flight experiment

下载图片 查看所有图片

为评估成图效果,选取其中平顶建筑物的顶面上的点云数据进行平面拟合,计算平面拟合误差,再将点云数据投影到拟合平面上,计算每个数据点到投影点的x、y、z三个方向的残差(d_x、d_y、d_z)和距离残差(d_i),结果如表1所示。两种方法的结果差别较小,残差约为20 mm,表明深度学习处理方法已经可以应用在机载陆地激光雷达的波形数据处理中;偏移量和残差分布直方图如图10所示。

图 10. 平面拟合残差分布直方图。(a)高斯拟合方法;(b)深度学习方法

Fig. 10. Plane fitting residual distribution histograms. (a) Gaussian fitting method; (b) deep learning method

下载图片 查看所有图片

4 分析与讨论

从单点测距精度、与现有高斯拟合算法的比较和实测点云图平面拟合结果可知,本方法可以满足机载激光测绘的应用需求。

定点测量中,深度学习方法解算分辨率为0.1 ns,这是其均方差比高斯拟合方法大的原因。本文主要验证基于深度学习的分类方法在机载激光雷达回波波形距离解算上的可行性,为机载激光雷达的波形处理探索新思路,后续将开展更高分辨率分类方法的研究,进一步提升该方法的距离解算精度。提升解算分辨率虽然会大幅增加神经网络的规模、计算资源需求和训练时间,但模型参数训练完毕后,不同解算分辨率的解算速度差别较小,这是深度学习方法的优点。

对少量非正确解算的波形进行分析发现,采集的回波波形严重变形,而仿真计算产生的波形未覆盖该类型,导致不能正确进行分类;同样,高斯拟合方法也不能正确处理这种情况;后续可结合硬件参数理论仿真此类波形,或人工将此类波形进行分类标注后,添加到训练样品数据集中,提高模型的识别能力;穿过树木的激光会产生多回波现象,同样不能正确分类,后续可通过理论仿真多回波波形或进行人工标注增加训练样本,提高深度学习算法在林业应用中的多回波处理能力。

5 结论

所用的一维卷积神经网络深度学习方法能够解算脉冲激光测距的回波时刻,且精度和适应性能满足机载测绘应用的要求。与高斯拟合方法相比,深度学习方法的最大优势是可通过人工标注增加训练样本,适应更加复杂应用下的波形处理。通过仿真计算可产生大量类型丰富的训练数据集,大幅降低数据标注的工作量和难度,以极小的成本实现模型训练,并且在实际波形处理中实现了较高的回波位置提取精度。可见,本方法适合机载激光雷达复杂波形的处理。

本文的深度学习方法仅用来提取目标回波距离,在林业资源和地形调查中,激光回波波形还能够反映目标的坡度、材质和种类等信息,采用深度学习方法,可以对这些信息进行进一步提取,这将是课题组下一步的工作方向。