激光与光电子学进展, 2023, 60 (11): 1106017, 网络出版: 2023-06-14   

空间变分辨率扫描三维重构成像研究特邀研究论文内封面文章

Spatial Variable Resolution Scanning Three-Dimensional Reconstruction Imaging
郝群 1,2,3韩斌 1杨骜 4梁龙 1陈泓霖 5曹杰 1,2,*
作者单位
1 北京理工大学光电学院,北京 100081
2 北京理工大学长三角研究院(嘉兴),浙江 嘉兴 314003
3 长春理工大学,吉林 长春 130022
4 北京华航无线电测量研究所,北京 100013
5 山东理工大学机械工程学院,山东 淄博 255000
摘要
针对传统固定分辨率扫描式三维成像存在点云冗余度高、图像重构精度低的问题,提出了一种空间变分辨率扫描式三维重构成像方法,构建了多回波与变分辨率扫描成像模型,通过对多回波分解并提取目标信息,实现了针对目标的高分辨深度图像重构。通过对比实验验证了模型的有效性,结果表明,与传统定分辨率扫描成像相比,该方法在保证目标重构精度的同时,采样比仅为传统方法的50%,有效降低了点云采样冗余度。所获结果有利于支撑三维成像相关应用领域。
Abstract
A spatial variable resolution scanning three-dimensional (3D) imaging method is proposed to address the problems of high redundancy of point cloud and low accuracy of image reconstruction in traditional fixed-resolution scanning 3D imaging. A model of multi-echo and spatial variable resolution scanning imaging is deduced. Target information is extracted by decomposing multi-echo to achieve high resolution depth image reconstruction. The model is verified by comparative experiments. The results show that compared with the traditional fixed-resolution scanning imaging method, the sampling rate of the proposed method is only 50% under the comparable imaging quality, which effectively reduces the redundancy of the point cloud. The results can support the related application of 3D imaging.

1 引言

激光三维成像因具有探测距离远、获取信息(强度/距离)丰富、抗干扰能力强等优势被广泛应用于智能侦察、无人驾驶1、智慧交通2、工业检测、生物医疗等军民领域3。目前,以脉冲激光发射与高灵敏探测器[典型为雪崩二极管(APD)]为接收核心的飞行时间(TOF)激光三维成像应用较为广泛。激光三维成像按是否包含扫描部件,可以分为扫描与非扫描两种方式4,其中:扫描方式主要是通过机械/电子等扫描装置[例如:振镜、转镜、双光楔、微机电系统(MEMS)、相控阵等]实现光束偏转,从而获得三维图像;非扫描方式主要是通过泛光照明(即大范围闪光照明)与APD阵列配合,一次性获得所有通道的距离与强度信息。两种成像方式各有利弊,扫描式成像时,对同一视场减小扫描步长可提高分辨率,但会降低成像效率,尤其是随着视场的扩大,二者矛盾更加明显;非扫描成像尽管效率高,但因大面积APD阵列加工工艺困难5,导致实际使用仍有不少限制。

可见,如何实现高综合性能的激光三维成像一直是亟待突破的问题。国内外学者对此开展了诸多研究:釜山国立大学电子工程系Jin等6在一维光波导相控阵的基础上加入了振镜作为另一维度的光束偏转手段,设计出的二维光束扫描结构不仅响应速度快,而且具有很好的初始光斑生成能力,并将在下一步工作中将结构从32通道增加到1024通道,以实现更加精确的光束指向控制;华东师范大学精密光谱学国家重点实验室Shen等7研制了一台1550 nm的高速机载单光子计数激光雷达,并将其应用于机载对地目标三维成像;上海航天控制技术研究所的高冬阳等8采用激光细光束二维扫描和面阵盖格雪崩光电二极管焦平面阵列器件相结合的方式,在100 Hz成像帧频条件下重构出目标三维轮廓。此外,也有不少学者在结合单像素探测器与关联成像实现对场景的三维重构9-10方面取得了诸多进步。

在实际应用中,激光三维成像面向“大视场、小目标”场景,例如:无人驾驶、机器人感知、遥感目标探测等目标在视场内占比面积较小的场景,当采用定分辨率对全视场进行扫描时,背景区域与感兴趣目标被相同尺度的扫描光斑扫描与采样,不仅降低了系统的采样速率,还增加了冗余数据量。因此,以扫描方式为基础,发挥人眼的空间变分辨率采样机理具有的大视场、冗余压缩优势11,提出一种空间变分辨率扫描式三维成像方法,构建了多回波与变分辨率扫描成像模型,通过对多回波分解提取目标信息,实现低冗余采样效果。

2 变分辨率重构成像原理

2.1 多回波建模

激光器发出的激光信号为高斯脉冲,当一束激光照射到多个目标表面时,每个目标表面会对照射至表面的激光产生反射,探测器接收到的多回波信号12

Pt=i=1Nηsηaπdr24Ri2S0EρΩAiσsσs2+σi2exp-t-ti22σs2+σi2

式中:ηs为系统传输系数;ηa为大气传输系数;Ri为第i个散射体与系统间的距离;S0为发射激光的总面积;dr为接收系统的孔径;E为发射激光脉冲能量;ρ为目标的反射率;Ω为反射光立体角;Ai为第i个目标的投影面积;σs为发射激光脉冲的脉冲宽度;σi为经第i个目标反射回波的脉冲宽度;t为时间变量;ti=2Ri/c为经第i个目标反射后脉冲回波的TOF,其中c为光速。

提取式(1)中与目标面积和距离相关的项,并将其他系数作为常数,式(1)可以简化为

Pr=i=1NPi

式中:Pr为探测器接收到的回波的总能量;Pi为第i个回波的能量,表示为

Pi=ηsηaπdr24Ri2S0EρΩAi12exp-t-2Ri/c24σs2

通过进一步简化式(2)式(3),得到

Pi=MAiRi2exp-t-2Ri/c24σs2

M式(3)中不包含目标距离和反射面积的项,表示为

M=π42ηsηadr2S0EρΩ

对于同一扫描点下各目标产生的多次回波,M可以视为常数。假设传感器能够测量和识别任意数量的脉冲,且目标的反射率恒定,则第i个目标的反射面积与全部目标的反射面积之和的比值可以表示为

τi=AiAi=Ri2PiRi2Pi

由于R=ct式(6)可以表示为

τi=c2ti2Pic2ti2Pi=ti2Piti2Pi

通过对多回波信息进行分解,可以得到各目标的TOF和回波强度。然后通过式(7)计算得到各目标反射面积与全部目标的反射面积之和的比值τi

2.2 基于回波信息的变分辨率建模

利用所提空间变分辨率扫描方法对不同区域以不同尺度的扫描光斑进行扫描。利用大光斑对目标区域进行低分辨率扫描与采样来确定感兴趣目标的范围,如图1(a)所示,然后利用小光斑对感兴趣目标所在的区域进行高分辨率扫描,如图1(b)所示。通过全视场与局部区域的变分辨率扫描,能够在兼顾大视场与局部高分辨率采样的同时,减少扫描与采样次数,提高系统采样速率。

图 1. 变分辨率扫描示意图。(a)大视场低分辨率扫描;(b)局部区域高分辨率扫描

Fig. 1. Schematic diagram of variable resolution scanning. (a) Large-field low resolution scanning; (b) high resolution scanning of local area

下载图片 查看所有图片

通过设置扫描光斑的大小规划合理的扫描轨迹,可以有效地减少扫描点的数量。同时,根据多个回波中各回波的强度和TOF可以计算各目标反射面积与投影光斑面积的比值(PAET),再利用该信息实现扫描路径规划。变分辨率扫描流程如图2所示,其中:Ti为初始扫描目标区域;s0为初始扫描光斑面积;δ为多回波区域各目标的反射面积;si为扫描光斑面积。通过该流程,能够实现从粗扫描到细扫描的转化。

图 2. 变分辨率扫描流程图

Fig. 2. Flow chart of variable resolution scanning

下载图片 查看所有图片

2.3 多回波区域判断准则

图3(a)中包含树木、车辆和背景区域的目标区域,其中:车辆、背景区域和树木与激光三维成像系统间的距离分别为H1H2H3;对应的回波信号的TOF分别为t1t2t3。由于一组全波形回波信号中最后一个回波峰对应背景区域的回波,因此将其作为基准,可以分别计算各回波峰与背景区域回波间的时间差Ti,如图3(b)与3(c)所示。

图 3. 多回波区域判断。(a)目标区域;(b)(c)扫描回波信号示意图

Fig. 3. Multi echo region judgment. (a) Target region; (b) (c) schematic diagrams of scanning echo signal

下载图片 查看所有图片

当以图3(a)中的车辆为感兴趣目标时,根据所选择感兴趣目标的高度分布范围,对时间差Ti的取值范围Ti-Δt,Ti+Δt进行限定。将满足该条件的回波信号看作存在感兴趣目标的回波信号,并将对应的区域划定为多回波区域,如图4所示。

图 4. 多回波区域划定。(a)目标区域;(b)区域回波

Fig. 4. Multi echo region demarcation. (a) Target region; (b) region echo

下载图片 查看所有图片

2.4 超分辨重建流程设计

目标的深度图像超分辨重建流程如下。

1)扫描感兴趣区域,获得各扫描光斑下的目标信息Xi,Yi,zi,τi,κi。其中:Xi,Yi为扫描点中心位置坐标;zi为扫描光斑覆盖区域中各目标的深度值;τi为各目标的反射面积占比;κi为各高斯脉冲的脉宽展宽比。

2)判断各区域是否为多回波区域。

3)对于多回波区域Xi,Yi,zi,τi,κi,首先将其分割为a2个子区域,获得各子区域位置坐标xi,yi;然后计算具有不同深度值zi目标的像素数量τia2;最后判断与其相邻的区域中具有感兴趣目标回波的区域数量N。若N3,依据相邻区域的目标深度值确定各目标像素填充位置,对各目标的像素点进行深度赋值xi,yi,zi,记录感兴趣目标像素的行数i与列数j;若N<3,利用其相邻区域中感兴趣目标像素的行数i与列数j确定感兴趣目标像素的填充范围,对各目标的像素点进行深度赋值xi,yi,zi

4)对于脉宽展宽的单回波区域Xi,Yi,z2,1,κ2,首先将其分割为a2个子区域,获得各子区域位置坐标xi,yi;然后对各子区域进行深度赋值xi,yi,z2;再依据脉宽展宽比,确定重建表面的倾斜角度θp;最后计算重建表面倾斜后的各子区域深度值xi,yi,z2±sinθp

5)对于脉宽未展宽的单回波区域(Xi,Yi,z3,1,1),将其分割为a2个子区域,对各子区域进行深度赋值xi,yi,z3

6)利用子区域分割与深度赋值后的点坐标xi,yi,zi进行目标深度图像的超分辨重建。

3 实验结果与分析

3.1 实验系统构建

为验证本方法的有效性,利用典型二维扫描振镜结构搭建了实验系统,如图5所示。被测目标区域由两块白色泡沫板构成,其中:目标1的尺寸为450 mm× 240 mm,距离实验系统13 m;目标2的尺寸为900 mm× 900 mm,距离实验系统15 m;目标1与目标2间的距离为2 m。为了能够改变不同光斑的半径,在本实验系统中选择了自制的液膜变焦光学器件13,其焦距变化范围可达-1427.03~964.93 mm,其余主要参数为激光波长532 nm、重复频率10 kHz、平均功率0.5 W、发散角3 mrad、扫描速度0(°)/s~36(°)/s、接收镜头焦距45.14 mm、光圈F#1.13。

图 5. 实验系统构建。(a)实验系统组成;(b)系统拍摄场景;(c)被测目标

Fig. 5. Construction of experimental system. (a) Composition of the experimental system; (b) system shooting scenes; (c) target to be measured

下载图片 查看所有图片

3.2 高分辨三维场景获取与重构验证

基于上述实验平台,对提出的流程进行验证。由于局部区域扫描过程中目标区域的采样密度较低,因此重建得到的深度图像的分辨率较低。此时利用目标区域的多回波信息,计算各目标的距离值与反射面积比,并将其作为先验条件,对目标区域的深度图像进行高分辨图像重建。全视场扫描情况下,激光束发散角为11.7 mrad,在目标区域形成了180 mm的扫描光斑。振镜扫描视场角为-1.72°θx1.72°,-1.72°θy1.72°,扫描速度为1 s/point。利用该扫描光斑对目标区域进行扫描,得到25个子区域的反射回波。由图6(b)中各扫描区域的回波可以看出,在I1~I5区域内存在多回波,即该区域内存在多个目标。当使用大尺寸扫描光斑扫描目标时,单个扫描光斑覆盖区域内会存在多个目标,在回波信号中表现为多个回波峰,当多回波区域由一个像素表示时,该多回波区域无法被准确重建,如图6(b)所示。因此将存在多回波的区域180X720,0Y360选定为目标区域,并对该区域进行局部区域扫描。

图 6. 全视场场景低分辨率获取与多回波。(a)5 pixel × 5 pixel深度图像;(b)多回波区域

Fig. 6. Low resolution acquisition and multiple echoes of full field of view scene. (a) depth image with 5 pixel × 5 pixel; (b) multi-echo region

下载图片 查看所有图片

在目标区域扫描过程中,控制变焦透镜,改变激光束散角为5.7 mrad,会在目标区域形成90 mm的扫描光斑。振镜扫描视场角为(-0.86°θx0.86°,-0.8°θy-1.72°),扫描速度为1 s/point。利用该扫描光斑对目标区域进行扫描,得到24个子区域的反射回波,如图7所示。

图 7. 目标区域图像与回波。(a)目标区域6 pixel × 4 pixel重建深度图像;(b)目标区域扫描中各子区域回波

Fig. 7. Target region image and echo. (a) Reconstructed depth image of the target area with 6 pixel × 4 pixel; (b) echoes of each sub-region in the target region scanning

下载图片 查看所有图片

图7中的各扫描区域进一步细化为20×20个子区域,得到120 pixel × 80 pixel的目标区域超分辨深度图像和三维图像,如图8所示。通过重建低采样密度下获得的目标区域的高分辨深度图像,深度图像的精度得到进一步提高。

图 8. 目标区域120 pixel × 80 pixel超分辨深度图。(a)距离图像;(b)三维图像

Fig. 8. Super resolution depth map of the target region with 120 pixel × 80 pixel. (a) Distance image; (b) three-dimensional (3D) image

下载图片 查看所有图片

3.3 对比实验与分析

搭建由背景板与坦克模型组成的目标区域,如图9所示。其中,背景板的尺寸为0.9 m× 0.9 m、距离实验系统10 m、坦克模型与背景板之间的距离为1 m。利用表1中的参数分别对目标区域进行18×18扫描点的传统逐点扫描[高分辨率扫描,图10(a)]与9×9扫描点的低分辨率扫描[图10(b)]。然后对比逐点扫描得到的高分辨率重建深度图像[图10(c)]与利用目标深度图像超分辨重建方法重建得到的低分辨率重建深度图像[图10(d)]。

图 9. 目标区域。(a)被测目标区域;(b)目标相对位置

Fig. 9. Target region. (a) Measured target area; (b) relative position of the target

下载图片 查看所有图片

表 1. 实验中的扫描参数

Table 1. Scanning parameters in the experiment

ParameterHigh resolution scanningLow resolution scanning
Scanning field of view5.15°×5.15°5.15°×5.15°
Spot diameter50 mm100 mm
Scanning number18×189×9
Scanning speed1(°)/s1(°)/s

查看所有表

图 10. 实验结果。(a)高分辨扫描重建三维图;(b)低分辨扫描重建三维图;(c)18 pixel × 18 pixel高分辨率扫描重建深度图;(d)9 pixel × 9 pixel低分辨率扫描重建深度图;(e)图10(c)目标区域深度图;(f)图10(d)目标区域4倍上采样深度图;(g)图10(d)目标区域超分辨重建深度图

Fig. 10. Experimental results. (a) High resolution scanning reconstruction of 3D images; (b) low resolution scanning reconstruction of 3D images; (c) high resolution scanning reconstruction depth map with 18 pixel × 18 pixel; (d) high resolution scanning reconstruction depth map with 9 pixel × 9 pixel; (e) depth map of the target area in Fig.10 (c); (f) 4 times the upper sampling depth map of the target area in Fig.10 (d); (g) depth map of the target region super-resolution reconstruction in Fig.10 (d)

下载图片 查看所有图片

以逐点高分辨率扫描方法获得的18 pixel×18 pixel深度图像作为目标区域的真实深度图,其中坦克模型所在目标区域的14 pixel × 6 pixel深度图如图10(e)所示。为了进行重建结果的对比,将低分辨重建深度图中7 pixel × 3 pixel目标区域分别进行4倍上采样和深度图像超分辨重建,得到目标区域的14 pixel × 6 pixel深度图像如图10(f)和10(g)所示。

将高分辨扫描重建得到的目标区域深度图[图10(e)]作为真值,分别计算低分辨率扫描下目标区域直接重建深度图像[图10(f)]和利用所提超分辨重建算法重建得到的超分辨深度图像[图10(g)]的距离误差(RMSE),RMSE分布如图11所示。由图11(a)可以看出,低分辨率采样下直接重建得到的目标区域深度图在两个目标的边界区域无法被准确重建,存在较大的RMSE。与直接重建方法相比,所提超分辨率重建方法能够依据回波中各目标的反射面积比,在进行目标深度图像重建时对目标边界区域的像素进行重新分配,从而提高对两个目标边界区域的重建精度,重建深度图像的RMSE由0.53 m降低至0.31 m,如图11(b)所示。通过低分辨率扫描,直接重建得到目标区域7 pixel × 3 pixel的深度图像[图10(d)]。采用超分辨重建方法,重建得到目标区域14 pixel × 6 pixel的深度图像[图10(g)],与低分辨率扫描直接重建相比,等效采样比为原来的50%。与传统逐点高分辨率扫描与重建方法相比,在相同精度的条件下,所提重建方法具有更低的采样比,有利于提升点云的利用率。

图 11. 目标区域重建深度图像距离误差分布。(a)低分辨率重建;(b)高分辨重建

Fig. 11. Distance error distribution of reconstructed depth image in target region. (a) Low resolution reconstruction; (b) high resolution reconstruction

下载图片 查看所有图片

4 结论

激光三维成像已被广泛应用于智能侦察、无人驾驶、智慧交通、工业检测、生物医疗等军民领域。现有激光三维成像,无论扫描还是非扫描方式,仍难以兼顾高分辨与实时性。针对传统固定分辨率扫描方法存在的点云冗余度高、图像重构精度低的问题,提出变分辨率扫描成像方法,通过对多回波建模实现针对目标的高分辨扫描重构成像,在保证目标重构精度的条件下,有效地降低了场景的扫描点数,采样比为传统的50%。实验所获成果可有效提升激光三维成像的数据利用率,有利于提升基于点云的目标识别与探测效率。

参考文献

[1] Li Y, Ibanez-Guzman J. Lidar for autonomous driving: the principles, challenges, and trends for automotive lidar and perception systems[J]. IEEE Signal Processing Magazine, 2020, 37(4): 50-61.

[2] Schwarz B. Mapping the world in 3D[J]. Nature Photonics, 2010, 4(7): 429-430.

[3] 刘博, 于洋, 姜朔. 激光雷达探测及三维成像研究进展[J]. 光电工程, 2019, 46(7): 190167.

    Liu B, Yu Y, Jiang S. Review of advances in LiDAR detection and 3D imaging[J]. Opto-Electronic Engineering, 2019, 46(7): 190167.

[4] 陈念江. 激光三维成像体制综述[J]. 激光与红外, 2015, 45(10): 1152-1156.

    Chen N J. Review of 3D laser imaging technology[J]. Laser & Infrared, 2015, 45(10): 1152-1156.

[5] 曹杰, 郝群, 张芳华, 等. APD三维成像激光雷达研究进展[J]. 红外与激光工程, 2020, 49(9): 2190549.

    Cao J, Hao Q, Zhang F H, et al. Research progress of APD three-dimensional imaging lidar[J]. Infrared and Laser Engineering, 2020, 49(9): 2190549.

[6] Jin J, Lee E S, Chun K W, et al. Fast-running beamforming algorithm for optical phased array beam scanners comprised of polymeric waveguide devices[J]. Optics Express, 2022, 30(2): 768-779.

[7] Shen G Y, Zheng T X, Li Z H, et al. High-speed airborne single-photon LiDAR with GHz-gated single-photon detector at 1550 nm[J]. Optics & Laser Technology, 2021, 141: 107109.

[8] 高冬阳, 陈宗镁, 陈寰, 等. Gm-APD焦平面阵列的距离重构与三维成像实验[J]. 光子学报, 2022, 51(12): 1214005.

    Gao D Y, Chen Z M, Chen H, et al. Range reconstruction and 3D imaging experiment based on gm-APD FPA[J]. Acta Photonica Sinica, 2022, 51(12): 1214005.

[9] 霍晓培, 杨德振, 喻松林, 等. 单光子探测器研究现状与发展[J]. 激光与红外, 2023, 53(1): 3-11.

    Huo X P, Yang D Z, Yu S L, et al. Research on status and development of single photon detector[J]. Laser & Infrared, 2023, 53(1): 3-11.

[10] Sun M J, Zhang J M. Single-pixel imaging and its application in three-dimensional reconstruction: a brief review[J]. Sensors, 2019, 19(3): 732.

[11] 曹杰, 郝群, 张芳华, 等. 仿人眼视网膜成像技术研究进展(特约)[J]. 红外与激光工程, 2020, 49(8): 20201026.

    Cao J, Hao Q, Zhang F H, et al. Research progress of bio-inspired retina-like imaging(Invited)[J]. Infrared and Laser Engineering, 2020, 49(8): 20201026.

[12] Wagner W, Ullrich A, Ducic V, et al. Gaussian decomposition and calibration of a novel small-footprint full-waveform digitising airborne laser scanner[J]. ISPRS Journal of Photogrammetry and Remote Sensing, 2006, 60(2): 100-112.

[13] Yang A, Cao J, Zhang F H, et al. Ultrathin tunable lens based on boundary tension effect[J]. Sensors, 2019, 19(18): 4018.

郝群, 韩斌, 杨骜, 梁龙, 陈泓霖, 曹杰. 空间变分辨率扫描三维重构成像研究[J]. 激光与光电子学进展, 2023, 60(11): 1106017. Qun Hao, Bin Han, Ao Yang, Long Liang, Honglin Chen, Jie Cao. Spatial Variable Resolution Scanning Three-Dimensional Reconstruction Imaging[J]. Laser & Optoelectronics Progress, 2023, 60(11): 1106017.

本文已被 1 篇论文引用
被引统计数据来源于中国光学期刊网
引用该论文: TXT   |   EndNote

相关论文

加载中...

关于本站 Cookie 的使用提示

中国光学期刊网使用基于 cookie 的技术来更好地为您提供各项服务,点击此处了解我们的隐私策略。 如您需继续使用本网站,请您授权我们使用本地 cookie 来保存部分信息。
全站搜索
您最值得信赖的光电行业旗舰网络服务平台!