空间变分辨率扫描三维重构成像研究特邀研究论文内封面文章
1 引言
激光三维成像因具有探测距离远、获取信息(强度/距离)丰富、抗干扰能力强等优势被广泛应用于智能侦察、无人驾驶[1]、智慧交通[2]、工业检测、生物医疗等军民领域[3]。目前,以脉冲激光发射与高灵敏探测器[典型为雪崩二极管(APD)]为接收核心的飞行时间(TOF)激光三维成像应用较为广泛。激光三维成像按是否包含扫描部件,可以分为扫描与非扫描两种方式[4],其中:扫描方式主要是通过机械/电子等扫描装置[例如:振镜、转镜、双光楔、微机电系统(MEMS)、相控阵等]实现光束偏转,从而获得三维图像;非扫描方式主要是通过泛光照明(即大范围闪光照明)与APD阵列配合,一次性获得所有通道的距离与强度信息。两种成像方式各有利弊,扫描式成像时,对同一视场减小扫描步长可提高分辨率,但会降低成像效率,尤其是随着视场的扩大,二者矛盾更加明显;非扫描成像尽管效率高,但因大面积APD阵列加工工艺困难[5],导致实际使用仍有不少限制。
可见,如何实现高综合性能的激光三维成像一直是亟待突破的问题。国内外学者对此开展了诸多研究:釜山国立大学电子工程系Jin等[6]在一维光波导相控阵的基础上加入了振镜作为另一维度的光束偏转手段,设计出的二维光束扫描结构不仅响应速度快,而且具有很好的初始光斑生成能力,并将在下一步工作中将结构从32通道增加到1024通道,以实现更加精确的光束指向控制;华东师范大学精密光谱学国家重点实验室Shen等[7]研制了一台1550 nm的高速机载单光子计数激光雷达,并将其应用于机载对地目标三维成像;上海航天控制技术研究所的高冬阳等[8]采用激光细光束二维扫描和面阵盖格雪崩光电二极管焦平面阵列器件相结合的方式,在100 Hz成像帧频条件下重构出目标三维轮廓。此外,也有不少学者在结合单像素探测器与关联成像实现对场景的三维重构[9-10]方面取得了诸多进步。
在实际应用中,激光三维成像面向“大视场、小目标”场景,例如:无人驾驶、机器人感知、遥感目标探测等目标在视场内占比面积较小的场景,当采用定分辨率对全视场进行扫描时,背景区域与感兴趣目标被相同尺度的扫描光斑扫描与采样,不仅降低了系统的采样速率,还增加了冗余数据量。因此,以扫描方式为基础,发挥人眼的空间变分辨率采样机理具有的大视场、冗余压缩优势[11],提出一种空间变分辨率扫描式三维成像方法,构建了多回波与变分辨率扫描成像模型,通过对多回波分解提取目标信息,实现低冗余采样效果。
2 变分辨率重构成像原理
2.1 多回波建模
激光器发出的激光信号为高斯脉冲,当一束激光照射到多个目标表面时,每个目标表面会对照射至表面的激光产生反射,探测器接收到的多回波信号[12]为
式中:
提取
式中:
通过进一步简化
对于同一扫描点下各目标产生的多次回波,
由于
通过对多回波信息进行分解,可以得到各目标的TOF和回波强度。然后通过
2.2 基于回波信息的变分辨率建模
利用所提空间变分辨率扫描方法对不同区域以不同尺度的扫描光斑进行扫描。利用大光斑对目标区域进行低分辨率扫描与采样来确定感兴趣目标的范围,如
图 1. 变分辨率扫描示意图。(a)大视场低分辨率扫描;(b)局部区域高分辨率扫描
Fig. 1. Schematic diagram of variable resolution scanning. (a) Large-field low resolution scanning; (b) high resolution scanning of local area
通过设置扫描光斑的大小规划合理的扫描轨迹,可以有效地减少扫描点的数量。同时,根据多个回波中各回波的强度和TOF可以计算各目标反射面积与投影光斑面积的比值(PAET),再利用该信息实现扫描路径规划。变分辨率扫描流程如
2.3 多回波区域判断准则
图 3. 多回波区域判断。(a)目标区域;(b)(c)扫描回波信号示意图
Fig. 3. Multi echo region judgment. (a) Target region; (b) (c) schematic diagrams of scanning echo signal
当以
图 4. 多回波区域划定。(a)目标区域;(b)区域回波
Fig. 4. Multi echo region demarcation. (a) Target region; (b) region echo
2.4 超分辨重建流程设计
目标的深度图像超分辨重建流程如下。
1)扫描感兴趣区域,获得各扫描光斑下的目标信息
2)判断各区域是否为多回波区域。
3)对于多回波区域
4)对于脉宽展宽的单回波区域
5)对于脉宽未展宽的单回波区域
6)利用子区域分割与深度赋值后的点坐标
3 实验结果与分析
3.1 实验系统构建
为验证本方法的有效性,利用典型二维扫描振镜结构搭建了实验系统,如
图 5. 实验系统构建。(a)实验系统组成;(b)系统拍摄场景;(c)被测目标
Fig. 5. Construction of experimental system. (a) Composition of the experimental system; (b) system shooting scenes; (c) target to be measured
3.2 高分辨三维场景获取与重构验证
基于上述实验平台,对提出的流程进行验证。由于局部区域扫描过程中目标区域的采样密度较低,因此重建得到的深度图像的分辨率较低。此时利用目标区域的多回波信息,计算各目标的距离值与反射面积比,并将其作为先验条件,对目标区域的深度图像进行高分辨图像重建。全视场扫描情况下,激光束发散角为11.7 mrad,在目标区域形成了180 mm的扫描光斑。振镜扫描视场角为
图 6. 全视场场景低分辨率获取与多回波。(a)5 pixel × 5 pixel深度图像;(b)多回波区域
Fig. 6. Low resolution acquisition and multiple echoes of full field of view scene. (a) depth image with 5 pixel × 5 pixel; (b) multi-echo region
在目标区域扫描过程中,控制变焦透镜,改变激光束散角为5.7 mrad,会在目标区域形成90 mm的扫描光斑。振镜扫描视场角为(
图 7. 目标区域图像与回波。(a)目标区域6 pixel × 4 pixel重建深度图像;(b)目标区域扫描中各子区域回波
Fig. 7. Target region image and echo. (a) Reconstructed depth image of the target area with 6 pixel × 4 pixel; (b) echoes of each sub-region in the target region scanning
将
图 8. 目标区域120 pixel × 80 pixel超分辨深度图。(a)距离图像;(b)三维图像
Fig. 8. Super resolution depth map of the target region with 120 pixel × 80 pixel. (a) Distance image; (b) three-dimensional (3D) image
3.3 对比实验与分析
搭建由背景板与坦克模型组成的目标区域,如
图 9. 目标区域。(a)被测目标区域;(b)目标相对位置
Fig. 9. Target region. (a) Measured target area; (b) relative position of the target
表 1. 实验中的扫描参数
Table 1. Scanning parameters in the experiment
|
图 10. 实验结果。(a)高分辨扫描重建三维图;(b)低分辨扫描重建三维图;(c)18 pixel × 18 pixel高分辨率扫描重建深度图;(d)9 pixel × 9 pixel低分辨率扫描重建深度图;(e)图10(c)目标区域深度图;(f)图10(d)目标区域4倍上采样深度图;(g)图10(d)目标区域超分辨重建深度图
Fig. 10. Experimental results. (a) High resolution scanning reconstruction of 3D images; (b) low resolution scanning reconstruction of 3D images; (c) high resolution scanning reconstruction depth map with 18 pixel × 18 pixel; (d) high resolution scanning reconstruction depth map with 9 pixel × 9 pixel; (e) depth map of the target area in Fig.10 (c); (f) 4 times the upper sampling depth map of the target area in Fig.10 (d); (g) depth map of the target region super-resolution reconstruction in Fig.10 (d)
以逐点高分辨率扫描方法获得的18 pixel×18 pixel深度图像作为目标区域的真实深度图,其中坦克模型所在目标区域的14 pixel × 6 pixel深度图如
将高分辨扫描重建得到的目标区域深度图[
图 11. 目标区域重建深度图像距离误差分布。(a)低分辨率重建;(b)高分辨重建
Fig. 11. Distance error distribution of reconstructed depth image in target region. (a) Low resolution reconstruction; (b) high resolution reconstruction
4 结论
激光三维成像已被广泛应用于智能侦察、无人驾驶、智慧交通、工业检测、生物医疗等军民领域。现有激光三维成像,无论扫描还是非扫描方式,仍难以兼顾高分辨与实时性。针对传统固定分辨率扫描方法存在的点云冗余度高、图像重构精度低的问题,提出变分辨率扫描成像方法,通过对多回波建模实现针对目标的高分辨扫描重构成像,在保证目标重构精度的条件下,有效地降低了场景的扫描点数,采样比为传统的50%。实验所获成果可有效提升激光三维成像的数据利用率,有利于提升基于点云的目标识别与探测效率。
[1] Li Y, Ibanez-Guzman J. Lidar for autonomous driving: the principles, challenges, and trends for automotive lidar and perception systems[J]. IEEE Signal Processing Magazine, 2020, 37(4): 50-61.
[2] Schwarz B. Mapping the world in 3D[J]. Nature Photonics, 2010, 4(7): 429-430.
[3] 刘博, 于洋, 姜朔. 激光雷达探测及三维成像研究进展[J]. 光电工程, 2019, 46(7): 190167.
[4] 陈念江. 激光三维成像体制综述[J]. 激光与红外, 2015, 45(10): 1152-1156.
Chen N J. Review of 3D laser imaging technology[J]. Laser & Infrared, 2015, 45(10): 1152-1156.
[5] 曹杰, 郝群, 张芳华, 等. APD三维成像激光雷达研究进展[J]. 红外与激光工程, 2020, 49(9): 2190549.
Cao J, Hao Q, Zhang F H, et al. Research progress of APD three-dimensional imaging lidar[J]. Infrared and Laser Engineering, 2020, 49(9): 2190549.
[6] Jin J, Lee E S, Chun K W, et al. Fast-running beamforming algorithm for optical phased array beam scanners comprised of polymeric waveguide devices[J]. Optics Express, 2022, 30(2): 768-779.
[7] Shen G Y, Zheng T X, Li Z H, et al. High-speed airborne single-photon LiDAR with GHz-gated single-photon detector at 1550 nm[J]. Optics & Laser Technology, 2021, 141: 107109.
[8] 高冬阳, 陈宗镁, 陈寰, 等. Gm-APD焦平面阵列的距离重构与三维成像实验[J]. 光子学报, 2022, 51(12): 1214005.
[9] 霍晓培, 杨德振, 喻松林, 等. 单光子探测器研究现状与发展[J]. 激光与红外, 2023, 53(1): 3-11.
Huo X P, Yang D Z, Yu S L, et al. Research on status and development of single photon detector[J]. Laser & Infrared, 2023, 53(1): 3-11.
[10] Sun M J, Zhang J M. Single-pixel imaging and its application in three-dimensional reconstruction: a brief review[J]. Sensors, 2019, 19(3): 732.
[11] 曹杰, 郝群, 张芳华, 等. 仿人眼视网膜成像技术研究进展(特约)[J]. 红外与激光工程, 2020, 49(8): 20201026.
[12] Wagner W, Ullrich A, Ducic V, et al. Gaussian decomposition and calibration of a novel small-footprint full-waveform digitising airborne laser scanner[J]. ISPRS Journal of Photogrammetry and Remote Sensing, 2006, 60(2): 100-112.
[13] Yang A, Cao J, Zhang F H, et al. Ultrathin tunable lens based on boundary tension effect[J]. Sensors, 2019, 19(18): 4018.
Article Outline
郝群, 韩斌, 杨骜, 梁龙, 陈泓霖, 曹杰. 空间变分辨率扫描三维重构成像研究[J]. 激光与光电子学进展, 2023, 60(11): 1106017. Qun Hao, Bin Han, Ao Yang, Long Liang, Honglin Chen, Jie Cao. Spatial Variable Resolution Scanning Three-Dimensional Reconstruction Imaging[J]. Laser & Optoelectronics Progress, 2023, 60(11): 1106017.