红外与激光工程, 2020, 49 (11): 20200053, 网络出版: 2021-01-04   

光场相机在湍流下的清晰成像和点云计算 下载: 759次

Image clarification and point cloud calculation under turbulence by light field camera
作者单位
1 中国科学院合肥物质科学研究院,安徽 合肥 230031
2 中国科学技术大学 科学岛分院,安徽 合肥 230026
3 国防科技大学 前沿交叉学科学院,湖南 长沙 410073
摘要
无变形镜条件下抵抗大气湍流影响获取几百米至几十公里外目标的清晰成像和点云数据具有重要意义。光场相机是清晰成像和点云计算领域的有力工具,但是它在湍流条件下无法正常工作。同时光场相机技术的主要研究方向集中在如何提高点云的精度和密度,暂无人将其应用于湍流清晰成像。基于相空间光学原理改进了光场相机的信息提取算法,在湍流条件下完成了清晰成像和点云计算。这种算法使用四维密度函数来描述复眼结构,对原始数据的使用更加充分,能够提取物点完整的低阶相位信息,因而,可以抵抗湍流对局部子孔径的影响,稳健地获取目标点云,解算深度图并得到全聚焦清晰成像。根据这一原理设计了光场相机系统,探测室内湍流池后方的目标以及室外湍流下500 m处目标,均获得了4 k以上个物点的准确低阶相位分布,给出了目标的三维点云图和清晰成像。结果表明,该方法无需变形镜系统,也不需要先验信息,是一种稳定工作的解析算法。
Abstract
It is of great significance to obtain clear imaging and point cloud data of targets from hundreds to dozens of kilometers away under atmospheric turbulence without deformable mirror. Light field cameras are powerful tools in the field of image clarification and point cloud calculation, but they don't work well in turbulent conditions. Meanwhile, the main research direction of light field camera technology focuses on how to improve the precision and density of point cloud, and no one applies it to turbulence image clarification temporarily. This job was finished by improving information extraction algorithm of light field camera based on phase space optics. This algorithm was more fully to use RAW data, because of adopting four dimensional density functions to describe the structure of compound eye, and therefore, it could resist the influence of turbulence on local sub-aperture images, acquire target point cloud steady, calculate the depth map and clarify turbulence-degraded image. Light field camera based on such method acquired more than 4 k accurate wavefront distribution, when it was used for detecting indoor target behind the turbulence pool and outdoor target 500 m far from the camera, and 3D point clouds and clear image were obtained successfully. The results show that this method is a stable analytical algorithm without deforming mirror system or prior information.

0 引 言

无变形镜条件下抵抗大气湍流影响获取几百米至几十公里外目标的清晰成像和点云数据将极大提高系统的性价比并缩小系统体积[1]。在这一领域,激光雷达和各种后期图像处理算法都取得了一定的效果,是目前主流的解决方案。激光雷达是常用的点云生成工具,但其横向分辨率受发散角影响,随工作距离增加不断退化,难以胜任清晰成像的分辨率需求。采用点扩散函数反卷积来后期清晰成像的方法在运动目标等有着固定模糊模式的图像处理领域有着广泛的应用[2],但是对于湍流这种完全随机的应用条件无法稳定工作。

光场相机本身就是为了聚焦成像和点云计算而设计的。它的结构中含有精密设计的微透镜阵列,对于任一物点都可以等效为数量可控的复眼结构,与哈特曼传感器类似,能够将复杂波前分布分解为大量子孔径上的倾斜,因而具备抵抗湍流的可能性,是解决这一问题的潜在选手[3]。然而传统算法为了提高运算效率,对同一物点的深度计算仅使用了复眼边缘少量子孔径的图像信息,受湍流扰动后,这些子图像发生扭曲和平移,导致算法无法正常工作,实测数据表明该条件下点云的深度图错误频出。

在相空间光学中,湍流下的目标光场由位置坐标与波矢坐标共同描述,正对应着复眼结构中子透镜的坐标和子透镜下图像的坐标,表现为四维相空间中密度函数[4]。借助相空间理论,我们能够通过全部复眼中的偏移信息来解算完整的相位分布,用分离出的离焦项来代替传统算法得到的深度,将湍流影响分散到其他高阶项上,这样得到的点云算法稳健有效[5]

在光场相机领域,例如业内最高水平的Raytrix公司,其主要研究方向集中在如何提高点云的精度和密度,暂无人将光场相机应用于湍流清晰成像。

利用光场相机独特结构优势解决了湍流下清晰成像和点云计算问题,基于相空间光学原理设计研制的光场相机系统,完成了对目标光场四维相空间密度函数的实时高分辨采样,由此解算得到了目标场景的全视场相位谱图,用20 M的原始像素得到了视场内4 k个左右的低阶相位分布,进而计算得到了视场内的去湍流清晰成像、湍流结构重建以及三维点云。

1 基于光场相机采样光学相空间密度函数

1.1 光学相空间密度函数

q表示光线的位置矢量,p表示波矢矢量,单根光线可由二维相空间中的狄拉克函数来描述[6]。如图1所示。

图 1. 传输截面上光线的相空间坐标示意图

Fig. 1. Phase space coordinates schematic diagram of the ray on transmission cross section

下载图片 查看所有图片

一个经典的光学复信号可以表示为[4]

$ \begin{split} \psi (q) =\;& \left| {\psi (q)} \right|\exp (i2\pi {p / \hbar })=\\ & \left| {\psi (q)} \right|\exp (i2\pi \nu ) \end{split} $  (1)

文中算法直接使用单帧光学测量数据来解析计算全场相位分布,因而采用不含时间项的表达方式。此时,动量和空间频率(波矢方向)成正比,后文采用 $\nu $来表示空间频率。

满足坐标正交,积分等于光强的分布函数都可以称之为光学相空间密度函数,一般有四种表现形式,用互相关函数来定义[4]

$ \begin{split} & \varGamma (q,q') = \psi \left(q + \dfrac{1}{2}q'\right){\psi ^*}\left(q - \dfrac{1}{2}q'\right) \\ & W(q,\nu ) = \int {\varGamma (q,q')\exp ( - {\rm{i}}2\pi \nu q'){\rm{d}}q'} \\ & A(q',\nu ') = \int {\varGamma (q,q')\exp ( - {\rm{i}}2\pi q\nu '){\rm{d}}q} \end{split} $  (2)

互相关函数和Wigner分布之间通过傅里叶变换互相联系,共有4种等效分布形式,如图2所示,相应的也有4种采样方式。光场相机结构最适合测量互相关函数,实验结果表明,这是最高分辨率的采样方式。

图 2. 光学相空间的四种密度函数

Fig. 2. Four density functions in optical phase space

下载图片 查看所有图片

1.2 光场相机结构及其与互相关函数的关联

光场相机通过在主透镜和传感器之间插入微透镜阵列来同时记录同一物点所有方向上光线的强度,原始数据包含了密度函数所需的空间坐标和波矢坐标。在光场相机2.0结构中,微透镜到像元的间距不等于微透镜焦距,也被称作聚焦型光场相机[7], 如图3所示[8], 其中DLfL为主镜口径、焦距;Df为微透镜口径和焦距;aLbL为主镜成像空间中的物距、像距;aB为虚空间的物距和像距;BL为主镜到成像传感器的距离;从左至右的蓝色箭头分别表示物点、像点、二次成像点。该结构等效于一个超级复眼,主镜头作用下每一个物点的成像范围都覆盖了若干数量的微透镜,相应的子图像之间具有相关性。在原始数据中使用互相关检索,相当于一次性搜索出可识别物点以及与之相关的子图像群,形成了针对每一个物点的光场信息。子图像之间的差异度由视差(即频域差异)和传输介质结构决定,所形成的互相关函数与该物点的相位息息相关。

图 3. 光场相机2.0结构示意图

Fig. 3. Light field camera 2.0 structure diagram

下载图片 查看所有图片

2 基于相空间光学提取全场相位图谱

算法流程为:利用互相关函数进行全局匹配搜索,寻找可识别物点,提取相应的相空间分布,再进一步解算全视场的稀疏相位图谱。相位提取程序逐点进行,使用模式法,将像差的相空间表现形式代入单点密度函数并提取相关系数[7-9]

低阶像差在光学相空间中的形态如图4所示,离焦项位于第一行。利用这些分布特征在原始采样数据中检索,可以提取到对应系数。相空间形式的像差与传统波前的Zernike分解事实上异曲同工,但是这些表达形式可以直接应用于光场采样数据,具有极大的便利性。

图 4. 前三阶像差与相空间中形变的对应关系

Fig. 4. Relationship of first three order aberration and corresponding deformation in phase space

下载图片 查看所有图片

全场相位图谱是指在计算成像的二维坐标系中,测量每一个坐标位置上的二维相位分布,由此获得的数据结构,如果只取相位的离焦项进行绘制,也可以称为深度图,表示物点到相机传感器之间的距离,与三维点云可以直接转换。与光场相机传统点云算法相比,这种方式将每个物点所对应的全部子孔径图像信息代入计算,相当于拟合出了离焦系数,因而能够稳定工作。一般来说,由单帧数据解算出的具有准确相位的物点数量远小于原始像素,由这些相位组成的数据结构也称为稀疏相位图谱,再经过有限插值或者全局插值得到的图谱称为稠密相位图谱[9]。原始像素,由这些相位组成的数据结构也称为稀疏相位图谱,再经过有限插值或者全局插值得到的图谱称为稠密相位图谱[5]

计算流程如图5所示[8]。注意,对于高阶相位值,只有在确认传输介质属于连续流体时才能够进行插值。

图 5. 全场相位图的计算流程图

Fig. 5. Calculation flow chart of full FOV phase map

下载图片 查看所有图片

3 实验结果及分析

3.1 室内试验结果及分析

为测试湍流靠近目标条件下的点云计算效果,选取拍摄目标为酒精产生的火焰,实验选用100 mm焦距的主镜头,火焰距离相机小于0.8 m,相机积分时间50 μs,效果如图6所示。

图 6. 火焰动态三维重建实验结果

Fig. 6. 3D reconstruction results of dynamic flame

下载图片 查看所有图片

根据光场相机深度分辨率计算模型[3],理论上远端分辨率0.1 mm,近端分辨率为1 mm,实际以铁锅为参照实测火焰三维点云的纵向精度为0.2 mm,符合仿真预期。

为测试湍流靠近光学口径时的点云计算效果,选取湍流下的平面文档作为拍摄目标。如图7所示,相机和目标之间加入一个高温湍流池,它的底部是4根加热管,加热到大约500 ℃时,两个窗口之间就是高温湍流区域,有微风扰动。由于湍流变化相当快,相机的积分时间设定为100 μs,尽管采用了大量的照明措施,图像还是有些偏暗。实验结果如图7所示,上图为普通成像方式,可以看到,强湍流区域集中在湍流池下层,该区域成像模糊不清,下图为去湍流清晰成像。

图 7. 去湍流清晰化成像实验场景及结果

Fig. 7. Turbulence-degraded image clarifications experiment results

下载图片 查看所有图片

表1给出了图7中红色区域(尺寸60×300)图像质量的评价结果。其中,SSIM和PNSR为有参考评价指标,以无湍流原图像为参考图像,Tenengrad梯度为无参考清晰度评价指标。

表 1.

Analysis of turbulence-degraded imaging clarification quality

湍流清晰化成像质量评价

Table 1.

Analysis of turbulence-degraded imaging clarification quality

湍流清晰化成像质量评价

MSSIMPNSR/dBTenengrad
注:MSSIM(平均结构相似度指数)模拟人眼对图像结构相似性的认知,取值范围[0,1]。PNSR(峰值信噪比指数)是基于误差敏感的图像质量评价指标,PNSR越大则表明图像失真越小。Tenengrad梯度函数是基于图像梯度的评价函数,图像边缘越清晰,Tenengrad函数值越大。
After clarification0.91650.2341.165
Before clarification0.50147.1030.563 3

查看所有表

根据表1,算法矫正后的图像更加清晰,这与人眼的主观感知结果是一致的。

3.2 室外实验结果及分析

为验证对远距离目标的成像效果,在7层楼顶进行了验证实验。采用228 mm口径F/9的透射式望远镜,光场相机选用6.4 μm像元20 M像素的传感器,探测目标距离传感器像元约为500 m。由于目标近,主镜头口径小,并且远离地面,尽管实验时间选在正午,湍流效应仍不明显,为增大扰动效果,在镜头前越1 m处用酒精点火,产生干扰气流。选取远处大楼顶部电视接收天线作为目标物,拍摄场景和效果如图8所示。受火焰位置影响,强湍流区域集中在照片的下方。

图 8. 室外实验去湍流清晰化效果图

Fig. 8. Outdoor turbulence-degraded image clarifications experiment results

下载图片 查看所有图片

图8的中图为重聚焦照片,是指定天线中心位置为聚焦物面的计算成像,相当于使用普通相机拍摄,下图为全聚焦照片,是使用“全场相位图谱”对图片进行清晰化后的结果。湍流对图像清晰度的扰动非常微小,但仔细观察会发现照片下方物体的清晰度有明显差异,由于高阶相位的数值都非常小,这里仅给出离焦项的相位图。表2给出了图8中椭圆红圈部分的成像质量评价结果,采用无参考图像评价指标。

表 2.

Analysis of imaging quality

成像质量分析

Table 2.

Analysis of imaging quality

成像质量分析

SMDTenengrad
注:SMD(灰度方差指数)是图像全像素的灰度差分值之和,根据全聚焦图像中的高频分量最多的原理,将灰度变化作为聚焦评价的依据。根据表2,矫正后图像的SMD与Tenengrad值比未矫正图像的更高,这表明其具有更高的成像清晰度。
After clarification24.631.089
Before clarification20.970.870

查看所有表

图9的上图中的点均为具有相位准确测量值的物点,可以看出,与无湍流情况相比,照片的下方,尤其是右下方有多簇违反远近规律的点云团,这些畸变只能是由于湍流扰动而引起的。使用无湍流情况下的计算成像方法,效果如图9上图所示,尽管弯管与排气孔处于同一深度,二者的清晰度却不完全相同,然而将这些相位畸变代入原始图像进行清晰化后,就可以看到图像明显变的清晰,如图8红色圆圈内图像所示。

图 9. 室外实验全场相位图谱(仅离焦项)

Fig. 9. Full FOV phase map (only unfocused item) of outdoor experiment

下载图片 查看所有图片

上述实验表明选取合适的光学参数后,对远距离扩展信标也能够测量大气湍流的相位分布。

根据如图10所示的理论模型[10],该系统在500 m处的深度分辨率应为0.6 m,实测分辨率小于0.75 m。例如目标天线直径实际为1.5 m,图9中天线中心到边缘的深度层次大约为3层,故该区域分辨率0.25 m。

图 10. 500 m处目标点云深度分辨率理论预期值

Fig. 10. Theoretical depth resolution of target point cloud at 500 m

下载图片 查看所有图片

4 结束语

文中介绍了基于相空间光学的光场相机技术,进一步发掘了光场相机的潜力,使其能够在湍流条件下稳定工作,获取目标的清晰图像和三维点云。与传统自适应光学相比,该方法无需消耗巨大的变形镜系统,尤其不惧怕扩展信标,相反,目标场景越复杂,可提取的二维相位图谱密度越高,点云效果越好。与后期完成图像清晰化的方法相比,它在前期就采集到了充足的光场信息,能够实时解算单帧图像的相位图谱,是真正的解析算法,实验结果表明,系统能够稳定工作,达到了预期目标。唯一的劣势在于,运算量巨大,需要高性能处理器和高度优化的算法。

参考文献

[1] 姜文汉, Jiang Wenhan. Overview of adaptive optics development[J]. Opto-Electronic Engineering, 2018, 45(3): 170489.

[2] 李俊山, Li Junshan, Yang Yawei, 杨亚威, 张姣, Zhang Jiao. Progress of degraded image restoration methods[J]. Chinese Journal of Liquid Crystals and Displays, 2018, 33(8): 676-689.

[3] 王佳华, Wang Jiahua, 杜少军, Du Shaojun, 张烜喆, Zhang Xuanzhe. Design of focused light field computational imaging system with four-types focal lengths[J]. Infrared and Laser Engineering, 2019, 48(2): 0218003.

[4] Markus T, Bryan H, Jge O. PhaseSpace Optics Fundamentals Applications[M], New Yk: McGrawHill Companies, 2010: 107162

[5] 吕洋, Lv Yang, 宁禹, Ning Yu, 马浩统, Ma Hongtao. Research on computationally adaptive plenoptic imaging[J]. Opto-Electronic Engineering, 2018, 45(3): 180075.

[6] Wolf K B. Geometric optics on phase space[M]. Berlin: Springer Science & Business Media, 2004.

[7] Ng R, Levoy M, Brédif M. Light field photography with a hand-held plenoptic camera[J]. Computer Science Technical Report CSTR, 2005, 2(11): 1-11.

[8] Zhang X, Yang Y, Du S J, et al. Adding polarimetric imaging to depth map using improved light field camera 2.0 structure[C]Digital Optical Technologies 2017. International Society f Optics Photonics, 2017, 10335: 103351Q.

[9] Zhang X Z, Shu B H, Du S J. Wavefront detection of extendedbeacon based on phasespace optics[C]Advances in Optical Mechanical Technologies f Telescopes Instrumentation. International Society f Optics Photonics, 2014, 9151: 915126.

[10] Wang J H, Zhang X Z, Du S J, et al. Resolution analysis of focused plenoptic camera with four types focal lengths[C]AOPC 2019: Display Technology Optical Stage. International Society f Optics Photonics, 2019, 11335: 1133504.

张烜喆, 王彦, 王佳华, 侯再红, 杜少军. 光场相机在湍流下的清晰成像和点云计算[J]. 红外与激光工程, 2020, 49(11): 20200053. Xuanzhe Zhang, Yan Wang, Jiahua Wang, Zaihong Hou, Shaojun Du. Image clarification and point cloud calculation under turbulence by light field camera[J]. Infrared and Laser Engineering, 2020, 49(11): 20200053.

本文已被 3 篇论文引用
被引统计数据来源于中国光学期刊网
引用该论文: TXT   |   EndNote

相关论文

加载中...

关于本站 Cookie 的使用提示

中国光学期刊网使用基于 cookie 的技术来更好地为您提供各项服务,点击此处了解我们的隐私策略。 如您需继续使用本网站,请您授权我们使用本地 cookie 来保存部分信息。
全站搜索
您最值得信赖的光电行业旗舰网络服务平台!