1 引言

近年来,光场成像作为一种新颖的技术得到越来越多的关注^[1-4]。常用的光场采集方式有单相机多自由度移动、相机阵列^[5]、编码孔径^[6]、内嵌掩模^[7]、微透镜阵列^[8]等。例如,通过在主透镜及探测器之间放置一个微透镜阵列,微透镜将主透镜会聚的光线进行成像或分散并传播到探测器上不同像素位置,因此可以追踪每条光线在探测器上的落点,探测包含光线的位置和方向信息的4维光场。相比于传统成像只记录光线的2维强度信息,4维光场数据通过计算成像技术进行后处理,可以实现多视点成像、数字重聚焦、全对焦成像、合成孔径等多种成像应用^[9]。通过数字重聚焦技术解决特殊场合图像的失焦、背景目标过多等问题;通过合成孔径技术实现“透视”监视;在与显微技术融合后,还能实现多视角大景深显微成像。

4维光场数据中包含丰富的空间和角度信息,其中光线的角度信息与场景的深度信息具有高度耦合性。一方面,不同角度采样下的空间信息具有对应关系,另一方面,使用角度信息能够在不同深度下对光场数据进行剪切操作,使得光场成像具备深度成像、三维重构等功能。通常使用视差和焦点堆栈进行光场深度计算^[10-15]。前者从光场多视点图像中提取场景的视差图;后者从光场重聚焦图像中提取场景聚焦或者失焦信息。然而,这些被动光场深度计算方法依赖于光场记录的辐射强度信息构建深度线索,容易受到物体表面反射率、环境光照、场景遮挡和探测噪声等因素的干扰。

本文提出一种新的主动光场深度成像方法,在光场成像中引入结构照明,结合了光场和结构光的优点。结构光应用于光学三维成像与测量,能够为不同视点下的目标场景提供便捷、快速和准确的辅助匹配信息,具有非接触、测量速度快、精度高和易于在计算机控制下实行自动化测量等优点^[16-19]。在前期研究工作中,通过结合光场成像与结构照明,实现了基于相位映射的多视点深度以及三维测量^[20-21],但尚未充分利用光场结构本身特有的深度线索进行计算和分析。在结构照明下,光场成像同时记录光线的方法信息和受场景深度调制的相位信息,本文使用相位编码信息替代强度信息,为构建光场深度线索提供强度不敏感的匹配特征,实现精确、稳健的光场深度计算。

2 原理

2.1 光场参数化

为了分析几何光学范畴内视觉信号的基本元素,即空间光线集合^[22],Adelson等^[23]提出了7维全光函数L(x,y,z,θ,φ,λ,T),描述随位置(x,y,z)、角度(θ,φ)、波长λ以及时间T变化的空间连续光场信号。针对不同的应用条件,需将7维全光函数在一定的物理意义下降维。考虑到光线在自由空间中传播时波长不变,则任意时刻的光线可由5维参数(x,y,z,θ,φ)表示。若忽略光线在传播过程中能量的衰减,可将5维全光函数降至4维,即4维光场。实际的成像系统大多数可以简化为由孔径平面和探测平面构建的成像模型。使用双平面方式对光场进行参数化和分析^[1],将辐射强度表示为L(s,u),其中s=(s t)、u=(u v)为光线与两个平面的交点坐标,分别表征光线的空间坐标和角度坐标,见图1。

图 1. 光场的双平面参数化表示方法

Fig. 1. Light field parameterization using two planes

下载图片 查看所有图片

2.2 光场图像处理

传统成像系统所采集到的图像为探测器上每个像素点对来自整个光瞳的光线进行积分,像素点s处的光照度为

I(s)=∬L(s,u)du。(1)

与传统成像不同,光场成像在2维探测器上同时记录光场的4维信息,即2维位置分布和2维传输方向。对4维光场数据进行后处理能够实现不同的成像效果,如数字重聚焦和多视点成像。

数字重聚焦是将采集的光场重新投影到新的像平面上进行积分,根据几何关系,4维光场投影到新焦面上的成像公式^[24]为

I(s)=∬L(sα,u)du=∬Ls+1-1αu,udu,(2)

式中:s_α为空间坐标的剪切量;α为剪切值,表征像距比,即α=F'/F,F和F'分别为原像面和新像面的像距。

光场成像范围取决于主透镜和微透镜阵列的大小,如果限定u的某一取值范围,则计算所得到的图像对应于物体通过主透镜的某一部分孔径所成的像。通过改变u的取值范围可得到不同视角下的图像,表示为

I(s)=∫∫ΔuL(s,u)du,(3)

式中:Δu为特定视角下u的取值范围。

多视角成像能够反映场景在各个成像视角下的视差,而重聚焦成像能够反映场景在各个成像深度处的清晰或模糊状态。因此,光场的多视角成像和数字重聚焦从不同的维度反映了场景的深度信息。这是因为光场成像所记录的光线角度信息与场景深度信息具有高度耦合性,使得光场成像具备深度感知的功能。通过视差、模糊等反映场景深度变化的深度线索构造光场数据的能量函数E_α[L(s,u)],该能量函数以光场剪切值α作为变量。通过优化能量函数,可以计算出α,实现光场深度成像,表示为

argαmaxEα[L(s,u)]。(4)

(4)式中能量函数的构造和优化依赖于光场记录的辐射强度信息,这类方法可以归类于被动光场深度计算方法。光场的辐射强度容易受到物体表面反射率、环境光照、场景遮挡和探测噪声等因素的干扰,进而影响被动光场深度计算的精确性和稳健性。

3 方法

提出一种主动光场深度计算方法。通过条纹结构光对场景进行相位编码,利用相位编码信息替代辐射强度信息,为构建光场深度线索提供强度不敏感的匹配特征。图2为由光场相机和投影仪组成的系统结构。计算机生成的标准正弦条纹图案(以竖直条纹为例)为

I(m,n)=a+bcos(2πfm),(5)

式中:I为条纹强度;a和b分别为用户设计的条纹背景强度和调制强度;f为条纹空间频率;(m,n)为像素位置。投影仪将条纹图案投射到物体表面,条纹结构光经物体表面调制和反射后,由光场相机记录具有编码信息的光场,即

L(s,u)=A(s,u)+B(s,u)cos[ϕ(s,u)],(6)

式中:A(s,u)和B(s,u)分别为光场的背景辐射强度和调制辐射强度;ϕ(s,u)为受物体深度调制的相位信息。通过条纹分析技术可以解调出调制相位。

图 2. 主动光场深度计算示意图

Fig. 2. Diagram of active light field depth computation

下载图片 查看所有图片

调制相位ϕ(s,u)具有光场光线的4维空间-角度结构,反映了相位编码信息的空间分布情况,本文称之为相位编码场。对相位编码场选取特定的角度坐标以反映特定视角的相位编码ϕ(s,u_i),其中u_i为特定视角i的角度坐标。此外,对相位编码场进行剪切操作以反映不同深度的相位编码ϕ(s_α,u)。因此,相位编码场具备光场深度传感功能。相比于辐射强度,相位编码对物体表面反射率、环境光照、场景遮挡和探测噪声等干扰因素具有较强的免疫力,能够提供精确、稳健的匹配特征。因此,使用相位编码信息能够为构建视差、模糊等光场深度线索提供强度不敏感的匹配特征,进而构造相位编码场的能量函数E_α[ϕ(s,u)],并优化求解出α,实现主动光场深度的精确计算。

4 实验与分析

为验证所提出的主动光场深度计算方法的有效性,搭建了实验系统进行演示和分析。该系统由一个光场相机(Lytro 1.0)和一个投影仪(K132型,Acer公司,中国台湾,1280 pixel×800 pixel)组成。光场相机所记录的图像可以解码为四维光场数据,其空间分辨率为378 pixe×379 pixel,角度分辨率为11 pixel×11 pixel。图3(a)为均匀光照下实验场景的光场图像。可以看出,魔方的每一个格子具有特定的颜色,而每一面包含多个格子,具有丰富的颜色变化。图中右上角放大显示了红色标记框内的多个微透镜子图像排列组成的光场图像结构,可以看出,在魔方同一个格子内微透镜子图像的颜色均匀变化。

图 3. 实验场景。(a)均匀光照下的光场图像及其放大结构图;(b)结构光照下的光场图像及其放大结构图

Fig. 3. Experimental scenes. (a) Light field image and its amplified structure under uniform illumination; (b) light field image and its amplified structure under structured illumination

下载图片 查看所有图片

实验中,使用投影仪投射条纹结构光到物体表面,图3(b)为结构光照明下实验场景的光场图像。由红色标记框内放大图可以看出,同一魔方格子内的光场结构具有明显的明暗变化效果。通过相移条纹分析技术^[25]求解出对应于图3(b)的相位编码场,其图像如图4(a)所示。从右上角显示的放大结构图可以看出,不仅在微透镜子图像之间,而且在每个微透镜子图像内部,相位编码都具有明显的变化结构。图4(b)、(c)分别为u=(2,2)^T和u=(6,6)^T两个视角下的相位图,两个视角下的前景和背景相位编码信息都具有一定的差异性。通过绘制图4(b)、(c)中红色和蓝色标记线的相位分布图,进一步分析同一场景在不同视角下的相位分布差异,如图4(d)所示。由图4(d)中两个放大的曲线图可以看出,不同视差的相位分布具有明显区别,相位变化反映出场景的视差结构。因此,相位编码能够为构建光场深度线索提供精确的匹配特征。

图 4. 相位编码场。(a)相位编码场的图像及其放大结构图;(b) u=(2,2)T视角下的相位图;(c) u=(6,6)T视角下的相位图;(d)对应图4(b)、(c)中红色和蓝色标记线的相位分布曲线

Fig. 4. Phase-encoded field. (a) Phase-encoded field image and its amplified structure; (b) phase map from perspective of u=(2,2)T; (c) phase map from perspective of u=(6,6)T; (d) phase distribution curves corresponding to red and blue marker lines in Fig. 4(b) and Fig. 4(c)

下载图片 查看所有图片

为分析光场深度成像效果,本实验使用Tao等^[12]的方法,分别通过均匀光照下光场的辐射强度和条纹结构光照明下相位编码场的相位信息构造光场能量函数,计算出场景深度,结果如图5所示。由图5(a)、(c)可以看出,由于魔方的每一格子在均匀光照下具有相似的颜色和纹理,使用光场的辐射强度无法有效感知深度变化,导致优化之后魔方每个格子的深度与背景深度相近。使用本文提出的主动方法,通过相位编码能够实现精确的光场深度计算。由于魔方每个格子都具有特定的相位编码结构,最终能够优化出准确的场景深度,如图5(b)、(d)所示。

图 5. 光场深度计算。(a)被动方法;(b)主动方法;(c)对应图5(a)中深度图的三维效果图;(d)对应图5(b)中深度图的三维效果图

Fig. 5. Light field depth computation. (a) Passive method; (b) active method; (c) three-dimensional model maps corresponding to depth map in Fig. 5(a); (d) three-dimensional model maps corresponding to depth map in Fig. 5(b)

下载图片 查看所有图片

5 结论

通过结构光照明为场景提供相位编码信息,进一步为构建光场深度线索提供强度不敏感的匹配特征,由此精确计算场景深度。实验结果显示,对于颜色、纹理相似的场景,被动方法无法有效区分深度变化,而使用本文提出的主动方法能够有效计算出场景深度。因此,相比于被动方法,主动方法能够获得更高质量的深度效果,实现精确、稳健的光场深度计算。