光学学报, 2020, 40 (8): 0811003, 网络出版: 2020-04-13   

基于共焦照明的合成孔径成像方法 下载: 871次

Synthetic Aperture Imaging Method Based on Confocal Illumination
作者单位
中北大学信息与通信工程学院, 山西 太原 030051
摘要
合成孔径成像技术利用虚拟大尺寸孔径可实现局部被遮挡目标的有效探测,但是当场景中存在强背向散射时,重聚焦图像质量大大降低。针对上述问题,提出了一种基于共焦照明的合成孔径成像方法。该方法根据场景目标分布的深度信息对照明光源进行调制,有效实现聚焦面目标和非聚焦面目标接收的光照度差异;同时结合合成孔径成像重聚焦方法,实现了局部被遮挡的共焦照明面目标的高质量重建。利用反镜阵列搭建了共焦照明合成孔径成像系统,对指定深度目标进行共焦照明重聚焦成像,结果表明,所提方法能够有效区分场景中聚焦面和非聚焦面目标反射光的强度,并能获取共焦照明面目标的高质量图像信息,效果远远优于现有的合成孔径成像方法。
Abstract
Synthetic aperture imaging technology can be used to effectively detect local occluded targets by means of virtual large-size apertures, but the quality of refocused images is greatly reduced when there exist strong backscattering factors in the scene. Aiming at the above problems, a synthetic aperture imaging method based on confocal illumination is proposed, which modulates the illumination source according to the depth information of the scene target distribution, effectively realizes the illuminance difference between the focus surface target and the non-focus surface target, and combines the synthetic aperture imaging refocusing method to achieve high quality reconstruction of locally occluded confocal illumination surface targets. The confocal illumination synthetic aperture imaging system is built by an anti-mirror array, and the confocal illumination refocusing imaging is performed on the specified depth target. The results show that the proposed method can effectively distinguish the intensity of the reflected light from the focal plane and the non-focus surface target in the scene, and can obtain high quality image information of the confocal illumination surface target, and the effect is far superior to those of the existing synthetic aperture imaging methods.

1 引言

随着成像技术的发展,合成孔径技术已能够实现局部被遮挡目标的重聚焦成像,并被广泛应用于目标提取、目标跟踪等[1-5]。但是,对于存在强背向散射的环境,如在水、雾、霾等恶劣环境中成像时,合成孔径成像的效果严重退化。利用共焦照明和重聚焦成像,能够有效避免强背向散射噪声的影响,解决图像融合方面关于去除前景遮挡且分辨率低等难题,改善强背向散射场景下的成像效果。

前人所提出的合成孔径成像技术大多是在合成孔径的基础上优化成像效果。从孔径结构方面考虑,合成孔径成像存在不同孔径空间排布结构[6],环形结构和三臂结构有使用的限制条件。通过优化子孔径的位置与直径也能改善成像结果[7]。从去除前景方面考虑,可以利用极平面图(EPI)边缘特征估计场景深度、筛除前景射线的方法[8]实现合成孔径成像,也可利用聚类算法对非感兴趣目标进行标记[9]并去除的方法实现合成孔径成像。而从光源照明方面考虑,将合成孔径成像过程分为光照编码、成像译码和数字处理三个阶段,有效提高成像分辨率[10]。将共焦成像技术与合成孔径[11] 、去散射算法[12]等相结合,并应用于水下成像[13],可实现去遮挡效果并消除散射光。利用随机掩模对光源进行编码,拍摄共焦图像并进行合成孔径成像,但掩模的随机性使得该方法需要多组实验以提取前景遮挡物且过程复杂繁琐。因此,对光源如何编码和调制成为了难题。

针对这一系列问题,本文提出了一种基于共焦照明的合成孔径成像方法,不再使用随机掩模而是通过场景的先验信息设计出适用于当前特定场景的光源调制方式,并对场景进行共焦照明成像,最后利用标定共焦照明面与合成孔径成像技术对多视角图像进行合成。该方法从光源照明角度更好地实现了合成孔径成像的去遮挡,减少了对前景遮挡物的照明光线,同时突显了共焦面目标,对场景有很强的适应性,简化了共焦照明实验的复杂度。

2 共焦照明合成孔径成像方法

2.1 基本原理及成像系统模型

共焦照明就是让所有光源共同聚焦于一个平面,该平面称为共焦面。照明共焦面上的目标物受到的光照强度最强,而非共焦面上的光强相对较弱,故非共焦面上物体的反射光减少。如图1所示,多个光源与相机间隔排布,对同一共焦平面进行照明或成像。其中存在两个特殊点:共焦平面上的X点、离焦平面上的Y点,X点受到的照明强度大于Y点。

图 1. 共焦照明原理图

Fig. 1. Principle of confocal illumination

下载图片 查看所有图片

合成孔径成像技术是针对多视角图像进行融合和去遮挡,当仅对某一特定聚焦面进行重聚焦时,可以达到增强聚焦面目标物,虚化非聚焦面前后景信息的作用。以M×N虚拟相机阵列系统为例,每个虚拟位置处的相机光轴互相平行,均垂直于虚拟视点组成的空间平面,每个虚拟视点的上下、左右间距均为b

图2所示,场景中物点P与虚拟相机阵列的距离为Z,若Re为参考视点,f为相机焦距,则Re的光心与物点P的连线与成像平面相交,交点为P在成像平面上的投影点。相对于参考视点,在水平方向上,视点RmRe的投影点分别距离图像左端SmSe,根据三角几何关系:

(Re-Rm)·bZ=(Re-Rm)·b-(Sm-Se)Z-f,(1)

式中:Sm-SeP点在视点RmRe对应图像中的视差,表示为dS,则可以得出

dS=(Re-Rm)·b·fZ(2)

在垂直方向上,视点RnRe的投影点分别距离图像左端HnHe,其视差dH可表示为

dH=Hn-He=(Re-Rn)·b·fZ(3)

在聚焦过程中,需要通过消除各视点拍摄所得图像中目标物的视差来保证重建图像对应的特定深度目标的清晰度。假设P点在共焦平面上,则某一视点对应的图像去视差结果表示为

IR,Z(s',t')=IR(s-ΔBm·τ,t-ΔBn·τ),(4)

式中:IR为视点Rmn的图像;ΔBm和ΔBn分别为视点Rmn与参考视点Re在水平方向和垂直方向上的距离;调焦系数τ= fZ;IR,Z为对焦至深度Z的相机在该视点下的图像;(s,t)表示物点在原始图像中的位置;(s',t')表示经过聚焦变换后的物点位置。可以通过调整τ的值将相机对焦至不同深度,最后将去除视差后的多视角点图像进行求和平均,就可得到P点所在物面的聚焦图像。

SZ=1Nn=1NIR,Z,(5)

式中:SZP点所在物面的聚焦图像;n为视点编号;N为视点总数。

图 2. 合成孔径算法原理图

Fig. 2. Principle of synthetic aperture algorithm

下载图片 查看所有图片

结合共焦照明与合成孔径成像,合成孔径成像仅对共焦照明的共焦面进行重聚焦,两者相辅相成,共同完成对某一特定焦面的照明与成像,更好地虚化非共焦面上物体的信息,实现对焦面上目标物的有效识别和提取。为了实现单相机多视角成像,基于共焦照明的合成孔径成像模型是利用平面反射镜阵列E实现多视角的共焦照明。如图3所示,投影仪光源与相机共轴,在图中位置同为A,聚焦于垂直于直线C的平面上,该平面与A的距离为BA的轴外透视图中的中心像素位于D处。E处的一组平面反射镜将投影仪和相机的视场均划分成多个子图像,并将其反射至F处。每个反射镜均能使这些子图像到达F处,即同时聚焦。

图 3. 共焦照明的合成孔径成像模型

Fig. 3. Model of synthetic aperture imaging for confocal illumination

下载图片 查看所有图片

每个反射镜会对实际投影仪光源进行反射,形成一组虚拟投影仪光源点GG的轨迹被称作正交投影,可以通过在投影机焦平面上绘制等腰梯形4个顶点的轨迹来构造它,其中三个顶点分别是点AFD。多视角虚拟相机的位置受到反射镜共焦照明的影响。由于要实现共焦照明,并且光源与相机同轴,因此每一块反射镜反射的照明光源必须聚焦于同一块区域,故虚拟相机的空间位置也有相应的布置要求,必须让虚拟相机的光轴会聚至同一物面上同一点。若平面反射镜的放置角度有偏差,那么光源与相机均不能聚焦于同一物面,则系统不能达到共焦效果。

F处的共焦区域放大可看到,每个反射镜的反射方向各不相同,存在角度的偏差,仅点P是唯一的共焦点,因此该系统没有最佳的聚焦平面。但越接近共焦点的平面,聚焦效果越好,其可以近似为一个共焦面,非共焦面上的点UV比共焦面上的点P所得到的照明光线少,有利于突显共焦面上的目标,而脱离共焦面的目标则无法聚焦。

2.2 基于反镜阵列成像系统的标定

相机成像过程就是空间物点经过一系列的几何变换成为相机图像,也就是世界坐标系到图像坐标系的转换过程。常用的标定方法有张正友标定法[14]。多个平面反射镜实现的聚焦面仅有一个点重合,也就是说只有共焦点使每个视角的物距相同。同一物点在不同视角下的物距会发生变化,若采用普通双目标定,则会获取多个物面,存在较大的误差。因此在标定校正时,截取单个子视角进行单目标定,利用标定过程对整个系统优化出最佳的焦距和物距,使标定的物面具有唯一性,焦距、主点位置、畸变参数、倾斜参数共同构成相机的内参M,每个视角虚拟相机坐标系(XC,YC,ZC)相对于世界坐标系(XW,YW,ZW)的位置关系,即相机的外参KRT组成,它们之间的关系为

XCYCZC1=RT0IXWYWZW1=KXWYWZW1,(6)

式中:R为3×3的旋转矩阵,T为3×1的平移矩阵;0为零矩阵;I为单位矩阵。又因相机坐标系与像素坐标系(u,v)之间的关系为

ZCuv1=1dx0u001dyv0001f0000f000010XCYCZC1=MXWYWZW1,(7)

式中:dxdy分别为一个像素的长与宽;(u0,v0,1)T为主点在图像坐标系中的坐标。

综合(6)式与(7)式,可以得到

ZCuv1=1dx0u001dyv0001f0000f000010RT01XWYWZW1=MKXWYWZW1(8)

若通过标定得到需校正相机1的外参为K1,参考相机2的外参为K2,x1x2分别表示两个视角处的像素坐标,而X表示这两个视角所处的相同世界坐标系,则(8)式可简化为

x1=MK1XX=K1-1M-1x1(9)

X= K1-1M-1x1代入x2中,可得

x2=MK2X=MK2K1-1M-1x1(10)

由于需校正相机1与参考相机2都是相对于同一物面进行标定,因此得到的内外参在共焦面上能够满足单应性。利用内外参组合,得到多视角图像之间的单应性关系H,它能使所有视角的相机坐标系都转换到参考视角的相机坐标系下,为之后的合成孔径算法提供视角关系。

H=M[R2T2][R1T1]-1M-1,(11)

式中: R1R2分别为需校正相机1和参考相机2的旋转矩阵;T1T2分别为需校正相机1和参考相机2的平移矩阵。

2.3 基于场景深度信息的调制照明方法

由于场景的可变性,文献[ 11]中使用的随机掩模已无法适应所有场景。本文利用场景深度信息,设计出适应当前场景的光源调制方式。利用基于聚焦度判断[15]的自然图像分割算法[16],对场景中的前后景信息进行标记剥离。

首先,由于视差的存在,离焦面上的物点在多视角图像对应位置处的像素值有较大差异,而聚焦面上的物点由于视差被完全消除而表现出较好的一致性。因此,在指定聚焦平面的情况下,以像素值的差异程度作为聚焦度评价的依据,构造评价函数为

C(s,t)=1Nn=1N[IR,Z(s,t)-SZ(s,t)]2(12)

依据该评价函数,可以对合成孔径聚焦图像进行像素遍历,判断像素的聚焦度,C(s,t)的值越小,则聚焦效果越好,从而区分并标记聚焦平面目标与离焦面的遮挡物。

其次,通过自然图像分割方法,构建并得到一个关于α的二次代价函数J(α)=αT,其包含一个Laplace分割矩阵,该Laplace分割矩阵的元素表示为

k|(i,j)wkδij-1|wk|1+1ζ|wk|+σk2(Ii-μk)(Ij-μk),(13)

式中: k为参数; i,j为像素坐标;IiIj分别表示以ij为中心的图像;δij为克罗内克函数;ζ为正则项;μkσk2分别为窗口wk的均值和方差; wk为窗口中像素的数量。根据(13)式,可以解出全局最优的α。通过该方法,利用已得到的离焦面遮挡物的标记信息,就能得到多视角下前景遮挡物的图像。对该图像进行二值化处理,并利用形态学方法完成空间连续性的处理,最终得到前景遮挡物的掩模图像,如图4所示。每个视角都有对应的掩模图,将所有视角的掩模图按原位置进行排列拼接。通过向投影仪光源输入拼接后掩模图像,实现对照明光源的调制,使共焦面目标和非共焦面目标接收的光照度具有差异。前景遮挡物剥离的准确性会影响后续合成孔径的效果。

图 4. 前景剥离掩模图。(a)原图;(b)前景掩模

Fig. 4. Foreground matting. (a) Original image; (b) foreground mask

下载图片 查看所有图片

2.4 共焦面重聚焦图像的增强算法

对于合成孔径后的多视角融合图像,依旧存在前景遮挡物的边缘光线痕迹,本文利用图像分层滤波方法[17],将图像表述为希望得到的聚焦层L1和非聚焦的干扰层L2。为了解决层分离问题,定义两层图像的概率P1(x)、P2(x):

P1(x)=1zmaxexp-x2σ12,ε,(14)P2(x)=12πσ22exp-x2σ22,(15)

式中: ε为常数;x是梯度值;z是归一化因子;σ1σ2是很小的值,可以使两个窄带高斯函数下降很快。本质上,可以通过负对数概率最小化来实现联合概率P(L1,L2)最小,即

-lbP1(x)minx2σ12(-lbε),1+C1,(16)-lbP2(x)x2σ22+C2,(17)

式中:C1C2为常数。作进一步简化得到类似于稀疏惩罚的函数ρ(x)=min x2c,1,其中c为一个10-4数量级的固定常数。假设图像的L1L2相互独立且导数滤波器的输出独立,则目标函数为

minL1,L2g,h[ρ(L1·fh)g+λ(L2·fh)g2],(18)

式中:λ为调节L2层的平滑度参数(一般设为100);g为像素索引;fh为导数滤波器, h为导数滤波器编号。本文使用的是一阶导数滤波器和二阶拉普拉斯滤波器。一阶导数滤波器可以有效恢复L1层的重要边缘信息,二阶拉普拉斯滤波器可以对L2中的平滑变化进行滤波处理。

3 实验与分析

基于共焦照明的合成孔径成像实验系统如图5所示。主要包括BASLER工业相机、SONY EX250投影仪、3×3平面反射镜阵列、50∶50分光镜、小型标定板及计算机。拍摄的目标平面设置为一副彩色图案。

图 5. 基于共焦照明的合成孔径成像实验系统

Fig. 5. Experimental system for synthetic aperture imaging based on confocal illumination

下载图片 查看所有图片

基于共焦照明的图像处理流程如图6所示。具体实验步骤如下:首先,标定由平面反射镜阵列形成的多视角虚拟相机,从而得到多视角图像之间的单应性矩阵,利用该单应性关系对多视角图像进行校正。由于标定的是单个物面,因此校正后该物面所对应的同一深度上的目标物所在每个视角图像中的位置均相同。其次,利用相机获取多视角场景先验信息,通过对先验信息的处理得到场景中的遮挡物与目标物,调制照明光源,对场景进行照明投影,使目标物与前景遮挡物具有初步的明暗差异,实现前景非共焦面的照明光线少,而共焦面的照明光线多。最后,对相机所获得的多视角图像信息进行处理,包括图像预处理、视角校正、掩模处理、合成孔径、图像增强。

表 1. 三种方法合成孔径成像结果的质量评价

Table 1. Quality evaluation of synthetic aperture imaging results by three methods

MethodNo maskRandom maskProposed method
PSNR7.41747.55428.7779
MSSIM0.46880.47050.4969

查看所有表

图 6. 基于共焦照明的图像处理流程

Fig. 6. Flow chart of image processing based on confocal illumination

下载图片 查看所有图片

其中,图像预处理是对拍摄图像进行对比度增强并进行滤波处理;视角校正是按照前文的标定校正方法,得到每个视角相对于中心视角的图像;掩模处理步骤是对光源调制后拍摄的图像进行进一步明暗差异处理,去除前景遮挡物,保留共焦平面上的目标物;多视角图像的合成重建是利用本文第2.1节合成孔径算法原理,对同一深度的图像完成多视角叠加,达到前景遮挡物的虚化而共焦面目标物的清晰重建的目的;图像增强则是利用本文第2.4节方法,完成对重建图像中遮挡物边缘光线的滤除。最终,对比原多视角图像,去除前景遮挡物,得到较清晰的共焦平面目标物。

三种方法的合成孔径成像对比结果如图7所示。可以看出,不加掩模的合成孔径成像能够重聚焦于目标平面,但存在模糊的前景遮挡物的阴影叠加,如图7(a)所示;文献[ 11]中所述的随机掩模编码能够较好去除遮挡物的阴影,但随机掩模的随机性导致光源投影时无法确定前景与目标的位置,目标的平面部分有50%的概率缺少照明,得到的实验结果依旧存在不清晰的情况,如图7(b)所示;而所提方法利用场景先验信息对光源进行调制,弱化非共焦面前景遮挡物的照明,增强焦平面目标的光强强度,经过图像增强处理能够重建得到边缘锐利的目标物图像,如图7(c)所示。因此,弱化遮挡物的照明并增强共焦面光照,有利于共焦面目标的重建。

图 7. 三种方法的合成孔径成像对比结果。(a)不加掩模;(b)随机掩模;(c)所提方法

Fig. 7. Comparison among synthetic aperture imaging results by three methods. (a) No mask; (b) random mask; (c) proposed method

下载图片 查看所有图片

三种方法的合成孔径成像结果的质量评价如表1所示,可以看出,所提算法能够取得较好的重建效果,其信噪比(PSNR)及平均结构相似性(MSSIM)均比其他两种方法高,说明所提方法的重建结果更接近实际移除遮挡后的拍摄图像,失真较少。

4 结论

提出了基于共焦照明的合成孔径成像方法,建立了基于共焦照明的共焦成像系统。利用场景先验信息,设计了适用于当前场景的光源调制方法并将其应用于照明投影中,通过合成孔径成像算法实现了共焦平面目标的重建。通过标定校正方法,得到了多视角图像之间的单应性关系,并开展了模拟实验。结果表明,所提方法在弱化前景遮挡物的同时,增强了共焦面目标物的光强,具有更好的适应性和对比度,可获得较好的目标物重建结果及精度。结果证明了所提方法在合成孔径成像技术中的可行性和鲁棒性。

参考文献

[1] Hwang Y S, Hong S H, Javidi B. Free view 3-D visualization of occluded objects by using computational synthetic aperture integral imaging[J]. Journal of Display Technology, 2007, 3(1): 64-70.

[2] 张伟, 邓键, 龙夫年, 等. 子孔径合成光学成像系统像质评价研究[J]. 光学学报, 2008, 28(4): 687-691.

    Zhang W, Deng J, Long F N, et al. Image quality evaluation for segmented mirror synthetic aperture optics[J]. Acta Optica Sinica, 2008, 28(4): 687-691.

[3] Jang J S, Javidi B. Three-dimensional synthetic aperture integral imaging[J]. Optics Letters, 2002, 27(13): 1144-1146.

[4] JoshiN, AvidanS, MatusikW, et al. Synthetic aperture tracking: tracking through occlusions[C]//2007 IEEE 11th International Conference on Computer Vision, October 14-21, 2007, Rio de Janeiro, Brazil. New York: IEEE, 2007: 9849062.

[5] 周程灏, 王治乐, 朱峰. 大口径光学合成孔径成像技术发展现状[J]. 中国光学, 2017, 10(1): 25-38.

    Zhou C H, Wang Z L, Zhu F. Review on optical synthetic aperture imaging technique[J]. Chinese Optics, 2017, 10(1): 25-38.

[6] 王胜千, 饶长辉, 姜文汉, 等. 四子孔径光学合成孔径成像系统空间排布性能分析[J]. 光学学报, 2008, 28(4): 692-699.

    Wang S Q, Rao C H, Jiang W H, et al. Analysis of spatial arrangement for optical synthetic aperture imaging system with four sub-apertures[J]. Acta Optica Sinica, 2008, 28(4): 692-699.

[7] 江月松. 直线阵光学综合孔径成像中的子孔径尺寸效应[J]. 光学学报, 2005, 25(8): 1042-1047.

    Jiang Y S. Size effects of sub-aperture on imaging of linear array of optical synthetic aperture[J]. Acta Optica Sinica, 2005, 25(8): 1042-1047.

[8] Mico V, Zalevsky Z, García J. Synthetic aperture microscopy using off-axis illumination and polarization coding[J]. Optics Communications, 2007, 276(2): 209-217.

[9] Levoy M, Chen B, Vaish V, et al. Synthetic aperture confocal imaging[J]. ACM Transactions on Graphics, 2004, 23(3): 825-834.

[10] Fuchs C, Heinz M, Levoy M, et al. Combining confocal imaging and descattering[J]. Computer Graphics Forum, 2008, 27(4): 1245-1253.

[11] Marc LY, SinghH, Hole W. Improving underwater vision using confocal imaging[J]. (2009-06-28)[2019-11-01 ]. . http://citeseerx.ist.psu.edu/viewdoc/summary?doi=10.1.1.155.3509

[12] Liu Y, Li T F. Reaserch of the improvement of Zhang's camera calibration method[J]. Optical Technique, 2014, 40(6): 0565.

[13] Pan Y H, Liu B, Yan W M, et al. Synthetic aperture imaging beyond foreground using image matting[J]. Sensing and Imaging, 2019, 20: 24.

[14] Levin A, Lischinski D, Weiss Y. A closed-form solution to natural image matting[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2008, 30(2): 228-242.

[15] LiY, Brown MS. Single image layer separation using relative smoothness[C]//2014 IEEE Conference on Computer Vision and Pattern Recognition, June 23-28, 2014, Columbus, OH, USA. New York: IEEE, 2014: 2752- 2759.

[16] Guilak F, Ratcliffe A, Mow V C. Chondrocyte deformation and local tissue strain in articular cartilage: a confocal microscopy study[J]. Journal of Orthopaedic Research, 1995, 13(3): 410-421.

[17] Jung J H, Aloni D, Yitzhaky Y, et al. Active confocal imaging for visual prostheses[J]. Vision Research, 2015, 111: 182-196.

项祎祎, 刘宾, 李艳艳. 基于共焦照明的合成孔径成像方法[J]. 光学学报, 2020, 40(8): 0811003. Yiyi Xiang, Bin Liu, Yanyan Li. Synthetic Aperture Imaging Method Based on Confocal Illumination[J]. Acta Optica Sinica, 2020, 40(8): 0811003.

本文已被 2 篇论文引用
被引统计数据来源于中国光学期刊网
引用该论文: TXT   |   EndNote

相关论文

加载中...

关于本站 Cookie 的使用提示

中国光学期刊网使用基于 cookie 的技术来更好地为您提供各项服务,点击此处了解我们的隐私策略。 如您需继续使用本网站,请您授权我们使用本地 cookie 来保存部分信息。
全站搜索
您最值得信赖的光电行业旗舰网络服务平台!