基于共焦照明的合成孔径成像方法 下载: 871次
1 引言
随着成像技术的发展,合成孔径技术已能够实现局部被遮挡目标的重聚焦成像,并被广泛应用于目标提取、目标跟踪等[1-5]。但是,对于存在强背向散射的环境,如在水、雾、霾等恶劣环境中成像时,合成孔径成像的效果严重退化。利用共焦照明和重聚焦成像,能够有效避免强背向散射噪声的影响,解决图像融合方面关于去除前景遮挡且分辨率低等难题,改善强背向散射场景下的成像效果。
前人所提出的合成孔径成像技术大多是在合成孔径的基础上优化成像效果。从孔径结构方面考虑,合成孔径成像存在不同孔径空间排布结构[6],环形结构和三臂结构有使用的限制条件。通过优化子孔径的位置与直径也能改善成像结果[7]。从去除前景方面考虑,可以利用极平面图(EPI)边缘特征估计场景深度、筛除前景射线的方法[8]实现合成孔径成像,也可利用聚类算法对非感兴趣目标进行标记[9]并去除的方法实现合成孔径成像。而从光源照明方面考虑,将合成孔径成像过程分为光照编码、成像译码和数字处理三个阶段,有效提高成像分辨率[10]。将共焦成像技术与合成孔径[11] 、去散射算法[12]等相结合,并应用于水下成像[13],可实现去遮挡效果并消除散射光。利用随机掩模对光源进行编码,拍摄共焦图像并进行合成孔径成像,但掩模的随机性使得该方法需要多组实验以提取前景遮挡物且过程复杂繁琐。因此,对光源如何编码和调制成为了难题。
针对这一系列问题,本文提出了一种基于共焦照明的合成孔径成像方法,不再使用随机掩模而是通过场景的先验信息设计出适用于当前特定场景的光源调制方式,并对场景进行共焦照明成像,最后利用标定共焦照明面与合成孔径成像技术对多视角图像进行合成。该方法从光源照明角度更好地实现了合成孔径成像的去遮挡,减少了对前景遮挡物的照明光线,同时突显了共焦面目标,对场景有很强的适应性,简化了共焦照明实验的复杂度。
2 共焦照明合成孔径成像方法
2.1 基本原理及成像系统模型
共焦照明就是让所有光源共同聚焦于一个平面,该平面称为共焦面。照明共焦面上的目标物受到的光照强度最强,而非共焦面上的光强相对较弱,故非共焦面上物体的反射光减少。如
合成孔径成像技术是针对多视角图像进行融合和去遮挡,当仅对某一特定聚焦面进行重聚焦时,可以达到增强聚焦面目标物,虚化非聚焦面前后景信息的作用。以M×N虚拟相机阵列系统为例,每个虚拟位置处的相机光轴互相平行,均垂直于虚拟视点组成的空间平面,每个虚拟视点的上下、左右间距均为b。
如
式中:Sm-Se为P点在视点Rm和Re对应图像中的视差,表示为dS,则可以得出
在垂直方向上,视点Rn和Re的投影点分别距离图像左端Hn和He,其视差dH可表示为
在聚焦过程中,需要通过消除各视点拍摄所得图像中目标物的视差来保证重建图像对应的特定深度目标的清晰度。假设P点在共焦平面上,则某一视点对应的图像去视差结果表示为
式中:IR为视点Rmn的图像;ΔBm和ΔBn分别为视点Rmn与参考视点Re在水平方向和垂直方向上的距离;调焦系数τ=
式中:SZ为P点所在物面的聚焦图像;n为视点编号;N为视点总数。
结合共焦照明与合成孔径成像,合成孔径成像仅对共焦照明的共焦面进行重聚焦,两者相辅相成,共同完成对某一特定焦面的照明与成像,更好地虚化非共焦面上物体的信息,实现对焦面上目标物的有效识别和提取。为了实现单相机多视角成像,基于共焦照明的合成孔径成像模型是利用平面反射镜阵列E实现多视角的共焦照明。如
每个反射镜会对实际投影仪光源进行反射,形成一组虚拟投影仪光源点G。G的轨迹被称作正交投影,可以通过在投影机焦平面上绘制等腰梯形4个顶点的轨迹来构造它,其中三个顶点分别是点A、F和D。多视角虚拟相机的位置受到反射镜共焦照明的影响。由于要实现共焦照明,并且光源与相机同轴,因此每一块反射镜反射的照明光源必须聚焦于同一块区域,故虚拟相机的空间位置也有相应的布置要求,必须让虚拟相机的光轴会聚至同一物面上同一点。若平面反射镜的放置角度有偏差,那么光源与相机均不能聚焦于同一物面,则系统不能达到共焦效果。
将F处的共焦区域放大可看到,每个反射镜的反射方向各不相同,存在角度的偏差,仅点P是唯一的共焦点,因此该系统没有最佳的聚焦平面。但越接近共焦点的平面,聚焦效果越好,其可以近似为一个共焦面,非共焦面上的点U、V比共焦面上的点P所得到的照明光线少,有利于突显共焦面上的目标,而脱离共焦面的目标则无法聚焦。
2.2 基于反镜阵列成像系统的标定
相机成像过程就是空间物点经过一系列的几何变换成为相机图像,也就是世界坐标系到图像坐标系的转换过程。常用的标定方法有张正友标定法[14]。多个平面反射镜实现的聚焦面仅有一个点重合,也就是说只有共焦点使每个视角的物距相同。同一物点在不同视角下的物距会发生变化,若采用普通双目标定,则会获取多个物面,存在较大的误差。因此在标定校正时,截取单个子视角进行单目标定,利用标定过程对整个系统优化出最佳的焦距和物距,使标定的物面具有唯一性,焦距、主点位置、畸变参数、倾斜参数共同构成相机的内参M,每个视角虚拟相机坐标系(XC,YC,ZC)相对于世界坐标系(XW,YW,ZW)的位置关系,即相机的外参K由R和T组成,它们之间的关系为
式中:R为3×3的旋转矩阵,T为3×1的平移矩阵;0为零矩阵;I为单位矩阵。又因相机坐标系与像素坐标系(u,v)之间的关系为
式中:dx、dy分别为一个像素的长与宽;(u0,v0,1)T为主点在图像坐标系中的坐标。
综合(6)式与(7)式,可以得到
若通过标定得到需校正相机1的外参为K1,参考相机2的外参为K2,x1、x2分别表示两个视角处的像素坐标,而X表示这两个视角所处的相同世界坐标系,则(8)式可简化为
将X=
由于需校正相机1与参考相机2都是相对于同一物面进行标定,因此得到的内外参在共焦面上能够满足单应性。利用内外参组合,得到多视角图像之间的单应性关系H,它能使所有视角的相机坐标系都转换到参考视角的相机坐标系下,为之后的合成孔径算法提供视角关系。
式中: R1、R2分别为需校正相机1和参考相机2的旋转矩阵;T1、T2分别为需校正相机1和参考相机2的平移矩阵。
2.3 基于场景深度信息的调制照明方法
由于场景的可变性,文献[ 11]中使用的随机掩模已无法适应所有场景。本文利用场景深度信息,设计出适应当前场景的光源调制方式。利用基于聚焦度判断[15]的自然图像分割算法[16],对场景中的前后景信息进行标记剥离。
首先,由于视差的存在,离焦面上的物点在多视角图像对应位置处的像素值有较大差异,而聚焦面上的物点由于视差被完全消除而表现出较好的一致性。因此,在指定聚焦平面的情况下,以像素值的差异程度作为聚焦度评价的依据,构造评价函数为
依据该评价函数,可以对合成孔径聚焦图像进行像素遍历,判断像素的聚焦度,C(s,t)的值越小,则聚焦效果越好,从而区分并标记聚焦平面目标与离焦面的遮挡物。
其次,通过自然图像分割方法,构建并得到一个关于α的二次代价函数J(α)=αTLα,其包含一个Laplace分割矩阵,该Laplace分割矩阵的元素表示为
式中: k为参数;
图 4. 前景剥离掩模图。(a)原图;(b)前景掩模
Fig. 4. Foreground matting. (a) Original image; (b) foreground mask
2.4 共焦面重聚焦图像的增强算法
对于合成孔径后的多视角融合图像,依旧存在前景遮挡物的边缘光线痕迹,本文利用图像分层滤波方法[17],将图像表述为希望得到的聚焦层L1和非聚焦的干扰层L2。为了解决层分离问题,定义两层图像的概率P1(x)、P2(x):
式中: ε为常数;x是梯度值;z是归一化因子;σ1、σ2是很小的值,可以使两个窄带高斯函数下降很快。本质上,可以通过负对数概率最小化来实现联合概率P(L1,L2)最小,即
式中:C1和C2为常数。作进一步简化得到类似于稀疏惩罚的函数ρ(x)=min
式中:λ为调节L2层的平滑度参数(一般设为100);g为像素索引;fh为导数滤波器, h为导数滤波器编号。本文使用的是一阶导数滤波器和二阶拉普拉斯滤波器。一阶导数滤波器可以有效恢复L1层的重要边缘信息,二阶拉普拉斯滤波器可以对L2中的平滑变化进行滤波处理。
3 实验与分析
基于共焦照明的合成孔径成像实验系统如
图 5. 基于共焦照明的合成孔径成像实验系统
Fig. 5. Experimental system for synthetic aperture imaging based on confocal illumination
基于共焦照明的图像处理流程如
表 1. 三种方法合成孔径成像结果的质量评价
Table 1. Quality evaluation of synthetic aperture imaging results by three methods
|
其中,图像预处理是对拍摄图像进行对比度增强并进行滤波处理;视角校正是按照前文的标定校正方法,得到每个视角相对于中心视角的图像;掩模处理步骤是对光源调制后拍摄的图像进行进一步明暗差异处理,去除前景遮挡物,保留共焦平面上的目标物;多视角图像的合成重建是利用本文第2.1节合成孔径算法原理,对同一深度的图像完成多视角叠加,达到前景遮挡物的虚化而共焦面目标物的清晰重建的目的;图像增强则是利用本文第2.4节方法,完成对重建图像中遮挡物边缘光线的滤除。最终,对比原多视角图像,去除前景遮挡物,得到较清晰的共焦平面目标物。
三种方法的合成孔径成像对比结果如
图 7. 三种方法的合成孔径成像对比结果。(a)不加掩模;(b)随机掩模;(c)所提方法
Fig. 7. Comparison among synthetic aperture imaging results by three methods. (a) No mask; (b) random mask; (c) proposed method
三种方法的合成孔径成像结果的质量评价如
4 结论
提出了基于共焦照明的合成孔径成像方法,建立了基于共焦照明的共焦成像系统。利用场景先验信息,设计了适用于当前场景的光源调制方法并将其应用于照明投影中,通过合成孔径成像算法实现了共焦平面目标的重建。通过标定校正方法,得到了多视角图像之间的单应性关系,并开展了模拟实验。结果表明,所提方法在弱化前景遮挡物的同时,增强了共焦面目标物的光强,具有更好的适应性和对比度,可获得较好的目标物重建结果及精度。结果证明了所提方法在合成孔径成像技术中的可行性和鲁棒性。
[1] Hwang Y S, Hong S H, Javidi B. Free view 3-D visualization of occluded objects by using computational synthetic aperture integral imaging[J]. Journal of Display Technology, 2007, 3(1): 64-70.
[2] 张伟, 邓键, 龙夫年, 等. 子孔径合成光学成像系统像质评价研究[J]. 光学学报, 2008, 28(4): 687-691.
[3] Jang J S, Javidi B. Three-dimensional synthetic aperture integral imaging[J]. Optics Letters, 2002, 27(13): 1144-1146.
[4] JoshiN, AvidanS, MatusikW, et al. Synthetic aperture tracking: tracking through occlusions[C]//2007 IEEE 11th International Conference on Computer Vision, October 14-21, 2007, Rio de Janeiro, Brazil. New York: IEEE, 2007: 9849062.
[5] 周程灏, 王治乐, 朱峰. 大口径光学合成孔径成像技术发展现状[J]. 中国光学, 2017, 10(1): 25-38.
[6] 王胜千, 饶长辉, 姜文汉, 等. 四子孔径光学合成孔径成像系统空间排布性能分析[J]. 光学学报, 2008, 28(4): 692-699.
[7] 江月松. 直线阵光学综合孔径成像中的子孔径尺寸效应[J]. 光学学报, 2005, 25(8): 1042-1047.
[8] Mico V, Zalevsky Z, García J. Synthetic aperture microscopy using off-axis illumination and polarization coding[J]. Optics Communications, 2007, 276(2): 209-217.
[9] Levoy M, Chen B, Vaish V, et al. Synthetic aperture confocal imaging[J]. ACM Transactions on Graphics, 2004, 23(3): 825-834.
[10] Fuchs C, Heinz M, Levoy M, et al. Combining confocal imaging and descattering[J]. Computer Graphics Forum, 2008, 27(4): 1245-1253.
[12] Liu Y, Li T F. Reaserch of the improvement of Zhang's camera calibration method[J]. Optical Technique, 2014, 40(6): 0565.
[13] Pan Y H, Liu B, Yan W M, et al. Synthetic aperture imaging beyond foreground using image matting[J]. Sensing and Imaging, 2019, 20: 24.
[14] Levin A, Lischinski D, Weiss Y. A closed-form solution to natural image matting[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2008, 30(2): 228-242.
[15] LiY, Brown MS. Single image layer separation using relative smoothness[C]//2014 IEEE Conference on Computer Vision and Pattern Recognition, June 23-28, 2014, Columbus, OH, USA. New York: IEEE, 2014: 2752- 2759.
[16] Guilak F, Ratcliffe A, Mow V C. Chondrocyte deformation and local tissue strain in articular cartilage: a confocal microscopy study[J]. Journal of Orthopaedic Research, 1995, 13(3): 410-421.
[17] Jung J H, Aloni D, Yitzhaky Y, et al. Active confocal imaging for visual prostheses[J]. Vision Research, 2015, 111: 182-196.
Article Outline
项祎祎, 刘宾, 李艳艳. 基于共焦照明的合成孔径成像方法[J]. 光学学报, 2020, 40(8): 0811003. Yiyi Xiang, Bin Liu, Yanyan Li. Synthetic Aperture Imaging Method Based on Confocal Illumination[J]. Acta Optica Sinica, 2020, 40(8): 0811003.