透过散射层对运动三维物体的单次曝光录像 下载: 1210次
1 引言
在光学成像过程中,光遇到散射介质时会发生散射,导致所成图像模糊甚至成为散斑[1]。因此,透过散射介质成像在光学显微、天文观测、航天探测、生物医学等很多领域都有重要的应用。国内外研究人员提出了一些透过散射介质成像技术,如光学相干层析、波前整形、光相位共轭、光学传输矩阵等[2-9]。最近,一种透过散射层成像技术被提出并改进[10-11],该技术主要基于散斑的记忆效应,即小角度转动入射光会使散射层出射的散斑呈现线性平移不变的效果[12-13]。目前,基于记忆效应的透过散射层成像技术主要有两种:散斑相关成像法和散斑解卷积成像法[11,14]。这两种方法各有利弊,其中散斑解卷积成像法由于其成像质量高、可恢复目标物体位置信息、计算速度快等优势得到了研究人员的关注。
透过散射层对运动物体进行成像和追踪在很多实际应用中都十分重要。目前提出的方法中,要么无法对物体进行成像[15],要么无法定量测量物体的运动轨迹[16],而另外一些基于散斑相关成像法的技术则常常受到迭代相位恢复算法计算时间长、成像质量较低等困扰[17-19]。最近,本课题组提出了一种基于散斑多路复用方法的单次曝光录像技术,实现了透过散射层对运动物体的成像和追踪[20]。该技术根据散斑旋转去相关性质,将互不相关的散斑多路复用于一张散斑图像中。随后,利用散斑解卷积成像法,从这张散斑图像中恢复出各个时刻的物体图像,同时得到物体的精确运动轨迹。此外,该技术还具有计算速度快、存储空间小等优点。但是,该技术只能对平面的运动物体进行成像和追踪,对三维物体则不适用。这是因为基于记忆效应的透过散射层成像技术适用于对二维物体的成像,深度不可分辨是该技术的一项缺陷。为了克服这一缺陷,研究人员做了很多努力,用多种方法实现了针对静止目标物体的基于记忆效应的透过散射层深度可分辨三维成像[21-25]。然而,目前还没有关于透过散射层对运动的三维物体进行成像和追踪的方法被提出。由于透过散射层对运动三维物体的成像与追踪在实际应用中十分常见,因此,对该问题的研究十分必要。
本文提出一种透过散射层对运动的三维物体进行单次曝光录像的方法。根据之前的研究结果,从散射层上的两个不同位置出射的散斑包含了双视角下的物体信息,根据视差原理可实现对物体的三维成像[21]。将相机放置在散斑重叠区域,可探测到这两部分散斑的叠加信息。由于出射位置不同,这两部分散斑非相关。在曝光过程中绕光轴旋转相机,使各个时刻的瞬时散斑发生旋转并叠加在一张散斑图像中。在满足散斑旋转去相关条件时,这些瞬时散斑非相关。这样,一系列对应不同时刻、不同视角的瞬时散斑多路复用于一张散斑图像中。利用散斑解卷积成像法,通过依次旋转左、右视角下单独探测的点扩展函数(PSF),即可重建出双视角下运动三维物体的视频录像。
2 原理
2.1 运动三维物体的单次曝光录像
透过散射层对运动三维物体的单次曝光录像方法的原理如
图 1. 透过散射层对运动三维物体的单次曝光录像原理示意图
Fig. 1. Schematic diagram of single-shot videoing of 3D moving objects through scattering layers
由于散射光是扩散的,从两个通光孔出射的散射光经过一段距离的传播后重叠在一起,将相机放置在散射光重叠的区域,探测到的散斑I就等于从左通光孔和右通光孔出射的散斑IL(r)和IR(r)的叠加:
式中:r代表横向位置矢量。根据记忆效应,物体上每一个点发出的光透过散射层后形成的散斑均保持平移不变性。将物体上某一点发出的光形成的散斑看作PSF,根据散斑在物平面上和深度方向上的记忆效应,物体发出的光形成的散斑I可以看作物体O的函数与PSF的卷积[11,14,22]。据此,(1) 式可以表示为
式中:*代表卷积运算;OL(r)和OR(r)分别表示左、右两个视角下观察到的物体函数;SL(r)和SR(r)分别表示左侧和右侧通光孔对应的PSF。两个通光孔对应了散射层上的不同区域,物光透过这两个区域时经历了不同的散射,因此从这两个通光孔出射的散斑IL(r)和IR(r)非相关,同理SL(r)和SR(r)之间也呈非相关。
在上述基础上,将相机在曝光过程中绕光轴旋转,旋转过程中每隔一定角度停顿一小段时间以稳定探测散斑,因而每个旋转角都对应了曝光过程中的某一时刻。根据相对运动原理,相机的旋转相当于散斑旋转。最终探测到的散斑图像I就等于旋转了不同角度的所有瞬时散斑的叠加:
式中:θi代表散斑旋转角度序列中的第i个旋转角;
为了能够分别恢复每一时刻的物体信息,将旋转角度间隔全部设置成大于散斑旋转去相关角的值[20],那么所有旋转的瞬时散斑都非相关,也就是说,任意
2.2 运动三维物体的视频重建
为了从最终探测到的一张散斑图像I中恢复物体信息,将
式中:代表相关运算;θj代表这一时刻对应的散斑旋转角度;ΔrL为左视角下物体相对参考点光源的位置矢量;C为背景噪声;
根据曝光过程中的散斑旋转角度序列,将SL依次旋转至各个对应角度,并将其分别代入(4)式,即可重建出每个时刻左视角下的物体图像以及物体横向位置信息。同理,将SR依次旋转至各个角度并将其代入(4)式,即可重建出每个时刻右视角下的物体图像及横向位置信息。这样,就从一张散斑图像中重建出了双视角下的运动三维物体视频。
最后,根据相机的旋转速度ω以及旋转过程中的停顿时间tpause,可以计算出任一散斑旋转角θj对应的时刻tj:
图 2. 物体上某一点P与参考点光源H的深度差的计算原理图
Fig. 2. Schematic diagram for calculating depth difference between point P on object and reference point light source H
这样就可以在重建过程中根据匹配PSF的旋转角度来确定这一帧图像对应的时刻。此外,根据重建图像中左、右视角下的物体横向位置差,可以计算出三维物体上任意一点P的深度信息。如
式中:u代表参考点光源H到散射层的深度距离;v代表散射层到探测面的距离;a代表两个通光孔中心的间距。
3 实验
在第一个实验中,对
图 3. 透过散射介质对运动三维物体的单次曝光录像实验。(a)作为实验样品的三维物体示意图;(b)用于制作三维物体的平面物体;(c)平面物体的成像结果;(d)单次曝光探测的散斑;(e)(f)左、右视角下的PSF;(g)~(l)重建的运动三维物体视频中的6帧双视角图像;(m)物体的三维重建结果。比例尺:三维物体底部平面上的812 μm
Fig. 3. Experiment for single-shot videoing of 3D moving objects through scattering medium. (a) Diagram of 3D object used as experimental sample; (b) original 2D object for fabricating 3D object; (c) imaging result of 2D object; (d) speckle image detected by single-shot; (e)(f) PSFs from left and right apertures; (g)-(l) six frames of double-view image of reconstructed video of 3D moving object; (m) reconstructed 3D result of object. Scale bar: 812 μm on plane of 3D object bottom
为了探测左、右通光孔对应的散斑,在
接下来,根据采集到的SL和SR进行物体图像重建。将SL依次旋转0°,10°,20°,…,120°,并分别将旋转后的SL和散斑图像I代入(4)式进行互相关解卷积成像计算,最终恢复出13帧左视角下的物体图像。用同样的方法,根据SR和散斑图像I重建出右视角下的13帧物体图像。由于本系统条件下的散斑旋转去相关角仅为0.21°,相机旋转过程中拍摄的散斑与停顿时拍摄的散斑几乎都非相关,因此这些散斑对最终的物体重建几乎没有产生影响。得益于互相关解卷积成像法,整个重建过程十分快速,且无需额外的散斑提取算法,并能够给出物体的位置信息。最终重建出左、右双视角下的13帧视频录像,视频的播放速度约为真实速度的6.6倍,其中第1,3,5,7,9,11帧双视角图像如
作为对比,在相同的系统条件下对
第二个实验中的系统条件与实验一相同,只是将物体换成了如
图 4. 透过散射介质对运动三维物体的单次曝光录像实验。(a)作为实验样品的三维物体示意图;(b)单次曝光探测的散斑;(c)~(k)重建的运动三维物体视频中的9帧左右视角图像;(l)物体的三维重建结果。比例尺:三维物体底部平面上的812 μm
Fig. 4. Experiment for single-shot videoing of 3D moving objects through scattering medium. (a) Diagram of 3D object used as experimental sample; (b) speckle image detected by single-shot; (c)-(k) nine frames of double-view image of reconstructed 3D video of moving object; (l) reconstructed 3D result of object. Scale bar: 812 μm on plane of 3D object bottom
4 结论
从原理和实验上证明了一种透过散射层对运动的三维物体进行单次曝光录像的方法。从散射层上的两个不同位置出射的散斑包含了双视角下的物体信息,根据视差原理实现对物体的三维成像。将相机放置在散斑重叠区域,探测两部分散斑的叠加信息。这两部分散斑由于散射区域不同而呈非相关。在曝光过程中绕光轴旋转相机,各个时刻的瞬时散斑发生旋转并叠加在一张散斑图像中。控制旋转间隔角度使其大于散斑旋转去相关角,使所有瞬时散斑之间非相关。最终,一系列不同时刻、不同视角的散斑多路复用于一张散斑图像中。依次旋转左、右视角下单独探测的PSF,通过散斑解卷积成像法重建出双视角下运动三维物体的视频。此外,通过精确计算可得到物体的横向位置和移动速度,并且可以大致计算出物体的深度信息。整个成像系统十分简洁,图像重建速度也非常快,并且数据存储空间得到了大幅节省。所得研究结果能够为透过散射层的三维运动物体成像与追踪等的研究和应用提供一定参考,具有一定的实际意义。
[1] Goodman JW. Speckle phenomena in optics: theory and applications[M]. 1st ed. Englewood: Roberts & Company Publishers, 2007: 1- 4.
[2] Huang D, Swanson E, Lin C, et al. Optical coherence tomography[J]. Science, 1991, 254(5035): 1178-1181.
[3] Vellekoop I M, Mosk A P. Focusing coherent light through opaque strongly scattering media[J]. Optics Letters, 2007, 32(16): 2309-2311.
[4] Katz O, Small E, Silberberg Y. Looking around corners and through thin turbid layers in real time with scattered incoherent light[J]. Nature Photonics, 2012, 6(8): 549-553.
[5] Yaqoob Z, Psaltis D, Feld M S, et al. Optical phase conjugation for turbidity suppression in biological samples[J]. Nature Photonics, 2008, 2(2): 110-115.
[6] Popoff S M, Lerosey G, Carminati R, et al. Measuring the transmission matrix in optics: an approach to the study and control of light propagation in disordered media[J]. Physical Review Letters, 2010, 104(10): 100601.
[7] 孙雪莹, 王剑南, 李伟, 等. 基于光学传输矩阵实现透过散射介质的动态目标成像[J]. 中国激光, 2018, 45(12): 1205001.
[8] 赵明, 赵美晶, 孙程伟, 等. 基于纯相位调制的散射介质传输矩阵测量与光波聚焦[J]. 光学学报, 2018, 38(1): 0129001.
[9] 朱磊, 邵晓鹏. 散射成像技术的研究进展[J]. 光学学报, 2020, 40(1): 0111005.
[10] Bertolotti J, van Putten E G, Blum C, et al. Non-invasive imaging through opaque scattering layers[J]. Nature, 2012, 491(7423): 232-234.
[11] Katz O, Heidmann P, Fink M, et al. Non-invasive single-shot imaging through scattering layers and around corners via speckle correlations[J]. Nature Photonics, 2014, 8(10): 784-790.
[12] Feng S, Kane C, Lee P A, et al. Correlations and fluctuations of coherent wave transmission through disordered media[J]. Physical Review Letters, 1988, 61(7): 834-837.
[13] Freund I, Rosenbluh M, Feng S. Memory effects in propagation of optical waves through disordered media[J]. Physical Review Letters, 1988, 61(20): 2328-2331.
[14] Edrei E, Scarcelli G. Memory-effect based deconvolution microscopy for super-resolution imaging through scattering media[J]. Scientific Reports, 2016, 6: 33558.
[15] Zhou E H, Ruan H W, Yang C, et al. Focusing on moving targets through scattering samples[J]. Optica, 1900, 1(4): 227-232.
[16] Akhlaghi M I, Dogariu A. Tracking hidden objects using stochastic probing[J]. Optica, 2017, 4(4): 447-453.
[17] Cua M, Zhou E H, Yang C. Imaging moving targets through scattering media[J]. Optics Express, 2017, 25(4): 3935-3945.
[18] Guo C F, Liu J T, Wu T F, et al. Tracking moving targets behind a scattering medium via speckle correlation[J]. Applied Optics, 2018, 57(4): 905-913.
[19] Li X H, Stevens A, Greenberg J A, et al. Single-shot memory-effect video[J]. Scientific Reports, 2018, 8(1): 13402.
[20] Shi Y Y, Liu Y W, Sheng W, et al. Speckle rotation decorrelation based single-shot video through scattering media[J]. Optics Express, 2019, 27(10): 14567-14576.
[21] Shi Y Y, Liu Y W, Wang J M, et al. Non-invasive depth-resolved imaging through scattering layers via speckle correlations and parallax[J]. Applied Physics Letters, 2017, 110(23): 231101.
[22] Xie X S, Zhuang H C, He H X, et al. Extended depth-resolved imaging through a thin scattering medium with PSF manipulation[J]. Scientific Reports, 2018, 8(1): 4585.
[23] Jin X, Wang Z P, Wang X Y, et al. Depth of field extended scattering imaging by light field estimation[J]. Optics Letters, 2018, 43(20): 4871-4874.
[24] Salhov O, Weinberg G, Katz O. Depth-resolved speckle-correlations imaging through scattering layers via coherence gating[J]. Optics Letters, 2018, 43(22): 5528-5531.
[25] Mukherjee S, Vijayakumar A, Kumar M, et al. 3D imaging through scatterers with interferenceless optical system[J]. Scientific Reports, 2018, 8(1): 1134.
Article Outline
施瑶瑶, 刘友文, 盛伟, 路元刚, 吴彤, 赫崇君. 透过散射层对运动三维物体的单次曝光录像[J]. 光学学报, 2020, 40(22): 2211003. Yaoyao Shi, Youwen Liu, Wei Sheng, Yuangang Lu, Tong Wu, Chongjun He. Single-Shot Video of Three-Dimensional Moving Objects Through Scattering Layers[J]. Acta Optica Sinica, 2020, 40(22): 2211003.