无深度反转的集成成像一次拍摄方法

李姣姣; 邓欢; 李赛; 张汉乐; 王蕾; 陈聪

doi:doi:10.3788/CJL202047.0109002

中国激光, 2020, 47 (1): 0109002, 网络出版: 2020-01-09

无深度反转的集成成像一次拍摄方法下载： 1287次

One-Step Shooting Method for Integral Imaging Without Depth Inversion

论文大纲

李姣姣邓欢 ^*李赛张汉乐王蕾陈聪

作者单位

四川大学电子信息学院, 四川成都 610065

成像系统三维显示集成成像深度反转再现距离 image systems three-dimensional display integral imaging depth inversion reconstructed distance

AI 词云图 AI一句话精读 AI短摘要

注：本部分内容由 AI 自动生成，请您知悉。

摘要

针对传统集成成像显示技术存在深度反转,需要进行二次成像的问题,提出一种无深度反转的集成成像一次拍摄方法。该方法采用离轴平行式集成成像拍摄结构对三维(3D)场景进行拍摄,通过设计合理的拍摄参数,重排图像元,生成无梯形畸变的图像阵列(EIA),直接用于集成成像显示,解决了传统集成成像的深度反转问题,避免了复杂且繁琐的图像校正和二次成像过程,可快速生成具有正确深度信息的EIA。该方法所获取的EIA在集成成像3D显示实验中重建的3D图像具有正确的深度和逼真清晰的立体显示效果,验证了本文方法的正确性。

Abstract

A pseudoscopic problem often exists in traditional integral imaging display, and is typically solved using two-step shooting process. In this paper, a one-step shooting method for integral imaging without depth inversion is proposed. In this method, the off-axis paralleled shooting scheme is adopted to shoot a three-dimensional (3D) scene and generate an orthoscopic elemental image array (EIA) by reasonably designing the shooting parameters and rearranging the set of elemental images. The generated EIA can be directly used for integral imaging display without depth inversion. The proposed method avoids complex image correction and the tedious two-step shooting process and can quickly generate the EIA with correct depth information. In 3D integral image display experiment, the 3D images reconstructed based on EIA are vivid and clear. The experimental results validate the efficacy of the proposed method.

1 引言

集成成像三维(3D)显示作为目前最有发展前景的裸眼真3D显示技术之一,因具有全视差、真彩色、无立体观看视疲劳、显示结构简单等优点^[1-7],越来越受到国内外研究人员的关注。目前有两大类型的集成成像显示装置,一种是采用小节距微透镜阵列的集成成像显示装置^[8-10],另一种是采用大节距透镜阵列的集成成像显示装置^[11]。针对这两种集成成像显示装置,获取集成成像片源——图像阵列(EIA)的方式不同。

针对小节距微透镜阵列的集成成像显示装置,通常采用基于视点的会聚式拍摄方式,所需相机个数等于单个图像元中所包含的像素个数,当图像元的分辨率较高时,渲染时间会明显增加。基于此,本课题组提出基于稀疏相机阵列的拍摄方式,该方式能有效减少集成成像3D片源渲染过程的渲染次数^[12],但会聚式拍摄获取的视差图像存在梯形畸变,需要进行复杂繁琐的校正过程。对于大节距透镜阵列的集成成像显示装置,一般采用相机阵列模拟透镜阵列的拍摄方式^[13]。该方法中,相机个数等于透镜元个数,由于相机阵列的拍摄方向与再现时观看者的观看方向相反,故会导致深度^[14]反转问题,Ives^[15]提出的二次成像法能有效解决该问题。随着计算机技术的飞速发展,计算机二次成像技术也快速发展起来,但计算机二次成像过程需要进行大量像素映射,会导致计算量大、易产生像素映射错误等问题^[16-22],从而引起图像质量下降。图像元旋转是解决深度反转最简单的方法,但是该方法的本质是将实像显示模式转变为虚像显示模式,从而降低了3D图像的立体效果^[23]。

本文提出一种无深度反转的集成成像一次拍摄方法,通过改变图像元与透镜元间的相对排布方式,实现离轴平行式拍摄,通过对图像元重新排列,有效解决了深度反转的问题,避免了图像校正和像素映射引发的问题,从而大大降低3D片源的生成复杂度。同时,该方法可精确地计算3D图像的再现距离,实现了理想的3D显示效果。

2 基本原理

2.1 集成成像离轴平行式拍摄结构

集成成像离轴平行式拍摄结构如图1所示,各透镜元从不同角度记录3D场景不同侧面的光场信息,生成多个图像元(EI),各EI与其对应的透镜元有一定的离轴偏移量,各透镜元的等效光轴(如图1中粗虚线所示)会聚于一点,以实现离轴平行式的拍摄结构。

获取的EIA是一个二维阵列,由于水平方向和竖直方向上EI的偏移情况相同,图1只画出了水平方向上的情况。对EI进行编号,EI(i,j)表示第i行、第j列的图像元,其中i取值范围为[-M,+M],j取值范围为[-N,+N],i、j均取整数。2M+1和2N+1分别为EIA中EI的总行数与总列数,中心图像元为EI(0,0),负号表示EI(0,0)以左或以下的EI,正号表示EI(0,0)以右或以上的EI。除EI(0,0)外,其余各EI均与其对应的透镜元有一定离轴偏移,将偏移距离的大小定义为离轴量。水平方向上的离轴量Δx_i为

\begin{matrix} Δ x_{i} = \frac{2 ip g_{0}}{l_{0}}, (1) \end{matrix}

竖直方向上的离轴量Δy_j为

\begin{matrix} Δ y_{j} = \frac{2 jp g_{0}}{l_{0}}, (2) \end{matrix}

式中:p为透镜元节距;g₀为记录平面到透镜阵列之间的距离;l₀为参考平面到透镜阵列的距离;i取正值时,表示EI向右偏移,反之向左偏移,j取正值时,表示EI向上偏移,反之向下偏移。参考平面作为3D场景的参考面,3D场景的深度应在参考平面前后一定范围内,大小不超出参考平面的宽度。g₀、l₀与透镜元焦距f之间满足高斯成像公式。

该方法利用EI的离轴偏移实现了离轴平行式拍摄,各拍摄单元的等效光轴会聚于一点, 等效于会聚式的拍摄效果,且透镜阵列与记录平面均平行排列,不存在传统会聚式拍摄中固有的梯形畸变等问题,避免了繁琐的图像校正步骤,极大地简化了EIA的合成过程。

图 1. 集成成像离轴平行式拍摄结构

Fig. 1. Off-axis paralleled shooting structure for integral imaging

下载图片查看所有图片

2.2 深度反转问题的解决

集成成像离轴平行式拍摄与显示原理如图2所示。在拍摄过程中,利用离轴平行式的拍摄结构获取3D场景不同侧面的光场信息生成多个EI,各EI组合得到EIA 1。三维空间中一物点A在EIA 1中的同名点周期T₀为

\begin{matrix} T_{0} = p + \frac{p g_{0}}{l_{1}}, (3) \end{matrix}

式中:l₁为物点A到透镜阵列的距离,即物点A的记录距离。

图 2. 集成成像离轴平行式记录与再现过程

Fig. 2. Off-axis paralleled recording and reconstruction processes in integral imaging

下载图片查看所有图片

EIA 1中EI的节距H为

\begin{matrix} H = \frac{D g_{0}}{l_{0}} = p + \frac{p g_{0}}{l_{0}}, (4) \end{matrix}

式中:D为参考平面的宽度。

为得到无深度反转的EIA,需将EI进行重新排列,根据EI的编号,将每个EI进行如图3所示的重排变换,变换规则为

\begin{matrix} EI (i, j) \to EI (- i, - j) 。 (5) \end{matrix}

将EIA 1中所有的EI进行(5)式的重排变换,重排后得到的图像阵列记为EIA 2。

图 3. 图像阵列重排示意图。(a)重排之前;(b)重排之后

Fig. 3. Schematics of rearrangement for elemental image array. (a) Before rearrangement; (b) after rearrangement

下载图片查看所有图片

在EIA 2中,物点A的同名点周期记为T,T与T₀之间的关系满足

\begin{matrix} T_{0} + T = 2 H 。 (6) \end{matrix}

由(3)、(4)、(6)式推导出物点A在像空间的再现距离l₂为

\begin{matrix} l_{2} = \frac{p g_{0}}{T - p} = \frac{l_{0}}{2} (1 + \frac{l_{0}}{2 l_{1} - l_{0}}) 。 (7) \end{matrix}

当T>p时,l₂>0,再现的3D像凸出于透镜阵列,成3D实像;当T时,l₂<0,再现的3D像凹进透镜阵列,成3D虚像。

再现距离l₂随着记录距离l₁的变化曲线如图4所示。从图4中可以看出,当l₁> $\begin{matrix} \frac{l_{0}}{2} \end{matrix}$ =75 mm时,再现距离l₂>0,且随着记录距离l₁的增大而减小。记录时,相对于记录透镜阵列来说,物点A的记录距离比B小,即物点A在前(更靠近记录透镜阵列),B点在后(更远离记录透镜阵列),再现时,像点A'的再现距离大于B',对于观看者来说,像点A'在前,像点B'在后,即再现的3D图像具有正确的3D深度。因此,只要满足l₁> $\begin{matrix} \frac{l_{0}}{2} \end{matrix}$ ,显示的3D图像就具有正确的3D深度,即解决了深度反转的问题。同时,当T>p时,再现的3D像仍然是凸出于透镜阵列的实像,实现了良好的立体感。

图 4. 再现距离l₂随着记录距离l₁的变化曲线

Fig. 4. Variation in reconstructed distance l₂ with recording distance l₁

下载图片查看所有图片

3 实验
实验搭建了由“足球”、“篮球”和“排球”组成的3D场景,由相机阵列代替透镜阵列进行拍摄,“足球”、“篮球”和“排球”距离相机阵列的间距分别为125、140、140 mm。利用本文离轴平行式相机阵列对3D场景进行拍摄,如图5所示。相机阵列包含的相机个数为7×4。实验拍摄获得的EIA 1和重排后生成的EIA 2分别如图6(a)和图6(b)所示。
图 5. 虚拟记录及3D模型的示意图
Fig. 5. Schemes of virtual recording and 3D model
下载图片查看所有图片
图 6. 实验获取的图像阵列。(a)图像阵列1;(b)图像阵列2
Fig. 6. Elemental images obtained experimentally. (a) EIA 1; (b) EIA 2
下载图片查看所有图片
表 1. 集成成像显示系统的详细参数
Table 1. Specifications of integral imaging display system
Component Parameter Value
Model number Sony E6883 smart phone
Resolution /pixel 3840(H)×2160(V)
Display device Screen size /cm 13.97 (diagonal)
Pixel size /mm 0.03163
Number of elemental lens 7(H)×4(V)
Lens array Pitch of elemental lens /mm 14.7
Focal length /mm 12.7
Number of EI 7(H)×4(V)
EIA Pixel number on each EI 508(H)×508(V)
查看所有表
搭建集成成像3D显示装置进行3D显示实验验证,如图7所示。该系统主要由显示面板(Sony E6883)、透镜阵列及光学扩散屏三部分构成。显示面板上显示EIA,EIA发出的光线经透镜阵列调制后重建出3D像,光学扩散屏被放置于透镜阵列之前的不同深度平面上,对经透镜阵列重建的3D图像进行二次调制,以获得更加清晰完整的3D图像^[24-25]。显示系统的详细参数如表1所示。
图 7. 集成成像显示系统的结构。(a)俯视图;(b)前视图
Fig. 7. Configuration of integral imaging display system. (a) Top view; (b) front view
下载图片查看所有图片
分别用EIA 1和EIA 2进行集成成像再现实验,实验结果如图8所示。在图8(a)所示的EIA 1再现的3D像中,从椭圆框标注部分可以看出,随着观看视点的右移,“篮球”和“足球”的间距逐渐增大,它们之间的空间遮挡关系是错误的,即“足球”在后,“篮球”和“排球”在前,与原始三维模型中的深度关系相反,说明EIA 1再现的是深度反转的3D像。而在如图8(b)所示的EIA 2再现的3D像中,随着观看视点的右移,“篮球”和“足球”的间距逐渐减小,它们之间的空间遮挡关系是正确的,即“足球”在前,“篮球”和“排球”在后,与原始三维模型中的深度关系是一致的。将光学扩散屏依次放置在距离透镜阵列182 mm和193 mm的位置,观看到的再现图像如图9所示。图9(a)和图9(b)中椭圆线框标注的部分显示,“篮球”和“排球”在182 mm的深度附近可清晰再现,而“足球”在193 mm的深度附近清晰再现,与原始三维模型中的深度关系相同,进一步表明了再现的3D像具有正确的深度。实验表明本文方法可以实现无深度反转,有正确视差信息的3D显示效果。
图 8. 集成成像再现实验结果。(a) EIA 1再现的有深度反转的3D图像;(b) EIA 2再现的无深度反转的3D图像
Fig. 8. Experimental results of integral imaging reconstruction. (a) Reconstructed 3D images with depth inversion of EIA 1; (b) reconstructed 3D images without depth inversion of EIA 2
下载图片查看所有图片
图 9. 光学扩散屏位置移动后观看到的再现象。(a)“篮球”和“排球”再现距离为182 mm;(b)“足球”的再现距离为193 mm
Fig. 9. Reconstructed images after position of optical diffuser screen changed. (a) Reconstructed distances of“basketball” and “volleyball” are 182 mm; (b) reconstructed distance of “football” is 193 mm
下载图片查看所有图片
4 结论
提出一种无深度反转的集成成像一次拍摄方法。通过设置图像元相对于透镜元的离轴量,将等效光轴会聚于一点,实现了离轴平行式集成成像拍摄结构,该拍摄结构不存在传统会聚式拍摄结构引发的梯形畸变问题,无需进行图像校正步骤。此外,本文方法无需进行计算机二次成像,仅通过一次拍摄和图像元重排,即可生成无深度反转的集成成像3D片源,避免了二次成像过程中由像素映射引发的计算量大、像素映射错误等问题,大大简化了图像阵列的生成过程,提高了集成成像3D片源的生成效率和质量。实验结果证实本文方法的正确性,实现了无深度反转、逼真清晰的3D图像显示。

参考文献
[1] Lee B, Jung S, Min S W, et al. Three-dimensional display by use of integral photography with dynamically variable image planes[J]. Optics Letters, 2001, 26(19): 1481-1482.
[2] Wu F, Deng H, Luo C G, et al. Dual-view integral imaging three-dimensional display[J]. Applied Optics, 2013, 52(20): 4911-4914.
[3] 赵雪微, 王尧尧, 宋丽培, 等. 基于计算集成成像的水下目标成像[J]. 中国激光, 2018, 45(1): 0109001.
    Zhao X W, Wang Y Y, Song L P, et al. Underwater target imaging based on computational integral imaging[J]. Chinese Journal of Lasers, 2018, 45(1): 0109001.
[4] Park J H, Hong K, Lee B. Recent progress in three-dimensional information processing based on integral imaging[J]. Applied Optics, 2009, 48(34): H77-H94.
[5] 余文涛, 张汉乐, 邓欢, 等. 基于全息光学元件的增强现实3D显示系统[J]. 中国激光, 2016, 43(10): 1009001.
    Yu W T, Zhang H L, Deng H, et al. Augmented reality three-dimensional display system based on holographic optical element[J]. Chinese Journal of Lasers, 2016, 43(10): 1009001.
[6] Xiao X, Javidi B, Martinez-Corral M, et al. Advances in three-dimensional integral imaging: sensing, display, and applications [Invited][J]. Applied Optics, 2013, 52(4): 546-560.
[7] 陈载清, 陈凯, 黄小乔, 等. 光栅式自由立体显示器的颜色特性化实验[J]. 光学学报, 2019, 39(5): 0533002.
    Chen Z Q, Chen K, Huang X Q, et al. Color characterization of barrier-type autostereoscopic displays[J]. Acta Optica Sinica, 2019, 39(5): 0533002.
[8] Yanaka K. Integral photography using hexagonal fly's eye lens and fractional view[J]. Proceedings of SPIE, 2008, 6803: 68031K.
[9] Deng H, Wang Q H, Li L, et al. An integral-imaging three-dimensional display with wide viewing angle[J]. Journal of the Society for Information Display, 2011, 19(10): 679-684.
[10] Li R, Chu F, Dou H, et al. A blue-phase liquid crystal lens array based on dual square ring-patterned electrodes[J]. Liquid Crystals, 2019, 46(8): 1266-1272.
[11] 武伟, 王世刚, 赵岩, 等. 基于窗截取的立体元图像阵列快速生成[J]. 光学学报, 2018, 38(7): 0710002.
    Wu W, Wang S G, Zhao Y, et al. Fast elemental image array generation based on window interception[J]. Acta Optica Sinica, 2018, 38(7): 0710002.
[12] Deng H, Wang Q H, Li D H. Method of generating orthoscopic elemental image array from sparse camera array[J]. Chinese Optics Letters, 2012, 10(6): 061102.
[13] 焦小雪, 赵星, 杨勇, 等. 基于三维集成成像相机阵列获取的元素图像校正[J]. 中国激光, 2012, 39(3): 0309001.
    Jiao X X, Zhao X, Yang Y, et al. Elemental images correction of camera array pick-up for three-dimensional integral imaging[J]. Chinese Journal of Lasers, 2012, 39(3): 0309001.
[14] 王芳, 黎达, 赵星, 等. 集成成像三维显示系统立体深度的研究[J]. 中国激光, 2011, 38(s1): s109002.
    Wang F, Li D, Zhao X, et al. Study on the stereo depth of integral imaging three-dimensional display system[J]. Chinese Journal of Lasers, 2011, 38(s1): s109002.
[15] Ives H E. Optical properties of a Lippmann lenticulated sheet[J]. Journal of the Optical Society of America, 1931, 21(3): 171-176.
[16] Shin D H, Lee B G, Kim E S. Modified smart pixel mapping method for displaying orthoscopic 3D images in integral imaging[J]. Optics and Lasers in Engineering, 2009, 47(11): 1189-1194.
[17] Wu F, Liu Z S, Deng H. Crosstalk-free dual-view integral imaging display[J]. Journal of the Society for Information Display, 2019, 27(9): 555-558.
[18] Navarro H, Martínez-Cuenca R, Saavedra G, et al. 3D integral imaging display by smart pseudoscopic-to-orthoscopic conversion (SPOC)[J]. Optics Express, 2010, 18(25): 25573-25583.
[19] Deng H, Wang Q H, Li D H, et al. Realization of undistorted and orthoscopic integral imaging without black zone in real and virtual fields[J]. Journal of Display Technology, 2011, 7(5): 255-258.
[20] Zhang JL, Liu YQ, Wang XR. Method for eliminating the black zone of integral imaging[C]∥2015 10th International Conference on P2P, Parallel, Grid, Cloud and Internet Computing (3PGCIC), November 4-6, 2015, Krakow, Poland. New York: IEEE, 2015: 458- 461.
[21] Yan Z Q, Jiang X Y, Yan X P. Performance-improved smart pseudoscopic to orthoscopic conversion for integral imaging by use of lens array shifting technique[J]. Optics Communications, 2018, 420: 157-162.
[22] Xiao X, Shen X, Martinez-Corral M, et al. Multiple-planes pseudoscopic-to-orthoscopic conversion for 3D integral imaging display[J]. Journal of Display Technology, 2015, 11(11): 921-926.
[23] Okano F, Hoshino H, Arai J, et al. Real-time pickup method for a three-dimensional image based on integral photography[J]. Applied Optics, 1997, 36(7): 1598-1603.
[24] Yu C X, Yuan J H, Fan F C, et al. The modulation function and realizing method of holographic functional screen[J]. Optics Express, 2010, 18(26): 27820-27826.
[25] Yan Z Q, Yan X P, Jiang X Y, et al. Integral imaging based light field display with enhanced viewing resolution using holographic diffuser[J]. Optics Communications, 2017, 402: 437-441.
Article Outline
1 引言
2 基本原理
2.1 集成成像离轴平行式拍摄结构
2.2 深度反转问题的解决
3 实验
4 结论
李姣姣, 邓欢, 李赛, 张汉乐, 王蕾, 陈聪. 无深度反转的集成成像一次拍摄方法[J]. 中国激光, 2020, 47(1): 0109002. Jiaojiao Li, Huan Deng, Sai Li, Hanle Zhang, Lei Wang, Cong Chen. One-Step Shooting Method for Integral Imaging Without Depth Inversion[J]. Chinese Journal of Lasers, 2020, 47(1): 0109002.

无深度反转的集成成像一次拍摄方法下载： 1287次

1 引言

2 基本原理

2.1 集成成像离轴平行式拍摄结构

图 1. 集成成像离轴平行式拍摄结构

Fig. 1. Off-axis paralleled shooting structure for integral imaging

2.2 深度反转问题的解决

图 2. 集成成像离轴平行式记录与再现过程

Fig. 2. Off-axis paralleled recording and reconstruction processes in integral imaging

图 3. 图像阵列重排示意图。(a)重排之前;(b)重排之后

Fig. 3. Schematics of rearrangement for elemental image array. (a) Before rearrangement; (b) after rearrangement

图 4. 再现距离l₂随着记录距离l₁的变化曲线

Fig. 4. Variation in reconstructed distance l₂ with recording distance l₁

3 实验

图 5. 虚拟记录及3D模型的示意图

Fig. 5. Schemes of virtual recording and 3D model

图 6. 实验获取的图像阵列。(a)图像阵列1;(b)图像阵列2

Fig. 6. Elemental images obtained experimentally. (a) EIA 1; (b) EIA 2

表 1. 集成成像显示系统的详细参数

Table 1. Specifications of integral imaging display system

图 7. 集成成像显示系统的结构。(a)俯视图;(b)前视图

Fig. 7. Configuration of integral imaging display system. (a) Top view; (b) front view

图 8. 集成成像再现实验结果。(a) EIA 1再现的有深度反转的3D图像;(b) EIA 2再现的无深度反转的3D图像

Fig. 8. Experimental results of integral imaging reconstruction. (a) Reconstructed 3D images with depth inversion of EIA 1; (b) reconstructed 3D images without depth inversion of EIA 2

图 9. 光学扩散屏位置移动后观看到的再现象。(a)“篮球”和“排球”再现距离为182 mm;(b)“足球”的再现距离为193 mm

Fig. 9. Reconstructed images after position of optical diffuser screen changed. (a) Reconstructed distances of“basketball” and “volleyball” are 182 mm; (b) reconstructed distance of “football” is 193 mm

4 结论

Article Outline

关于本站 Cookie 的使用提示

全站搜索

无深度反转的集成成像一次拍摄方法 下载： 1287次

1 引言

2 基本原理

2.1 集成成像离轴平行式拍摄结构

图 1. 集成成像离轴平行式拍摄结构

Fig. 1. Off-axis paralleled shooting structure for integral imaging

2.2 深度反转问题的解决

图 2. 集成成像离轴平行式记录与再现过程

Fig. 2. Off-axis paralleled recording and reconstruction processes in integral imaging

图 3. 图像阵列重排示意图。(a)重排之前;(b)重排之后

Fig. 3. Schematics of rearrangement for elemental image array. (a) Before rearrangement; (b) after rearrangement

图 4. 再现距离l2随着记录距离l1的变化曲线

Fig. 4. Variation in reconstructed distance l2 with recording distance l1

3 实验

图 5. 虚拟记录及3D模型的示意图

Fig. 5. Schemes of virtual recording and 3D model

图 6. 实验获取的图像阵列。(a)图像阵列1;(b)图像阵列2

Fig. 6. Elemental images obtained experimentally. (a) EIA 1; (b) EIA 2

表 1. 集成成像显示系统的详细参数

Table 1. Specifications of integral imaging display system

图 7. 集成成像显示系统的结构。(a)俯视图;(b)前视图

Fig. 7. Configuration of integral imaging display system. (a) Top view; (b) front view

图 8. 集成成像再现实验结果。(a) EIA 1再现的有深度反转的3D图像;(b) EIA 2再现的无深度反转的3D图像

Fig. 8. Experimental results of integral imaging reconstruction. (a) Reconstructed 3D images with depth inversion of EIA 1; (b) reconstructed 3D images without depth inversion of EIA 2

图 9. 光学扩散屏位置移动后观看到的再现象。(a)“篮球”和“排球”再现距离为182 mm;(b)“足球”的再现距离为193 mm

Fig. 9. Reconstructed images after position of optical diffuser screen changed. (a) Reconstructed distances of“basketball” and “volleyball” are 182 mm; (b) reconstructed distance of “football” is 193 mm

4 结论

Article Outline

相关论文

相关资讯

关于本站 Cookie 的使用提示

全站搜索

无深度反转的集成成像一次拍摄方法下载： 1287次

图 4. 再现距离l₂随着记录距离l₁的变化曲线

Fig. 4. Variation in reconstructed distance l₂ with recording distance l₁