立体视区完整的无串扰集成成像3D显示

集成成像三维（3D）显示技术具有连续视点、无需助视设备等特点，但普遍存在的视觉串扰现象严重影响立体观看效果。分析图像元在立体视区成像的有效像素区域，推导出图像元上的串扰图像区域分布的变化规律，提出一种立体视区完整的无串扰集成成像3D显示结构。精确设计具有渐变孔径的掩模板阵列，其既能完全透过有效像素光线，使光线向主视区和各阶立体视区成像，保留了集成成像立体视区分布的完整性，又能阻挡串扰像素光线的出射，消除了相邻视区间的串扰，实现了立体视区完整的无串扰集成成像3D显示。提出的结构简单易于实现，有助于集成成像显示技术的进一步推广。

Abstract

Because of features such as continuous viewpoints and visual-aid elimination, a integral imaging three-dimensional (3D) display technology has gained widespread acceptance; however, its common phenomenon of visual crosstalk seriously affects the stereoscopic viewing effect. In this study, the effective pixel region of each element image that corresponds to the stereoscopic area was examined, and the corresponding crosstalk-pixel distributions were deduced. Then, a crosstalk-free integral imaging 3D display structure with a full stereo viewing area was proposed, and an accurately designed mask array with a gradient aperture was created. On one hand, the mask array penetrates the effective pixel light, allowing the light to be imaged onto the main view area and all the levels of the stereoscopic view area, thereby retaining all the integral imaging system stereo viewing areas. On the other hand, it blocks the outgoing crosstalk-pixel light, thereby removing crosstalk between adjacent view areas and achieving a complete crosstalk-free integrated imaging 3D display of the full stereoscopic view area. The proposed device is straightforward to build, and it will help popularize the integral imaging 3D display technology.

1　引言

集成成像是一种利用光学器件对空间场景进行记录，并再现出立体场景光场信息的3D显示技术，具有连续视点、无需助视设备、无立体观看视疲劳等显著优点。集成成像装置结构简单、易实现，具有广阔的应用前景，因而备受关注^［1-3］。传统集成成像显示结构由微图像阵列与微透镜阵列组成，微图像阵列中的每个图像元通过与其对应匹配的微透镜元进行成像，在空间中还原出真实的立体场景^［4-5］。但集成成像3D显示普遍存在明显的视觉串扰现象，观看者需在全部图像元成像区域的公共区域才能观看到正确立体信息，集成成像立体观看视角小。串扰明显和视角小的问题影响了集成成像技术的产品化和进一步推广^［6-7］。

不少科研人员都对集成成像的立体视区分布和影响因素等进行了分析，并提出了有效减少图像串扰的方法^［8］。在显示屏与针孔阵列间加入垂直栅栏的方法^［9］通过将每个图像元的像素光线都限制在对应的针孔单元内进行成像，从而避免串扰的产生。该方法会使图像元有效信息被遮盖，且结构较为复杂，并且较薄的栅栏壁难以支撑，导致实际应用困难。四川大学相关研究团队^［10］提出了一种具有会聚式结构的微图像阵列分布方法，通过改变图像元的节距，在特定观看距离上消除串扰图像，同时增大立体观看视角。该方法适用于观看距离不变的情况，其中图像元的缩放会引入3D图像畸变。邓慧等^［11］提出一种采用固定孔径掩模板阵列阻挡图像元光线向相邻针孔（或透镜）成像的方法。该方法能有效消除相邻图像元间的串扰图像，但并不能消除主视区的串扰图像，且阻挡了原本的一阶和高阶立体视区，造成了信息的浪费。

本文提出一种立体视区完整的无串扰集成成像3D显示方法，采用精密设计的渐变孔径掩模板阵列阻挡串扰像素信息，同时不影响立体视区的有效像素信息。所提方法既能消除立体视区间的串扰图像，又能保留完整的立体视区，实现无串扰的集成成像3D显示。

2　原理分析

2.1　立体视区与串扰区分布

集成成像再现过程中，在2D显示屏上显示由许多图像元构成的微图像阵列，每个图像元通过与之匹配的透镜元进行成像，再现出3D场景^［12］。以水平方向为例，全部图像元通过其前方对应透镜元成像区域的公共区域，如图1绿色区域所示，主视区与透镜阵列中心构成的夹角为3D观看视角θ_H^［13］。

图 1. 集成成像视区和串扰区分布

Fig. 1. Distribution of stereo viewing area and crosstalk area of integral imaging

下载图片查看所有图片

集成成像视区分布如图1所示。一阶视区为图像元通过其左右相邻的第一个透镜元进行成像时的公共区域，如红色区域所示。二阶视区为图像元通过其左右相邻的第二个透镜元进行成像时的公共区域，如黄色区域所示。同样，N阶视区为图像元通过其左右相邻第N个透镜元进行成像时的公共区域^［10］。在主视区及其各阶视区范围内都能观看到如图2（a）所示的正确3D图像。在相邻视区之间存在视区重叠的串扰区，如图1中的灰色区域所示。在串扰区内，两个相邻视区成像光线混叠，导致成像信息产生跳变，形成如图2（b）所示的串扰图像。观察者在串扰区内会观看到跳变的串扰图像，严重影响立体观看效果^［14］。

图 2. 再现图像。（a）正确3D图像；（b）串扰图

Fig. 2. Reproducing images. (a) Correct 3D image; (b) crosstalk image

下载图片查看所有图片

此前，设计的一种具有固定孔径的掩模板阵列^［11］阻挡图像元一阶成像光线透过，消除了相邻图像元间的串扰图像，其视区分布如图3所示。在固定孔径掩模板阵列方法中，每个图像元只对应一个透光孔，图像元光线只能通过其前方对应的透镜元出射。该方法虽能消除高阶次的串扰图像，但一阶视区的有效像素光线也完全被阻挡，只保留了主视区，去掉了原本的一阶视区和高阶视区，导致整个立体观看范围变小。

图 3. 固定孔径掩模板阵列方法的视区分布

Fig. 3. Viewing area distribution of fixed aperture mask array method

下载图片查看所有图片

分析发现，在立体视区范围内观察到的有效像素信息对应每个图像元的特定像素区域，如图4所示。以水平方向为例，在距离为L的观看平面上，主视区的立体视区宽度 $D_{H}$ 为

图 4. 图像元的有效像素区域分布

Fig. 4. Effective pixel region distribution of image elements

下载图片查看所有图片

D_{H} = \frac{p L}{f} - (M - 1) p

，（1）

式中：p为图像元节距；f为透镜元焦距；M为微图像阵列中水平方向的图像元个数。立体观看视角 $θ_{H}$ ^［10］可表示为

θ_{H} = 2 a r c t a n [\frac{p L - (M - 1) p f}{2 f L}]

。（2）

分析发现，在L一定的情况下，单个图像元在立体视区成像的有效像素区域宽度是固定的。第i行j列图像元 $I_{i, j}$ 的有效像素宽度 $m_{i, j}$ 为

m_{i, j} = p - \frac{(M - 1) p f}{L}

，（3）

且有效像素在每个图像元中是从左至右均匀移动的，从左边第一个图像元开始，有效像素自左边缘逐渐右移，直至最后一个图像元的右边缘。第i行j列图像元 $I_{i, j}$ 的有效像素在水平方向上的移动量 $∆ m_{i, j}$ 为

Δ m_{i, j} = \frac{(j - 1) p f}{L}

。（4）

2.2　立体视区完整的无串扰集成成像显示结构原理

提出的立体视区完整的无串扰集成成像3D显示结构包括2D显示屏、渐变孔径掩模板阵列和微透镜阵列。通过精确设计渐变孔径掩模板阵列的有效通光孔径和渐变平移量，有效遮挡图像元中串扰像素光线，同时确保有效像素光线能全部透射成像。

所提结构的原理如图5（a）所示，渐变孔径掩模板阵列平行放置于微图像阵列与微透镜阵列之间，与微透镜阵列间隔为d，每个掩模单元对应一个图像元。渐变孔径掩模板阵列结构如图5（b）所示，每个掩模单元包含2×2个透光孔。以水平方向为例，垂直方向的分析与水平方向类似。有效像素光线通过透光孔1向其对应的透镜元以及相邻的偶数倍间距的透镜元出射，形成主视区和偶数阶视区，如图6（a）所示。有效像素光线通过透光孔2向其相邻的奇数倍间距的透镜元出射，形成奇数阶视区，如图6（b）所示。透光孔1和透光孔2之间的黑色挡光区刚好阻挡奇数阶与偶数阶视区间的串扰光线，可有效避免串扰图像的产生。

图 5. 所提方法原理与渐变孔径掩模板阵列结构。（a）立体视区完整的无串扰集成成像显示光线的传播情况；（b）渐变孔径掩膜板阵列结构

Fig. 5. Principle of the proposed method and the structure of gradual aperture mask array. (a) Light propagation of crosstalk-free integral imaging 3D display with full stereo viewing area; (b) structure of gradient aperture mask array

下载图片查看所有图片

图 6. 各视区光线分布情况。（a）透光孔1对主视区及偶数阶视区的光线透过情况；（b）透光孔2对奇数阶视区的光线透过情况；（c）所提结构的立体视区分布

Fig. 6. Light distribution in each viewing area. (a) Light propagation of main viewing area and even-order viewing area passing through the hole 1; (b) light propagation of odd-order viewing area passing through the hole 2; (c) distribution of stereo viewing area of proposed structure

下载图片查看所有图片

第i行j列图像元 $I_{i, j}$ 对应的掩模单元的透光孔1和透光孔2宽度相等，都为 $w_{i, j}$ ，表达式为

w_{i, j} = \frac{d}{f} m_{i, j} = \frac{d p}{f L} [L - (M - 1) f]

。（5）

挡光区宽度 $b_{i, j}$ 满足

b_{i, j} = M \frac{d p}{L}

。（6）

相邻单元中挡光区具有相同的宽度和渐变的平移，平移量 $∆ b_{i, j}$ 可表示为

Δ b_{i, j} = \frac{d p}{L}

。（7）

通过设计渐变平移的挡光区，可完全消除各阶次视区间的串扰图像，同时，渐变平移的透光孔保证了有效像素光线向主视区和各阶视区进行成像，保留了完整的主视区和各阶立体视区，实现了如图6（c）所示的立体视区完整的无串扰集成成像3D视区分布。

3　实验及结果分析

为了验证理论的正确性，分别进行传统结构和所提结构的集成成像3D显示实验。实验中，采用相同周期节距的针孔阵列来代替微透镜阵列^［14-15］，由于针孔的孔径为亚毫米量级，其衍射效应对成像光束的中心线方向没有影响，对视区分布的影响可忽略不计。传统结构的集成成像3D显示装置只包含2D显示屏和针孔阵列，所提结构的集成成像3D显示装置在传统结构的基础上增加了渐变孔径掩模板阵列，两个实验装置采用相同参数的2D显示屏和针孔阵列。具体实验参数如表1所示，其中g为2D显示屏与针孔阵列的间距，计算出的立体视区分布的理论值如表2所示。实验中，所用的2D显示屏为红米笔记本的显示屏（分辨率为1920 pixel×1080 pixel），渐变孔径掩模板阵列由高分辨率打印的菲林胶片与高透过率的光学基板紧密贴合制备而成。

表 1. 实验参数设置

Table 1. Experimental parameters

2D display panel		Elemental image array			Pinhole array	Mask array with gradient aperture
Size /cm	Resolution /（pixel×pixel）	Size	Resolution /（pixel×pixel）	p /mm	g /mm	$w_{i, j}$ /（mm×mm）	$b_{i, j}$ /（mm×mm）	$∆ b_{i, j}$ /mm	d /mm
35.8	1920×1080	48×27	40×40	6.5	8	1.7225×2.405	1.56×0.8775	0.0325	4

查看所有表

表 2. 立体视区分布

Table 2. Distribution of stereo viewing area

L /mm

D_H /mm

θ_{H} / (°)

Viewing area width /mm

Range of stereo-view

/ (°)

Crosstalk width /mm

First order

（one side）

Second order

（one side）

First order

（one side）

Second order

（one side）

Between main and first order viewing area（one side）

800

396.5

24.3

403

409.5

29.47-46.89

54.01-62.1

305.5

查看所有表

传统集成成像显示装置的3D显示结果如图7所示，在0.8 m的观看距离处，观察到的正确立体图像如图7（a）~（e）所示。其中图7（c）为从主视区中心观察到的立体图像，图7（b）和图7（d）分别为从主视区左边界和右边界观察到的立体图像，图7（a）和图7（e）分别为从左侧一阶视区和右侧一阶视区观察到的立体图像。左、右一阶视区与主视区之间分别存在305.5 mm的串扰区，观察到的图像如图7（g）和图7（h）所示，在“茶壶”和“圆环”处有明显的串扰。左、右二阶视区与一阶视区之间分别存在299 mm的串扰区，观察到的图像如图7（f）和图7（i）所示，串扰更加明显。

图 7. 传统集成成像的立体图像和串扰图像分布。（a）左侧一阶视区-35°；（b）主视区-12°；（c）主视区0°；（d）主视区12°；（e）右侧一阶视区35°；（f）串扰区-50°；（g）串扰区-27°；（h）串扰区27°；（i）串扰区50°

Fig. 7. Distribution of stereo image and crosstalk image of traditional integral imaging. (a) Left first-order visual area -35°; (b) main visual area -12°; (c) main visual area 0°; (d) main visual area 12°; (e) right first-order visual area 35°; (f) crosstalk area -50°; (g) crosstalk area -27°; (h) crosstalk area 27°; (i) crosstalk area 50°

下载图片查看所有图片

所提结构的3D显示结果如图8所示，在同样的0.8 m的观看距离处，观察到的正确立体图像如图8（a）~（e）所示。其中图8（c）为从主视区中心观察到的正确立体图像，图8（b）和图8（d）为从主视区左、右边界观察到的立体图像，其3D显示效果和图像亮度与图7中主视区立体图像效果基本相同，说明所提结构对主视区正确的3D图像光线没有影响。图8（a）和图8（e）分别为从左侧一阶视区和右侧一阶视区观察到的立体图像，其显示效果与图7（a）和图7（e）相比，图像亮度稍暗，这是由于在实验操作中渐变孔径掩模板阵列与针孔阵列对齐时有些许误差，对有效像素一阶成像光线有少量的阻挡。同时，在主视区与一阶视区间、一阶视区与二阶视区之间的串扰区中，拍摄得到的图像如图8（g）、图8（h）、图8（f）、图8（i）所示，几乎全黑，说明串扰区的光线均被有效遮挡了。实验结果证实所提结构保留了原有的正确的立体观看视区，有效阻挡串扰像素光线，消除了视区间的串扰。

渐变孔径掩模板阵列结构的立体图像和暗区图像分布。（a）左侧一阶视区-35°；（b）主视区-12°；（c）主视区0°；（d）主视区12°；（e）右侧一阶视区35°；（f）左侧一阶视区与二阶视区间的串扰区-50°；（g）主视区与左侧一阶视区间的串扰区-27°；（h）主视区与右侧一阶视区间的串扰区27°；（i）右侧一阶视区与二阶视区间的串扰区50°

图 8. 渐变孔径掩模板阵列结构的立体图像和暗区图像分布。（a）左侧一阶视区-35°；（b）主视区-12°；（c）主视区0°；（d）主视区12°；（e）右侧一阶视区35°；（f）左侧一阶视区与二阶视区间的串扰区-50°；（g）主视区与左侧一阶视区间的串扰区-27°；（h）主视区与右侧一阶视区间的串扰区27°；（i）右侧一阶视区与二阶视区间的串扰区50°

Fig. 8. Distribution of stereo image and dark zone image of proposed gradient aperture mask array structure. (a) Left first-order visual area -35°; (b) main visual area -12°; (c) main visual area 0°; (d) main visual area 12°; (e) right first-order visual area 35°; (f) crosstalk area between first-order visual area and second-order visual area on the left -50°; (g) crosstalk area between main visual area and first-order visual area on the left -27°; (h) crosstalk area between main visual area and first-order visual area on the right 27°; (i) crosstalk area between first-order visual area and second-order visual area on the right 50°

下载图片查看所有图片

4　结论

分析了图像元在立体视区成像的有效像素区域，推导了每个图像元上串扰图像的像素分布和移动规律，并提出了一种立体视区完整的无串扰集成成像显示结构。精确设计了渐变孔径掩模板阵列结构，该结构既能遮挡每个图像元中的串扰像素光线，同时又能透过每个图像元有效像素的光线。该方案在消除相邻视区间串扰的同时，又完整保留了其他各阶立体视区成像，实现了立体视区完整的无串扰集成成像3D显示。该装置结构简单、易于实现，有助于集成成像显示技术的进一步推广。

参考文献

[1] 王琼华. 3D显示技术与器件[M]. 北京: 科学出版社, 2011. 10.1002/j.2637-496x.2011.tb00390.x

WangQ H. 3D display technology and devices[M]. Beijing: Science Press, 2011.

[2] Park J H, Hong K, Lee B. Recent progress in three-dimensional information processing based on integral imaging[J]. Applied Optics, 2009, 48(34): H77-H94.

[3] Deng H, Wang Q H, Xiong Z L, et al. Magnified augmented reality 3D display based on integral imaging[J]. Optik, 2016, 127(10): 4250-4253.

[4] Deng H, Wang Q H, Li D H, et al. Realization of undistorted and orthoscopic integral imaging without black zone in real and virtual fields[J]. Journal of Display Technology, 2011, 7(5): 255-258.

[5] Xiao X, Javidi B, Martinez-Corral M, et al. Advances in three-dimensional integral imaging: sensing, display, and applications[J]. Applied Optics, 2013, 52(4): 546-560.

[6] Li Q, Deng H, Yang C N, et al. Locally controllable 2D/3D mixed display and image generation method[J]. Optics Express, 2022, 30: 22838-22847.

[7] Wu F, Deng H, Li D H, et al. High-optical-efficiency integral imaging display based on gradient-aperture pinhole array[J]. Optical Engineering, 2013, 52(5): 4002-4005.

[8] Choi H, Min S W, Jung S, et al. Multiple-viewing-zone integral imaging using a dynamic barrier array for three-dimensional displays[J]. Optics Express, 2003, 11(8): 927-932.

[9] Wu F, Lü G J, Zhao B C, et al. Crosstalk-free integral imaging 3D display using pinhole array[J]. Optik, 2019, 184: 538-541.

[10] Deng H, Wang Q H, Li L, et al. An integral-imaging three-dimensional display with wide viewing angle[J]. Journal of the Society for Information Display, 2011, 19(10): 679-684.

[11] 邓慧, 吕国皎, 杨梅, 等. 基于掩膜板阵列的消串扰集成成像3D显示方法[J]. 液晶与显示, 2022, 37(5): 592-597.

Deng H, Lü G J, Yang M, et al. Crosstalk-free integral imaging 3D display method based on a mask array[J]. Chinese Journal of Liquid Crystals and Displays, 2022, 37(5): 592-597.

[12] 王琼华, 邓欢. 集成成像3D拍摄与显示方法[J]. 液晶与显示, 2014, 29(2): 153-158.

Wang Q H, Deng H. 3D pickup and display method of integral imaging[J]. Chinese Journal of Liquid Crystals and Displays, 2014, 29(2): 153-158.

[13] Deng H, Wang Q H, Wu F, et al. Cross-talk-free integral imaging three-dimensional display based on a pyramid pinhole array[J]. Photonics Research, 2015, 3(4): 173-176.

[14] Wu F, Deng H, Luo C G, et al. Dual-view integral imaging three-dimensional display[J]. Applied Optics, 2013, 52(20): 4911-4914.

[15] 周雄图, 陈恩果, 姚剑敏, 等. 用于集成成像的针孔/微透镜组合阵列设计与仿真[J]. 液晶与显示, 2013, 28(6): 855-859.

Zhou X T, Chen E G, Yao J M, et al. Design and simulation of combined pinholes/microlens array for integral imaging[J]. Chinese Journal of Liquid Crystals and Displays, 2013, 28(6): 855-859.

1　引言

2　原理分析

2.1　立体视区与串扰区分布

2.2　立体视区完整的无串扰集成成像显示结构原理

3　实验及结果分析

4　结论

邓慧, 吕国皎, 吴非, 杨梅, 邓欢. 立体视区完整的无串扰集成成像3D显示[J]. 激光与光电子学进展, 2023, 60(8): 0811020. Hui Deng, Lü Guojiao, Fei Wu, Mei Yang, Huan Deng. Crosstalk-Free Integral Imaging 3D Display in Full Stereo Viewing Area[J]. Laser & Optoelectronics Progress, 2023, 60(8): 0811020.