中国激光, 2018, 45 (12): 1209002, 网络出版: 2019-05-09   

有效视角图像切片嵌合法全息体视图的数值重构 下载: 740次

Numerical Reconstruction of Holographic Stereograms with Effective Perspective Image Segmentation and Mosaicking Method
作者单位
1 中国人民解放军陆军装甲兵学院信息通信系, 北京 100072
2 中国人民解放军陆军研究院建设与发展研究所, 北京 100012
3 中国洛阳电子装备实验中心, 河南 洛阳 459000
摘要
全息体视图打印技术是当下广泛应用的一种全息技术。近年来本课题组提出了一种新的对视角图像进行预处理并进行全息体视图打印的方法,称为有效视角图像切片嵌合(EPISM)法,该方法可以通过一步记录实现传统两步法的全息打印效果,具有很高的研究价值。为了在光学实验之前对EPISM法全息体视图的打印结果进行预测,提出一种EPISM法全息体视图的数值重构算法,采用该算法对EPISM法处理过的合成视角图像进行数值重构,可以在光学打印之前预先得到不同观察角度和观察位置所看到的再现图像。将数值重构图像与原始采样图像以及光学实验再现像进行比较,结果表明:该算法可以较好地对EPISM法全息体视图打印的光学实验结果进行模拟。
Abstract
Holographic stereogram printing technology is a widely used holographic technology. In recent years, our project team has proposed a new method to preprocess the perspective images and print the holographic stereograms, called as the effective perspective image segmentation and mosaicking (EPISM) method, in which the holographic printing effect can be achieved via one-step recording beyond the traditional two-step recording, and thus it possesses high research value. In order to predict the printing results of holographic stereograms based on the EPISM method before optical experiments, a numerical algorithm for the reconstruction of holographic stereograms after EPISM is proposed. This algorithm performs a numerical reconstruction of synthetic perspective images processed by the EPISM method and the reproduced images seen at different viewing angles and viewing positions prior to optical printing can be pre-obtained. Through the comparison among the original sampling images, the numerically reconstructed images and the experimentally reproduced images, it is found that the proposed algorithm can be used to simulate the optical experimental results of holographic stereogram printing with the EPISM method.

1 引言

全息体视图打印技术是目前广泛应用的全息技术。该技术将双目视差原理与全息打印技术相结合,先对场景采集的一组二维视角图像进行预处理,而后利用全息打印技术将处理之后的图像记录在全息记录介质中生成全息体视图。对全息体视图进行再现就可观察到记录的三维场景。

全息体视图打印技术经历了近半个世纪的发展,目前已经相当成熟。1969年,Debitetto[1]提出水平视差全息体视图全息打印技术,随后King等[2]针对于Debitetto型水平视差全息体视图提出两步法水平视差全息体视图打印技术,该技术首先制作一个透射式水平视差全息体视图,并将其作为母版,而后将母版上的再现像转印到转移干板上,通过这种方法得到的全息体视图可以得到白光再现的正实像。

在视角图像处理方面,Yamaguchi等[3]提出了一种Lippmann全息体视图处理方法,该方法可一步制作出Lippmann型全息体视图。而后,麻省理工学院(MIT)的Halle等[4-10]提出称为Ultragram的一步法全息体视图打印技术,基于此技术可以实现任意深度、全视差、无畸变的全息体视图打印。Geola公司的Ratcliffe等[11-14]在2003年提出了一步激光直写合成全息体视图打印法。2017年本课题组[15-20]提出了一种称为有效视角图像切片嵌合(EPISM)法,并利用该方法对采样的视角图像进行处理,这种方法的基本原理不同于之前的方法,它是基于全息单元图而非全息单元像素来对视角图像进行处理的,并取得了一系列研究成果。

2012年,Park等[21]提出了针对Halle方法预处理后的图像进行数值重构来模拟全息体视图光学再现像的方法,这种方法针对Ultragram型全息体视图的图像处理思路,给出了相应的数值重构算法,数值重构结果可以很好地模拟光学再现像。2014年,Park等[21-22]进一步针对透镜引入径向畸变的情况给出了相应的数值重构算法,并利用峰值信噪比和结构相似性等图像质量指标对畸变造成的影响进行分析。Park等提出的这种数值重构算法可以在光学实验前对光学再现像进行模拟,这使得在实验前就可以利用模拟的再现像对光学实验结果进行预估,为全息体视图打印提供了很好的辅助。

由于EPISM法是基于全息单元图像而非全息单元像素对视角图像进行处理的,因此需要与之相匹配的算法来实现对EPISM法全息体视图的数值重构。

本文基于EPISM法的基本原理,提出了针对EPISM法的全息体视图数值重构算法,并利用光学实验得到EPISM法的光学再现像,将根据数值重构算法得到的数值重构图像与原始采样视角图像以及光学再现图像进行对比,验证了数值重构算法的有效性,同时对算法存在的问题进行了总结。

2 EPISM法的基本原理

在全息体视图打印中,通常将物光与参考光在全息干板上的孔径区域发生干涉形成的全息单元称为hogel,将两步法全息体视图打印的母版称为H1干板,转印干板称为H2干板。

EPISM法的提出是为了实现通过一步全息打印过程实现两步法的全息打印效果。为了达到该目的,利用在液晶显示器(LCD)上模拟两步法中H2干板上的hogel记录图像的方法,将两步法的记录过程通过一步直接实现。

图1(a)所示,对H2干板上hogel所记录的再现像进行模拟时,将hogel的中心看作是一个观察点O,根据光线追踪原理,经该点观察H1干板上的hogel时,会得到一个以观察点为起点,以所观察hogel为底面的光锥,由于H1干板上的hogel再现像就是记录在该hogel上的视角图像,并且再现位置就是记录时LCD所处的位置,因此光锥与再现视角图像的相交部分就是该hogel对观察点O的有效视角切片。将在观察点上看到的所有H1的hogel再现像的有效视角切片嵌合在一起,如图1(b)所示,得到的就是要记录到观察点所在hogel上的合成视角图像。将所有hogel的合成视角图像依次记录到干板上就可以得到基于EPISM法的全视差全息体视图。

3 EPISM法的数值重构

3.1 EPISM法数值重构的基本原理

光学实验是细致复杂的实验过程,包括实验设计、光路搭建、全息打印、效果观察等多个步骤。因此,在实验前对实验效果进行预模拟会对实验有很大帮助。由于EPISM法采用全息单元图(即有效视角切片)替代全息单元像素作为视角图像预处理的基本单位,因此在这里需要基于EPISM法以及光线追踪法的基本原理给出EPISM法的数值重构方法。

图 1. EPISM法的总体原理图。(a)单个全息单元视角图片有效像素部分的提取;(b)多全息单元有效像素部分的拼接组合

Fig. 1. Overall principle of EPISM method. (a) Extraction of effective perspective image segments of single virtual hogel; (b) synthetic effective perspective image mosaicked by effective image segments of multiple virtual hogels

下载图片 查看所有图片

由于经过EPISM法记录的H2干板上每个hogel所记录的都是该hogel中心所看到的有效视角图像切片嵌合之后得到的合成视角图像,因此再现时在LCD位置还原出的是该hogel记录的合成视角图像。如图2所示,将人眼所在的平面看作观察平面,人眼位于E位置时,根据光线追踪原理,在E点观察H2干板上的一个hogel时看到的是以E点为顶点及以hogel为底面的视锥与该hogel再现的合成视角图像相交的部分,将其记为E点的有效观察图像切片。人眼观察整个H2干板时,看到的是E点的所有有效观察图像切片嵌合的效果,也就是E点的观察图像。

由于H2干板再现时还原的是H2干板上每个hogel对应的合成视角图像,因此只在干板制作过程中考虑虚拟H1干板的情况,对EPISM法进行数值重构时只需要考虑实际加载合成视角图像的LCD平面、H2平面以及观察平面的位置关系。

图 2. EPISM法数值重构原理图

Fig. 2. Schematic of numerical reconstruction by EPISM method

下载图片 查看所有图片

3.2 数值重构的具体算法

图3所示,首先选择以LCD平面中心位置C为原点建立世界坐标系,H2平面到LCD平面的距离为L2,观察平面距离LCD平面的距离为L1。将H2的hogel再现像中心位置记为P(x2,0),则hogel中心点O的坐标为O(x2,L2),视点E(x1,-L1)与O点连线交LCD平面于E0点。经过简单计算可得E0点坐标为E0x2+(x1-x2)L2L2+L1,0,H2上hogel的合成视角图像AB位于LCD平面上,并由O点坐标与视场角θ决定,其坐标为 x2-L2tanθ2,x2+L2tanθ2。为方便计算,本课题组以水平方向为例进行计算,竖直方向的算法与水平方向相同。

图 3. 数值重构算法的各个参数(水平方向)

Fig. 3. Parameters for numerical reconstruction (horizontal direction)

下载图片 查看所有图片

3.2.1 有效hogel的确定

在视点E确定时,为了确定H2干板上哪些hogel可以被人眼观察到,本课题组采用的做法是寻找视点的有效hogel,在这里选取视点与hogel形成的视锥与再现像能够完全相交的hogel作为视点的有效hogel,视锥与再现像相交部分即为有效观察图像切片。要实现这一点,需要对满足此种条件的hogel进行选择。

图4所示,当E点与hogel再现像左端点的连线与H2平面的交点正好落于hogel左端点时,hogel对于E点刚好有有效观察图像切片。当E点与hogel再现像左端点的连线与H2平面交点落于hogel左侧时,hogel对于E点有有效观察图像切片。同理,当E点与再现像右端点的连线与H2平面的交点刚好落于hogel的右端点时,hogel对于E点刚好有有效观察图像切片;当交点位于hogel右侧的时候,hogel对于E点有有效观察图像切片。

图 4. 数值重构时有效hogel的确定

Fig. 4. Determination of effective hogel for numerical reconstruction

下载图片 查看所有图片

若要选择有效hogel,hogel的中心坐标应为O(x2,L2)。根据之前给出的参数,视点x方向的坐标皆设为x1,再现像区间为 x2-L2tanθ2,x2+L2tanθ2

将位于hogel中心左侧的视点记为E1,则E1与再现像左端点A的连线与H2平面的交点E1Lx方向的坐标为

x1L=x2-L2tanθ2-x1L2+L1L1+x1(1)

将位于hogel中心右侧的视点记为E2,则E2与再现像右端点B的连线与H2平面的交点E2Rx方向的坐标为

x2R=x2+L2tanθ2-x1L2+L1L1+x1(2)

针对上述关系,hogel要与视点有有效观察图像切片,就需要满足左端点落在x1L右侧,右端点落在x2R左侧,即x1Lx2-l2/2,x2Rx2+l2/2。基于这种约束,当hogel中心落于区间 l22-L2tanθ2L2+L1L1L1L2+x1,L2tanθ2L2+L1L1-l22L1L2+x1时,hogel就可以在E点被完整观察到。

3.2.2 有效观察图像切片的确定以及再现像的数值重构

要确定有效观察图像切片在再现图像上的位置,首先需要确定有效观察图像切片的中心坐标,将观察点E与H2干板上hogel的中心相连,则连线和LCD平面的交点就是有效观察图像切片的中心,记为E0。如图3所示,其坐标记作E0(x0,0),其中

x0=(x2-x1)L2L2+L1+x1(3)

H2的hogel在LCD平面的有效观察图像切片尺寸为lLCD=l2L1/(L2+L1),因此有效观察图像切片相对于H2上hogel的再现像的位置可以表示为

(x2-x1)L2L2+L1-l22L1L2+L1,(x2-x1)L2L2+L1+l22L1L2+L1](4)

将所有视点E的有效观察图像切片进行嵌合就可以得到观察图片。

4 实验验证

为了验证所提数值重构算法的正确性,针对茶壶模型利用EPISM法进行光学打印,并与数值重构结果进行比较。

这里采用的茶壶模型长6.4 cm,高3.2 cm,深4 cm,倾斜45°放置。选取H2干板的hogel尺寸为1 cm,H2干板的hogel尺寸为0.25 cm,全息干板的尺寸为8 cm×8 cm,采样相机的视场角为30°,相机到茶壶模型的距离为18.6 cm,H2干板到LCD的距离为11.4 cm。根据EPISM法可以得到,相机采样个数应为91×91=8281个。选取可以完整捕捉到整个茶壶的左下、中心、右上三个视角的采样图片作为参考,如图5所示。

采样后,利用EPISM法对得到的视角图像切片进行嵌合,得到对应H2干板的8×8=64个hogel的合成图像。如图6所示,选取第1、第4、第8行及第2、第4、第7列的合成视角图像作为参考,可以发现,切片嵌合后的图像发生了变形(第4行图像可以同时观察到茶壶的壶底与壶嘴),这可以看作是处理之后的图像遮挡关系发生了变化,因此无法依据合成视角图像判断打印的效果如何。

图 5. 茶壶三个视角的采样图片

Fig. 5. Sampling images of teapot from three perspectives

下载图片 查看所有图片

图 6. EPISM法不同位置的合成视角图像

Fig. 6. Synthetic perspective images from different positions by EPISM method

下载图片 查看所有图片

图 7. 茶壶在三个视角的数值重构图像

Fig. 7. Numerically reconstructed images of teapot from three perspectives

下载图片 查看所有图片

利用所提算法对EPISM法处理过的图像进行数值重构,可以首先对左下、中心、右上的3个位置进行数值重构,结果如图7所示。比较原始图像和数值重构结果可以发现,数值重构结果可以对原始图像进行较好的模拟,但由于EPISM法是将在H2干板hogel的中心观察到的图像记录到hogel上,因此在数值重构时无法实现对原始图像的精准还原,会存在一些嵌合上的瑕疵(茶壶上的文字和小熊贴图在数值重构时会出现细微的嵌合误差)。

另外利用所提算法,针对EPISM法处理过的合成图像,对指定观察距离和观察角度的再现像进行模拟。在这里选取距离为300 cm,以与水平方向呈-12°、-6°、0°、6°、12°的观察角度(如图8所示)以及与竖直方向呈-12°、-6°、0°、6°、12°的观察角度(如图9所示)分别进行模拟,另外选取0°视角,在距离分别为50,100,200,300,500 cm时进行再现像模拟(如图10所示)。可以发现:在不同视角得到的数值重构图像可以如实反映茶壶随着观察视角不同而发生的变化;随着距离增大,茶壶逐渐减小,符合“近大远小”的观察规律。

通过分析模拟结果发现:选择的视角接近0°时可以获得较好的重构图像,当视角远离0°时,重构图像的质量就会降低;当距离较近时,重构图像的效果并不理想,随着距离增加,重构图像的质量逐渐提高。因此,当选择接近0°视角、距离为300 cm进行数值重构时,可以得到较好的模拟再现像。

图 8. 茶壶在水平方向的数值重构图像

Fig. 8. Numerically reconstructed images of teapot in horizontal direction

下载图片 查看所有图片

图 9. 茶壶在竖直方向上的数值重构图像

Fig. 9. Numerical reconstruction images of teapot in vertical direction

下载图片 查看所有图片

图 10. 茶壶在不同距离时的数值重构图像

Fig. 10. Numerically reconstructed images of teapot at different distances

下载图片 查看所有图片

为了进一步验证实验结果,对EPISM法处理过的合成图像进行全息打印,将数值重构结果与光学再现像进行比较。在这里使用VVX09F035M20型LCD屏加载合成图像,该屏的像素为1920 pixel×1200 pixel,取其中的1000 pixel×1000 pixel作为有效像素部分,对应的有效长度近似为10 cm×10 cm,合成全息立体图打印系统的光路如图11所示。选择400 MW、639 nm单纵模和线偏振固态红光激光器(CNIMSL-FN-639)作为激光源,选取电动快门(Sigma Koki SSH-C2B)用于控制曝光时间。激光束通过平面镜改变方向。激光经过非偏振分束器(NPBS)后被分成物光和参考光,放置衰减器的目的是调整激光的强度。将合成的有效透视图像加载到LCD面板上,在此LCD上的背光模块和两个偏振器被移除。采用空间滤波器对物光进行扩展,得到的扩展光透过LCD并获得其上加载的图像信息,而后,加载了图像信息的物光透过弥散屏到达全息干板。弥散屏被放置在LCD面板的正前方,用于对物光进行漫反射,使光束发散,以覆盖hogel的孔径。参考光束通过40倍物镜以及针孔为15 μm的空间滤波器滤掉高频光。用焦距为150 mm的透镜作为准直透镜来准直聚焦激光,并获得均匀的平行光。 LCD面板和全息干板的距离为11.4 cm。物光和参考光在全息平板的不同侧照射在干板上发生干涉,干涉条纹被记录在全息干板上。干板两侧放置中间有透光孔径的平板,以确保只有全息干板的正方形区域(即hogel)曝光。使用可沿水平方向与垂直方向移动的KSA300 X-Y位移平台搭载干板对全息干板上的各个hogel依次进行曝光。该电动X-Y平台由可编程的MC600控制器驱动。在本系统中,位移平台的步长为1 cm。液晶面板、电动快门和电动X-Y平台由计算机同步控制。

图 11. EPISM法打印系统光路

Fig. 11. Optical paths of printing system by EPISM method

下载图片 查看所有图片

图12所示,利用EPISM法全视差全息体视图进行打印,对打印结果分别在水平方向(-6°、0°、6°)进行拍摄,并与模拟结果进行对比。理想的数值重构算法模拟的再现像应该是对模型形状以及模型上贴图细节实现精准还原,而得到的再现像的模拟结果在模型形状上(壶嘴、壶把、顶盖等部位的形状以及倾斜角度)基本实现了对再现像的精准模拟,但在贴图细节上,再现像的模拟结果存在着一定的嵌合误差(字母“BEAR”和小熊贴图在一些位置并没有实现精准嵌合),不能精准模拟光学再现像的贴图细节。

总体而言,EPISM法数值重构的结果可以较好地对光学再现像进行模拟,从而可以在实验前对实验结果进行预估。

图 12. 数值重构图像与光学再现像的比较

Fig. 12. Comparison between numerically reconstructed images and optically reproduced images

下载图片 查看所有图片

5 结论

本课题组给出了一种重构算法,用以对经EPISM法预处理后得到的全息体视图进行数值重构。通过该重构算法可以模拟EPISM法打印的全息体视图在不同位置、不同角度的全息再现像。通过将数值重构图像与原始采样图像、光学实验得到的再现像进行比较后发现,数值重构图像可以对全息体视图的再现结果进行较好的模拟。采用这种方法可以在实验前对实验的结果进行预估,为光学实验提供参考。由于EPISM法使用了近似替代方法,因此对全息体视图再现像进行模拟时会在细节方面存在些许偏差,无法做到精准的还原,下一步将尝试解决这一问题,实现对EPISM法的光学再现结果进行精准的数值重构。

参考文献

[1] Debitetto D J. Holographic panoramic stereograms synthesized from white light recordings[J]. Applied Optics, 1969, 8(8): 1740-1741.

[2] King M C, Noll A M, Berry D H. A new approach to computer-generated holography[J]. Applied Optics, 1970, 9(2): 471-475.

[3] Yamaguchi M, Ohyama N. Holographic 3-D printer[J]. Proceedings of SPIE, 1990, 1212: 84-92.

[4] Halle M W, Benton S A, Klug M A, et al. The generalized holographic stereogram[J]. Proceedings of SPIE, 1991, 1461: 142-155.

[5] Halle MW. The generalized holographic stereogram[D]. [S.l.]: Massachusetts Institute ofTechnology, 1991.

[6] Klug M A, Halle M W, Hubel P M. Full-color ultragrams[J]. Proceedings of SPIE, 1992, 1667: 110-119.

[7] Klug M A, Halle M W, Lucente M E, et al. Compact prototype one-step ultragram printer[J]. Proceedings of SPIE, 1993, 1914: 15-24.

[8] Halle M W. Holographic stereograms as discrete imaging systems[J]. Proceedings of SPIE, 1994, 2176: 73-84.

[9] Halle M W, Kropp A B. Fast computer graphics rendering for full parallax spatial displays[J]. Proceedings of SPIE, 1997, 3011: 105-112.

[10] Klug M A, Klein A, Plesniak W, et al. Optics for full-parallax holographic stereograms[J]. Proceedings of SPIE, 1997, 3011: 78-88.

[11] Ratcliffe DB, Vergnes FM, RodinA, et al. Holographic printer: 7800803[P]. 2003-08-21.

[12] Ratcliffe DB, Vergnes FM, RodinA, et al. Holographic printer:6930811[P]. 2005-08-16.

[13] Ratcliffe DB, RodinA, Hrynkiw L.A method of writing a composite 1-step hologram: US7333252[P].2008-02-19.

[14] Ratcliffe DB, NikolskijA, ZacharovasS, et al. Image capture system for a digital holographic printer: 8154584[P]. 2012-04-10.

[15] Su J, Yuan Q, Huang Y Q, et al. Method of single-step full parallax synthetic holographic stereogram printing based on effective perspective images' segmentation and mosaicking[J]. Optics Express, 2017, 25(29): 23523-23544.

[16] Su J, Yan X P, Jiang X Y, et al. Characteristic and optimization of the effective perspective images' segmentation and mosaicking (EPISM) based holographic stereogram: an optical transfer function approach[J]. Scientific Reports, 2018, 8(1): 4488.

[17] 黄应清, 苏健, 陈祎贝, 等. 全息打印技术研究进展[J]. 红外与激光工程, 2018, 47(4): 0406008.

    Huang Y Q, Su J, Chen Y B, et al. Progress in holographic printing technique[J]. Infrared and Laser Engineering, 2018, 47(4): 0406008.

[18] Su J, Yan X P, Huang Y Q, et al. Progress in the Synthetic holographic stereogram printing technique[J]. Applied Sciences, 2018, 8(6): 851-860.

[19] 黄应清, 赵锴, 蒋晓瑜, 等. 用波前平面提高全息体视图成像分辨率[J]. 中国激光, 2016, 43(2): 0209002.

    Huang Y Q, Zhao K, Jiang X Y, et al. Using wavefront plane to improve imaging resolution of holographic stereogram[J]. Chinese Journal of Lasers, 2016, 43(2): 0209002.

[20] 裴闯, 蒋晓瑜, 闫兴鹏, 等. 采用视角切片法提高全息体视图再现视差图像分辨率[J]. 激光与光电子学进展, 2015, 52(9): 090901.

    Pei C, Jiang X Y, Yan X P, et al. A novel perspective slice method to improve resolution of reconstruction parallax image in holographic stereogram[J]. Laser & Optoelectronics Progress, 2015, 52(9): 090901.

[21] Park J, Stoykova E, Kang H, et al. Numerical reconstruction of full parallax holographic stereograms[J]. 3D Research, 2012, 3(3): 6.

[22] Park J, Kang H, Stoykova E, et al. Numerical reconstruction of a full parallax holographic stereogram with radial distortion[J]. Optics Express, 2014, 22(17): 20776-20788.

樊帆, 蒋晓瑜, 王培阳, 陈祎贝, 闫兴鹏. 有效视角图像切片嵌合法全息体视图的数值重构[J]. 中国激光, 2018, 45(12): 1209002. Fan Fan, Xiaoyu Jiang, Peiyang Wang, Yibei Chen, Xingpeng Yan. Numerical Reconstruction of Holographic Stereograms with Effective Perspective Image Segmentation and Mosaicking Method[J]. Chinese Journal of Lasers, 2018, 45(12): 1209002.

本文已被 3 篇论文引用
被引统计数据来源于中国光学期刊网
引用该论文: TXT   |   EndNote

相关论文

加载中...

关于本站 Cookie 的使用提示

中国光学期刊网使用基于 cookie 的技术来更好地为您提供各项服务,点击此处了解我们的隐私策略。 如您需继续使用本网站,请您授权我们使用本地 cookie 来保存部分信息。
全站搜索
您最值得信赖的光电行业旗舰网络服务平台!