通过发掘深度信息与子孔径图像邻域像素间的高度相关性，提出了一种基于邻域像素注意力机制的光场深度估计方法。首先根据光场图像的数据特性提出了一种邻域像素注意力机制，该注意力机制考虑了不同子孔径图像在同一邻域间的极几何关系，能够增强网络对遮挡像素的感知能力。其次基于注意力机制设计了一个光场子孔径图像序列特征提取模块，该模块通过三维卷积将相邻序列图像上的特征编码到特征图上，并通过注意力机制增强网络对光场图像极几何特征的学习能力。最后联合邻域像素注意力机制和特征提取模块设计了一个多分支的全卷积神经网络，该网络使用部分光场子孔径图像序列即可估计图像的深度特征。实验结果表明，所提方法在均方误差（MSE）和平均坏像素率（BP）指标上总体表现优于其他先进方法，同时得益于高效注意力机制的加入，与其他先进方法相比所提方法运行速度最快。

光场图像包含丰富的空间信息和角度信息，在三维重建、虚拟现实领域有广泛应用。但由于光场相机的内部限制，光场图像的低空间分辨率阻碍了其应用发展，具体表现为图像边缘区域的模糊。考虑到光场子孔径图像中空间信息包含着丰富的纹理和高频细节，而角度信息则对应不同视图之间的相关性，提出一种基于特征交互融合与注意力的光场图像超分辨率网络。通过特征提取和特征交互融合模块充分融合光场的空间角度信息；通过特征通道注意力模块自适应地学习有效信息，抑制冗余信息并细化图像的高频细节；通过光场结构一致性模块保持光场图像间的视差结构。在5个光场数据集上的实验结果表明，所提网络得到的超分辨率结果性能普遍优于所比较的超分辨率网络。

现有的光场图像显著性检测算法不能有效地衡量聚焦度信息，从而影响了检测目标的完整性，造成信息的冗余和边缘模糊。考虑到焦堆栈不同的图像及全聚焦图像对于显著性预测发挥着不同的作用，提出有效通道注意力（ECA）网络和卷积长短期记忆模型（ConvLSTM）网络组成特征融合模块，在不降低维度的情况下自适应地融合焦堆栈图像和全聚焦图像的特征；然后由交互特征模块（CFM）组成的反馈网络细化信息，消除特征融合之后产生的冗余信息；最后利用ECA网络加权高层特征，更好地突出显著性区域，从而获得更加精确的显著图。所提网络在最新的数据集中，F-measure和平均绝对误差（MAE）分别为0.871和0.049，表现均优于现有的红、绿、蓝（RGB）图像、红、绿、蓝和深度（RGB-D）图像以及光场图像的显著性检测算法。实验结果表明，提出网络可以有效分离焦堆栈图像的前景区域和背景区域，获得较为准确的显著图。

基于光场图像提出了一种计算机制集成彩色彩虹全息图的快速计算方法,并通过光学实验实现了全息图的彩色三维(3D)显示。首先,将全息图平面分割为多个连续的单元线全息图平面,再根据每个单元线全息图平面的顶点坐标和虚拟狭缝顶点坐标计算单元线全息图平面投影点的3D坐标。然后,以投影点作为虚拟针孔,将3D物体通过虚拟针孔进行投影,将该单元线全息图平面上的光场图像和虚拟针孔处会聚的球面波相位分别作为计算全息图时的物光振幅和相位,并引入参考光编码得到该单元线全息图。最后,用所有单元线全息图组合成彩色彩虹全息图。实验结果表明,用本方法实现一个尺寸为50 mm×50 mm,分辨率为157232 pixel×157232 pixel的全息图仅需43 min,在全息包装、3D广告等领域具有广泛的应用前景。

提出了一种高分辨率多视点动态全息3D显示方法,观看视点位置变化时,观看者能够看到连续变化的3D效果。在进行全息图计算时,首先根据针孔阵列投影模型,渲染3D动画中每一帧3D模型的光场图像序列;然后从已渲染的多组光场图像序列中抽取对应视角信息的光场图像进行融合,得到融合后的动态光场图像序列;在进行全息图编码时,以动态光场图像序列中的一帧图像作为物光振幅,以来自于针孔的发散球面波的相位作为物光相位,引入平面参考光进行编码,得到一个单元全息图。由于每个单元全息图的计算是相互独立的,因此在计算过程中使用并行加速计算,实现了尺寸为32mm×32mm、分辨率为100000pixel×100000pixel的高分辨率全息图,其光场图像融合和全息编码的时间仅需27min。光学再现结果证明了该方法的可行性。所提出的高分辨率多视点动态全息3D显示方法在全息包装和3D广告等领域具有广泛的应用前景。

提出一种基于全变分投影和空洞修复的光场图像透视变换算法。该算法可估计输入光场图像每个子视点的视差图,通过图像反向投影和重投影优化生成指定虚拟相机位置和姿态的光场图像,接着使用基于视差优先级的图像修复方法修复透视变换后的中心子视点图像,再通过中心子视点向水平和垂直方向进行内容传播,依次修复其他子视点图像。实验结果表明,所提方法生成的透视变换光场图像满足需求,可正确填充被遮挡区域,可以应用于多种光场图像编辑。

为了探索虚拟绘制视点之间的强相关性, 提高光场图像的压缩效率, 提出一种基于视点相关性的光场图像压缩算法。该算法基于高清视频编码屏幕内容编码扩展平台, 利用线性加权算法以及帧内块拷贝混合预测算法来提升编码块的预测精度; 并利用率失真优化过程来自适应地选择最优的编码块大小以及预测模式。结果表明, 所提算法相比于高清视频编码标准可以获得2.55dB的平均BD-峰值信噪比编码增益, 同时可以获得较好的虚拟视点绘制质量。该算法充分利用虚拟绘制视点之间的强相关性, 提高了光场图像的编码效率。