近眼显示光学系统是增强现实（AR）技术的核心基础，是接收虚拟画面信息和融合现实环境进行显示的直接载体。辐辏调节是人眼生理机能的辐辏距离和晶状体聚焦调节距离相匹配的基本生理反应。当前AR近眼显示方案仅提供具有左、右眼视差片源形成的3D显示效果，相对于正常环境的目视观察有极大差距，造成人眼辐辏调节冲突（VAC）。缓解或消除VAC是AR近眼显示系统发展和普及的必由之路，其主要解决方案包括：部分深度信息的光学显示系统，如两焦面或多焦面近眼显示光学方案；完整深度信息的光学方案，如集成成像光场显示技术和计算全息波前重建的近眼显示方案；无深度信息的光学显示方案，如基于Maxwellian显示技术的近眼显示光学系统。本文综述了当前技术发展过程中缓解或消除VAC的近眼显示光学方案，分析了各技术的特点、实现方式，以及优缺点，最后总结了当前AR近眼显示中解决VAC问题面临的挑战，并对未来技术和显示方案的发展前景进行了展望。

结合三角测量原理和视觉激光器的优点，针对地形的纹理映射问题，设计一种基于多点式结构光的三维地形纹理映射系统。系统保持激光器与相机相对位置固定，可以同时采集深度信息及纹理信息，经过图像处理等可以生成具有纹理细节信息的三维虚拟地形，提高纹理映射结果的实时性。其中，系统在深度测量时Zw方向的误差可控制在1.3 mm以内，且平台简单，不需要额外相机采集纹理信息，相较于传统的三维测量系统，成本降低，建模效率提高。

针对行人头部易受光照变化和遮挡的影响而导致目标检测准确率较低的问题,提出一种基于多尺度融合的双通道SSD(Single Shot Multibox Detector)行人头部检测算法。首先在SSD网络上增加一条深度通道,将带有深度信息的头部特征与SSD网络的特征进行融合,形成双通道SSD网络;然后在双通道SSD网络的基础上,将具有丰富语义信息的高层特征图与低层特征图进行特征融合,实现更精确的头部定位;最后重新调整SSD的先验框以减少SSD网络的计算量。实验结果表明,在光照和遮挡的情况下,相比于传统SSD目标检测算法,改进后算法的检测精度提高了12.9个百分点,其可有效解决光照变化和遮挡对行人头部检测的影响。

传统方法是建立从光场到显示面的映射计算生成元素图像,但会存在很多冗余映射。针对这一问题,提出沿光路逆向迭代的算法,建立从元素图像显示面到重建光场的单射,使元素图像中的每个像素只对应唯一的光场像素,这可以提高像素的匹配精度,消除深度阶跃处的空洞。所提算法的核心是以元素图像显示面每一点为始点,经过透镜的光心作射线,通过迭代搜索求出射线与光场曲面距离观察者最近的交点,并作为元素图像的匹配点。所提算法的时间复杂度主要受控于元素图像阵列的像素总和,元素图像的计算生成速率是现有算法的8倍以上,图像中的像素总数越大,所提算法的速率优势越明显,且实验结果验证理论推导的正确性。

为了获取眼科激光手术中规划手术部位的深度空间信息,搭建了双光纤环形器结构的扫频光相干断层成像(SS-OCT)系统。在样品臂中加入二向色镜,将其与互补金属氧化物半导体(CMOS)相机系统进行整合。对OCT坐标系与相机图像坐标系的几何关系进行匹配,设计了多角度线性扫描、环形扫描等模式,实现了相机视频图像下任意指定位置的多模式扫描成像。该成像系统的纵向分辨率为13.68 μm,横向分辨率为29.8 μm,在空气中的成像深度为17.25 mm,测量的最大横向偏差为275 μm,最大纵向偏差为70 μm,能够满足手术的定位要求。该研究初步实现了眼内指定部位深度信息的快速获取,有望应用于眼科疾病诊断和白内障手术导航。

为高通量地计算农作物株高,克服传统测量方法低效、耗时耗力等不足, 以抗线9号、13号和富豆6号寒地大豆为研究对象,构建了基于Kinect 2.0的大豆冠层图像同步采集平台,并在三维重建大豆冠层结构形态的基础上,提出了基于深度信息的个体和群体大豆株高计算方法。实验结果表明,与实测值相比,计算得到的个体和群体大豆株高的平均误差分别为0.14 cm和0.54 cm,抗线9号、13号和富豆6号株高计算值与实测值之间的决定系数依次为0.9717,0.9730,0.9697。所提方法能够较为精确地计算大豆植株的株高特征。

基于暗元先验的去雾算法在利用边缘保护操作消除景深突变处产生的光晕现象时没有区分边缘的类型, 导致了透射率的估计不合理, 降低了去雾的质量。提出一种基于加权融合策略的透射率估计方法, 通过块级暗通道和像素级暗通道的相关特性获取景深信息导向图, 从而在景深突变处和非景深突变的局部合理选取像素级暗通道和块级暗通道, 保护了景深边缘处的突变性, 同时减少了局部纹理边缘噪声的影响, 获得了更准确的透射率估计结果。实验结果表明, 该算法能有效避免光晕现象, 改善局部细节模糊的问题, 得到更优的去雾视觉效果。

针对跟踪过程中出现的遮挡、尺度变化、光照变化等问题, 文章基于多模板提出深度核相关滤波算法。首先, 多模板算法选取最佳滤波参数优化分类器训练样本的能力, 多特征算法利用多种特征优化目标外观模型提高了跟踪过程的鲁棒性; 其次, 利用深度图信息计算跟踪过程中目标重叠率, 判断目标的遮挡情况, 遮挡时重新定义目标搜索区域, 并判断是否重新跟踪目标, 降低遮挡情况下的算法漂移问题; 最后, 根据目标遮挡情况判断是否更新分类器参数和目标外观模型, 提高模板更新的可靠性。利用Princeton数据库测试算法, 成功率和精度分别达到85.1和98.6, 比第二名算法分别提高了7.04%和4.67%。实验从成功率、精确度方面说明基于多模板的深度核相关滤波算法优于传统算法, 有一定研究价值。

在虚拟现实环境中手部跟踪是视觉交互系统的基础和核心。针对现有视觉跟踪方法在手部运动姿态、尺度变化及复杂背景条件下出现的稳健性等问题, 结合纹理和轮廓信息, 利用基于梯度方向局部二值模式特征为基础的粒子滤波跟踪算法, 建立局部和全局的特征直方图描述, 实现手部跟踪。针对粒子匮乏问题, 利用红外深度信息, 并引入基于群智能的人工蜂群算法, 将当前时刻的观测信息融合在粒子预测的采样和更新阶段, 高效完成目标的搜索和优化, 降低粒子集衰减程度, 改善状态估计精度。实验结果表明, 该方法在各种复杂背景下可以实现手部的稳健跟踪。

为了对各类自然场景中的显著目标进行检测, 本文提出了一种将图像的深度信息引入区域显著性计算的方法,用于目标检测。首先对图像进行多尺度分割得到若干区域, 然后对区域多类特征学习构建回归随机森林, 采用监督学习的方法赋予每个区域特征显著值, 最后采用最小二乘法对多尺度的显著值融合, 得到最终的显著图。实验结果表明, 本文算法能较准确地定位RGBD图像库中每幅图的显著目标。