为了提高驾驶员在车辆行驶过程中的安全性,设计了一种结合图像语义分割的增强现实型平视显示(AR-HUD)系统。首先,提出一种改进的单发多框检测器网络对道路场景图像进行语义分割,网络前端采用VGG-16提取图像特征,网络后端对获取的特征图进行上采样,从而对特征图进行像素分割。通过对网络的训练,得到场景目标的像素级分类结果,即环境的语义内容信息。随后,通过分析真实场景、光学显示系统、驾驶员之间的关系,将计算机产生的虚拟信息叠加到真实场景,并将显示内容注册到驾驶员视野中,从而提高行车安全。实验结果表明,语义分割算法的准确率能达到77.8%,虚实注册算法处理每帧图像的时间平均为45 ms,约22 frame·s ^-1。

增强现实是把计算机产生的虚拟物体或其它信息合成到用户看到的真实世界中的一种技术.实现虚拟信息与真实景象的正确匹配或有机结合是每个增强现实实用系统都必须完成的一项重要任务,它的具体实现依赖于计算机硬件和软件系统的相互配合及协调.在对基于位置跟踪和相机定标技术的传统虚实注册技术分析的基础上,讨论了仿射变换在增强现实中的应用,并提出了在全局仿射坐标系下获取像素相对深度参数的一种新方法.