1 引　言

视频图像显示是光电图像信息获取过程的重要环节^[1-3]。随着视频成像技术的发展，对于成像视场的要求也越来越高。目前周视的实现方式主要分为单视系统和多视系统两类：单视系统的代表主要是鱼眼成像系统、全景环形透镜成像系统和折反射透镜成像系统等；多视系统则以多摄像头成像为主要代表。其中单视系统难以兼顾视场和分辨率，而多视系统需要解决拼接缝隙的问题^[4-5]。传统的光电成像系统的视场以及分辨率难以满足特定的需求，在增大视场与提高分辨率之间存在矛盾，无法同时满足大视场与高分辨率的要求。近年来，车载、舰载等运动载体或单兵警戒值守等诸多空间狭窄、视野受限场合对全景成像显示需求日趋迫切，虽然采用传统的凝视全景成像系统可解决全景成像问题，但在路面起伏较大的运动平台上，显示屏很难与人眼之间保持相对平稳，易造成观察者视觉疲劳甚至出现眩晕、恶心等不适。因此，新型全天候全景或周视高分辨成像与显示技术成为重要的发展方向。

本文提出一种基于变形目镜的全景/周视成像方案，在实现全景成像的同时具有较高的分辨率，解决了二者之间的矛盾。在此基础上，研制并验证实验系统。

2 系统概述与设计

全景周视成像与显示系统由三路全景视频图像采集模块、FPGA (Field Programmable Gate Array) 图像处理模块、全景OLED (Organic Light-Emitting Diode) 微显示器和变形目镜模块以及图像显示光学模块4大部分组成，如图1所示。其中，全景图像视频采集部分采用3个模拟低照度摄像机(或非制冷热成像相机)在半圆周基座上呈50°夹角水平放置，完成场景的全景视频图像的同步采集，并输入至FPGA图像处理模块；FPGA图像处理模块对接收的3路模拟视频信号进行模数转换，经过平移、缩放和畸变校正等预处理后，3路数字化视频流图像被拼接成一幅全景数字视频流图像，并重新编码为一路数字视频流，输入到800 pixel×600 pixel的OLED全景微显示器上；全景OLED微显示器对接收到的视频流进行显示，呈现的是水平方向3倍压缩的全景图像；最后，变形目镜系统将OLED显示的压缩视频图像还原为正常的全景视频图像，保证人眼全像素地获得场景的全景动态图像。

图 1. 全景周视成像与显示系统整体框图

Fig. 1. Overall block diagram of panoramic peripheral vision imaging and display system

下载图片 查看所有图片

2.1 凝视型全景成像系统

为同时固定3个摄像机，设计了一个由硬铝材料制成的圆弧底板，底板滑槽可使得3个相机的夹角在50°到60°之间可调节，搭建的凝视型全景成像系统如图2所示。摄像机采用基于昆山锐芯微电子公司CIS0431芯片的低照度CMOS相机I2020(像素规模为752 pixel×582 pixel，像元尺寸为8.60 μm×8.30 μm, 帧频为25 Hz 动态范围为69 dB，模拟输出为PAL，数字输出为ITU-R BT.601/656标准)，体积约为33 mm×33 mm×32.5 mm，3 mm×32.5 mm，能在10⁻² lx的低照度环境下清晰连续成像^[6-7]。采用4 mm焦距的物镜，使得单摄像机具有约90°的水平视场。

图 2. 凝视型全景视频图像采集系统

Fig. 2. Gaze - type panoramic video image acquisition system

下载图片 查看所有图片

2.2 基于OLED微显示器的全景微显示器设计

本文选用北方奥雷德公司的OLED微显示器设计全景微显示器，其为SVGA (Super Video Graphic Array) (800×600)和SXGA (Super Extended Graphics Array) (1 280×1 024) 两种分辨率模式，尺寸为0.97英寸，通过不同信号驱动板可以实现标准模拟/数字视频图像显示^[8-12]。图3（彩图见期刊电子版）给出了彩色OLED微显示器及其RGB像素彩色滤光片阵列的结构示意图，其子像素排列方式采用标准RGB排列，单个显示像素是由水平排列的3个高宽比约为3∶1的分别覆盖RGB三基色彩色滤光片阵列的子像素构成，每个像素的宽度W与高度H基本相当，故子像素呈长方形结构。通过RGB三基色子像素的空间混色可实现彩色图像显示。对于单色图像的显示，既可采用彩色OLED微显示器按照R=B=G的驱动模式进行显示，也可通过不带彩色滤光片阵列的微显示器灰度图像实现，合成像素的亮度将是3个子像素的亮度之和，从而使微显示器具有更大的亮度范围^[13-17]。

图 3. OLED微显示器及其RGB像素滤光片阵列

Fig. 3. OLED micro-display and its RGB pixel filter array

下载图片 查看所有图片

OLED微显示器的RGB排列为将其转化为高分辨黑白全景微显示器奠定了技术基础。通过去除SVGA(800×600)彩色OLED微显示器的彩色滤光片阵列，并以每一个RGB子像素作为一个独立显示像素，可将常规的OLED微显示器转变为2400 pixel×600 pixel的黑白全景OLED微显示器(如图4所示)。这样处理虽然会损失OLED微显示器的色彩特性，但红外和微光夜视条件下的宽视场高分辨全景图像更强调宽视场高分辨场景图像的显示，对彩色显示没有要求或要求很少。

图 4. OLED微显示器分辨率扩展示意图

Fig. 4. Schematic diagram of resolution expansion of OLED microdisplay

下载图片 查看所有图片

2.3 变形目镜系统设计

由于OLED显示的全景图像的纵横比为原来的1/3，为适应人眼观察，需设计变形目镜系统对压缩图像进行还原。

虽然针对性地设计和制作变形目镜是最佳的方案，但作为技术途径的验证以及应用背景的引导，选用了现成的车载夜视系统的大目镜+变形镜的方案，系统结构示意图如图5所示。其中大目镜放大倍率约为5.6倍，出瞳直径约为75 mm，出瞳距离为50 mm，分辨力大于30 lp/mm，为微光像增强屏的图像提供显示^[18-21]。

图 5. 变形目镜光学系统整体结构示意图

Fig. 5. Schematic diagram of the overall structure of anamorphic eyepiece optical system

下载图片 查看所有图片

图 6. 变形镜的柱面透镜和双胶合透镜

Fig. 6. Cylindrical lens and doublet lens of deformable mirror

下载图片 查看所有图片

最终变形成像透镜组的光学总长为249.3 mm，视场为10.13 mm×7.61 mm，与OLED微显示器有效显示区域尺寸一致，工作波段为400~700 nm。

2.4 视频图像采集

全景图像的获取由安装在圆弧支架水平布局且同步控制的3个低照度工业摄像机实现，如图7所示。各摄像机的成像视场为φ_h，摄像机光轴沿圆弧支架径向向外，且相邻摄像机光轴的夹角 Ω与摄像机水平视场（φ_h－δ）一致(δ 为重叠视场)。

图 7. 全景图像采集模块

Fig. 7. Panoramic image acquisition module

下载图片 查看所有图片

凝视型全景视频图像采集系统通过3个摄像机采集到3幅720 pixel×576 pixel的视频图像。根据重叠视场角δ与摄像机视场角φ_h的比例关系，计算出相应的非像素重叠区域S为：

2.5 FPGA的全景图像拼接实现

系统的全景图像拼接处理功能主要是以图像校正算法、基于双线性插值法的图像缩放算法以及图像平移相关算法为基础，结合全景成像的图像拼接以及FPGA硬件处理平台特点进行优化，将3幅视频图像拼接为1幅全景数字图像，并按照OLED微显示器的像素灰度驱动重新编码，驱动OLED显示器进行全景图像显示。由于充分考虑了图像特征，使得处理过程避免了大规模的运算，同时保证拼接的有效性。

FPGA处理平台基于Xilinx公司Spartan-6系列XC6SLX45芯片，具有6822个Slice，58个DSP 48A1 Slice，401 KB分布式RAM及2088 KB块 RAM，最大用户I/O为358个，满足设计需求^[22-26]。FPGA处理平台是系统核心，在其上不仅实现了全景视频图像采集与拼接处理算法的实时处理，而且将全景视频图像采集系统与全景视频显示系统连接为一个统一的全景成像与显示系统^[27-31]。

显示系统采用的是800×600彩色OLED微显示器，其得到的视频信号远大于可以显示的有效值，同时视频图像在摄像机成像过程中存在畸变。因此，先对图像进行畸变校正和图像缩放处理。

对图像进行畸变校正操作，畸变模型为：

其中，k₁，k₂表示的是径向畸变参数，（ $ {x}_{0} $, $ {y}_{0} $）是原始图像位置，（ $ x $, $ y $）是处理后的位置， $ {r}^{2} $= $ {x}^{2} $+ $ {y}^{2} $。

利用MATLAB标定工具Camera Calibrator 来完成整个标定过程。这种标定工具是基于张正友先生提出的标定方法进行标定的，可得到对应的参数值，如本次标定得到的径向畸变参数 $ {k}_{1} $, $ {k}_{2} $为[−0.4966，0.2606]。将参数值代入FPGA校正部分，可得到畸变与非畸变对应点的坐标值。

然后，根据双线性插值法计算得到每一个坐标点校正后的像素值，图8（彩图见期刊电子版）是双线性插值法原理图。

图 8. 双线性插值法原理图

Fig. 8. Principle diagram of bilinear interpolation

下载图片 查看所有图片

假设p (x, y)为未知函数f中一个点，为了得到P (x, y)的值，假设已知 $ {Q}_{11} $( $ {x}_{1} $, $ {y}_{1} $)、 $ {Q}_{12} $( $ {x}_{1} $, $ {y}_{2} $)、 $ {Q}_{21} $( $ {x}_{2} $, $ {y}_{1} $)、 $ {Q}_{22} $( $ {x}_{2} $, $ {y}_{2} $)4个点的函数值，首先在 x方向进行线性插值，得到：

算出P₁点和P₂点的函数值，接着，在y方向对二者进行线性插值。得到：

将720 pixel×576 pixel大小的3幅畸变图像分别存储在DDR3中。对畸变图像像素坐标取整，假设得到的一个像素坐标为（u, v），则其他3个坐标分别为（u+1, v），(u, v+1）,（u+1, v+1）。根据坐标与DDR3的存储关系就能得到想要的4个像素坐标在DDR3中的存储地址，进而得到对应的灰度值。最后，根据双线性插值法计算得到校正后图像每一个像素点的像素值。

由于OLED显示屏的分辨率为800 pixel×600 pixel，为了在OLED显示屏上完全成像，需要将得到的视频图像在水平方向上缩小为原来的1/3，使得整个全景图像都能成像到OLED显示屏上。图像缩放同样是基于双线性插值法来完成的。该算法至少需要两行数据才能开始计算。在图像缩放之前，原始的视频图像存储于DDR3中，用读写异步的FIFO来缓存视频数据。根据需要，用两组8比特宽度和1024深度的RAM来存储亮度数据，两个8比特位宽，深度为512的RAM存放色差数据。

图像处理完成之后，需要将有效图像数据按顺序输出。由于OLED显示的是RGB视频信号，因此需将信号从YCbCr42视频信号转换为RGB视频信号，然后通过alpha算法根据重叠区域的大小与位置，将有效的视频信号输出显示于OLED显示屏。

3 实验系统成像效果及其分析

研制的全景成像与显示实验系统如图9所示。由于是90°视场的三路视频图像拼接，重叠区域设定为40°（可进一步减小，因为要研究拼接算法，故选择了较大的重叠区域）。全景成像的视场角约为150°×67°，保持了约2160 pixel× 576 pixel的全景高分辨像素图像显示，实现了凝视型全景成像和显示。

图 9. 全景视频图像采集与显示实验系统

Fig. 9. Experimental system of panoramic video image acquisition and display

下载图片 查看所有图片

图10和图11分别给出了1组室内和室外的场景图像。其中包括了3路摄像机输出图像、OELD微显示器上压缩的全景图像和经过变形目镜显示的全景图像。

实验表明：本文系统和处理算法有效实现了图像的拼接，实现了动态全景场景的视频采集和显示，是一种可兼顾视场与分辨率的实用全景成像和显示模式。

为了实现技术的实用化，除需进行实用化设计外，目前系统尚存在一些有待改进之处：

(1)在两幅图像相交的地方存在一定的上下起伏，这主要由采集系统本身存在的误差及实验采集时的误差所引起。理论上来说，如果能使采集系统中的3个视频摄像头保持在同一水平线上就能使二者重合；

(2)由于没有对不同摄像机的亮度进行标定，因此在视场接缝处存在一定的亮度差异，从而形成分割线，进一步加入亮度校正后可以解决此问题；

(3)目前系统实现了150°大视场显示，进一步减小视场重叠区域以及选择不同焦距物镜或摄像机数，可进行更大(如大于180°)或更小视场的系统设计；

(4)采用6个低照度摄像机或非制冷红外相机以及1280×1024的OLED微显示器可进一步实现凝视周视成像。其是在本文的设计基础上进行拓展实现的，不过会增加采集与图像处理部分的计算，实现较为困难。

(5)将目镜和变形镜进行一体化设计可实现性能更佳、结构更为紧凑的小型化全景周视显示系统。

图 10. 室内场景的全景图像显示效果

Fig. 10. Panoramic image display of indoor scene

下载图片 查看所有图片

图 11. 室外场景的全景图像显示效果图

Fig. 11. Panoramic image display of outdoor scene

下载图片 查看所有图片

4 结　论

全景成像在诸多领域都有迫切的应用需求，但传统成像与显示系统之间存在视场与分辨率不可兼顾的问题，同时观测空间狭小和观察环境的动态变化也造成了诸多的不便。本文研究了一种基于变形目镜和OLED的全景周视成像与显示技术，搭建了研制实验系统。实验表明其在一定程度上对缓解视场与分辨率的矛盾具有意义，适合在狭小空间实现全景或周视场景的高分辨观察。该技术在反恐条件下的“透明装甲”技术、要地警戒、凝视型潜艇潜望观察等方面具有潜在的应用前景。