Bayer阵列被广泛地应用于CMOS/CCD (complementary metal oxide semiconductor/charge-coupled device)等前端传感器中，用以对彩色图像进行压缩编码。通过解马赛克算法将Bayer阵列还原为红、绿、蓝彩色阵列，算法性能影响着成像有效分辨率和纹理细节。随着半导体工艺的发展和目标识别等新型应用需求的提出，图像设备向着高分辨率、低延迟的方向发展，原有的解马塞克算法遇到性能瓶颈。提出了一种基于FPGA (field programmable gate array)的实时解马赛克算法，能够准确地提取图像局部梯度方向并以引导实现色彩的插值复原，整体算法仅需7行数据延迟。算法设计充分考虑FPGA的硬件特点，设计了行缓存、梯度算子、梯度方向插值等模块，降低硬件开销。实验表明，本文算法在实现微米级延迟的同时，保持了对图像纹理细节区域的复原效果，在柯达数据集上的平均峰值信噪比达到38.26 dB。
Bayer阵列 解马赛克算法 FPGA 实时图像处理 Bayer array demosaicking algorithm FPGA real-time image processing
智洋创新科技股份有限公司, 山东 淄博 255086
为了提升道路交通标志的识别准确率以及实施性能, 本文提出一种改进的LeNet-5卷积神经网络结构对交通标志图像进行训练。首先在检测阶段, 采用基于颜色的轻量级分割算法和Hough变换 算法提取交通标志的目标区域, 并控制算法复杂度使该识别系统基本满足实时性要求, 再利用LeNet-5对交通标志进行分类识别。在实际的校园道路在线识别试验中进行检测, 结果表明, 18个交通 标志通过驾驶均在本文的算法中成功识别, 其运行速率达到16.9 Hz, 基本满足交通标志识别稳定、实时等性能要求。
交通标志识别 卷积神经网络 实时图像处理 自主车辆 traffic sign recognition convolutional neural network real-time image processing autonomous vehicle
西南交通大学信息科学与技术学院, 四川 成都 611756
提出了一种低参数量实时图像语义分割网络模型Atrous-squeezeseg。模型在最低参数量为2.1×10
7时的运算帧率为45.3 frame/s,像素点准确度与均交并比分别可达到59.5%与62.9%。同时,嵌入式设备NVIDIA TX2的运算帧率可达8.3 frame/s。实验结果表明,相比于其他分割算法,所提模型的速度和参数量均得到了提升。
图像处理 图像分割 实时图像 低参数量 卷积模块 多尺度特征 激光与光电子学进展
2019, 56(9): 091003
1 中国科学院上海技术物理研究所, 上海 200083
2 中国科学院大学, 北京 100049
3 中国科学院红外探测与成像技术重点实验室, 上海 200083
针对串行架构的处理器如 ARM和 DSP等实现双边滤波算法消耗资源过多的情况, 提出了一种基于 FPGA加速的双边滤波去噪的实现方法。根据双边滤波算法的原理以及 FPGA的硬件资源, 充分发挥 FPGA在并行计算上的优势, 在滤波器的系数生成和除法操作上进行了优化。在减少了 FPGA所消耗的资源的同时, 保证了图像去除噪声的实时性, 从而为后期的视频采集与传输系统奠定了一个良好的开端。
双边滤波 FPGA加速 实时图像处理 bilateral filtering FPGA accelerating real-time image process
1 浙江工业大学光学与光电子研究中心, 浙江 杭州 310023
2 浙江工业大学生物与医学物理信息技术协同创新中心, 浙江 杭州 310023
3 浙江工业大学理学院, 浙江 杭州 310023
4 浙江工业大学计算机科学与技术学院, 浙江 杭州 310023
为实现角膜地形图仪中实时图像检测, 找到一种图像清晰度评价函数对实时角膜图像进行快速、稳定、精确的判别至关重要。基于角膜地形图仪中光学成像系统, 分析系统离焦对图像清晰度的影响, 并提出一种关于图像清晰度的评价方法。该方法选择拉普拉斯函数作为全局图像粗调的评判参数, 通过霍夫圆变换及亚像素边缘检测来确定图像的中心点, 并采用Sobel算子与Canny算子相结合的边缘检测方法根据中心点找出最清晰边缘, 从而实时获得最清晰的角膜图像。实验表明, 该方法具有很好的稳定性和抗噪性, 能够准确、有效地评价角膜图像的清晰度, 可用于角膜地形图仪中实时图像的精准检测。
成像系统 实时图像检测 角膜地形图仪 图像清晰度评价方法 边缘检测方法
为满足高速多传感器大视场图像处理系统结构紧凑、高实时性的迫切要求，进行了以全可编程平台 ZYNQ为基础的多传感器实时图像拼接技术研究。重点介绍了该设计的基本架构、工作原理及 ZYNQ的功能模块设计等，通过对图像处理的结果表明，该技术满足高速实时图像处理的要求，同时可以扩展到更为复杂的多传感器大视场实时图像处理任务。
图像拼接 实时图像 多传感器 ZYNQ ZYNQ image mosaic real-time image multi-sensor
1 中国科学院 长春光学精密机械与物理研究所，吉林 长春 130033
2 中国科学院大学，北京 100039
提出了一种基于有效提取点扩散函数(PSF)的图像实时复原方法来提高空间相机成像性能。从典型的图像复原原理出发，分析了实时复原的关键问题。将PSF与典型的线性复原滤波方法相结合计算出实时复原的反卷积算子，通过空间域卷积计算的方式进行实时复原，并以现场可编程门阵列(FPGA)为核心器件设计了具备图像实时复原计算性能的硬件系统。利用上述设计在硬件平台上对空间相机的遥感图像数据进行了实验验证，并与经典图像复原方法的效果进行了对比。结果显示，采用该平台对单片CCD像元数为12 000的空间相机图像进行复原后，灰度平均梯度由3.788 7提升到8.229 6，拉普拉斯和由15.456 7提升到43.907 5，达到了经典图像复原的性能。在模板尺寸为19 pixel×19 pixel时，实时复原处理延时为1.9 ms，复原后的相机调制传递函数在Nyqyist频率处从0.1提高到0.23，有效地提高了空间相机系统的成像性能。
空间相机 图像实时复原 反卷积算子 现场可编程门阵列 space camera real-time image restoration deconvolution operator Field Programmable Gate Array(FPGA)
哈尔滨工业大学 控制与仿真中心， 黑龙江 哈尔滨 150080
为了解决视觉测量中图像的实时采集及处理问题，以NI FlexRIO为基础，采用虚拟仪器技术，利用LabVIEW图形化开发平台，并结合相关技术知识，如乒乓操作、流水线技术等，研制了一套图像实时采集及处理系统。该系统并行地实时地实现了图像的采集、存储及处理，在图像分辨率为1 280×1 024、采集速率为500 f/s的情况下，系统工作稳定，图像处理速度小于2 ms，并且处理精度达到了亚像素级。该系统对于实现视觉测量的实时性具有重要意义，并且其良好的性能使其在其他相关领域也具有很高的实用价值。
机器视觉 图像实时采集处理 虚拟仪器 machine vision real-time image acquisition and processing NI FlexRIO NI FlexRIO virtual instrument LabVIEW LabVIEW
1 中国科学院 长春光学精密机械与物理研究所, 吉林 长春 130033
2 中国科学院大学, 北京 100049
以Xilinx公司的Virtex 5系列FPGA与TI公司TMS320C6455型高速DSP为核心处理器设计多核架构的应用于周扫式红外预警系统的实时图像处理平台。设计过程中, 在FPGA内部引入多路扫描机制取代传统周扫式红外预警实时图像处理系统所采用的等待机制以改善系统的实时性; 处理器间按SRIO协议实现高速通信, 最终处理结果通过PCI-e传输模式发送至主控计算机。实验表明, 所设计平台能够满足周扫式红外预警系统实时性要求且在反应时间、虚警率和漏警率方面优于传统实时图像处理平台。
多路扫描 红外预警 实时图像处理 multi-channel scanning infrared-warning real-time image processing
