Bayer阵列被广泛地应用于CMOS/CCD (complementary metal oxide semiconductor/charge-coupled device)等前端传感器中，用以对彩色图像进行压缩编码。通过解马赛克算法将Bayer阵列还原为红、绿、蓝彩色阵列，算法性能影响着成像有效分辨率和纹理细节。随着半导体工艺的发展和目标识别等新型应用需求的提出，图像设备向着高分辨率、低延迟的方向发展，原有的解马塞克算法遇到性能瓶颈。提出了一种基于FPGA (field programmable gate array)的实时解马赛克算法，能够准确地提取图像局部梯度方向并以引导实现色彩的插值复原，整体算法仅需7行数据延迟。算法设计充分考虑FPGA的硬件特点，设计了行缓存、梯度算子、梯度方向插值等模块，降低硬件开销。实验表明，本文算法在实现微米级延迟的同时，保持了对图像纹理细节区域的复原效果，在柯达数据集上的平均峰值信噪比达到38.26 dB。
Bayer阵列 解马赛克算法 FPGA 实时图像处理 Bayer array demosaicking algorithm FPGA real-time image processing
智洋创新科技股份有限公司, 山东 淄博 255086
为了提升道路交通标志的识别准确率以及实施性能, 本文提出一种改进的LeNet-5卷积神经网络结构对交通标志图像进行训练。首先在检测阶段, 采用基于颜色的轻量级分割算法和Hough变换 算法提取交通标志的目标区域, 并控制算法复杂度使该识别系统基本满足实时性要求, 再利用LeNet-5对交通标志进行分类识别。在实际的校园道路在线识别试验中进行检测, 结果表明, 18个交通 标志通过驾驶均在本文的算法中成功识别, 其运行速率达到16.9 Hz, 基本满足交通标志识别稳定、实时等性能要求。
交通标志识别 卷积神经网络 实时图像处理 自主车辆 traffic sign recognition convolutional neural network real-time image processing autonomous vehicle
1 中国科学院 长春光学精密机械与物理研究所, 吉林 长春 130033
2 中国科学院大学, 北京 100049
以Xilinx公司的Virtex 5系列FPGA与TI公司TMS320C6455型高速DSP为核心处理器设计多核架构的应用于周扫式红外预警系统的实时图像处理平台。设计过程中, 在FPGA内部引入多路扫描机制取代传统周扫式红外预警实时图像处理系统所采用的等待机制以改善系统的实时性; 处理器间按SRIO协议实现高速通信, 最终处理结果通过PCI-e传输模式发送至主控计算机。实验表明, 所设计平台能够满足周扫式红外预警系统实时性要求且在反应时间、虚警率和漏警率方面优于传统实时图像处理平台。
多路扫描 红外预警 实时图像处理 multi-channel scanning infrared-warning real-time image processing
中国电子科技集团公司第28研究所， 南京 210007
针对红外图像的特点，提出一种实时目标跟踪方法。该方法采用局部二元模式(LBP)算子提取图像的多尺度LBP编码直方图作为图像特征向量，使用卡方统计度量模板图像和样本图像的相似度。结合Kalman滤波和多尺度模板更新机制，使得算法在目标尺寸大幅变化，目标部分遮挡、短暂消失等情况下仍能保持跟踪的正常稳定进行。针对该算法，设计了专用图像处理板卡，介绍该算法在图像处理板上的硬件实现方法，使目标跟踪满足50 Hz/s的实时处理要求。最后，使用两组实录红外序列图像进行了仿真实验，验证了该算法的有效性和鲁棒性。
目标跟踪 红外探测 局部二元模式 模板更新 实时图像处理 target tracking infrared detection local binary pattern template updating real-time image processing
1 中国科学院光电技术研究所，成都 610209
2 中国科学院研究生院，北京 100049
针对实时图像处理系统中预处理核心模块空间低通滤波算法费时的问题，利用 C6416(TMS320C6416)处理器的内部资源，提出了基于该处理器的空间低通滤波程序的设计方案。通过将滤波器进行分解、利用相邻窗口的相关性、浮点除法转化为定点乘法运算等手段，充分复用了中间计算结果，减少了计算与存取数据的次数，发挥了 C6416的指令级并行处理能力，解决了空间低通滤波模块耗时过长的难题。结果证明，对于 256×256大小的处理区域，用时从优化前的 6.0 ms减少到优化后的 0.8 ms，大大缩短了处理时间。本文为 DSP上的实时程序优化提供了重要的经验，给空间滤波类的模块优化提供了一种通用的方法。
实时图像处理 程序优化 数字信号处理器 空间低通滤波 real-time image processing the optimization of program DSP space low-pass filtering
1 中国科学院长春光学精密机械与物理研究所， 吉林 长春 130033
2 中国科学院研究生院， 北京 100039
针对红外图像普遍存在目标与背景对比度差、边缘模糊、信噪比低和灰度层次差等缺陷，提出了一种改进的直 方图均衡红外图像增强算法。首先通过自适应地选择合适的灰度阈值，在图像直方图中将像素所占比例小于阈值的冗余灰度级完全压 缩，并对大于阈值的有效灰度级进行基于一种非常合理的对数函数的拉伸变换; 然后对拉伸后的灰度级进行常规的直方图均衡处理; 最后在整个灰度范围内对经过均衡 处理的图像灰度级进行等间距排列。为了满足算法的实时性，设计了一种以TMS320DM642高性能DSP芯片为核心处理器的红 外图像增强系统平台。实验结果表明，采用该算法增强后的图像质量明显优于采用直方图均衡算法增强后的图像质量，图像的目标与背景 的对比度和图像的清晰度都得到了提高，边缘细节也得到了保留; 同时，采用该算法处理一帧320×256×8 bits的红外图 像仅仅用时16.73 ms，完全满足实时图像处理的要求。
红外图像 直方图均衡 实时图像处理 infrared image histogram equalization real-time image processing TMS320DM642 TMS320DM642
为解决高速数字图像处理系统和实时性相冲突的要求，设计了以多 DSP(数字信号处理器 TMS320C6416)和现场可编程门阵列(FPGA)相结合的实时图像处理系统。重点介绍了该系统的硬件资源选择、基本组成、工作原理、电源设计、 DSP引导方式以及软件设计等，通过对每秒 25帧 14位 640×512像素的数字图像处理结果表明，该系统满足高速图像实时处理的要求。同时，可扩展到更高速度的 DSP(如 TMS320C6455系列)，实现更为复杂的实时图像处理任务。
实时图像处理 TMS320C6416 TMS320C6416 DSP DSP FPGA FPGA real-time image processing
1 山东大学控制科学与工程学院，山东 济南 250061
2 山东山大华天科技股份有限公司，山东 济南 250061
对螺旋管激光视觉传感焊缝跟踪的实时图像处理进行了研究，就其中的关键技术焊缝中心线提取进行了讨论和研究。提出了一种快速有效的OSTU阈值分割法进行激光中心线提取，并且结合一维信号的形态滤波使中心线平滑。该方法效果理想，切实可行。
激光 螺旋管焊缝跟踪 实时图像处理 激光中心线 laser OSTU OSTU spiral pipe seam tracking real time image processing laser center line
1 中国科学院 长春光学精密机械与物理研究所,吉林 长春 130033
2 中国科学院 研究生院,北京100039
3 兰州大学 信息科学与工程学院,甘肃 兰州730000
实时视频信号处理的实时性和跟踪算法的复杂性是一对矛盾,为此采用DSP+FPGA的架构设计,同时满足实时性和复杂性的要求,提高了系统的整体性能。DSP作为主处理器,利用其高速的运算能力,快速有效地处理复杂的跟踪算法;FPGA 作为协处理器,完成视频图像的接收、存储、预处理,使设计具有更大的灵活性。系统采用了形心跟踪和相关跟踪两种算法。实验证明,该系统可以稳定地实时跟踪运动目标。
实时图像处理 目标跟踪 real-time image processing DSP+FPGA DSP+FPGA target tracking
