Bayer阵列被广泛地应用于CMOS/CCD (complementary metal oxide semiconductor/charge-coupled device)等前端传感器中，用以对彩色图像进行压缩编码。通过解马赛克算法将Bayer阵列还原为红、绿、蓝彩色阵列，算法性能影响着成像有效分辨率和纹理细节。随着半导体工艺的发展和目标识别等新型应用需求的提出，图像设备向着高分辨率、低延迟的方向发展，原有的解马塞克算法遇到性能瓶颈。提出了一种基于FPGA (field programmable gate array)的实时解马赛克算法，能够准确地提取图像局部梯度方向并以引导实现色彩的插值复原，整体算法仅需7行数据延迟。算法设计充分考虑FPGA的硬件特点，设计了行缓存、梯度算子、梯度方向插值等模块，降低硬件开销。实验表明，本文算法在实现微米级延迟的同时，保持了对图像纹理细节区域的复原效果，在柯达数据集上的平均峰值信噪比达到38.26 dB。
Bayer阵列 解马赛克算法 FPGA 实时图像处理 Bayer array demosaicking algorithm FPGA real-time image processing
为了缓解传统拜耳型去马赛算法中常出现的拉链和伪影等问题,提出一个新颖的基于深度学习的去马赛克算法。所提算法首先对马赛克图像中的红色、绿色及蓝色通道中的像素进行分解、剔除及组合等操作得到两幅彩色图像,然后将这两幅彩色图像输入到设计的卷积神经网络中,以重建出完整的彩色图像,该网络能充分地利用卷积层所生成的特征信息。实验结果表明,所提算法重建出的完整彩色图像的质量相对较高,并且在一定程度上缓解了拉链和伪影等问题,其客观指标和主观评价都优于对比算法。
图像处理 拜耳 去马赛克 深度学习 彩色滤波阵列 注意力机制 激光与光电子学进展
2021, 58(2): 0210012
1 西安理工大学 印刷包装与数字媒体学院, 西安 710048
2 中国科学院西安光学精密机械研究所 光谱成像技术重点实验室, 西安 710119
针对多光谱滤光片阵列成像采样率低, 原始(Raw)数据稀疏所导致的重建图像模糊, 高频信息丢失等问题, 提出了一种新八谱段滤光片阵列分布方案, 利用基于邻域梯度延伸方法对光谱Raw 图像进行重建.首先基于二叉树生成法, 在重复排列的4×4阵列中设计了一种等空间概率比的八谱段滤光片分布方案; 然后针对传感器直接获取的稀疏Raw图像, 计算各谱段采样点的梯度信息, 在保 持图像结构特征和纹理信息的基础上, 利用邻域采样点的像素值和梯度值对未采样点进行重建, 从而获得完整的光谱图像信息; 最后, 基于已重建的八谱段光谱图像, 采用伪逆矩阵法重构各像素位 置的31波段光谱值.结果表明, 相对于主流图像重建方法, 本文算法提高了重建八谱段光谱图像的峰值信噪比、复合峰值信噪比, 降低了光谱均方差, 更好地保留了图像的纹理和边缘, 有效降低了 多光谱滤光片阵列成像中的颜色伪影和图像模糊等现象.
多光谱图像 多光谱滤光片阵列 去马赛克算法 邻域梯度延伸 梯度方向 Multispectral image Multispectral filter array Demosaicing algorithm Neighborhood gradient extension Gradient direction
合肥工业大学计算机与信息学院，安徽 合肥 230601
针对光场相机特定透镜结构及透镜边缘像素混叠导致获得的光场多视角图像质量较差的问题，本文提出了一种基于双引导滤波的光场去马赛克算法。首先用白图像及透镜掩膜信息重新加权基于梯度的无阈值(GBTF)算法重建G图像，然后使用重建的G图像对R/B图像进行双引导重建R/B图像，最后将重建的R、G、B图像组合为全彩色图像。实验结果表明，与其他先进去马赛克方法相比，指标CPSNR提高1.68%，指标SSIM提高2%，并且本文方法得到的光场多视角图像具有清晰的边缘和较少的颜色伪影。
去马赛克 光场 微透镜阵列 双引导滤波 demosaicing light field microlens array double guided filtering
1 上海理工大学 出版印刷与艺术设计学院, 上海 200093
2 上海出版印刷高等专科学校, 上海 200093
针对目前多光谱图像去马赛克算法存在计算量大、效率低的缺点, 本文提出一种基于压缩感知的多光谱图像去马赛克算法。首先, 分析去马赛克与压缩感知问题的等价性, 建立基于压缩感知的去马赛克模型;然后, 采用离散余弦变换构建压缩感知的稀疏基, 将去马赛克问题转化为压缩感知的信号重构问题; 最后, 采用改进的光滑0范数和修正牛顿法的重构算法求解去马赛克问题, 得到重构的多光谱图像。仿真实验表明, 相对于基于克罗内克压缩感知和组稀疏两种算法, 本文算法提高了重构的多光谱图像的峰值信噪比, 能有效减少对比算法重构多光谱图像中出现的锯齿现象, 改善了重构图像具有更好的视觉效果。实验结果验证了本文算法的有效性。
压缩感知 多光谱图像 去马赛克 compressed sensing multi-spectral image demosaicing
1 商洛学院 物理与电子信息工程系, 河南 商洛 726000
2 中国科学院西安光学精密机械研究所, 西安 710119
3 西安交通大学-西安光学精密机械研究所空间视觉联合实验室, 西安 710049
为了从单片Bayer格式图像探测器中获取更高分辨率实时彩色图像, 设计了一套基于FPGA硬件的彩色图像实时采集系统。重点研究了影响彩色图像质量的Bayer格式图像去马赛克放大算法, 该算法首先估计原始Bayer格式图像中丢失的绿色通道信息; 然后计算颜色差R-G和B-G; 接着将梯度方法用于确定丢失的绿色像素, 放大绿色通道; 最后, 放大颜色差值图像R-G和B-G, 再结合放大的绿色通道, 便可恢复出红色和蓝色通道信息, 得到放大全彩色图像。为了减少数据量, 设计了基于FPGA的JPEG压缩功能, 同时设计了千兆以太网(GigE)图像传输机制, 使系统数据吞吐率大大提高。试验数据表明, 在分辨率为2352×1728、帧频为20f/s的情况下, 可以实时输出全彩色放大图像。目前, 系统已经工程应用, 其优异表现满足了项目实际需要。
Bayer格式图像 去马赛克 放大 Bayer pattern image demosaicking zooming FPGA FPGA
1 商洛学院,陕西 商洛 726000
2 中国科学院 西安光学精密机械研究所,陕西 西安 710119
3 西安交通大学-西安光学精密机械研究所 空间视觉联合实验室, 陕西 西安 710049
为了从单片Bayer格式图像探测器获取高质量实时彩色图像, 研究并设计了一套基于FPGA硬件的彩色图像实时采集系统。介绍了针对MT9M011图像探测器的寄存器配置时序的设计。重点研究了影响彩色图像质量的Bayer格式图像去马赛克算法, 该算法首先对Bayer格式原图进行二阶拉普拉斯修正, 利用色差和梯度关系确定丢失的绿色分量, 再结合给定像素周围的4个色差进行插值计算, 分别得到丢失的红色分量和蓝色分量, 从而完成彩色图像的恢复。设计了基于千兆以太网(GigE)的图像传输机制, 使系统数据吞吐率大大提高。实验数据表明, 系统插值算法在峰值信噪比(PSNR)方面相比双线性插值, R、G、B三通道均提高约15 dB左右, 图像目视细节丰富, 伪彩色得到有效抑制; 在分辨率为1 280×1 024、帧频为15 f/s的情况下, 可以实时输出全彩色图像。目前, 系统已经工程应用, 其优异表现满足了项目实际需要。
Bayer格式图像 去马赛克 千兆以太网 bayer pattern image demosaicking GigE FPGA FPGA
解放军理工大学，电磁环境效应与光电工程国家级重点实验室，江苏 南京 210007
传统的迷彩图案中斑点的边界平滑分明，不利于与斑点破碎的背景融合。数码迷彩边界模糊、破碎，近距离观察时能够有效分割大斑点，远距离观察时能够形成空间混色，大大增强了迷彩伪装的效果。于是数码迷彩成为当今迷彩设计的一大主流，从背景主色斑点到数码迷彩生成是数码仿造迷彩设计的重要环节。因此根据空间混色原理，提出了一种数码迷彩斑点分布的概率模型，实现了对数码迷彩单元分布的量化，设计了从背景主色斑点到数码迷彩图案的生成方法，综合运用MATLAB图像处理技术，结合概率分布模型通过编程生成了数码迷彩图案。结果表明，该方法能够生成边缘破碎具有良好空间混色效果的数码迷彩图案，为数码仿造迷彩的设计提供了一种新的思路。
MATLAB图像处理 数码迷彩 马赛克 MATLAB image processing digital camouflage mosaic
