为了缓解传统拜耳型去马赛算法中常出现的拉链和伪影等问题,提出一个新颖的基于深度学习的去马赛克算法。所提算法首先对马赛克图像中的红色、绿色及蓝色通道中的像素进行分解、剔除及组合等操作得到两幅彩色图像,然后将这两幅彩色图像输入到设计的卷积神经网络中,以重建出完整的彩色图像,该网络能充分地利用卷积层所生成的特征信息。实验结果表明,所提算法重建出的完整彩色图像的质量相对较高,并且在一定程度上缓解了拉链和伪影等问题,其客观指标和主观评价都优于对比算法。

针对多光谱滤光片阵列成像采样率低, 原始(Raw)数据稀疏所导致的重建图像模糊, 高频信息丢失等问题, 提出了一种新八谱段滤光片阵列分布方案, 利用基于邻域梯度延伸方法对光谱Raw 图像进行重建.首先基于二叉树生成法, 在重复排列的4×4阵列中设计了一种等空间概率比的八谱段滤光片分布方案; 然后针对传感器直接获取的稀疏Raw图像, 计算各谱段采样点的梯度信息, 在保 持图像结构特征和纹理信息的基础上, 利用邻域采样点的像素值和梯度值对未采样点进行重建, 从而获得完整的光谱图像信息; 最后, 基于已重建的八谱段光谱图像, 采用伪逆矩阵法重构各像素位 置的31波段光谱值.结果表明, 相对于主流图像重建方法, 本文算法提高了重建八谱段光谱图像的峰值信噪比、复合峰值信噪比, 降低了光谱均方差, 更好地保留了图像的纹理和边缘, 有效降低了 多光谱滤光片阵列成像中的颜色伪影和图像模糊等现象.

针对光场相机特定透镜结构及透镜边缘像素混叠导致获得的光场多视角图像质量较差的问题，本文提出了一种基于双引导滤波的光场去马赛克算法。首先用白图像及透镜掩膜信息重新加权基于梯度的无阈值(GBTF)算法重建G图像，然后使用重建的G图像对R/B图像进行双引导重建R/B图像，最后将重建的R、G、B图像组合为全彩色图像。实验结果表明，与其他先进去马赛克方法相比，指标CPSNR提高1.68%，指标SSIM提高2%，并且本文方法得到的光场多视角图像具有清晰的边缘和较少的颜色伪影。

针对目前多光谱图像去马赛克算法存在计算量大、效率低的缺点, 本文提出一种基于压缩感知的多光谱图像去马赛克算法。首先, 分析去马赛克与压缩感知问题的等价性, 建立基于压缩感知的去马赛克模型;然后, 采用离散余弦变换构建压缩感知的稀疏基, 将去马赛克问题转化为压缩感知的信号重构问题; 最后, 采用改进的光滑0范数和修正牛顿法的重构算法求解去马赛克问题, 得到重构的多光谱图像。仿真实验表明, 相对于基于克罗内克压缩感知和组稀疏两种算法, 本文算法提高了重构的多光谱图像的峰值信噪比, 能有效减少对比算法重构多光谱图像中出现的锯齿现象, 改善了重构图像具有更好的视觉效果。实验结果验证了本文算法的有效性。

针对Bayer图像色彩重建效果越好的算法需要越多计算量, 占用越多硬件资源问题, 提出了一种低复杂度的色彩重建算法。首先使用Hamilton-Adam (H-A)算法对Bayer图像进行预插值并求出色差通道, 接着通过求出5×5模板内判断插值方向的综合梯度因子, 重新更新G通道缺失像元值, 最后利用已重建的G通道求出缺失的R和B通道颜色。柯达测试图仿真结果表明, 相对于其他算法, 所提出的算法在PSNR上有较大优势; 相机输出图像的色彩重建结果表明, 本文算法在判断插值方向上的准确率更高; 可抑制其他算法插值后出现的斑点现象, 图像边缘清晰、完整。平均每个像元, 本文算法只需要56次算数运算, 不需要乘法和除法运算, 减轻了FPGA算法实现中IP核的负担, 易于硬件实现, 完全满足项目需要。

提出了一种适合Bayer彩色序列图像的电子稳像方法。该方法根据Bayer彩色图像特点, 通过色彩还原和RGB至YCbCr颜色空间的变换, 将Bayer彩色图像转换为灰度图像。采用灰度投影算法估计两幅图像之间的运动量; 通过计算灰度图像在水平和垂直方向的投影特征数据, 构造当前图像和参考图像投影数据之间的相关函数; 依据最小误差匹配准则, 估计两幅图像之间的水平和垂直位移量。为解决传统补偿算法在处理奇数运动量时的颜色失真问题, 基于双线性插值算法构建了适合Bayer彩色图像的运动补偿算法。最后, 对Bayer彩色序列样本图像进行了色彩还原和图像稳定实验。结果表明, 本文方法可以实现像元级运动量检测, 运动补偿后的序列图像峰值信噪比优于40 db。实验显示, 本文方法可行且有效,适合Bayer彩色序列图像的运动估计和运动补偿, 可以实现序列图像的稳定输出。

基于Bayer模板的单CCD 相机通过彩色滤波阵列采集图像数据,图像中的每个像素只有红、绿、蓝3种颜色分量中的一种, 为提高图像分辨率, 获取高质量的彩色图像, 需要通过色彩还原方法恢复另外两种颜色分量。线性插值方法算法简单、运算速度快, 在数字图像色彩还原中经常采用。文章结合Bayer模板结构特点, 介绍目前常用的3种色彩还原插值算法, 包括基于像素复制法、双线性插值法和高质量插值法, 分析和讨论了这些算法的思路和性能特点。通过样本图像色彩还原对比实验, 对各种算法进行了图像质量和处理速度性能比较, 结果表明,高质量插值法还原图像细节丰富, 具有最佳的色彩还原性能。文中最后对色彩还原技术的未来发展趋势进行了展望。

为了减少算法的计算量,保证系统的实时性,本文针对Bayer格式图像提出了一种有效的彩色复原插值算法。插值过程中利用了人眼的视觉特性,能够更精确地得到图像的亮度信息和边缘信息。利用彩色图像的边缘特性更精确地复原了边缘处的R、G、B值。算法最终解为一系列5×5大小稀疏的线性滤波器,其复杂度低,实现简单,能在计算机各种嵌入式处理器中完成实时处理。实验证明,本算法的峰值信噪比(PSNR)比通常采用的双线性算法高4~6 db,且有效地减少了插值算法中出现的锯齿现象,使图像彩色的复原性和实时性比双线性算法更优越,具有一定的应用价值。

为了实现用面阵CCD实时采集彩色视频图像，设计了一种彩色视频图像实时采集系统。在分析SONY面阵CCD器件ICX424AQ的结构参数和彩色视频图像采集原理的基础上，实现了CCD控制时序的产生和整个采集系统的时序控制逻辑。分析了CCD器件的主要噪声来源，采用相关双采样技术滤除了视频信号中的复位噪声和1/f等低频噪声，提高了系统的信噪比。由于采用的面阵CCD芯片表面覆盖有Bayer彩色滤波阵列(CFA)，因此每个像素点只有一个颜色分量。为了获得全彩图像，采用一种改进的双线性插值算法来获得每个像素点上丢失的色度信息，较好地兼顾了插值效果和硬件实现复杂程度。该设计采用CCD逐行扫描工作方式，曝光时间为0.32 ms时，所有像素信号可依次读出。整个系统采用FPGA作为核心控制器件，读取的CCD信号经过插值处理，实时地通过发送芯片SiI1162以DVI格式发送到TFT-LCD屏上显示。