基于侧窗滤波改进的神经网络非均匀性校正算法
1 引言
红外焦平面阵列探测器(IRFPA)具有灵敏度高、帧率高、结构简单等优点,已经成为当前红外成像系统中使用的主流器件。该器件从最初的**侦察领域逐渐覆盖医疗成像、工业检测、消防监控、自动驾驶等多种应用场景[1],发挥着不可替代的作用。然而基于IRFPA的红外成像系统无法避免非均匀性噪声问题。产生这一问题的主要原因包括各像元自身的响应不均匀性以及信号读出电路及放大器增益的非一致性[2]。目前的制造工艺水平短时间内无法从硬件层面上完全克服非均匀性噪声,因此在工程应用中为了提升红外成像系统图像质量必须进行非均匀性校正。
目前,非均匀性校正算法主要包括两个不同的技术路线,分别是基于定标实验的校正和场景变化的校正。定标实验算法代表方案有两点校正以及多点校正算法[3-6]。Zhang T等人[7]提出了基于自适应多点法的sCMOS实时非均匀性校正,通过阈值比较的方式分别确定最优分段点的位置以及最佳分段数量实现自适应校正。该类算法需要预先做黑体辐射标定实验,当环境温度改变时器件参数会发生漂移,连续工作一段时间后需要重新标定。基于场景变化的算法主要包括时域高通滤波算法[8-9]、恒定统计算法[10-11]与神经网络算法[12-16]等。Qian等人[8]将引导滤波引入时域高通滤波算法,有效改进了“鬼影”问题与边缘退化问题。Liu等人[10]提出一种基于分段两点校正法和局部恒定统计的联合校正方法,有效增强了恒定统计法的有效性和鲁棒性。Zhang L等人[16]将双边滤波引入神经网络法,进一步提升了该算法对处理后图像的细节保护程度。此类算法基于场景图像的变化更新校正参数,具有无需标定实验、校正过程不需停机的优点。在基于场景变化的非均匀性校正算法中,主要考核校正后图像残留的非均匀性噪声强度、校正后图像有无“鬼影”现象以及算法的计算复杂度等方面的性能指标。
近年来,伴随着视频图像处理设备计算能力的提升,为了解决校正参数失效导致的反复标定实验问题,大量学者将研究方向转移到基于场景的非均匀性校正方式,提出了基于最优化理论计算的非均匀性校正算法。此类算法主要包括小波法、变分法、深度学习法等。2021年,Zhang T等人[17]提出了基于小波主成分分析法,该算法从信号分解的角度寻求最优化图像信息主要成分达到去除非均匀性噪声的目的,其最大的优势在于计算速度快,适用于寻求处理效率与处理结果平衡的应用场景。2020年,Yang等人[18]利用各向异性变分法和低秩正则项相结合的方法提取条纹噪声,实现了噪声图像分离的非均匀性校正。2022年,Mou等人[19]提出了基于全卷积网络的红外图像非均匀校正算法,该网络包含非均匀性等级估计子网络和校正主网络两部分,有效避免了校正过程中出现过拟合问题。该类算法与滤波算法、统计法、传统神经网络算法相比通常有更好的校正效果,但是此类方法也存在明显的不足之处。小波分解主成分分析法、变分法数学计算复杂度较高、最优参数求解复杂。深度学习法依赖专用设备且需要大量数据集标定处理以及长时间的训练过程,修改网络结构后需要反复重新训练,不利于算法硬件实现。
神经网络法作为一种经典的基于场景变化的非均匀性校正算法,校正效果稳定、计算复杂度低,便于工程中硬件实现。但是,此类算法多数利用帧间多次迭代计算校正图像,容易出现图像模糊退化以及“鬼影”现象,影响红外探测器成像质量。本文针对这一现象,提出一种将侧窗滤波[20]与神经网络法结合的校正算法。该算法在去除非均匀性噪声的同时较同类算法能更好地抑制“鬼影”现象从而获得更好的图像质量。该算法基于传统的神经网络法改进,滤波算子采用侧窗滤波算法,计算过程与均值滤波相似,计算复杂度远低于双边滤波改进算法以及最优化算法,为小算力、低功耗移动平台实现实时非均匀性校正提供了新的研究思路。
2 神经网络校正模型分析
2.1 神经网络法工作原理
输入图像序列首先要经过输入层提取单帧图像数据送往校正层,校正层读取增益校正参数与偏置校正参数完成图像序列的输出结果更新,即:
式中:
校正参数的计算需要使用隐含层。隐含层的作用是产生期望图像,传统算法计算过程如
式中,
在计算损失函数最小值时需要利用梯度下降法获得增益参数和偏置参数,即:
式中,
2.2 图像模糊与伪影现象
传统的神经网络法利用均值滤波获取待校正像素点的期望值。均值滤波可以有效去除场景图像中的高频非均匀性噪声,同样也会去除图像中的边缘细节。在图像的非边缘区域,待校正像素邻域内的灰度差值较小,主要由噪声信号引起;而在图像的边缘细节位置,邻域内的灰度差值较大,均值滤波会降低边缘灰度梯度,引起图像模糊退化。为了使期望图像更加准确,有学者提出了使用双边滤波[16]、引导滤波[21]以及非局部均值滤波[22]等结果作为期望图像。上述算法在一定程度上能够达到更好的校正效果,但是上述保边滤波算法都是根据邻域内的像素灰度值相似程度赋予滤波权重,并没有考虑真实边缘的空间分布特征,无法从噪声分布的结构特征上对图像进行保边滤波处理,并且随着保边效果的提升,计算复杂度也大幅度提升,难以在小算力、低功耗移动平台实现实时校正。
同时,对单幅图像完成非均匀性校正后需要将期望图像与校正图像做差后利用梯度下降算法获得校正参数,反向传递至下一帧用于校正图像。如果图像序列相邻帧之间元素移动过快,沿着物体运动方向会残留上一帧未移动图像校正参数,此时校正区域已经没有待校正目标,就会出现明显的拖影现象。
通过上文分析可知,红外图像非均匀性校正出现模糊和伪影与两个因素有关,即期望图像获取和帧间校正参数误差传递。本文将从这两个方向出发,对传统算法进行改进。
3 神经网络校正模型改进
3.1 基于侧窗滤波改进的期望图像获取
侧窗滤波[20]算法由殷慧、龚元浩等在2019年提出。该算法可以有效解决传统滤波算法造成图像边缘模糊问题。通常为了简化计算,在离散的情况下只定义8个侧窗,如
侧窗滤波计算过程可以表示为:
式中:
式中,
本文在侧窗滤波的基础上设计去噪强度参数θ。传统侧窗滤波在有效区域内权重均衡,在无效区域内权重为0。引入去噪参数θ表示无效区域像素权重与有效区域灰度权重的比值,θ越大去噪效果越明显,但边缘保持效果会下降。当θ=1时,改进的侧窗滤波算法等价于对图像做均值滤波;当θ=0时,改进侧窗滤波算法等价于经典侧窗滤波算法。
3.2 局部发散校正参数的饱和非线性抑制
在对校正参数反向传递之前,首先必须要明确校正参数是否发散,无效的校正参数传递会影响校正后图像质量。
如
图 4. 小目标校正参数的发散(图中尖峰位置)
Fig. 4. Divergence of small target correction parameters(peak position in the figure)
针对图中微小细节边缘滤波后导致的校正参数发散现象,本文使用一种饱和非线性特性函数抑制校正参数上限,算法原理如
式中:
校正参数在
4 实验与结果分析
4.1 实验设备
本文所有实验运行计算机系统为Win10(CPU Intel Core i5-7300HQ 主频:2.30G,内存8G),所有的算法均利用Matlab2018a编程实现。
4.2 算法对比及质量评价
考虑算法的硬件易实现性,将本文所提算法与经典神经网络算法[12]、Zhang L等人[16]提出的基于双边滤波改进算法以及Zhang T等人[17]提出的基于小波主成分分析法这3种校正算法进行比较。在实验中共采用3组不同环境下的红外相机拍摄图像,分别为序列1:天空背景弱小飞机跟踪目标序列[23],共599帧;序列2:地面复杂背景弱小飞机目标图像序列[23],共400帧;序列3:道路行人检测红外图像序列[24],共400帧。
图 7. 不同算法对序列1图像的校正效果对比
Fig. 7. Comparison of correction effects of different algorithms on sequence 1
为了进一步评估3种校正算法,本文引入列均值[25]与图像粗糙度指标
式中:
从
图 8. (a)序列1列均值曲线;(b)序列1粗糙度曲线。
Fig. 8. (a)Sequence 1 mean curves;(b)Sequence 1 roughness curves.
由上述分析可知,本文提出的基于侧窗滤波改进校正算法在迭代效果趋于稳定后的图像视觉效果、列均值指标、粗糙度指标均优于另外3种对比算法,综合考虑,本文算法针对图像序列1的校正效果是4种方法中最好的。
图 10. 不同算法对序列2图像的校正效果对比
Fig. 10. Comparison of correction effects of different algorithms on sequence 2
从
图 11. (a)序列2列均值曲线;(b)序列2粗糙度曲线。
Fig. 11. (a)Sequence 2 mean curves;(b)Sequence 2 roughness curves.
由上述分析可知,本文提出的基于侧窗滤波改进的校正算法在视觉效果上优于文献[12]、文献[17]算法,与文献[16]算法无明显区别。列均值指标优于其余3种对比算法。图像粗糙度指标优于文献[16]、文献[17]算法,与文献[12]算法无明显区别。综合考虑,本文算法针对图像序列2的校正效果是4种方法中最好的。
图 13. 不同算法对序列3图像校正效果对比
Fig. 13. Comparison of correction effects of different algorithms on sequence 3
从
图 14. (a)序列3列均值曲线;(b)序列3粗糙度曲线。
Fig. 14. (a)Sequence 3 mean curves;(b)Sequence 3 roughness curves.
由上述分析可知,本文提出的基于侧窗滤波改进的校正算法在列均值指标性能优于另外3种对比算法;视觉效果明显优于传统神经网络算法与基于双边滤波改进算法;边缘保持程度略低与文献[17]小波主成分分析算法;图像粗糙度指标优于文献[16]、文献[17]算法,低于文献[12]算法过度平滑后的结果。综合考虑,本文算法针对图像序列3是4种方法中效果最好的。
表 1. 不同算法处理后的图像序列平均粗糙度指标对比
Table 1. Comparison of average roughness indexes of image sequences processed by different algorithms
|
表 2. 不同算法连续处理400帧图像序列的耗时对比
Table 2. Time consuming comparison of 400 frame image sequences processed by different algorithms
|
为满足红外成像器件非均匀性校正实时性要求,需要处理速度大于视频图像输入速度。通常监控录像机系统视频输入接口帧率为25帧/s,单帧耗时不超过40 ms。针对256×256分辨率图像序列,传统神经网络算法处理一幅图像耗时约为7.5 ms,双边滤波改进算法耗时约为275 ms,小波主成分分析算法耗时约为35 ms,本文所提算法耗时约为12.5 ms;针对1 024×512分辨率图像序列,传统神经网络算法处理一幅图像耗时约为25 ms,双边滤波改进算法耗时约为1 900 ms,小波主成分分析算法耗时约为175 ms,本文所提算法耗时约为95 ms。可见在基于CPU处理器运算平台上,传统神经网络算法、小波主成分分析算法、本文所提算法满足小分辨率图像的实时校正,大分辨率图像仅有传统神经网络算法满足要求。为进一步提升算法的处理效率,实现小算力、低功耗移动平台的实时非均匀性校正,可采用现场可编程门阵列(FPGA)流水线处理实现并行加速,而小波主成分分解算法中涉及最优化主成分计算过程,FPGA硬件实现较为复杂,不利于实现实时非均匀性校正。综合
5 结论
本文提出了一种基于侧窗滤波技术改进的神经网络非均匀性校正算法。该算法通过改进的侧窗滤波技术获得期望校正图像,通过帧间饱和非线性函数抑制校正参数局部发散,优化了传统神经网络算法的保边效果,能够有效避免校正后图像出现“鬼影”问题,降低了基于双边滤波改进算法的计算复杂度,较基于小波主成分分析算法更适用于不同信噪比的图像序列且处理速度更快。实验结果表明,本文提出的算法在测试图像序列1上的平均粗糙度为0.030 3,连续处理400帧图像耗时4.938 5 s;在测试图像序列2上的平均粗糙度为0.058 6,连续处理400帧图像耗时4.916 2 s;在测试图像序列3上的平均粗糙度为0.079 2,连续处理400帧图像耗时37.417 0 s。该算法在3组测试图像序列中平均图像粗糙度降低了30.17%,平衡处理时间与处理后图像质量性能优于对比算法,在运算时间上有显著提升。目前所提算法面临的最大问题是如何进一步提高运算速度,实现高分辨率红外图像实时非均匀性校正。而在该算法中使用的关键步骤侧窗滤波本质为多次加权均值滤波,便于FPGA并行加速处理,因此本文也为小算力、低功耗移动平台实现实时非均匀性校正提供了新的研究思路。
[2] 张葆, 洪永丰, 史光辉. 非均匀性校正在红外杂散辐射抑制中的应用[J]. 光学 精密工程, 2008, 16(12): 2421-2428.
[4] 曲洪丰, 王晓东, 吕宝林. 多通道输出面阵CCD图像非均匀性校正[J]. 液晶与显示, 2012, 27(4): 569-572.
[5] 顿雄, 范永杰, 金伟其, 等. 制冷焦平面高动态范围热成像非均匀校正系数与积分时间的关系[J]. 兵工学报, 2015, 36(5): 839-845.
[6] 闫苏琪, 杨世洪, 王明富, 等. 基于最小二乘拟合的科学级CMOS传感器非均匀性校正[J]. 电子设计工程, 2018, 26(7): 151-155.
[7] 张涛, 李新阳, 李剑峰, 等. 基于自适应多点法的sCMOS实时非均匀性校正[J]. 光电工程, 2021, 48(5): 210036.
[8] 钱润达, 赵东, 周慧鑫, 等. 基于加权引导滤波与时域高通滤波的非均匀性校正算法[J]. 红外与激光工程, 2018, 47(12): 1204001.
[10] 刘亚梅. 基于局部恒定统计的高精度联合非均匀性校正方法[J]. 光子学报, 2019, 48(6): 0604002.
[11] 孟思岐, 任侃, 路东明, 等. 一种基于恒定统计的红外图像非均匀性校正算法[J]. 应用光学, 2017, 38(2): 304-308.
[12] SCRIBNERD A, SARKADYK A, KRUERM R, et al. Adaptive retina-like preprocessing for imaging detector arrays [C]. //Proceedings of International Conference on Neural Networks. San Francisco: IEEE, 1993: 1955-1960.
[14] 刘明忠, 孟军, 王雨蒙, 等. 一种基于核回归插值的自适应非均匀性校正算法[J]. 红外, 2018, 39(7): 29-34.
[16] 张龙, 董峰, 傅雨田. 基于神经网络的红外图像非均匀性校正[J]. 红外技术, 2018, 40(2): 164-169.
[19] 牟新刚, 崔健, 周晓. 基于全卷积网络的红外图像非均匀性校正算法[J]. 红外技术, 2022, 44(1): 21-27.
[22] 张菲菲, 王文龙, 马国锐, 等. 基于非局部均值滤波与神经网络的红外焦平面阵列非均匀性校正算法[J]. 红外技术, 2015, 37(4): 265-271.
[23] 孙晓亮,郭良超,张文龙,等.复杂背景下红外弱小运动目标检测数据集[DB/OL]. Science Data Bank, 2021. (2021-04-25).
SUNX L, GUOL C, ZHANGW L, et al. Detection data set of infrared small and weak moving targets in complex background [DB/OL]. Science Data Bank, 2021. (2021-04-25). (in Chinese)
Article Outline
黎明清, 王宇庆, 孙海江. 基于侧窗滤波改进的神经网络非均匀性校正算法[J]. 液晶与显示, 2023, 38(11): 1567. Ming-qing LI, Yu-qing WANG, Hai-jiang SUN. Improved neural network nonuniformity correction algorithm based on side window filter[J]. Chinese Journal of Liquid Crystals and Displays, 2023, 38(11): 1567.