运用窗函数提高运动模糊图像PSF参数精度的方法
1 引言
随着信息化时代的发展,图像和视频已经成为生活中人们获取、记录和保存信息的重要手段,然而在图像获取过程中,往往存在很多因素导致图像退化,导致图像中的信息无法被完全识别。通常退化的主要原因有3类:离焦模糊、高斯模糊和运动模糊[1]。对于运动模糊图像的复原,常用方法是先建立图像复原的模型得知图像退化的原因,再针对具体的原因应用相应的算法进行复原。其中,最关键的就是估算出图像复原模型中的点扩散函数(PSF),模糊角度和模糊精度估算的精确性直接影响图像复原的质量。
图像复原分为盲目复原和非盲目复原。盲目复原充分利用了图像的先验信息,比如常见的自然图像的局部平滑性、非局部自相似性、稀疏性等特征。由于卷积神经网络具有较强的语义分析能力,因此广泛地应用于盲目去模糊处理中[2]。Xu等[3]提出一种深度卷积神经网络,该网络可以从模糊图像中提取锐利边缘,从而简化模糊核的估算和减少计算量。Hradiš等[4]通过网络训练,无需假设模糊核,证明高结构化的图像数据可以通过卷积神经网络成功得到恢复的结论。Schuler等[5]利用卷积神经网络模拟传统去模糊方法,实现了图像去模糊。
非盲目复原则通过估计出模糊核,对图像进行去卷积操作得到复原图像。此前如何避免中央亮线的干扰一直是专家和学者研究的方向。对于模糊参数的估计,马丽云[6]一般采用倒频谱和Radon变换,利用Canny算子检测模糊图像频谱图的边缘后,对其进行模糊参数的估计,并针对复原过程中出现的振铃效应,利用最优窗算法和循环边界算法实现对振铃效应的抑制。黄培[7]结合分布式计算的思想,提出了一种组合式维纳滤波复原方法,同时利用基于区域划分的智能图像复原算法,更多保留了模糊图像的细节信息。乐翔等[8]先估算中央亮线的宽度,利用图像分块原理,选取明暗条纹对比度较大的区域,再减去中央亮线相对应的宽度后,利用Radon变换求取模糊角度。胡发焕等[9]结合图像分块原理,在获得频谱二值图像后,对暗条纹进行骨架化处理,通过检测频谱图暗条纹倾斜角度来估算模糊角度,避免了中央亮线的干扰。陈健等[10]和高海韬等[11]则利用图像分块原理结合形态学运算,避免了中央亮线的干扰,同时进行边缘检测,求出模糊角度。但是,上述方法在模糊长度较小时误差较大,存在一定局限性,同时操作方法复杂。
因此,针对图像拍摄过程中运动模糊图像频谱图中常会产生十字亮线干扰这一显著问题,本文以成像设备与被拍摄物体之间的相对运动引起的模糊图像为研究对象,提出加窗函数和形态学处理结合的方法,提高模糊角度估计精度。实验结果证明,所提方法在充分利用图像信息的同时,操作简便。
2 研究方法
以相对运动引起的模糊图像为研究对象,样本来源于标准数字图像处理Lena图像和Cameraman图像。用窗函数代替图像分块理论来消除频谱图中央亮线的干扰,根据图像长度自适应调整方法,结合空、频域加强算法增加图像质量,从而提高参数估计的精度。最后用公开数据集GOPRO[12]验证所提算法,并对其与其他文献算法对PSF参数估计的结果进行对比,证明所提算法的优势。
2.1 模糊图像退化模型的建立
在图像复原过程中,首先需要建立图像的退化模型,根据图像退化模型,利用数学公式表示图像退化过程,为图像复原做好准备工作。图像复原过程就是使用退化过程中的一些先验知识来重建和还原模糊图像[13]。
图像退化过程可以认为是一幅清晰的图像与PSF的卷积过程,同时加上一定的噪声(通常是加性高斯白噪声),就可得到模糊图像。用
利用傅里叶变换,变换到频域,表示为
假设在曝光时间T内目标物体相对于摄像机在
假设采集到一幅进行平面匀速直线运动的物体图像
对
根据
设图像大小为M×N,对
由
观察
模糊方向可以表示为
由
观察
2.2 提高PSF参数精度的窗函数方法
2.2.1 PSF参数估计分析
根据2.1节分析可知,利用运动模糊图像频谱图估算出模糊方向和模糊长度后即可得到PSF。由于实际拍照情况复杂,对得到的运动模糊图像直接进行傅里叶变换得到的频谱图往往伴随着大量的噪声、毛刺和中央十字亮线的干扰,从而影响了模糊角度的估计。目前处理十字亮线干扰的方法通常为图像分块算法结合形态学处理,但图像分块会导致部分信息丢失,并且当模糊长度较小时,频谱图上的条纹间距较大,图像分块之后可利用的信息就非常少,同时形态学处理也会改变频谱图中明暗条纹的几何形状,在估算模糊角度时会产生一定误差。因此模糊角度参数估计存在下列问题:分块处理会忽略有用信息,并且当模糊长度较小时,图像分块之后可利用的信息太少;形态学处理后的频谱图会出现多个角度都适用的情况,利用Radon变换估算角度时会产生误差,如
图 2. 分块后信息少(左)和多角度适用(右)
Fig. 2. Less information after blocking (left) and multi-angle application (right)
2.2.2 运动模糊图像PSF参数估计方法
模糊角度估计方法对添加窗函数的运动模糊图像进行傅里叶变换,得到频谱图,结合形态学处理和边缘检测,利用Radon变换估算出频谱图中明暗条纹的倾斜方向
1)获取运动模糊图像的频谱图。首先获取Lena的原始灰度图像,然后人为添加模糊角度120°、模糊长度30 pixel使其退化,对退化图像进行傅里叶变换,获取其频谱图。从模糊图像的频谱图中可以明显看出有两条十字交叉的中央亮线,它对模糊角度的估计存在重要影响,如
图 3. Lena图像(左)、运动模糊图像(中)和模糊图像的频谱图(右)
Fig. 3. Lena image (left), motion blurred image (middle), and spectrum of the blurred image (right)
2)加窗函数及二值化。针对中央亮线这一显著问题,提出加窗函数方法来消除中央十字亮线的干扰。所选取的窗函数参数是由输入图像自身大小决定的,可以保证所有图像信息都可以被加窗处理。对图像采用添加汉宁窗的方法来减少傅里叶变换时产生的频谱泄漏,对运动模糊图像进行傅里叶变换时同时加入窗函数算法,可直接消除中央亮线,然后对频谱图进行中值滤波(滤波器大小为3×3)[14-15]处理来减少噪声点,最后进行二值化操作。采用Matlab软件内置函数graythresh(·)来自动确定二值化阈值。从
图 4. 加窗、中值滤波处理图像(左)和二值化图像(右)
Fig. 4. Windowed, median-filtered image (left), and binarized image (right)
3)开运算、边缘检测处理。观察二值图像后发现,图像中存在很多孤立的小点和毛刺,为了留下形态合适的条纹图像以供参数检测,对二值化后的图像进行开运算处理。由于频谱亮纹形似长方形,因此结构元素的形状类型定义为矩形。为了保证所提算法的鲁棒性,选择的结构元素大小与暗条纹间距保持一致。对开运算处理后的图像进行Canny算子边缘检测,以便Radon变换检测模糊角度,结果如
图 5. 开运算处理图像(左)和Canny边缘检测图像(右)
Fig. 5. Open operation processing image (left) and Canny edge detection image (right)
4)图像长度自适应调整。由于矩形结构元素的选择,估算出暗条纹间距后,其很有可能无法被图像长度整除,自适应调整图像长度以确保条纹间距可以被图像长度整除。以图像长度除以暗条纹间距的整数部分再反乘暗条纹间距的结果作为图像的长和宽。初始图像大小默认为528×528,经实验验证,该调整可以提高对模糊角度的估算精度。
5)模糊角度估计。经过多次实验发现,由于传统Radon变换受到中央亮线的干扰,模糊角度的估计难以确定,不仅有多处亮点,并且亮点具有一定的宽度,具有较大误差,如
图 6. Radon变换估计模糊角度。(a)传统算法的Radon变换;(b)加窗算法的Radon变换;(c)所提算法的Radon变换
Fig. 6. Radon transform estimating the blur angle. (a) Radon transform of the traditional algorithm; (b) Radon transform of the windowing algorithm; (c) Radon transform of the proposed algorithm
6)模糊长度估计。得到模糊角度后,在模糊角度方向上求Radon变换[16-17],由该方向上的数据可以得到暗条纹间距,再由
图 7. 模糊角度方向上的Radon变换示意图
Fig. 7. Schematic of the Radon transform in the fuzzy angle direction
7)算法流程图。利用所提算法估算出模糊角度和模糊长度后,根据
3 实验结果与分析
3.1 PSF参数估计实验结果
所提算法使用Matlab R2022b进行编程,计算机操作系统为Windows10,CPU为Intel Core i5-7300HQ 2.50 GHz,内存8 GB。
为验证所提算法的优越性,参考文献[10]和文献[11]的选图和PSF参数实验估计的取值,以Lena图像和Cameraman图像为标准测试图像。人为对其进行运动模糊,利用所提算法对其进行PSF参数估计,然后与文献[10]和文献[11]中算法所求的参数进行比较。其中,Lena图像模糊角度自20°起,并以20°为间隔取6组角度值,模糊尺度自15 pixel起,每隔5 pixel取6组像素值。Cameraman图像的模糊角度自15°起,以15°为间隔取6组值,模糊尺度自5 pixel起,每隔5 pixel取6组像素值[10]。上述取值下,文献[10]中的算法与所提算法进行比较。在模糊角度和模糊长度分别增加10个数值后,文献[11]中的算法与所提算法进行比较。得出的数据如
表 1. 文献[10]中的算法与所提算法对Lena图像模糊参数的估计结果
Table 1. Results of the fuzzy parameters of the Lena image estimated by the algorithm in Ref.[10] and the proposed algorithm
|
表 2. 文献[10]中的算法与所提算法对Cameraman图像模糊参数的估计结果
Table 2. Results of the fuzzy parameters of the Cameraman image estimated by the algorithm in Ref.[10] and the proposed algorithm
|
表 3. 文献[11]中的算法与所提算法对Lena图像模糊参数的估计结果
Table 3. Results of the fuzzy parameters of the Lena image estimated by the algorithm in Ref.[11] and the proposed algorithm
|
表 4. 文献[11]中的算法与所提算法对Cameraman图像模糊参数的估计结果
Table 4. Results of the fuzzy parameters of the Cameraman image estimated by the algorithm in Ref.[11] and the proposed algorithm
|
通过这4组实验数据可以看出:以Cameraman图像为样本,在模糊角度为15°且模糊长度为5 pixel条件下,所提算法对模糊角度和模糊长度估计的误差值较大。通过多组实验表明,所提算法以模糊长度10 pixel为分界点,当模糊长度小于10 pixel时,在模糊角度估计上有较大误差,当模糊长度大于10 pixel时,在模糊角度的估计上误差有明显增大。同时统计Lena和Cameraman两幅图像中的估计参数,所提算法在模糊角度估计上的平均误差为0.13,文献[10]中的算法的平均误差为0.67,文献[11]中的算法的平均误差为0.29。所提算法在模糊长度估计上的平均误差为0.12,文献[10]中的算法的平均误差为0.67,文献[11]中的算法的平均误差为0.33。相较于文献[10]中的算法和文献[11]中的算法,所提算法对模糊角度和模糊长度的估计精度都有较大的提升。因此所提算法在PSF参数估计上具有更高的精准度。
3.2 运动模糊图像复原实验
采用经典的线性维纳滤波算法对模糊图像进行简单高效的去卷积操作。求出模糊角度与模糊长度参数,构建PSF,用维纳滤波算法迅速对图像进行复原。为验证所提算法的可靠性和泛化性,加入更多的图像数据集来进行复原实验。
通过实验可以看出,所提算法进行维纳滤波复原之后的图像除了存留有少量的伪影,振铃现象也十分微弱,所提算法基本上可以完全复原模糊图像。为了客观评价图像复原质量,引入峰值信噪比(PSNR)和结构相似度(SSIM)两种指标来评价复原图像。峰值信噪比是均方误差(MSE)的一种变形,表示信号最大功率与噪声功率之比,计算公式为
式中:
结构相似度是一种参考人类视觉系统的某些特性和图像结构信息的指标,计算公式为
式中:μ和δ分别代表图像的均值和标准差;
表 5. 不同图像在所提算法下的复原结果
Table 5. Restoration results of the proposed algorithm for different images
|
表 6. 不同算法在GOPRO数据集上的复原结果
Table 6. Restoration results of different algorithms on the GOPRO dataset
|
总体而言,所提算法得到的PSNR和SSIM都较大,PSNR为30 dB~40 dB即表示图像质量是好的,PSNR值与文献[9]和文献[11]中的算法相比提升较大;从均方误差指标也可以看出所提算法的复原效果相比文献[9]和文献[11]中的算法更加稳定;SSIM值与文献[9]中的算法相比提升较大,与文献[11]中的算法相比有略微优势。
4 结论
针对实际拍摄过程中运动模糊图像的频谱图中会产生十字亮线干扰这一显著问题,以最为常见的成像设备与被拍摄物体之间的相对运动引起的运动模糊为研究对象,创新性地提出了加窗函数算法来消除中央亮线对模糊角度估计的干扰。模糊长度则根据在模糊角度方向上的Radon变换数据推算得出。由实验结果可以看出,所提算法确实可以提高PSF参数估计的精度。在同等条件下,PSF参数估计的精度越高,复原时产生的振铃和伪影现象就越少。利用维纳滤波,复原后图像的质量客观评价也较高。但是当模糊长度小于10 pixel时,算法在模糊角度估计上的误差比较明显。在下一步的学习过程中,可以考虑将所提算法与图像分块、形态学处理相结合,并且继续研究PSF参数估计在模糊长度较小时误差较大的原因,并提出解决问题的方法。
[1] 王玉全, 隋宗宾. 运动模糊图像复原算法综述[J]. 微型机与应用, 2014, 33(19): 54-57.
Wang Y Q, Sui Z B. The review on motion blurred image restoration algorithm[J]. Microcomputer & Its Applications, 2014, 33(19): 54-57.
[2] 崔昊杨, 韩奕, 张驯, 等. 基于改进U-Net结构生成对抗网络的运动模糊绝缘子图像复原方法[J]. 电网技术, 2023, 47(6): 2594-2603.
Cui H Y, Han Y, Zhang X, et al. Motion blur insulator image restoration method based on improved U-Net structure generative adversarial network[J]. Power System Technology, 2023, 47(6): 2594-2603.
[3] Xu X Y, Pan J S, Zhang Y J, et al. Motion blur kernel estimation via deep learning[J]. IEEE Transactions on Image Processing, 2018, 27(1): 194-205.
[4] HradišM, KoteraJ, ZemčíkP, et al. Convolutional neural networks for direct text deblurring[C]∥Proceedings of the British Machine Vision Conference 2015, September 7-10, 2015, Swansea. London: British Machine Vision Association, 2015: 1-13.
[5] Schuler C J, Hirsch M, Harmeling S, et al. Learning to deblur[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2016, 38(7): 1439-1451.
[6] 马丽云. 运动模糊图像复原方法及优化[D]. 临汾: 山西师范大学, 2020.
MaL Y. Restoration and optimization of motion blurred image[D]. Linfen: Shanxi Normal University, 2020.
[7] 黄培. 运动模糊图像复原算法的研究[D]. 西安: 西安科技大学, 2020. 10.22214/ijraset.2021.34053
HuangP. Research on motion blurred image restoration algorithm[D]. Xi’an: Xi’an University of Science and Technology, 2020.
[8] 乐翔, 程建, 李民. 一种改进的基于Radon变换的运动模糊图像参数估计方法[J]. 红外与激光工程, 2011, 40(5): 963-969.
Le X, Cheng J, Li M. Improved approach to motion blur identification based on Radon transform[J]. Infrared and Laser Engineering, 2011, 40(5): 963-969.
[9] 胡发焕, 刘国平, 胡瑢华, 等. 一种改进的运动模糊图像参数准确估计方法[J]. 控制与决策, 2018, 33(12): 2177-2183.
Hu F H, Liu G P, Hu R H, et al. Improved approach to motion blur parameters identification[J]. Control and Decision, 2018, 33(12): 2177-2183.
[10] 陈健, 张欣, 陈忠仁. 基于Radon变换改进的运动模糊图像PSF参数估计算法[J]. 软件, 2020, 41(6): 1-6.
Chen J, Zhang X, Chen Z R. Improved PSF parameter estimation algorithm of motion blurred image based on Radon transform[J]. Computer Engineering & Software, 2020, 41(6): 1-6.
[11] 高海韬, 李丹宁, 王彬, 等. 运动模糊图像PSF参数估计方法改进及图像复原[J]. 计算机工程, 2022, 48(9): 197-203.
Gao H T, Li D N, Wang B, et al. Improvement of PSF parameter estimation method for motion-blurred image and image restoration[J]. Computer Engineering, 2022, 48(9): 197-203.
[12] NahS, KimT H, LeeK M. Deep multi-scale convolutional neural network for dynamic scene deblurring[C]∥2017 IEEE Conference on Computer Vision and Pattern Recognition (CVPR), July 21-26, 2017, Honolulu, HI, USA. New York: IEEE Press, 2017: 257-265.
[13] 张官扬. 全局匀速直线运动模糊图像复原算法研究[D]. 武汉: 湖北工业大学, 2021.
ZhangG Y. Research on restoration algorithm for global image blurring due to constant-speed linear motion[D]. Wuhan: Hubei University of Technology, 2021.
[14] 胡硕, 张旭光, 吴娜. 基于Radon变换的运动模糊方向估计的改进方法[J]. 高技术通讯, 2015, 25(S1): 822-828.
Hu S, Zhang X G, Wu N. Improved identification of the motion blur direction based on Radon transform[J]. Chinese High Technology Letters, 2015, 25(S1): 822-828.
[15] 郭永坤, 朱彦陈, 刘莉萍, 等. 空频域图像增强方法研究综述[J]. 计算机工程与应用, 2022, 58(11): 23-32.
Guo Y K, Zhu Y C, Liu L P, et al. Research review of space-frequency domain image enhancement methods[J]. Computer Engineering and Applications, 2022, 58(11): 23-32.
[16] 黄国达, 杨雪婷. 运动模糊车牌图像复原与识别系统的研究[J]. 福建电脑, 2021, 37(8): 15-20.
Huang G D, Yang X T. Research on restoration and recognition system of motion blurred license plate image[J]. Journal of Fujian Computer, 2021, 37(8): 15-20.
[17] 徐浩森. 监控视频中运动模糊车牌图像参数估计和复原[J]. 河北公安警察职业学院学报, 2021, 21(2): 28-32.
Xu H S. Image parameters estimation and restoration of motional blur plates in the surveillance video[J]. Journal of Hebei Vocational College of Public Security Police, 2021, 21(2): 28-32.
Article Outline
琚三元, 高树辉. 运用窗函数提高运动模糊图像PSF参数精度的方法[J]. 激光与光电子学进展, 2024, 61(4): 0437007. Sanyuan Ju, Shuhui Gao. Method to Improve Accuracy of PSF parameters of Motion Blur Images using Window Functions[J]. Laser & Optoelectronics Progress, 2024, 61(4): 0437007.