基于Shearlet变换的扫描文档图像倾斜检测 
下载： 1085次
1 引言
随着计算机技术、通信技术以及数字图像处理技术的发展,信息的获取与传输已经越来越多地依赖计算机和网络,大量图文信息的处理需要在计算机上完成。计算机的便捷性、高效性使得办公数字化、自动化成为信息社会的发展趋势。在办公自动化中,纸质文档常会被扫描成电子文档加以保存,以便后续处理。在纸质文档通过图像获取设备转换为文档图像的过程中,由于扫描设备本身以及人为因素等原因,扫描出的文档图像不可避免地会发生一定程度的倾斜,这对文档图像的正常使用及后期处理都会产生不利的影响。因此使用数字图像处理技术对扫描文档图像进行倾斜检测与校正是非常必要的[1-4]。
目前常见的文档图像倾斜角度检测的方法主要包括:基于Hough变换的方法[5]、基于Radon变换的方法[6]、基于聚类的方法[7]、基于图像旋转不变性特征的方法[8]、基于图像频域变换的方法[9]等。扫描文档的版面内容可能会比较复杂,除了纯文本以外,通常还可能含有图像、表格、公式等,检测这类含有复杂版面文档图像的倾斜角度是一个有挑战性的工作。本文提出了一种基于剪切波变换(Shearlet)与多尺度分析的扫描文档图像倾斜校正算法。剪切波变换通过对基本小波函数的膨胀、剪切和平移变换表示图像,是进行多尺度几何分析的有效工具。由于剪切波变换具有很好的局部性和类似于小波变换的分解算法,因此可以很好地刻画图像的局部特征。本文通过非下采样金字塔形式的剪切波变换来进行文档图像的倾斜检测。
2 Shearlet变换与多尺度分析
Shearlet变换是合成小波理论发展的成果。传统小波变换在一维情况下具有良好的性质,但这些性质在推广到二维或者更高维时会出现奇异性,其原因是二维可分离小波变换的滤波器方向有限,只包括水平、垂直和对角线3个方向,对于纹理复杂、包含边缘比较多的图像不能精确地表示这些图像边缘。为了解决二维小波变换中存在的这些问题,需要使用更多的小波基并增加小波基的方向敏感性才能更好地表示图像边缘。近年来,常见的基于小波变换的多尺度几何分析工具包括轮廓波变换(Contourlet)、曲线波变换(Curvelet)、脊波变换(Ridgelet)、条带波变换(Bandelet)、子束波变换(Beamlet)、方向波变换(Directionlet)、表面波变换(Surfacelet)、梳状波变换(Brushlet)、楔形波变换(Wedgelet)和剪切波变换(Shearlet)等[10-13]。
Shearlet变换是通过对基本小波函数进行扩张、剪切和平移变换来构造新的基函数,这也是剪切波变换名称的由来。剪切波变换基函数的支撑区间为梯形,这种设计体现了滤波器的方向敏感性和各向异性,所以剪切波变换对方向性比传统小波变换更敏感,可以充分利用和表达图像的几何特征。近年来剪切波变换已经在图像压缩、图像增强、数字图像水印、图像边缘提取和图像去噪等图像处理领域得到了广泛的研究与应用[14-16]。
Guo等[17]采用具有合成膨胀的仿射系统构造了一种接近最优表示的多维剪切波函数。剪切波变换在合成小波理论的基础上通过对基本小波函数的扩张、剪切以及平移变换,并结合仿射系统理论来构造梯形的剪切波基函数。在二维的情况下,剪切波变换的仿射系统形式可以表示为
式中ψ表示合成仿射系统中的元素;A和B分别表示2×2的可逆矩阵,并且|det B|=1;j、l、k分别为尺度参数、剪切参数和平移参数。
如果MAB(ψ)满足Parseval 框架 ( 紧框架 ) ,则MAB(ψ)称为合成小波。令
式中Aa表示各向异性的伸缩矩阵,Ss表示剪切矩阵,其中a和s分别为尺度参数和剪切参数,a>0。函数f(x)的二维连续剪切波变换为
式中ψ为剪切波函数,a、s、t分别表示尺度参数、剪切参数和平移参数。当调整剪切参数s时,梯形的支撑区域在保持面积不变的情况下可进行剪切变形。支撑区域的旋转由尺度参数a进行控制,随着参数a趋向于0,支撑区间逐渐变得更加狭窄。
本文算法中采用了自适应锥形Shearlet变换[18]的方法实现剪切波变换。频域被划分为5个部分,两个水平锥部分、两个垂直锥部分和一个低通部分。令
把
式中尺度函数φ对应于低通部分,剪切波函数ψ对应于水平锥,生成函数
3 基于Shearlet变换的倾斜检测
对于中文文档扫描图像,图像的方向通常可以参考文档中文字行的方向。每个汉字中的横笔画平行于文字行的方向,而竖笔画则与文字行的方向相垂直。汉字中横笔画与竖笔画在汉字的8种主要笔画中占有主导性地位。张静贤[19]的《现代汉字笔形论》对汉字笔画频率进行了研究,根据对6196个通用汉字的统计结果,横画和竖画的笔形频率比例分别达到了27.65%和17.6%。冯志伟[20]对《辞海》中汉字笔画频率进行了统计研究,其结果是横画比例为30.66%,竖画比例为19.17%。虽然两个文献的数据略有不同,但总体来说,在不同的统计中横画与竖画都是约占总笔画数的一半左右,说明汉字的主要构成笔画是横画与竖画[21]。
本文提出的基于剪切波变换与多尺度分析的扫描文档图像倾斜校正算法的主要思想是通过检测扫描文档图像中文字行的方向来检测扫描文档图像的倾斜方向。汉字中横笔画与竖笔画占总笔画数的一半左右,而文字行的方向平行于汉字中横笔画的方向,垂直于竖笔画的方向,因此如果对文档图像进行剪切波变换,能量最高的两个分量就会分别对应于横画与竖画的方向,根据这两个方向就可以确定文字行的方向并进一步确定文档图像的倾斜角度。
对于一些含有复杂内容的文档图像,图像中除了文字,还可能含有大量的插图、表格、公式等。如果插图图像不具有明显的方向性,通过剪切波变换得到的各个分量的能量是均匀分布的,并不会影响文档图像的倾斜方向检测。表格与公式的主要构成也决定了它们只会加强文字行方向的能量。
由于扫描文档图像中的文字、表格、公式等通常都具有一致的方向,因此在剪切波变换中所得到的各个方向分量中一定有两个分量的能量最高,分别为与文本行平行的方向和与文本行垂直的方向。根据剪切波变换的局部性和方向性,在检测过程中本质上是检测图像在某一方向上对应的分量,即本文方法是检测扫描文档图像中所有文字的横画与竖画而不是文本行的方向,但是在绝大多数情况下,文字方向与文本行方向是一致的,文字的方向决定了文本行的方向。
剪切波变换的实现过程是在频域中,与Fourier变换一样,剪切波变换可以很好地把图像的主要信息与噪声区分开,因此基于剪切波变换检测文档图像的倾斜角受噪声的影响很小,具有很好的抗噪声能力。
本文提出的基于剪切波变换的文档图像倾斜检测算法主要分为3个部分: 1) 图像预处理,并根据预处理得到的图像进行剪切波变换;2) 逐个尺度计算Shearlet分量,并找出每个尺度下能量最强的Shearlet分量;3) 根据最强能量的Shearlet分量得出文档图像倾斜的角度并进行校正。本文算法的流程图如
1) 对图像进行适当的缩放,建立尺度为n的剪切波变换S。
2) 假设Si,j为第i尺度下第j个分量。如
3) 由于第1尺度已经测出倾斜角度的大致范围,因此在第2尺度下,只需要测与S1,x1和S1,x2方向相关的分量,即S2,y1、S2,y2、S2,y3和S2,y4、S2,y5、S2,y6,检测出能量最强的分量,比如最强分量为S2,y1和S2,y4。
4) 继续进行下一尺度的分解,直到计算出最高尺度下能量最强的Shearlet分量。由于文本倾斜角度一般小于90°,所以在查找倾斜角时,若文本左低右高可只计算垂直锥部分的分量,若文本左高右低可只计算水平锥部分的分量,即与文本方向平行的方向。
图 3. 基于剪切波变换的文档图像倾斜校正流程图
Fig. 3. Flow chart of document images skew correction based on Shearlet transform
5) 根据最高尺度下能量最高的分量得出文本倾斜的角度,对原图像进行倾斜校正。
4 实验结果
为了验证基于剪切波变换与多尺度分析的扫描文档图像倾斜检测算法的有效性,采用公开的ICDAR2013数据集进行了实验[22]。实验环境如下:CPU类型为Intel至强E5-2400,CPU频率1.8 GHz,内存8 G。操作系统为Windows 7,编程环境为Matlab 2014a。ICDAR2013数据集中包括了英文、中文、日文等大量扫描文档,本文实验使用的扫描文档图像以中文文档图像为主,图像中均含有部分图案或表格,如
首先把实验图像缩放为800×800的图像。建立尺度为5的Shearlet系统。
为了检验本文算法的稳健性,本文实验中在原始图像中加入方差为5的高斯噪声。
为了验证本文方法的有效性,采用ICDAR2013数据集中的图像进行实验,并把实验结果与多种文档倾斜检测算法进行对比,这些算法包括:基于
表 1. 实验结果的比较
Table 1. Comparison of experimental results
| |||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
表 2. 分组实验平均误差的比较
Table 2. Comparison of average errors in grouping experiments
| ||||||||||||||||||||||||||||||||||||||||
图 6. 不同尺度下所有分量的能量对比。(a)第2尺度;(b)第3尺度;(c)第4尺度;(d)第5尺度
Fig. 6. Energy of all coefficients at different scales. (a) 2nd scale; (b) 3rd scale; (c) 4th scale; (d) 5th scale
图 8. 加噪声前后第5尺度分量的能量对比。(a)加噪声前;(b)加噪声后
Fig. 8. Comparison of the 5th scale component before and after adding noise. (a) Before adding noise; (b) after adding noise
Radon变换的检测算法、PCP算法[23]、e-PCP算法[24]以及PPA算法[7]。基于Radon变换的检测方法是对图像进行不同方向的投影,然后根据投影后的特征进行统计得到图像倾斜角度并进行校正。PCP(Piecewise Covering by Parallelograms)算法首先将文档图像分割成若干个不重叠的块,每个块对应于一个对象,如文本行、数字和表格等,然后用平行四边形覆盖这些块,最后根据这些平行四边形的倾斜角度来估计文档的倾斜角度。e-PCP(enhanced PCP)算法在PCP算法的基础上进行了改进,减少了计算量,提高了稳健性。PPA (Piecewise Painting Algorithm)算法首先分别在水平和垂直两个方向上对图像进行粉刷,在水平粉刷图上选择具有特定高度的区域,把这些区域的顶部、中部和底部上的点归为 3个单独的列表。同时在垂直粉刷图上选择具有特定宽度的区域,把这些区域的左侧、中部和右侧上的点归为另外3个单独的列表。根据这6个列表中的点,利用线性回归的方法绘制直线,然后通过投票策略选出最佳拟合直线,最后根据最佳拟合直线的倾斜角度来估计文档的倾斜角度。本文对比实验的结果如
为了进一步与同类算法进行比较并验证本文方法对不同种类倾斜文档图像检测的有效性,从ICDAR2013数据集中选择一批图像并分为4组:纯英文文档图像组、纯中文文档图像组、含图表的英文文档图像组、含图表的中文文档图像组。每组包括50幅图像。对这4组图像分别采用Radon算法、PCP算法、e-PCP算法、PPA算法以及本文方法进行检测,并比较了平均检测误差,实验结果如
分组实验结果表明,本文算法倾斜检测的平均误差在4个图像组中均优于其他4种算法。由于本文算法对中文文档的检测进行了优化,因此对中文文档图像检测的平均误差明显低于其他算法。同时,本文算法对中文文档图像检测的平均误差小于对英文文档图像检测的平均误差。
本文方法除了可以提升检测精度,还可以利用剪切波变换的局部性和方向性,很好地避免噪声的干扰。目前本文方法计算复杂度较高,下一步将研究基于剪切波变换的快速算法,进一步降低计算复杂度。
5 结论
提出了一种基于剪切波变换与多尺度分析的扫描文档图像倾斜检测算法。本文算法在频域中进行检测,对扫描文档图像进行剪切波变换将图像转换到频域,得到各个方向Shearlet分量的能量值,检测出能量最强的分量作为文本行的方向。利用剪切波变换的局部性和方向性,可以很好地避免噪声对文档图像内容的干扰,较准确地检测出文档图像的倾斜角度。实验结果表明,本文方法对于内容复杂的文档图像有较高的检测准确率,并且具有较好的抗噪声能力。
[2] 刘全金, 赵志敏, 张文杰. 一种基因芯片光学扫描图像倾斜校正方法研究[J]. 光学技术, 2017, 43(2): 108-113.
[3] 廖周, 邱琪, 张雨东. 分块拼接望远镜的数值仿真[J]. 光学学报, 2014, 34(7): 0722002.
[4] 张一凡. 基于Shearlet变换的图像降噪及文档图像倾斜校正研究[D]. 开封: 河南大学, 2016: 5- 20.
Zhang YF. Research of image denoising and document image skew correction based on Shearlet[D]. Kaifeng: Henan University, 2016: 5- 20.
[6] AhmadR, Rashid SF, Afzal MZ, et al. A novel skew detection and correction approach for scanned documents[C]//DAS 2016, 12th Intl IAPR Workshop on Document Analysis Systems, Santorini, Greece, 2016.
[10] Easley G R, Labate D, Colonna F. Shearlet-based total variation for denoising[J]. IEEE Transactions on Image Processing, 2009, 18(18): 260-268.
[13] 胡江华. 基于Shearlet变换方向性的图像消噪[D]. 西安: 西北大学, 2014: 14- 26.
Hu JH. Image denoising based on Shearlet transform directionality[D]. Xi'an:Northwest University, 2014: 14- 26.
[15] 吴一全, 陶飞翔. 改进投影梯度NMF的NSST域多光谱与全色图像融合[J]. 光学学报, 2015, 35(4): 0410005.
[16] 石满红, 刘卫. 一种新的平移不变Shearlet变换域图像去噪算法[J]. 红外技术, 2016, 38(1): 33-40.
[18] Easley GR, LabateD, Lim WQ. Optimally sparse image representations using shearlets[C]// Proceedings of IEEE International Conference on Signals, Systems and Computers, 2006: 974- 978.
[19] 张静贤. 现代汉字笔形论[C]. 第二届国际汉语教学讨论会论文选. 北京: 北京语言学院出版社, 1988: 162- 165.
Zhang JX. The theory of modern Chinese character pen shape[C]. The Selection of the 2nd International Chinese Teaching Symposium.Beijing: Beijing Language Institute Press, 1988: 162- 165.
[20] 冯志伟. 自然语言的计算机处理[J]. 中文信息, 1997( 4): 26- 27.
Feng ZW. Computer processing of natural language[J]. Chinese Information, 1997( 4): 26- 27.
[21] 范玲. 现行汉字笔画分布及特征研究[D]. 重庆: 西南大学, 2013: 17- 27.
FanL. Research on stroke characteristics and feature of Chinese characters[D]. Chongqing: Southwestern University, 2013: 17- 27.
[22] PapandreouA, GatosB, LouloudisG, et al. ICDAR 2013 document image skew estimation contest[C]// Proceedings of IEEE International Conference on Document Analysis and Recognition, 2013: 1444- 1448.
Article Outline
张新红, 张一凡, 张帆. 基于Shearlet变换的扫描文档图像倾斜检测[J]. 激光与光电子学进展, 2018, 55(1): 011007. Zhang Xinhong, Zhang Yifan, Zhang Fan. Skew Detection of Scanned Document Image Based on Shearlet Transform[J]. Laser & Optoelectronics Progress, 2018, 55(1): 011007.
PDF全文
