1 引言

对稻田常见害虫种类进行快速准确的鉴别,是预测害虫种群数量和有效治理水稻害虫危害的前提和基础^[1]。随着计算机技术、图像处理技术和模式识别技术的飞速发展,进行稻田害虫图像的自动或半自动快速识别已成为可能,但总体而言,基于机器视觉的昆虫自动识别研究仍存在很多不足,作为模式识别基础的害虫图像数据库信息不够丰富。害虫图像数据库的建立是图像自动模式识别的关键,害虫特征能否准确地提取,以及特征提取容易与否,在很大程度上取决于所采集图像的质量^[2]。

为获得高质量的图像,针对不同害虫对象常采用不同的图像采集系统,对图像采集时背景、照明等方面提出的要求也越来越高^[3]。对个体较大的昆虫进行图像采集时,一般使用数码相机或数字摄像机,而对于体型较小的昆虫,则一般利用显微摄影装置^[4]。Larios等^[5]采用高性能立体显微镜来获取体长约为5.2 mm的石蝇幼虫的图像,通过在显微镜上使用NA=0.32物镜来增加视野、景深和工作距离。李文勇等^[6]针对多姿态的害虫采用日本尼康公司生产的D90数码相机进行采集,立柱高度固定为45 cm时,拍照效果最佳。但是,这些采集方法都存在物体平面信息的局限性,在高放大倍率下,图像采集系统的景深较小。由于水稻害虫较为立体,表面不在一个平面,而使用显微镜采集害虫图像时聚焦面单一,立体害虫样本图像信息不能通过单一图像完全呈现。

多聚焦图像融合是指将两幅或多幅不同聚焦的图像进行融合处理,以克服单一图像的不足。近年来,该技术已广泛地应用于遥感^[7]、3D显示^[8-9]和医学图像^[10]等领域。例如:李勤等^[11]将图像融合算法用于细胞荧光图像采集,以降低模糊度,最大限度地发掘细胞图像的信息资源;牛群遥等^[12]采用基于区域清晰度的小波图像融合方法实现ROI多聚焦图像融合,以克服采用斜入射显微光路进行小孔检测时因景深有限而无法获取全景聚焦图像的问题。图像融合已经成为景深有限时提高图像质量的有效手段,但尚未在水稻害虫采集中得到充分利用。本文旨在将基于小波变换的景深扩展应用于水稻害虫采集系统,找到提高水稻害虫图像采集质量的有效策略。

2 多聚焦图像采集系统

水稻害虫识别中,首先要进行图像采集。系统采集对象为褐飞虱[Nilaparvata lugens(Stal)]、稻纵卷叶螟(Cnaphalocrocis medinalis)、二化螟(Chilo suppressalis)等水稻害虫,体长大多小于5 mm, 如灰飞虱体长2 mm左右,高1 mm左右,需采用显微系统进行图像采集。害虫形态与一般平面图像不同,特征分布在立体表面。观察时,对害虫某截面聚焦后,只有在聚焦截面前后景深范围内图像才是清晰的,景深外的部分则是模糊的。针对害虫立体性引起的图像模糊问题,本文采用Z轴带电机自动控制的体式显微系统,通过改变物距,获取不同聚焦截面的害虫图像,将多张不同聚焦范围图像进行融合,从而获得高质量图像,然后再进行一般的图像预处理步骤。流程如图1所示:首先对采集的多幅图像进行融合,再进行聚类方法的背景分割、灰度化,对部分受到环境噪声干扰的图像进行小波去噪,最后提取轮廓特征、颜色特征和纹理特征。

水稻害虫图像采集系统由体式显微镜、控制Z轴电机和图像采集处理所用的计算机3部分组成。系统采用了OLMPUS SZX16高级研究体式显微镜,结合同轴落射照明装置,显微镜的放大倍数最大可达115,空间分辨率为900 line/mm,可以通过改变镜体变焦倍率改变总放大率,调焦最大行程为80 mm。图像传感器CCD安装在显微镜三目镜顶部,分辨率为2592 pixel×1944 pixel,通过USB将采集的8位JPG格式图像传输到电脑。电机可以控制整个镜架Z轴方向上下移动,通过Z轴的移动来改变聚焦的位置,采集一系列图像,用于景深扩展。

图 1. 水稻害虫图像预处理流程图

Fig. 1. Flow chart of image preprocessing for rice pests

下载图片 查看所有图片

3 基于小波变换的图像融合

为了扩大景深范围,对多张不同聚焦截面的图像进行图像融合。目前频率域的融合方法有基于金字塔的图像融合方法^[13]、基于DCT变换的图像融合方法^[14]和基于小波变换的图像融合方法^[15],其中小波变换具有良好的多分辨率和多尺度特性^[16]。本文选用基于小波变化的图像融合,在不同的频域运用不同的融合规则,得到合成图像的多分辨率分解,从而在合成图像中保留原图像在不同频域的特征。

图像融合的整个过程按如下模型来描述:

R=W-1[F(W{IK})],(1)

式中I_K表示第K幅图像,W表示小波变换算子,F表示融合算子,W^-1表示小波变换逆算子,R表示最后得到的融合图像。

由于平均与选择的方法可以有效保留边缘特征,相关系数与平均梯度的图像融合方法可以实现与人的视觉特性更为接近的融合图像,故选择平均选择和相关系数的方法,具体步骤如下。

第一步,对原始图像进行预处理和图像配准。预处理包括图像几何校正、滤波、增强等。该显微系统拍摄的图片通常无过多噪声,不作滤波处理。图像配准旨在把待融合的所有图像置于统一的坐标系内,使其大小、尺寸和位置等严格一致。

第二步,对所有图像的各个颜色分量进行3层小波分解,得到低频和高频分量。对低频和高频分量采用不同的融合规则进行融合。以图像A和B为例,低频部分可采用相关系数为阈值进行低频信息的融合,通常当相关系数大于0.75时,认为两个变量有很强的线性相关性^[17]。高频的融合规则为

HFj,k(m,n)=HAj,k(m,n),A[HAj,k(m,n)]>A[HBj,k(m,n)]HBj,k(m,n),A[HAj,k(m,n)]≤A[HBj,k(m,n)],(2)

式中 Hj,kF(m,n)、 Hj,kA(m,n)和 Hj,kB(m,n)为融合图像F、图像A和图像B在j层k方向的高频自带系数,A[ Hj,kA(m,n)]A[ Hj,kB(m,n)]为点(m,n)的领域平均梯度。

第三步,进行小波逆变换,得到融合图像。

以融合后图像作为标准图库的图像,后续识别时对其进行其他处理和特征提取等步骤。

4 实验与结果分析

4.1 图像融合实验与分析

4.1.1 图像融合实验

以褐飞虱、小菜蛾(Plutella xylostella)、稻棘缘(Cletus punctiger Dallas)和二化螟为实验对象,对图像融合效果开展实验与分析。Z轴位移量与聚焦截面移动量相等,故Z轴位移量等于被测害虫的高度,其采集时对应的步进位移根据害虫的高度等分。对于采集的5张图像进行融合时,4种害虫对应的实验条件如表1所示。

以褐飞虱为例,采集不同聚焦截面的4张图像进行融合,结果如图2所示。通过对比可以明显看出,直接采集的图像存在局部模糊的现象,而融合后的图像局部细节都更加清晰。其他3种害虫图像采集情况与褐飞虱类同。

4.1.2 实验结果分析

评价融合后图像质量的客观参数有图像信息熵、平均梯度、标准差等,采用图像熵与特征角点检测分析图像融合对害虫图像分辨率的影响,评价特征是否明显和信息覆盖率。

图 2. 褐飞虱步进采集图像(a)~(e)和融合图像(f)。步进位移量:(a) 0 mm;(b) 0.24 mm;(c) 0.48 mm;(d) 0.72 mm;(e) 0.96 mm

Fig. 2. Step image of brown planthopper (a)-(e) and fusion image (f). Step displacement: (a) 0 mm; (b) 0.24 mm; (c) 0.48 mm; (d) 0.72 mm; (e) 0.96 mm

下载图片 查看所有图片

通过Harris角点检测的结果可以比较合成的效果,图像的二维熵可以反映图像灰度分布的空间特征,从而描述图像灰度值的分布。通过Harris角点检测和图像信息熵的结果可以比较图像质量的差异。

以4.1.1节中采集的4种害虫的融合和未融合图像作为实验对象,采用7×7的矩阵高斯窗口,常量系数值取0.6,响应阈值因子为0.001,进行局部非极大值抑制,角点提取结果如表2所示,角点分布情况如图3所示,图像熵结果如表3所示。

结果表明,对于同一害虫在其他参数不变只改

变聚焦范围时,合成图像的特征角点数量远大于未合成前,图像熵值高于未融合图像的图像熵值。通过对比合成和未合成的图像也可以明显地看出,合成后图像特征更加鲜明,没有局部现象。对比图3可以发现,未合成的图像只能获取部分特征点,并且分布集中,只有景深范围内才能得到少量的特征点,而多聚焦融合的图像,可以全面检测到各部位特征点。针对褐飞虱、小菜蛾、二化螟和稻棘缘蝽4种水稻害虫,每种害虫取10个样本进行重复实验,信息熵值和角点检测的数量相较未融合图像均有一定提升。

4.2 图像最佳融合策略分析

4.2.1 同一倍率下的图像融合策略分析

同一倍率下存在最适步进位移,即采集多张图像时每一个聚焦截面之间的间距。为分析采集时步进量对害虫图像分辨率的影响,找到最适步进位移,选择不同害虫进行合成实验。

以褐飞虱为例,在两倍放大倍率下进行步进位移量0.04~0.44 mm之间的图像采集实验。图4中的步进位移量分别为0.12,0.24,0.32,0.44 mm,对应步数分别为9、5、4、3步。可以看出:当步进位移量为0.12,0.24 mm时,图像清晰无重影;当步进位移量为0.32 mm时重影明显,图像模糊;当步进位移量为0.44 mm时,图像模糊程度严重,横向偏移影响大。由此可知:当步进位移量大于0.32 mm时,图像重合度低,合成后产生重影,图像模糊;当步进位移量小于0.24 mm时,融合后的图像清晰。

图 3. 褐飞虱角点检测结果图

Fig. 3. Corner detection result of brown planthopper

下载图片 查看所有图片

图 4. 步进合成图像。步进位移量:(a)0.12 mm;(b) 0.24 mm;(c) 0.32 mm;(d) 0.44 mm

Fig. 4. Composite image with step. Step displacement: (a) 0.12 mm; (b) 0.24 mm; (c) 0.32 mm; (d) 0.44 mm

下载图片 查看所有图片

步进位移量影响图像质量,主要原因是调整聚焦引起的横向偏移和景深范围不合适。显微系统的景深远小于害虫高度,步进位移量过大,信息覆盖不全,降低了图像的清晰度;步进位移量过小,合成张数过多,由微小偏移引起的冗余数据过多也会降低图像质量。因此,在采集图像时,只要找到合适的步进位移进行融合,就可以大幅提高图像采集质量。

同样,由不同步进量合成的图像依次进行图像熵计算与特征角点检测分析。图5所示为褐飞虱步进量在0.04~0.44 mm范围合成图像的分析结果。

图5(a)为图像熵与步进量的曲线,可以得出:当步进量小于0.2 mm时,图像熵在较低的范围;当步进量在0.20~0.32 mm之间时,图像熵稳定在较高的范围,图像较为清晰;当步进量大于0.32 mm时,图像熵不稳定,开始下降。图5(b)为步数曲线,步数根据被测害虫的高度和步进量决定,通常为N=L/z+1其中L为被测害虫的高度(mm),z为步进量(mm)。图5(c)为融合曲线的Harris角点检测结果,在大于0.24 mm后明显不稳定,并开始减少。综上,根据图像熵和角点数可以找到一个合适的步进量使得图像最为清晰,两倍放大倍率下褐飞虱的最适步进位移为0.24 mm,图像清晰,且无局部模糊。

图 5. 褐飞虱不同步进量的合成图像分析。(a)图像熵曲线;(b)步数曲线;(c)角点个数曲线

Fig. 5. Analysis of composite image with different steps for brown planthopper.(a) Image entropy curve; (b) step number curve; (c) corners number curve

下载图片 查看所有图片

4.2.2 不同倍率下的图像融合策略分析

不同镜体变焦倍率所对应的最适步位移不同。为了寻找放大倍率与最适步进位移的关系,分别对放大倍率为1.6、1.25、1、0.8下的小菜蛾样本进行不同步进位移采集实验和结果分析。如图6所示,随着步进位移的增大,图像熵和角点数都会在一个较大步进位移后急剧下降,图像熵和角点数稳定在较高范围所对应的步进位移范围各不相同,但是都可以找到在这个稳定范围内的最大步进位移,即最适步进位移。通过实验可知,1.6倍对应的最适步进位移为0.25 mm,1.25倍对应的最适步进位移为0.29 mm,1倍对应的最适步进位移为0.34 mm,0.8倍对应的最适步进位移为0.38 mm。

图 6. 不同倍率的合成图像分析。(a)图像熵差值曲线;(b)角点数曲线

Fig. 6. Analysis of composite image under different magnifications.(a) Difference curve of image entropy; (b) corners number curve

下载图片 查看所有图片

由不同放大倍率下对应的最适步进位移可以发现,随着物镜放大倍率的增加,最适步进位移不断减小。为了寻找不同放大倍率下所对应的最适步进位移,对褐飞虱、小菜蛾、二化螟和稻棘缘蝽4种水稻害虫,每种害虫各10个样本,每个样本选取不同角度重复实验5次,得到放大倍率在0.8~2下的最适步进量,取多次实验平均最适步进位移与放大倍率关系进行拟合(图7),得到拟合曲线:

z=1/(6.0154×M-1.1315)+0.1249,(3)

式中z为最适步进位移(mm),M为放大倍率。根据(3)式找到的最适步进位移就可以确定合成步数。

图 7. 放大倍率-最适步进位移曲线

Fig. 7. Magnification-optimum carry shift curve

下载图片 查看所有图片

验证实验显示,由(3)式得到的最适步进量采集图像,其图像均特征明显,没有出现偏移、模糊等情况,后期的害虫识别效果好。对于不同高度、不同大小的样本,该方法均能找到最适步进位移。

5 结论

对基于小波融合的水稻害虫图像采集系统的硬件组成和软件设计进行了详细介绍,对立体害虫图像采集进行实验与分析,得到如下结论:1) 基于小波变换的图像融合可以扩展景深,捕捉立体物体清晰图像;2) 基于不同的步进量所融合成的图像质量不同,基于图像熵与Harris角点检测和图像质量,步进位移量的选择以(3)式最为合适。

利用本文系统采集到的图像质量能够满足水稻害虫实时分类系统的要求。在利用其他图像显微系统采集图像时,可以利用类似的方法找到合适步进位移以提高图像质量。