1 引言

茶小绿叶蝉是我国茶区分布最广、危害最重的一种茶树害虫,其成虫和若虫吸取芽叶汁液,会导致茶树芽叶生长迟缓、焦边、焦叶,造成茶叶减产^[1]。喷洒农药是目前茶园针对该虫害采取的主要防治手段^[2],但盲目使用化学农药会造成环境污染和农药残留。因此,及时准确地做好茶小绿叶蝉预测预报和动态掌握茶园虫情是做到适时用药、掌握适合的用药浓度和用药次数的基础性工作^[3]。传统的预报技术主要是在茶园中放置黄板,利用黄板诱集茶小绿叶蝉^[4],通过肉眼观察黄板上茶小绿叶蝉的数量来获取虫情信息。但诱虫板上昆虫的类型和数目众多,且茶小绿叶蝉体积小,给人工视觉观察带来极大困难。

机器视觉技术具有速度快、信息量大的特点,被广泛应用于农业信息化与病虫害检测^[5-8],但该技术在茶园虫害自动识别领域的研究还未见报道。本文将机器视觉技术引入到茶小绿叶蝉的自动识别领域,采用简单线性迭代聚类(SLIC)超像素分割算法并结合具有噪声的基于密度的空间聚类(DBSCAN)^[9]实现诱虫板图像的分割,针对复杂环境下茶小绿叶蝉易漏分割的问题,采用多聚类图像融合方法获取目标图像,提取分割后目标图像的L、a、b(L表示照度,相当于亮度,L取值为0~100;a表示从绿色至红色的范围,a取值为 -128~+127;b表示从蓝色至黄色的范围,b取值为-128~+127)均值和标准差特征,最后利用最小二乘支持向量机(LSSVM)构建分类器对茶园中的小绿叶蝉进行识别。

茶小绿叶蝉数量和其他害虫数量不均衡导致的分类超平面偏移是影响茶小绿叶蝉识别精度的最主要原因^[10]。本文利用改进的合成少数类过采样技术(SMOTE)方法生成少数茶小绿叶蝉类样本,并利用Kennard-Stone(KS)算法对多数类样本(其他昆虫)进行筛选,以减少多数类样本之间的冗余信息,缩减训练样本中正、负样本之间的数量差异。实验结果表明,改进后的方法明显提高了茶小绿叶蝉的识别率,为分析不同时期茶小绿叶蝉的识别数量和预测虫害的实际程度提供理论依据。

2 材料与方法

2.1 图像获取

本研究所用图片均是采用Nikond Digital D5200彩色照相机(分辨率为4000 pixel×3000 pixel)在江苏省无锡市茶叶研究所管理的茶园中于自然环境下拍摄的。将黄板放置在茶园的不同区域,在虫害高发期(2016年6月21—27日)每两天拍摄一次。为获取清晰的图像,消除运动模糊的干扰,拍摄时将黄板固定,以减少抖动;拍摄角度多样,拍摄距离范围为10~50 cm。部分实验图片如图1所示。

图 1. 部分实验图片

Fig. 1. Partial experimental pictures

下载图片 查看所有图片

2.2 基于SLIC超像素分割和多DBSCAN聚类图像融合的分割方法

超像素方法对颜色渐变区域能准确地检测到边缘,并且对处理随机不确定场景图像具有很强的稳键性^[11-14]。SLIC算法相比其他超像素分割算法具有边缘贴合度高、数量可控的优点^[15]。因此本研究使用SLIC算法对实验图片进行初分割,将背景和不同种类的害虫准确分离,再使用DBSCAN聚类算法^[16]进行二次聚类。但聚类时阈值过小将导致聚类后的图像包含过多的背景信息,阈值过大则会使一些茶小绿叶蝉聚类成为背景而导致漏分割。因此本研究融合了阈值在两种不同取值下的聚类结果,保证了分割的准确性和完整性,从而得到去除背景后的目标图像。算法的具体实现过程如下:

1) 初始化聚类中心。假设图像有N个像素点,预先设定分割出K个超像素。设间距S=N/K,选择K个初始种子(像素点)。为了将害虫之间相互分离,应尽可能地减少计算时间,这里设置K为500。

2) 相似性度量。在颜色空间(CIELAB)提取N个像素点,并在X-Y坐标系中提取五维特征向量c_i=(l_i,a_i,b_i,x_i,y_i)。对五维特征向量构造相似性度量,定义如下:

d(i,k)=dlab+mSdxy,(1)dlab=(lk-li)2+(ak-ai)2+(bk-bi)2,(2)dxy=(xk-xi)2+(yk-yi)2,(3)

式中m∈[1,20]为平衡参数,是平衡颜色值与空间信息在相似度度量中的比重,本研究中m的值设置为10;d_lab、d_xy为像素点之间的色差和空间距离;d(i,k)为第i个像素点与第k个聚类中心之间的相似度;l_i、a_i、b_i分别为Lab空间中第i个像素点的L分量、a分量、b分量;l_k、a_k、b_k分别为Lab空间中第k个聚类中心的L分量、a分量、b分量;x_i、y_i分别为第i个像素点在X-Y坐标系上的坐标值;x_k、y_k分别为第k个聚类中心在X-Y坐标系上的坐标值。

3) 更迭聚类中心。假定在X-Y平面上聚类中心的关联像素点位于其2S×2S区域内,则所有像素点被关联到最近的聚类中心后,新聚类中心更改为同类别中所有像素点五维向量的平均值。重复此过程,直到收敛,停止迭代。将聚类中心标签赋给像素点,形成K个超像素。

4) DBSCAN聚类。如果两个超像素之间相连,就根据(2)式计算两者之间的颜色距离d_lab。当d_lab小于阈值时,将两个超像素聚为一类并更新像素点的类别标签。通过试验可知:当阈值设置为8时,可以得到较完整的目标图像I₁;当阈值设置为12时,可以去除掉绝大多数背景,得到较为准确的目标图像I₂。

5) 多聚类图像融合。对I₁中的所有连通域进行检测得到标记后的子区域,遍历I₁中所有的子区域A_i,若子区域与I₂没有相交的部分,则将该子区域添加到I₂中,即I₁=[A₁,A₂,…,A_i,…,A_n](n为I₁中连通域的个数),如果A_i∩I₂=⌀,则I₂=A_i+I₂。重复此过程,就得到融合后的目标图像。该目标图像去除了背景信息,仅包含含虫区域的信息。

2.3 特征提取

茶小绿叶蝉具有不同的大小和形状,在黄板上的形态各异,并会与一些昆虫彼此重叠,因此难以通过形状特征来识别它们。通过观察发现,茶小绿叶蝉身体的颜色主要呈现为绿色,但颜色的深浅会随着生长阶段和光照的强弱而发生变化。Lab颜色空间可以准确描述颜色深浅以及亮度的变化,体现色相间的差异。李冠林等^[17]利用a、b层二维数据空间的颜色差异,综合运用K_means聚类和图像形态学方法对葡萄病害彩色图像实现了较准确的分割。因此本研究将分别提取目标图像中各子区域所有像素点的L、a、b均值及其对应标准差(σ_L、σ_a、σ_b)用于茶小绿叶蝉的识别。图2给出了茶小绿叶蝉区域和其他害虫区域的特征差异盒图。从图2中可以看出,茶小绿叶蝉和其他害虫在这些特征上基本能够相互分离,在L、a、b、和σ_a这四个特征上表现得尤为明显。说明利用六个颜色特征可以较好地识别茶小绿叶蝉。

图 2. 茶小绿叶蝉区域和其他害虫区域的特征值盒图

Fig. 2. Box-plot of color features for Empoasca flavescens and other insects

下载图片 查看所有图片

2.4 基于改进的SMOTE算法和KS算法相结合的茶小绿叶蝉识别

支持向量机是模式识别和机器学习的一种重要的分类方法^[18]。LSSVM将求解二次规划问题转化为求解线性方程组问题,提高了求解问题的速度和收敛精确度^[19],是支持向量机的一种改进。本研究利用LSSVM算法,将目标图片中各子区域的六个特征值(L、a、b、σ_L、σ_a、σ_b)作为输入向量建立分类模型对茶小绿叶蝉进行识别,核函数为径向基函数。该算法包括两个主要参数,即c和σ,前者是正则化参数,后者表示核函数的径向宽度,使用十折交叉验证法对这两个参数进行优化。

在目标图像中,茶小绿叶蝉的样本个数较少,而其他昆虫的样本个数较多,使得分类超平面向少数类样本偏移,并最终导致对茶小绿叶蝉的识别精度较低。为了解决分类问题中数据不均衡的问题,基于样本均衡化思想的SMOTE被广泛运用,以提高不均衡样本条件下分类器的分类精度^[20-21]。

传统的SMOTE算法是利用全体少数类样本进行样本生成的,并最终达到样本均衡。由于最终决定分类结果的是分类面附近的少量样本,因此SMOTE的合成机制会产生部分冗余样本,存在不合理的地方。衣柏衡等^[22]利用SMOTE算法对原始分类器的错分样本进行生成,克服了传统算法盲目生成少数类样本的缺陷。本研究采用该方法对错分样本进行人工生成。与此同时,为了减少多数类样本的冗余性,引入KS算法来选择具有代表性的多数类样本,以改善不同类别样本的均衡性^[23],具体算法设计如下:

1) 设原始训练集T={T_p,T_n},其中T_p为正类样本集且T_p={(x₁,1),(x₂,1),…,(x_m,1)},T_n为负类样本集且T_n={(x_m+1,-1),(x_m+2,-1),…,(x_t,-1)}。

2) 用LSSVM对T进行分类,并用原始数据T对模型进行验证,将错分样本加入集合P_mis中。

3) 判断P_mis是否为空集。若是,结束算法;若不是,令集合S=T,P_MIS=P_mis,进入下一步。

4) 用SMOTE算法通过表达式x_new=x_i+rand(0,1)×(x_i-x_j)对P_MIS中每个样本人工合成一次,将合成的新样本x_new添加到集合S中。其中,x_i为P_MIS中的样本,x_j为从x_i的k个近邻同类样本中随机选取的一个样本,rand(0,1)表示取0~1之间的随机数。

5) 用LSSVM模型对S进行分类,并用原始数据T对模型进行验证,找出所有的错分样本,更新集合P_mis,且P_MIS= PMIS,Pmis。

6) 重复4)和5),直到集合P_mis不再产生新的错分样本或P_mis为空集。

7) 以样本间的欧氏距离为基础,利用KS算法将选择的样本与剩余样本之间的欧氏距离最大化,筛选出分布范围广泛且代表性强的样本。从T_n中选出具有代表性的样本T_n1,与T_p、P_MIS构成新的训练集T₁,即T₁={T_n1,T_p,P_MIS}。

8) 使用LSSVM对新的训练集T₁进行建模。

总体算法流程如图3所示。

图 3. 茶小绿叶蝉识别流程

Fig. 3. Process of Empoasca flavescens recognition

下载图片 查看所有图片

2.5 精确度测量标准

对于均衡的数据集,通常将整体分类误差作为模型性能的评估指标。但对于非均衡数据集,整体误差难以反映分类器在少数类样本中的表现。为了评价分类器对非均衡数据集的分类效果,引入少数类样本查全率TPR、多数类样本查全率TNR、少数类样本查准率Precision、综合G-mean、少数类样本F-measure^[22]以及整体识别精度Percent_test来多角度评价分类性能,这些指标的值越大,分类效果越优。

3 结果与讨论

3.1 所提分割算法与其他分割算法的比较

图4为传统Ostu算法以及K_means聚类算法的分割比较结果。原始图像如图4(a)所示,图中红圈标记的区域为要识别的茶小绿叶蝉。图4(b)为利用Ostu 算法求得自适应阈值对图像进行分割的结果。从图4(b)中可以看出,当光照比较强烈时,Ostu算法不仅不能分割出茶小绿叶蝉区域,而且还会因为分割不准确而导致目标区域也包含了很多背景。图4(c)为基于K_means聚类的分割结果,一类为背景,一类为目标区域。从图4(c)中可以看出,分割出的区域包含较少的背景信息,但还是存在茶小绿叶蝉被漏分割的情况。图5为结合超像素分割和DBSCAN聚类的分割结果。从图5(a)、(b)可以看出,在进行聚类时,阈值的不同取值会使聚类结果产生较大差异。图5(a)是阈值为8时的聚类结果,虽然能保证目标区域都能被分割出来,但包含了过多的背景信息,难以保证特征提取的有效性。图5(b)是阈值为12时的分割结果,可以看出分割出的目标区域较为准确,仅包含有少量的背景。但是在光照比较强烈时,会出现某些茶小绿叶蝉区域被漏分割的情况。当对两种不同阈值所得到的分割结果进行融合时,图5(c)所示的多聚类融合图像既能保证目标区域分割的准确性,又能使易被漏分割的茶小绿叶蝉区域被分割出来。

表1为该三种分割算法对151幅图像进行分割后得到的目标区域中茶小绿叶蝉的个数。从表1中可以看出,所提多聚类图像融合的方法能有效避免茶小绿叶蝉被漏分割,为后续的目标识别奠定了基础。

图 4. 不同算法的分割结果。(a)原图;(b)传统Ostu 算法;(c) K_means聚类算法

Fig. 4. Segmentation results using different algorithms. (a) Original image; (b) traditional Ostu algorithm; (c) K_means clustering algorithm

下载图片 查看所有图片

图 5. DBSCAN聚类结果。(a)阈值取8;(b)阈值取12;(c)多聚类融合图像

Fig. 5. DBSCAN clustering results. (a) Setting threshold to 8; (b) setting threshold to 12; (c) clustering fusion result

下载图片 查看所有图片

3.2 茶小绿叶蝉识别效果的评价

为验证所提方法的有效性,对不同天气和不同光照强度下拍摄的151幅图像进行试验。从这151幅图中分割出的目标图像中提取了200个茶小绿叶蝉以及3000个其他类害虫,并从中各随机抽取1/2(茶小绿叶蝉100个,其他类害虫1500个)作为训练样本,剩余的作为测试样本。用LSSVM对训练样本进行训练,将训练好的模型对茶小绿叶蝉进行识别能力检测,随机抽取不同的训练样本和测试样本共10次,分别建立识别模型,得到测试样本的平均识别结果如表2所示。其中,整体识别精度和TNR分别高达98.81%和99.45%,而茶小绿叶蝉的查全率和查准率分别为86.0%和91.29%,同时两个综合指标G-mean和F-measure分别为92.47%和88.53%。这是因为相比其他害虫来说,茶小绿叶蝉的个数非常少,训练LSSVM模型的样本数量不均衡导致分类超平面偏移。即使茶小绿叶蝉误识别的个数较多,整体识别精度仍会处于一个很高的水平,而其他的精度测量标准却表现得不太理想。

因此,使用改进的SMOTE算法对错分样本进行4倍生成,以提高关键性样本(分类超平面附近样本)的识别精度。从表2可以看出,少数类样本的TPR以及综合指标G-mean、F-measure分别为98.2%、98.63%和92.56%,相比于未使用SMOTE算法有非常明显的提升,但同时TNR和Precision的值有所下降。

为解决TNR和Precision这两个指标下降的问题,在改进SMOTE算法的基础上,利用KS算法选取具有代表性的多数类样本来减少样本之间的冗余信息以及缩小与少数类之间的数量差异。从表2可以看出,用KS算法选择1000个多数类样本后,Precision由87.54%提升到91.76%,F-measure由92.56%提升到94.54%。可见,所提算法解决了数据集分类不均衡时,超平面偏移使少数类样本识别率以及评价分类器性能指标较低的问题。

图6所示为不同算法选择不同个数样本的精度变化情况。图6(a)给出了KS算法选择不同个数的多数类样本时各精度指标的变化。由图6(a)可以看出,当选择个数从600增加到1400时,Percent_test、TNR、Precision以及F-measure这四项指标的精度值先上升后下降,在选择个数为1000时达到最大值;总体识别精度Percent_test和TNR变化得较为平缓,Precision和F-measure变化得较为剧烈;TPR和G-mean这两项指标精度值先降后升,在选择个数为1000时达到最小值。Percent_test、TNR、Precision的变化趋势从侧面验证了多数类样本中包含有冗余信息,并且KS算法能够有效减少冗余信息。当选择样本数为1000时,效果最为显著,随着选择样本数量减少,信息冗余性降低。但因为选择的样本数较少而无法全面代表多数类样本,随着选择样本数增加,冗余信息也随之增加。在上述两种情形中都获取不到较为完整和有效的多数类样本的信息,同时这两种情形都会导致TPR和G-mean在选择的样本数为1000时反而较小。

随机选择不同个数的多数类样本时各精度指标的变化如图6(b)所示。当选择个数从600变化到1400时,Percent_test、TNR、Precision以及F-measure的精度逐渐增大,TPR略有下降的趋势,G-mean无明显变化。这是因为随机选择只是简单地改变了训练样本数量间的差异,选择的样本无法代表全部的样本信息,而随着选择样本个数增加,其包含的有用信息越多。因此Percent_test、TNR、Precision以及F-measure呈现逐步上升的趋势,而选择的多数类样本数越少,分类超平面附近的样本就更容易被分类成少数类样本,导致TPR的值随选择样本数增加而略有下降的趋势。

图 6. 不同算法精度与选择样本个数的关系。(a) KS算法;(b)随机选择

Fig. 6. Accuracy versus number of selecting samples for different algorithms. (a) KS algorithm; (b) random selection

下载图片 查看所有图片

茶小绿叶蝉在不同天气和光强下的部分识别结果如图7所示,图中的方框、圆圈分别表示茶小绿叶蝉被正确识别和漏识别,方框和圆圈的组合表示茶小绿叶蝉被误识别。图7(a)显示了茶小绿叶蝉被正确识别的情况。图7(b)显示了当光线较暗时某些阴影部分被错误识别的情况。图7(c)显示了在光照较强时,因茶小绿叶蝉的翅膀呈白色遮挡了其身体的颜色而导致的漏识别的情况。因此,如何减少和消除复杂环境下茶小绿叶蝉的错误识别和漏识别还有待进一步研究。

4 结论

用机器视觉的方法实现了茶园开放环境下黄板上茶小绿叶蝉的识别。由于光照条件和背景具有不确定性,阈值分割的方法并不能达到理想的分割效果。在超像素分割的基础上引入多聚类图像融合的

图 7. 部分识别结果。(a)正确识别;(b)错误识别;(c)漏识别

Fig. 7. Partial recognition results. (a) Correct recognition; (b) misrecognition; (c) leakage recognition

下载图片 查看所有图片

分割算法可有效解决复杂环境下茶小绿叶蝉被漏分割的问题,同时保证了目标图像分割的准确性。在用LSSVM进行识别时,针对茶小绿叶蝉和其他害虫数量不均衡的问题,采用改进SMOTE算法和KS算法相结合的方法提高了茶小绿叶蝉的识别准确率,整体精度为99.30%,茶小绿叶蝉的查准率为91.76%。但是该识别方法也存在少量错误识别和漏识别的情况,因此寻找稳健性更高的特征以提高茶园中茶小绿叶蝉的识别精度将是下一步研究的内容。