库尔勒香梨表面损伤的高光谱图像检测方法 
下载： 1152次
1 引言
库尔勒香梨是中国新疆地区重要的水果产品,在当地经济发展和社会生活中具有独特地位和重要影响[1]。然而,香梨从果园运至市场需要经历采摘、运输、分级、包装等一系列的处理环节,在这些环节中香梨不可避免地发生表面损伤,影响香梨的品质和经济价值。
目前,水果表面损伤检测领域出现了许多新的技术和方法,如超声波、X射线、伽马射线、磁共振、荧光、光反射、光透射等[2]。高光谱成像技术具有成本低、检测速度快和无损等优点,得到了越来越广泛的应用。张萌等[3]利用400~1000 nm波段的高光谱成像技术,对苹果表面损伤进行快速、无损检测,检测准确率为96.67%。Li等[4]利用短波近红外对桃子进行高光谱成像,并提出一种基于形态梯度重建和标记提取的改进分水岭分割算法,对桃子的高光谱图像进行分割,实现了桃子表面损伤的高精度识别。Fan等[5]分别采用推扫式高光谱成像系统和基于液晶可调谐滤波器的高光谱成像系统采集了蓝莓的高光谱图像,然后采用特征选择法、偏最小二乘判别分析法(PLS-DA)和支持向量机(SVM)对两种光谱技术的光谱数据进行分析,并在数据层、特征层和决策层对3种数据进行融合,提高了蓝莓表面损伤检测的精度。Lü等[6]采集了猕猴桃的高光谱图像,采用主成分分析法,从600~1000 nm的数据中提取特征图像,并采用平行六面体分类法从图像中提取损伤区域,其检测误差为14.5%。
上述研究表明,高光谱图像分析技术是一种可靠的水果表面损伤检测技术。然而,与苹果、蓝莓等水果相比,利用高光谱图像分析技术对梨进行检测的研究还比较少[7-8]。本文提出一种基于高光谱图像的库尔勒香梨表面损伤检测方法,研究了高光谱图像的掩模处理、比值增强、特征波长提取以及损伤图像分割方法。
2 材料与方法
2.1 实验样本
实验样本为新疆库尔勒香梨,购买于浙江省杭州市临安区农贸市场。为保证研究的可靠性,人工挑选同一批次的没有明显表面缺陷,且形状、大小相似,颜色分布均匀的香梨共80个。将80个香梨样本随机分成2组,每组40个。利用硬纸板手工制作一个简易的空心圆柱体,高度为60 cm,直径约为7 cm;将其中的一组香梨依次从空心圆柱体的顶部放下,让其自由落地,使香梨的赤道位置形成轻微损伤。对表面损伤处进行标记,作为损伤香梨样本。
2.2 高光谱图像采集系统
高光谱图像采集单元为Surface Optics Crop.生产的SOC710-VP高光谱成像仪,具有新式内置扫描设计及12位动态范围的面阵成像CCD,能够获得400~1000 nm波长范围的高质量数据,光谱分辨率为4.68 nm(128个波长)。为了减少周围光线的影响,将SOC710VP高光谱成像仪与库尔勒香梨样品均放置于安洲科技生产的暗箱内,如
2.3 光谱校正与预处理
在采集高光谱图像的同时获取暗电流及参考板数据,在高光谱图像调试正常的条件下,利用反射率为99%的标准白板采集白色标定图Iz;然后盖住相机镜头,并关闭卤素灯,将采集图像作为反射率接近0%的黑色标定图像Iy;最后按(1)式对生成的库尔勒香梨高光谱图像进行黑白校正。
式中:Ix为相机拍摄的香梨原始高光谱图像;R为黑白校正后的结果。
由于光谱数据会受到谱线平移、高频随机噪声和光散射等因素的干扰,在光谱分析之前需要对原始光谱数据进行预处理以去除噪声,提高模型预测效果。采用平滑算法(SG)对光谱数据进行预处理[9],选择多项式为2项,平滑窗口大小为7,对原始光谱进行去噪处理。
2.4 主成分分析
主成分分析(PCA)是指利用降维的方法对目标的多个性能指标进行化简,得到较少的几个综合性指标,也称为主成分。化简后的几个主成分能够表示原始数据的绝大部分信息,而且没有冗余,使问题得到简化,目标特性的表示更为科学。
PCA的实现思路是利用线性拟合的方法,将高维数据投影到几个轴上,使得投影系数最大。如:二变量PCA过程的本质就是一个线性回归的过程,将两个维度的数据进行拟合,形成一根直线,即
式中:x1和x2为样本的两个属性变量;a1和a2为载荷;输出的bPC值则为样本集的主成分[7,10]。
2.5 基于比值的光谱图像增强
比值法的运算过程比较简单,就是把一幅图像中相同像素的灰度值进行除法运算,再利用除法结果生成一幅新的图像。比值法的表达式为
式中:GBV表示像素的灰度值;(i,j)为图像中像素的坐标;m和n分别表示两幅不同的图像;r表示结果。为了避免溢出,在(3)式的计算过程中,如果分母为0,则直接将比值的结果赋值为0。
比值法通常被应用于高光谱图像的图像增强中,可以弥补单波段光谱图像的信息不足,避免样本表面不平整造成的光线反射不均匀带来的影响,有效地加大目标与背景之间的光谱差异[11-12]。
2.6 图像阈值分割
假设已经选定了一个阈值T,判断待分割图像F上任意像素(i,j)的灰度值GF(i,j)是否大于阈值T,若是,则该像素为目标区域内的像素点,将其灰度值设置为1;否则将其灰度值设为0,并默认该像素点为背景区域内的像素点。对图像F上所有像素点进行逐一判断,生成新的二值图像G,即
从(4)式可以看出,T的大小对于分割效果非常关键。T值过大,容易出现过分割;T值过小,则容易出现欠分割。1979年日本学者大津展之提出一种自适应阈值分割算法,被称为OTSU法,首先统计图像的一维直方图,然后根据直方图的特征自动选择能使得目标和背景间的类间方差达到最大的灰度值作为最优分割阈值,得到目标和背景的二值图像[13]。
2.7 形态学处理
形态学处理是利用固定形状的结构元素去探测图像而实现的,可以借助集合论的方法对图像形态学算子进行描述[14-15]。利用结构元素S对图像A进行腐蚀,其运算过程为:假设起始状态的结构元素S与图像A的原点重合,在平面上移动S,判断结构元素S所覆盖的像素值是否全部为1,如果是,则腐蚀后图像的相同位置上的像素值为1,否则,腐蚀后图像中的相同位置上的像素值为0。利用结构元素S对图像A进行膨胀,其运算过程为:假设起始状态的结构元素S与图像A的原点重合,在平面上移动S,判断结构元素S所覆盖的像素值是否存在为1的目标点,如果存在,则膨胀后图像的相同位置上的像素值为1,否则,膨胀后图像的相同位置上的像素值为0。
图像的形态学开运算是指利用结构元素S对图像A先进行腐蚀再进行膨胀运算,开运算可以消除和分离目标中细小的部分、断开狭窄的连接,还可以使目标对象的轮廓更加平滑。
图像的形态学闭运算是指利用结构元素S对图像A先进行膨胀再进行腐蚀运算。闭运算与开运算相反,其主要作用是连接狭窄的间断、填充小的空洞,但是它也能达到平滑目标对象轮廓线的效果。
3 结果与分析
3.1 香梨高光谱图像
从
3.2 高光谱图像掩模处理
为了消除背景区域的光谱图像对检测结果的影响,需要对高光谱图像进行掩模处理。从样本的高光谱图像中手动选取两个大小为20 pixel×20 pixel的感兴趣区域(ROI),其中一个ROI取自香梨高光谱图像边缘部位,另一个ROI取自背景区域,计算得到每个ROI的光谱曲线如
图 2. 不同波长处采集到的库尔勒香梨高光谱图像。(a) 400 nm;(b) 494 nm;(c) 587 nm;(d) 681 nm;(e) 774 nm;(f) 868 nm
Fig. 2. Collected hyperspectral images of typical Korla pear samples at different wavelengths. (a) 400 nm; (b) 494 nm; (c) 587 nm; (d) 681 nm; (e) 774 nm; (f) 868 nm
图 3. 香梨边缘区域与背景区域的光谱曲线。(a)光谱曲线;(b)光谱曲线的平均值和方差
Fig. 3. Spectra of Korla pear surfaces and background areas. (a) Spectra; (b) average value and variance of spectral curves
为了更好地找到香梨表皮反射系数与背景区域反射系数的差异,计算
采用OTSU方法分别对上述样本在3个波长下的高光谱图像进行自适应阈值分割,然后采用大小为3的方形结构元素对分割后的图像进行腐蚀操作,分割以及腐蚀后的图像如
从分割后的结果可以看出:433 nm波长处的高光谱图像分割结果并不适合用于建立掩模图像;在三者之中,863 nm波长处的高光谱图像经过OTSU自适应分割和形态学腐蚀后,能够取得最光滑的边缘,所得的二值图像形状与样本的几何形状最接近。因此,本研究选择863 nm波长处的高光谱图像,经过OTSU自适应分割和形态学腐蚀建立掩模图像,对所有波段的高光谱图像进行掩模处理。掩模图像实质上是一个灰度值为0或1的二值图像,掩模处理的本质就是将掩模图像与原始图像的每个像素对应相乘,从而移除库尔勒香梨轮廓外的背景区域,以减小这部分区域对香梨表面损伤区域检测的影响。
图 4. 3个波长下的高光谱图像及其直方图。(a) 433 nm;(b) 631 nm;(c) 863 nm
Fig. 4. Hyperspectral images and their histogram plots at three wavelengths. (a) 433 nm; (b) 631 nm; (c) 863 nm
图 5. 3个波长下的高光谱图像OTSU阈值分割及形态学腐蚀结果。(a) 433 nm;(b) 631 nm;(c) 863 nm
Fig. 5. Results of OTSU threshold segmentation and morphological analysis for hyperspectral images at three wavelengths. (a) 433 nm; (b) 631 nm; (c) 863 nm
3.3 香梨高光谱图像PCA分析
PCA是一种能减少高光谱数据维度的有效方法。选择400~1000 nm全波段的香梨高光谱图像进行PCA分析,得到的前6个主成分图像如
经过PCA变换以后,原始图像中大约99%的信息都聚集到前4个主成分中,从PC 7开始,变换后的图像中不再包含对香梨表面损伤检测有意义的信息。观察前6幅主成分图像可知:PC 1主要反映掩模图像信息;PC 2中香梨表面损伤信息最为明显;从PC 5中可以看到部分香梨表面损伤信息,但是不太明显,不便于后续处理;PC 3、PC 4和PC 6则完全观察不到香梨表面损伤的有效信息。综合考虑,在后续研究中,选择PCA变换输出的PC 2图像用于香梨表面损伤检测。
图 6. PCA分析得到的前6个主成分图像。(a) PC 1;(b) PC 2;(c) PC 3;(d) PC 4;(e) PC 5;(f) PC 6
Fig. 6. The first six primary component images obtained by PCA. (a) PC 1; (b) PC 2; (c) PC 3; (d) PC 4; (e) PC 5; (f) PC 6
3.4 比值运算与图像分割
经实验对比,本研究选择PC 2与PC 4进行比值运算,以增大目标与背景之间的差异。在此基础上,对图像进行分割和形态学开运算、闭运算,实现对库尔勒香梨表面损伤的高精度检测,结果如
图 7. 比值增强与图像分割结果。(a)比值增强操作结果;(b)阈值分割结果;(c)形态学运算结果
Fig. 7. Results of the ratio enhancement and image segmentation. (a) Result of ratio enhancement; (b) result of threshold segmentation; (c) result of morphological calculation
3.5 基于高光谱图像的香梨表面损伤检测结果
按照以上步骤,对80个库尔勒香梨样本进行检测,结果如
表 1. 基于高光谱图像的香梨表面损伤检测结果
Table 1. Detection results of surface damage of fragrant pear using hyperspectral images
| ||||||||||||||
采用混淆矩阵方法[16]计算出检测结果的准确度、精度和召回率分别为93.75%、87.50%和100%。对实验结果进一步分析,造成完好样品被误判为损伤样品的原因很复杂,主要是进行比值运算后,在边缘与临界处引入一定的噪声,形态学开运算和闭运算不能完全消除这些噪声,从而将其误判为损伤样品。
4 结论
提出一种基于高光谱图像的香梨表面损伤检测方法,研究了高光谱图像掩模、降维、增强、分割以及形态学分析方法。提出的方法能够有效识别出香梨的表面损伤,准确度、精度和召回率分别为93.75%、87.50%和100%。未来还需要采用更多大小、形状不同的香梨样品对提出的方法进行更大范围的验证。此外,所提出的方法主要依赖于大量实验积累的经验,下一步将从理论方面开展研究,对该方法的合理性进行理论阐述,从而寻找提高检测性能的更好方法。
[1] 井春芝. 库尔勒香梨产业发展现状、存在的问题及建议[J]. 新疆林业, 2018( 3): 25- 27, 48.
Jing CZ. The current situation, problems and suggestions of Korla fragrant pear industry[J]. Forestry of Xinjiang, 2018( 3): 25- 27, 48.
[2] 王顺, 黄星奕, 吕日琴, 等. 水果品质无损检测方法研究进展[J]. 食品与发酵工业, 2018, 44(11): 319-324.
Wang S, Huang X Y, Lü R Q, et al. Research progress of nondestructive detection methods in fruit quality[J]. Food and Fermentation Industries, 2018, 44(11): 319-324.
[3] 张萌, 李光辉. 基于RELIEF算法和极限学习机的苹果轻微损伤高光谱检测方法[J]. 浙江大学学报(农业与生命科学版), 2019, 45(1): 126-134.
Zhang M, Li G H. Detection method of slight bruises of apples based on hyperspectral imaging and RELIEF-extreme learning machine[J]. Journal of Zhejiang University (Agriculture & Life Sciences), 2019, 45(1): 126-134.
[4] Li J B, Chen L P, Huang W Q. Detection of early bruises on peaches (Amygdalus persica L.) using hyperspectral imaging coupled with improved watershed segmentation algorithm[J]. Postharvest Biology and Technology, 2018, 135: 104-113.
[5] Fan S X, Li C Y, Huang W Q, et al. Data fusion of two hyperspectral imaging systems with complementary spectral sensing ranges for blueberry bruising detection[J]. Sensors, 2018, 18(12): 4463.
[6] Lü Q, Tang M J. Detection of hidden bruise on kiwi fruit using hyperspectral imaging and parallelepiped classification[J]. Procedia Environmental Sciences, 2012, 12: 1172-1179.
[7] Jiang H, Zhang C, He Y, et al. Wavelength selection for detection of slight bruises on pears based on hyperspectral imaging[J]. Applied Sciences, 2016, 6(12): 450.
[8] 陈欣欣, 郭辰彤, 张初, 等. 高光谱成像技术的库尔勒梨早期损伤可视化检测研究[J]. 光谱学与光谱分析, 2017, 37(1): 150-155.
[9] Wang L, Liu D, Pu H B, et al. Use of hyperspectral imaging to discriminate the variety and quality of rice[J]. Food Analytical Methods, 2015, 8(2): 515-523.
[10] 叶珍, 白璘. 基于主成分分析与局部二值模式的高光谱图像分类[J]. 激光与光电子学进展, 2017, 54(11): 111006.
[11] Debba P, et al. Mapping white micas and their absorption wavelengths using hyperspectral band ratios[J]. Remote Sensing of Environment, 2006, 102(3): 211-222.
[12] 赵进辉, 吁芳, 吴瑞梅, 等. 基于分段主成分分析与波段比的鸡胴体表面粪便污染物检测[J]. 激光与光电子学进展, 2011, 48(7): 073001.
[13] 刘昆, 刘卫东. 基于加权融合特征与Ostu分割的红外弱小目标检测算法[J]. 计算机工程, 2017, 43(7): 253-260.
Liu K, Liu W D. Detection algorithm for infrared dim small targets based on weighted fusion feature and Ostu segmentation[J]. Computer Engineering, 2017, 43(7): 253-260.
[14] 拉斐尔·冈萨雷斯, 理查德·伍兹. 数字图像处理[M]. 阮秋琦, 阮宇智, 译. 3版. 北京: 电子工业出版社, 2017.
Gonzalez RC, Woods RE. Digital image processing[M]. Ruan Q Q, Ruan Y Z, Transl. 3rd ed. Beijing: Publishing House of Electronics Industry, 2017.
[15] 邢承滨, 邓兴升, 徐康. 形态学滤波关键参数阈值的等值线确定方法[J]. 激光与光电子学进展, 2019, 56(16): 162802.
[16] 王泽润, 方益明, 冯海林, 等. 木材节子缺陷检测与定位方法[J]. 激光与光电子学进展, 2018, 55(5): 051501.
Article Outline
方益明, 杨帆, 李晓勤. 库尔勒香梨表面损伤的高光谱图像检测方法[J]. 激光与光电子学进展, 2020, 57(14): 141017. Yiming Fang, Fan Yang, Xiaoqin Li. Detection of Damage on the Surface of Korla Fragrant Pear Using Hyperspectral Images[J]. Laser & Optoelectronics Progress, 2020, 57(14): 141017.
PDF全文
