基于机器视觉的瓶装矿泉水悬浮物自动检测方法 下载: 1062次
1 引言
水质检测是饮用水生产商产品质量管理的一个重要环节,关系到我们每一个人的饮水健康[1-2]。目前,瓶装矿泉水的生产工艺通常包括下列流程:水源水→粗滤→精滤→去离子净化(离子交换、反渗透、蒸馏)→杀菌→灌装封盖→灯检→成品。而其中的灯检环节需检测在灌装封盖后水中是否有悬浮异物,如有则为不合格产品不能出厂。由于缺乏检测仪器及自动化检测装置,目前灯检主要依靠人工肉眼识别悬浮异物,这种方法的缺点是:灯检人员视力不同,检测结果不同,质量不均一;操作工眼睛易疲劳,容易误检或漏检;长时间工作对操作工的眼睛有一定损害;生产效率低,费时费力,是大规模生产的产能瓶颈。
对于出厂前饮用矿泉水中是否存在悬浮异物颗粒,需要对其进行统计及定量分析,以便对检测结果给出有效评估,这对企业流水线生产产品质量改进具有重要的指导意义。而针对颗粒进行统计的技术,目前应用广泛的是基于机器视觉技术[3-4]、采用图像处理的方法[5-7]。李莉等[8-9]针对室内悬浮物颗粒采用显微图像法进行了相关粒径和浓度的研究,通过显微观测获取颗粒图像,并编写图像处理的程序对其进行处理分析,得到了一系列的颗粒参数。王海燕等[10]针对种子图像分割提出了基于二维直方图的Otsu分割算法,一定程度上消除了光线对种子计数的影响。王健等[11]通过用分水岭分割的方法解决了颗粒在检测时存在颗粒黏结影响统计结果这一问题。然而,值得注意的是,上述研究成果主要针对气体中颗粒进行统计,而瓶装矿泉水中由于水体对光的吸收和散射作用[12],自然光照下获得的图像往往存在对比度低、细节模糊和颜色失真等问题[13],这些方法是否适用还有待验证。综上所述,目前国内外关于各种颗粒检测的研究较多,但用于瓶装矿泉水悬浮物在线自动检测的研究还较为缺乏[14]。
针对上述瓶装矿泉水检测中存在的问题和需求,本文建立了一种基于机器视觉的瓶装矿泉水悬浮物自动检测方法,并设计了自动检测装置。该方法利用机器视觉技术,对所测瓶装矿泉水进行图像采集和分析,利用图像分析算法对水中的悬浮物颗粒进行目标识别、数量统计以及尺寸范围检测,具有较高的准确性。此外,该装置可实现流水线工作,将合格产品与不合格产品进行分类,使生产效率明显提高。
2 自动检测装置
2.1 装置结构
瓶装矿泉水悬浮物自动检测装置主要由LED光源、传送带、斜坡、检测箱、摄像头、电机控制门装置、控制器、电动门和活动挡板等9个部分组成,如
2.2 工作原理
1)检测送样:待检测瓶装矿泉水通过传送带送到检测箱,沿着检测箱内的斜坡滚动到底端后停在电机控制门处,滚动作用使瓶中的悬浮物颗粒处于运动状态,在光源照射下,由于悬浮物颗粒表面对光线的漫反射作用,悬浮物颗粒整体清晰明亮,在视觉传感器采集的图像中有较好的成像效果。
2)光源照射:LED光源位于检测箱后壁左下端,垂直于矿泉水瓶底部照射,可照射到整瓶水的状态,避免了从侧面照射易受矿泉水瓶侧壁凸凹纹路影响的问题,也可有效避免镜面反射。此外,LED光源外面装配了灯罩以及凹面镜,可将由LED灯发出的光反射成平行光,以达到光照聚集且均匀的目的,如
3)图像采集:摄像头位于检测箱顶部右边,拍摄方向与LED光源方向垂直,即在水瓶正上方拍摄图像。检测时,该装置检测箱四周封闭,使得图像采集在黑暗的环境下进行,这样既可以清晰地捕捉到悬浮物颗粒的图像,又简化了后续对复杂背景的处理。此外,为了避免瓶外标签遮挡产生漏检,应在粘贴瓶外标签工序前完成悬浮物检测。
4)图像处理:摄像头采集到图像后,采用图像差分方法进行处理。矿泉水瓶沿斜坡滚落到底部时,由于滚动作用,瓶内的悬浮物尚处于运动状态,此时,在一定时间间隔采集的两幅图像中,瓶子及检测箱背景是不变的,只有悬浮物颗粒因为运动变化位于图像中不同的位置。因此,利用这两幅图像的差分,可以快速地消除瓶子及背景,实现对悬浮物颗粒的图像分割及目标识别。进而,通过图像分析获取悬浮物颗粒的数量及尺寸特征。
5)结果筛选:检测箱内斜坡底端设置了电动门,在斜坡底端正对的箱壁上也设了控制门,以此来对所检测的产品进行合格与不合格的筛选。当检测结果合格时,控制器开启箱壁上的控制门,瓶装矿泉水进入到下一工位输送带上;当检测结果不合格时,控制器开启底端电动门,瓶装矿泉水落入回收箱。
3 基于视觉的悬浮物检测方法
基于视觉的悬浮物检测方法流程如
3.1 图像采集
3.1.1 图像获取
前述检测送样后,在LED光源照射下,使用工业摄像机按一定时间间隔ΔT获取两帧瓶装矿泉水原始图像。考虑到后续图像差分的要求,ΔT应使悬浮物在两帧图像中的运动位置尽量错开,以便获得较好的目标检测效果。为了简化分析,设检测送样时,矿泉水瓶受重力作用沿斜坡方向滚动,滚动过程中瓶内悬浮物、矿泉水与瓶体同步旋转,到坡底后被挡板阻止,滚动停止,因惯性作用,短时间内瓶内悬浮物会跟随矿泉水继续绕瓶的纵向中心轴线作旋转运动,如
忽略滚动摩擦及塑料瓶体的转动惯量的影响,根据运动学作分析,此时悬浮物从前一个位置转过π/2角度所需时间的t可近似为
式中:r为矿泉水瓶半径;l为滚动斜坡长度;θ为斜坡角度;g为重力加速度;ω为旋转角速度。则图像采集时间间隔ΔT应满足
获得原始图像后,采用加权平均值的方法对采集到的图像进行灰度化处理[15-16],通过消除图像色调和饱和度信息同时保留亮度,实现将RGB彩色图转换为灰度图像。
3.1.2 抖动消除
实际检测实验发现,矿泉水瓶到达斜坡底端停止滚动时,可能还存在上下轻微抖动,导致两幅图中矿泉水瓶的位置抖动错位,这样在后面图像处理时会出现背景消除残留大的情况,不利于悬浮物颗粒数量及尺寸信息的提取。为此,设计了消除抖动的算法。该算法的核心思想是先定义评价抖动错位程度的损失函数
式中:I和J为图像的垂直高度和水平宽度;x、y表示因抖动引起的垂直和水平两个方向的图像偏差。由于实际抖动较小,可分别沿水平和垂直方向搜索获得使E(x,y)最小的x、y最优解,分别用Imin和Jmin表示。
3.2 悬浮物颗粒目标识别
3.2.1 图像差分
图像差分,就是把两幅图像的对应像素值相减,以削弱图像的相似部分,突出显示图像的变化部分,可以用于运动目标的检测[17]。为了从图像中快速提取悬浮物颗粒,本研究采用帧间差分的方法对图像进行差分处理。差分后的图像可表示为
式中:k=A(i, j)-B(i-Imin, j-Jmin),Imin和Jmin为前述消除抖动算法求解的水平和垂直方向偏移量。设图像A、B为上述步骤获得的两幅图像,以B为背景图像将两图按(4)式相减,相减之后被减图像A中理论上就只剩悬浮物颗粒。
然后,通过阈值过滤对图像C进行二值化处理得到二值化差分图像P,表达式为
式中:Z为临界阈值,可以通过最大类间方差(OTSU)法确定其合理的取值范围,以保证二值化后悬浮物颗粒图像的完整性。
3.2.2 背景净化
由于各种干扰,二值差分图像P中除了悬浮物颗粒图像外,还存在一些尺寸较小的噪声白点,需要将其剔除。这里采用对二值化图像进行区域检测并剔除小尺寸区域块的方法来实现。首先,采用8连通区域对图像P进行扫描,每检测到一个区域就对其进行标记,与4连通区域相比,采用8连通区域可以避免单一连通区域被误分为多个区域;然后,计算每一个标记区域的面积S,这里的区域面积实际上是标记区域内的像素点个数;最后,将面积小于区域面积阈值Sth的区域剔除。算法表示如下:
式中:D为背景净化处理后的输出图像;if 条件表示,如果当前图像点P(i,j)属于某一区域Ω且区域Ω的面积S小于阈值Sth,则剔除该图像点;Sth可由实际矿泉水生产过程中需测量的悬浮物颗粒最小尺寸dmin来确定,这样可保证待测悬浮物颗粒图像的完整性,以免影响其形状尺寸大小的检测,Sth可表示为
式中:int表示取整运算;k0为每像素对应的实际尺寸,由于图像采集位置是固定的,k0可由预先标定得到。
3.2.3 边缘平滑
在背景净化后的图像D中,由于二值处理过程中可能会把悬浮物颗粒周围一些相连的弱灰度的像素点也置为1,但其并不属于悬浮物颗粒的一部分,若不对其进行边缘平滑处理,将会使后面检测到的悬浮物颗粒的尺寸偏大。为了消除这一影响,需采用形态学运算作进一步处理。首先,在一定敏感度阈值内用Canny算子进行边缘检测,接着执行形态学闭运算,用同样的结构元素先对图像进行膨胀操作后进行腐蚀操作。设待处理图像为X,结构元素为s,用符号X·s表示闭运算,其定义为
式中:为膨胀操作;为腐蚀操作;s为5×5矩阵。再对处理后的图像执行边界对象抑制,去除与边界相连的亮点,此处涉及到重构变换[18],若g是掩模,f为标记,则从f开始重构g的变换记作Rg(f),其由如下迭代过程定义。
1) 将h1初始化为标记图像f;
2) 创建结构元素:B=ones(5);
3) 重复hk+1=(hkB)∩g,直到hk+1=hk,标记f必须是g的一个子集,即f⊆g。
定义标记图像fm,即
式中:Ωb为图像f的边缘区域。
用原图像f作掩模,则执行f-Rf(fm)即可清除边界的对象。
最后进行孔洞填充,记fn为标记图像,其定义为
则执行g=[Rfc(fn)]c即可填充图像中的孔洞,其中fc表示清除了边界对象得到的图像,上角标c表示取补集。
完成以上步骤即可得到只包含悬浮物颗粒目标对象的二值图像,记为BW2。
3.3 悬浮物颗粒数量统计及尺寸参数检测
完成悬浮物颗粒目标识别后,还需通过图像分析对矿泉水瓶中的悬浮物颗粒的数量进行统计,对尺寸范围进行检测,其流程图如
3.3.1 悬浮物颗粒数量统计
首先对之前处理过的二值图进行区域标记,以获取悬浮物颗粒数量[18],可调用MATLAB方法:[Labeled,num] = bwlabel(BW2, n)来完成。此处n取8,表示是按8连通寻找区域,其返回一个和BW2大小相同的Labeled矩阵,所标记的BW2中每个连通区域的类别标签存放在Labeled矩阵中,返回值num就是BW2中连通区域的个数,记为K,也即悬浮物颗粒的总数,是检测要获得的目标值之一。
3.3.2 尺寸参数检测
考虑到影响瓶装矿泉水品质的参数是悬浮物颗粒的最大尺寸,故本文检测的尺寸是指悬浮物颗粒的最大尺寸,即颗粒边缘上任意两点之间距离的最大值。
1)悬浮物颗粒图像分离
其中x=1,2,…,K。标记号为1(x=1)时,遍历完整幅图也就得到了第一个颗粒的图像。
2)旋转求解悬浮物颗粒尺寸
提取到单个颗粒轮廓后,以悬浮物颗粒图像的质心O为坐标原点绕z轴在xOy平面内旋转(如
图 5. 悬浮物颗粒检测流程图
Fig. 5. Flowchart of quantity statistics and size estimation of suspended solids
旋转之后的坐标公式为
简写为P1=rP,推而广之,m个像素点,其旋转公式表示为
对旋转后的矩阵,每行进行由小到大的排序,最大值减去最小值就能得到颗粒在x轴方向和y轴方向上的距离,比较两个值的大小,较大的值放在xmax里,较小的值放在xmin里,然后用上述同样的方法进行下一个α角度的旋转,得到两个值,较大的为
直到旋转到90°,这样,最后求得的xmax和xmin分别乘上标定比例系数k0即为颗粒的最大尺寸和最小尺寸,存于数组E中,作为标记号为1的颗粒的尺寸。
以上完成了第一个悬浮物颗粒的检测,接着进行下一个颗粒轮廓的提取与检测,直到提取检测完第K个颗粒,悬浮物颗粒的尺寸检测结束。输出数组E中的值,即可得到悬浮物颗粒的最大尺寸,由于旋转时同时求出了颗粒的最小尺寸,因此,如果检测需要,本算法同样适用于求最小尺寸。
4 实验
为了对悬浮物检测方法进行实验验证,本文按照前述瓶装矿泉水悬浮物自动检测装置的原理结构制作了实际的实验装置,实验装置内置斜坡及LED光源,侧面装有矿泉水瓶入口,顶部是工业相机,如
图 7. 实验装置实物图。(a)外观图;(b)内部结构
Fig. 7. Physical drawing of experimental device. (a) Appearance drawing; (b) internal structure
4.1 实验分组
实验分为3组,1组在瓶装矿泉水(1号瓶)中添加较小尺寸的固体悬浮物颗粒,2组在瓶装矿泉水(2号瓶)中添加较大尺寸的固体悬浮物颗粒,3组在瓶装矿泉水(3号瓶)中添加大小尺寸混合的固体悬浮物颗粒,经考察,在灯检环节,矿泉水中出现悬浮物的数量是极少的,一般不会超过5粒,因此在每组中均添加固体悬浮物颗粒5粒,以模拟瓶装水出厂前混有悬浮物的情况。添加前分别用游标卡尺测出固体悬浮物颗粒的尺寸(最大直径和最小直径),如
表 1. 悬浮物颗粒实际尺寸大小统计表
Table 1. Statistical table of actual size of suspended particles
|
4.2 实验结果及分析
根据上文所述的方法进行实验,采集到多组图像,针对大颗粒悬浮物、小颗粒悬浮物以及大小尺寸混合颗粒悬浮物各挑选一组,如
接下来,按照前述图像处理方法依次对图像进行处理。得到差分图像、二值图、去噪后的图像以及平滑边缘后的图像,如
三组图像最后都检测出来5个颗粒,这与实际加入的悬浮物颗粒数完全符合,
图 8. 图像采集(1号瓶)。(a)被减图像;(b)背景图像
Fig. 8. Picture collected in bottle 1. (a) Minuend picture; (b) background picture
图 9. 图像采集(2号瓶)。(a)被减图像;(b)背景图像
Fig. 9. Picture collected in bottle 2. (a) Minuend picture; (b) background picture
图 10. 图像采集(3号瓶)。(a)被减图像;(b)背景图像
Fig. 10. Picture collected in bottle 3. (a) Minuend picture; (b) background picture
图 11. 差分图像处理结果(1组)。(a)差分图像;(b)差分图像二值化;(c)去噪后的图像;(d)平滑边缘
Fig. 11. Differential image processing results for the 1st group. (a) Differential image; (b) differential image binarization; (c) denoised image; (d) smooth edge
图 12. 差分图像处理结果(2组)。(a)差分图像;(b)差分图像二值化;(c)去噪后的图像;(d)平滑边缘
Fig. 12. Differential image processing results for the 2nd group. (a) Differential image; (b) differential image binarization; (c) denoised image; (d) smooth edge
图 13. 差分图像处理结果(3组)。(a)差分图像;(b)差分图像二值化;(c)去噪后的图像;(d)平滑边缘
Fig. 13. Differential image processing results for the 3rd group. (a) Differential image; (b) differential image binarization; (c) denoised image; (d) smooth edge
在检测实验中发现,有时瓶装矿泉水中会存在气泡,如果拍摄采集图片时气泡刚好位于悬浮物上方,气泡形成的凸面将会放大透过气泡看到的悬浮物,从而导致检测到的悬浮物颗粒尺寸较实际尺寸偏大。为避免这一问题,后续研究可以考虑多视角同时采集图像,并对各视角图像进行信息融合以消除单一视角可能受到的干扰因素影响。
表 2. 第1组悬浮物颗粒检测结果与实际尺寸对比
Table 2. Comparison between the detection results and actual size of suspended particles in the 1st group
|
表 3. 第2组悬浮物颗粒检测结果与实际尺寸对比
Table 3. Comparison between the detection results and actual size of suspended particles in the 2nd group
|
表 4. 第3组悬浮物颗粒检测结果与实际尺寸对比
Table 4. Comparison between the detection results and actual size of suspended particles in the 3rd group
|
5 结论
针对出厂前瓶装矿泉水中悬浮物颗粒检测的技术需求,基于机器视觉技术,建立了一种瓶装矿泉水中悬浮物颗粒自动检测方法,包括图像采集、悬浮物颗粒目标识别、数量统计及尺寸参数检测等图像分析处理流程,并设计了自动检测装置,进行了实际的悬浮物检测实验。
检测实验结果表明,本文提出的方法可从定性和定量两个方面对瓶装矿泉水中是否存在悬浮物颗粒进行检测,悬浮物颗粒数量统计准确,悬浮物颗粒的尺寸检测最大误差为0.28 mm,最大相对误差为6.8%,具有较高的精确度。
本文提出的瓶装矿泉水悬浮物自动检测方法及装置具有可行性,适用于瓶装饮用矿泉水在出厂前是否含有固体悬浮物的检测,具有检测准确、节约人力物力、提高工作效率、经济实用、操作简单的特点。
[1] 曹毅荣, 覃志杰, 梁辉鹏. 生活饮用水水质检测的重要性[J]. 食品安全导刊, 2017( 24): 74- 75.
Cao YR, Qin ZJ, Liang HP. The importance of water quality testing for drinking water[J]. China Food Safety Magazine, 2017( 24): 74- 75.
[2] 陈浩, 刘月明, 邹建宇, 等. 光纤水质检测技术的研究现状与发展趋势[J]. 激光与光电子学进展, 2015, 52(3): 030006.
[3] 汤一平, 严杭晨, 黄磊磊, 等. 基于机器视觉的流水式高精度、高速的颗粒自动计数装置: CN103020707A [P].2013-04-03.
Tang YP, Yan HH, Huang LL, et al., high-speed automatic particle counting device based on machine vision: CN103020707A[P].2013-04-03.
[4] 汪地强, 余苓, 雷良波, 等. 一种颗粒计数方法及其装置: CN103226088A[P].2013-07-31.
Wang DQ, YuW, Lei LB, et al. and its device:CN103226088A[P]. 2013-07-31.
[5] Lam P J, Lee J M, Heller M I, et al. Size-fractionated distributions of suspended particle concentration and major phase composition from the US GEOTRACES Eastern Pacific Zonal Transect (GP16)[J]. Marine Chemistry, 2018, 201: 90-107.
[6] Carter R M, Yan Y. Measurement of particle shape using digital imaging techniques[J]. Journal of Physics: Conference Series, 2005, 15: 177-182.
[7] 赵金. 大气中纳米级黑碳颗粒物形貌的数字图像处理研究[D]. 上海: 华东理工大学, 2014.
ZhaoJ. Particle shape analysis of black carbon particles (nano size level) using digital image processing[D]. Shanghai: East China University of Science and Technology, 2014.
[8] 李莉. 室内悬浮颗粒物浓度与粒度图像识别算法的研究[D]. 武汉: 武汉理工大学, 2008.
LiL. Research on the recognition algorithm for concentration and diameter distribution of indoor suspended particulate[D]. Wuhan: Wuhan University of Technology, 2008.
[9] 胡阳生, 吴悠, 罗奇军, 等. 基于显微图像处理的大气颗粒检测装置:CN203299089U[P].2013-11-20.
Hu YS, WuY, Luo QJ, et al. 2013-11-20.
[10] 王海燕, 张瑜慧. 基于机器视觉的颗粒识别计数[J]. 长春工程学院学报(自然科学版), 2013, 14(4): 101-104.
Wang H Y, Zhang Y H. Particle identification count based on machine vision[J]. Journal of Changchun Institute of Technology(Natural Sciences Edition), 2013, 14(4): 101-104.
[11] 王建. 基于图像处理的颗粒度测量方法研究[D]. 西安: 西安理工大学, 2006.
WangJ. Study on granularity measurement method using image processing[D]. Xi'an: Xi'an University ofTechnology, 2006.
[12] 王万研, 杨克成, 罗曼, 等. 水中悬浮颗粒的三维体散射函数测量[J]. 光学学报, 2018, 38(3): 0329001.
[13] 蔡晨东, 霍冠英, 周妍, 等. 基于场景深度估计和白平衡的水下图像复原[J]. 激光与光电子学进展, 2019, 56(3): 031008.
[14] Oßmann B E, Sarau G, Holtmannspötter H, et al. Small-sized microplastics and pigmented particles in bottled mineral water[J]. Water Research, 2018, 141: 307-316.
[15] 康牧. 图像处理中几个关键算法的研究[D]. 西安: 西安电子科技大学, 2009.
KangM. Research on several key algorithms in image processing[D]. Xi'an:Xidian University, 2009.
[16] Nnolim U A. An adaptive RGB colour enhancement formulation for logarithmic image processing-based algorithms[J]. Optik, 2018, 154: 192-215.
[17] Terol-Villalobos I R, Mendiola-Santibáñez J D, Canchola-Magdaleno S L. Image segmentation and filtering based on transformations with reconstruction criteria[J]. Journal of Visual Communication and Image Representation, 2006, 17(1): 107-130.
[18] Wessely B, Gabsch S, Altmann J, et al. Single particle detection and size analysis with statistical methods from particle imaging data[J]. Particle & Particle Systems Characterization, 2006, 23(2): 165-169.
Article Outline
盛子夜, 张云伟. 基于机器视觉的瓶装矿泉水悬浮物自动检测方法[J]. 激光与光电子学进展, 2020, 57(14): 141028. Ziye Sheng, Yunwei Zhang. Vision-Based Automatic Detection Method for Suspended Matter in Bottled Mineral Water[J]. Laser & Optoelectronics Progress, 2020, 57(14): 141028.