1 引言

自动导引车(AGV)属于移动机器人的范畴,已广泛应用于车间物料运输、仓储物流等领域^[1]。目前,AGV在工业应用中,存在多种导引方式,不同的领域中对AGV的性能指标有不同的要求,导引方式也随之不同。在绝对定位领域中,采用全球定位系统(GPS)导引^[2],定位精度较低,为±20 mm,且易受到干扰,尤其是在被建筑物遮挡的车间中;采用磁导引^[3]成本较低且定位结构简单,但定位精度低,约为±10 mm;采用激光导引^[4]定位精度为±5 mm,但其成本较高,且易被外界干扰;采用超声波导引^[5]定位精度可达±3 mm左右,但其成本较高,且对外界环境要求极高;采用视觉导引^[6]定位结构紧凑,性价比高,定位精度可达±2 mm,但在精密加工作业中这种精度不能满足实际需求。如何实现AGV的绝对定位精度的进一步提升,仍然是将AGV应用于精密加工中遇到的瓶颈。

目前,在利用视觉导引定位的领域中许多研究人员进行了大量的探索与研究。何珍等^[7]结合激光扫描与视觉定位信息,采用无迹卡尔曼滤波算法进行多传感器信息融合,最终实现了精确定位,但是该方法模型建立复杂,结构误差相对较大;朱奇光等^[8]提出了一种同时定位与地图创建(SLAM)的方法,但其未进行站点精确定位;李照等^[9]提出了一种基于视觉导引的三点定位法,通过三点定位获取二维码轮廓,然后,利用中心点偏移计算误差,实现了精确定位,但是该方法定位精度不高;魏明明等^[10]提出了一种导航信标定位的方法,在地面铺设特定的定位标识符,系统可识别到相机视野中的定位标识符,即发送停车信号,但是该方法缺少信息反馈,定位精度不能得到可靠的保证。

针对以上情况,本文提出一种基于单目视觉的AGV精确定位的方法。根据视觉导引AGV的特点,建立视觉导引模型。利用摄像机获取目标图像,采用加速稳健特性(SURF)算法提取目标图像特征点以及特征点的主方向和描述算子,并实时拍摄图像,对其进行相似处理,再利用特征点的相关信息与目标图像特征点作匹配,并根据匹配的特征点坐标信息,利用最小二乘拟合获取实时拍摄图像与目标图像之间的转换矩阵。基于AGV的视觉导引模型将获取的转换矩阵转化到AGV实际运动坐标系中进行单步运动,完成单步运动后,实时反馈图像,并对反馈图像信息作相似处理生成下一步运动,直至满足AGV的精确定位要求。本文的精确定位过程中包含了图像采集与预处理、特征点提取、特征点信息获取、特征点匹配、位姿矫正、实时图像反馈等。

2 单目视觉定位建模

2.1 AGV布局与视觉系统标定

AGV布局如图1所示,以工控机作为上位机给控制柜发送命令及相关参数,控制柜通过现场总线将命令发送给伺服驱动器,并通过4个电机来控制麦克纳姆轮以驱动AGV运动,其采用的麦克纳姆轮可实现全方位移动,具有较高的运动灵活性。采用视觉导引的方法,利用垂直于地面安装的工业相机采集地面图像,通过图像处理及相关算法生成控制量。与摄像机采用倾斜安装相比^[11],该方法有效地避免了安装角度误差以及较为复杂的坐标转化计算,提高了AGV的定位精确性及控制稳健性。

图 1. AGV结构模型

Fig. 1. Structural model of AGV

下载图片 查看所有图片

考虑相机畸变的原因,相机每次获取的图像都需要作修正。采用李涛涛等^[12]提出的平面标定方法获取相机的内参矩阵,以及径向畸变系数k₁、k₂后,对图像进行修正,内参矩阵表达式为

A=kx0u00kyv0001,(1)

式中:k_x、k_y分别为焦距归一化平面上的点投影到图像平面在u、v方向的放大倍数;(u₀,v₀)为光心坐标。

获取内参矩阵后,还需要获取地面物理场景与像素的关系(同一物距下,地面物理场景与像素的关系值是固定的),以及图像坐标系与AGV坐标系之间的角度关系。如图2所示,将矩形图像放在平行于AGV坐标系X_V-O₁-Y_V的正下方,测量出4个顶点坐标A₁(x₁,y₁),B₁(x₂,y₂),C₁(x₃,y₃),D₁(x₄,y₄),并利用Opencv库函数获取在像素坐标系下的4个顶点坐标,再根据下式将4个顶点坐标转化到图像坐标系X_P-O₂-Y_P,

xpyp1=1kx0-u0kx01ky-v0ky001xu-yv1,(2)

式中:(x_p, y_p)为图像坐标下的坐标点;(x_u,y_v)为像素坐标系下的坐标点;光心坐标(u₀,v₀)、k_x、k_y由相机标定获得。

根据顶点坐标可分别计算出世界坐标系下矩形周长L₁和图像坐标系下矩形周长L₂,根据上述参数,可计算出相应的参数,表达式为

λ=l2l1l1=(x1-x2)2+(y1-y2)2l2=(x'1-x'2)2+(y'1-y'2)2l3=(x'2-x'1-x2+x1)2+ (y'2-y'1-y2+y1)22cosθ=l1+l2-l3l1l2,(3)

式中:λ为图像坐标系与世界坐标系的比例系数;θ为图像坐标系与 AGV坐标系之间的角度;A₂(x'₁,y'₁),B₂(x'₂,y'₂),C₂(x'₃,y'₃),D₂(x'₄,y'₄)为图像坐标系下的4个顶点坐标;l₁为矩形实际坐标点A₁和B₁的欧氏距离;l₂为图像坐标系下的坐标点A₂和B₂的欧氏距离;l₃为以l₁和l₂构建的三角形的第3边边长。

图 2. 视觉标定

Fig. 2. Visual calibration

下载图片 查看所有图片

2.2 导引系统坐标系建立

根据相机成像原理可知,摄影图像与世界坐标之间存在世界坐标系、相机坐标系、图像坐标系3个坐标系的转换关系;由于相机垂直于地面安装,世界坐标系与图像坐标系的转换关系如图3所示。

图 3. AGV坐标模型

Fig. 3. Coordinate model of AGV

下载图片 查看所有图片

AGV坐标系X_V-O₁-Y_V以AGV旋转中心为原点,相机安装在AGV坐标的右上方,图像坐标系为X_P-O₂-Y_P,经测量可得到同一水平面下的AGV坐标系原点与图像坐标系原点之间的距离l,以及O₁O₂与坐标轴X_V的夹角γ。根据测量得到的相关参数,可建立AGV坐标系模型,表达式为

xv-l·cosγyv-l·sinγ1=cosθsinθ0-sinθcosθ0001xpyp1,(4)

式中:(x_v,y_v)为点p在AGV坐标系中的坐标;(x_p,y_p)为点p在图像坐标系中的坐标。

由于AGV姿态是通过控制量ΔT(x₀,y₀,θ₀)来调整的,因此在进行前后左右移动时,还需对旋转的姿态进行调整。本实验的旋转控制量是以图像坐标系生成的,如图4(a)所示,而AGV旋转中心未在图像坐标系的原点,对AGV作旋转调整时需要对ΔT(x₀,y₀,θ₀)中x₀、y₀作补偿运动,所以还需建立补偿运动模型。

图 4. 补偿运动模型。(a)图像旋转示意图;(b)图像旋转坐标关系

Fig. 4. Model of motion-compensation. (a) Schematic of image rotation; (b) coordinate relation for image rotation

下载图片 查看所有图片

补偿运动模型如图4(b)所示,β为AGV绕着旋转中心旋转过的角度,γ为同一水平下O₁O₂到坐标轴X_v的夹角,同时记O₁O₂长度为l。根据上述相关参数,可建立补偿运动模型,表达式为

Δx=2lsinβ2sinβ2+γΔy=2lsinβ2cosβ2+γ,(5)

式中:Δx和Δy分别为x₀和y₀的补偿量。

3 精确定位算法分析

采用QR码作为标识图像,如图5所示。QR码是一种正方形矩阵二维码符号,具有识读速度快、信息容量大、占用空间小、可靠性高等优点,作为标定图像时斑点检测效果较其他图像更好。

图 5. QR码

Fig. 5. QR code

下载图片 查看所有图片

3.1 标识图像滤波

图像滤波是对图像的噪声进行抑制并保留原有图像的细节特征,滤波的效果直接影响后期算法的可靠性和有效性。因此采用高斯滤波方法^[13],由于高斯函数的傅里叶变化后为另外一个高斯函数,因此利用高斯函数可以实现低通滤波,使图像模糊化,并去除高斯白噪声,以防止图像出现失真或噪声而提取到错误的特征点。同时,高斯滤波相对于均值滤波^[14]可有效地保护图像细节特征,以防止提取的特征点过少而影响匹配效果。高斯滤波可分为频域和时域滤波,频域滤波是将函数进行傅里叶变换并与高斯函数作乘积,通过设立阈值来过滤高频信号,但是采用这种滤波方法处理图像函数存在数据和计算量较大的缺点,所以本文采用高斯时域滤波,利用二维零均值高斯函数与图像函数卷积来实现滤波。二维零均值高斯函数表达式为

G(x,y)=(2πσxσy)-1exp-(x-μx)22σx2--y-μy22σy2。(6)

滤波后的图像函数表达式为

F(x,y)=∬G(x-v,y-u)f(v,u)dvdu,(7)

式中:f(u,v)为原图像函数。

高斯滤波中,标准差σ影响图像的去噪和模糊效果,σ取值越大,去噪的效果越明显,但是取值过大,图像过于模糊,图像的特征描述不明显,影响后面特征点的提取,经过比较,当图像坐标系下X_P轴和Y_P轴方向的均值μ_x、μ_y均取值为零,图像坐标系下X_P轴和Y_P轴方向的标准差σ_x、σ_y均取值为1.3时,去噪效果以及特征保护均较好。由于图像函数为非线性离散函数且像素过多,因此在高斯滤波时把积分函数转换为以尺度值s=1.2的盒式滤波。盒式滤波将图像划分为以尺度值为单位的小矩形,由于不再以像素点为单位且采用积分图像^[15],因此有效提高了求取灰度值以及高斯滤波的算法速度,表达式为

F(x,y)=∑v=-bb∑u=-aaG(x-v,y-u)f(v,u),(8)

式中:f(x,y)为原图的灰度值;F(x,y)为滤波后灰度值;G(x,y)为二维零均值高斯函数,高斯滤波模板为3×3的模板,即图像坐标系下X_P轴和Y_P轴方向模板尺寸a=1,b=1。滤波后的二维码如图6所示。

图 6. 高斯滤波图像

Fig. 6. Image after Gaussian filtering

下载图片 查看所有图片

3.2 提取标识图像特征点信息

本文获取标识图像特征点信息采用SURF算法^[16],通过近似Hessian行列式图构造金字塔图像,利用判别式从金字塔图像中提取图像特征点,再对提取的特征点利用Haar小波确定主方向以及描述算子。

3.2.1 特征点提取

特征点提取首先需要构造Hessian行列式图,即根据每个像素点f(x,y)构造Hessian矩阵,即

Hf(x,y)=∂2f∂x2∂2f∂x∂y∂2f∂x∂y∂2f∂y2,(9)

式中:f(x,y)为高斯滤波后的灰度值。

Δ(H)=∂2f∂x2∂2f∂y2-∂2f∂x∂y2,(10)

式中:Δ为极值判别值。构造Hessian矩阵后再利用(10)式对其像素点进行极值判别,极值点灰度设为255,非极值点灰度设为0,这样就可得到一幅Hessian行列式图,转换到离散非线性图像中并引用SURF算法中的判别式,可得

H[f(x,y)]=DxxDxyDyxDyyDxx=f(x+1,y)+f(x-1,y)-2f(x,y)Dxy=Dyx=f(x+1,y+1)+ f(x-1,y-1)-2f(x,y)Dyy=f(x,y+1)+f(x,y-1)-2f(x,y)Δ(H)=DxxDyy-(0.9Dxy)2,(11)

式中:D_xx、D_xy、D_yx、D_yy与(9)式的矩阵H中的参数一一对应。本文同样采用盒式滤波的方法,采用尺度值s=1.2的盒式滤波,并利用(11)式遍历整张图像,可获取一张近似的Hessian行列式图。

获得Hessian行列式图后,需构建金字塔图像。SURF算法中的金字塔图像是采用不同的尺度和不同的高斯模板来对图像进行模糊,层数越高的图像,高斯模板以及尺度值越大,即图像越模糊、斑点越大;相比于尺度不变特征变换(SIFT)算法^[17]中的高斯函数差分(DOG)图像,SURF算法没有降采样过程且每层图像可同时处理,算法的速度比SIFT快。金字塔层数的选取直接影响特征点数量,层数越高,图像衰减越快。本文选取4层金字塔构造金字塔图像,其中,高斯模板选择以一个像素点为中心,取值为3×3,9×9,15×15,21×21的尺寸,高斯函数中标准差σ随着模板尺寸的增大而增大,σ分别取值为1.3,1.6,2.0,2.8,尺度值分别取值为1.2,1.4,1.6,1.8。构建金字塔后,遍历每层图像像素点与该层以及上下层的相邻像素作比较,保留较大值;通过这种方法可初步获得亚像素级的特征点,再经过三维线性插值精确定位特征点,并设阈值ε=0.02c(c为特征点所在的层数)过滤掉混叠和响应较小的特征点;三维线性插值可表示为

fT^=f(T0)+T^∂f∂TT+0.5T^TT^∂2f∂T2T^=xyc-x0y0c0T=(x,y,c)T0=x0,y0,c0。(12)

令一阶导数为零,则

fT^=fT0+0.5T^∂f∂TT,(13)

式中:T₀为获取到的特征点;T为该特征点的精确点;^代表中间转换变量;f(T)为灰度值。根据(13)式求取较为精确的特征点,二维码获取的特征点如图7所示。

图 7. 图像的特征点提取

Fig. 7. Extraction of feature points of image

下载图片 查看所有图片

3.2.2 获取特征点主方向及描述算子

匹配两张图像中相同的特征点时,将特征点的主方向以及描述算子作为主要的参考量。本文主方向的寻找是通过以特征点为原点,特征点尺度s=1.2,在半径为3s圆内统计60°扇形内所有点的垂直和水平的Haar小波特征总和,Haar小波边长取4s,然后间隔为5°旋转扇形遍历整个圆形区域,将每个扇形内的Haar小波水平和垂直的特征总和值作为X、Y轴的方向分量确定一个矢量,统计出最大矢量定为该特征点的主方向。其中,Haar小波是基于母函数对原函数进行小波分解的一种变换方式,不同于傅里叶变换,Haar小波变换可对时域分段局部分析,对于数字图像有较好的分析处理效果,表达式如下

ωT(g,τ)=1g∫-∞+∞f(t)ψt-τgdtψ(t)=1,0≤t<10,other,(14)

式中:ω为频率;g为尺度量;τ为平移量;f(x)为变换函数;ψ(t)为小波母函数;t为函数自变量。

特征点描述算子是通过以检测的主方向为方向在特征点周围取一个正方形的方框,再将方框划分为16个子区域,每个子区域统计一定量像素点的Haar特征。综合考虑匹配的精度以及算法的时间复杂度,本文方框的边长取15s,每个方框中取出16个像素点,求取每个像素点的Haar特征水平方向值和其绝对值之和,以及垂直方向值和其绝对值之和,其中Haar小波边长为4s,每个特征点存储的描述算子为64维的向量,与SIFT算法通过提取特征点周围16×16的邻域并划分为4×4的小区域求其8个方向的梯度以获得128维的向量作为描述算子相比,算法时间复杂度较低。

3.3 特征点匹配及定位控制量计算

3.3.1 获取特征点匹配

根据对目标图像和当前拍摄的图像获取的特征点信息以及判别式的符号,可对两张图像进行特征点匹配,本文采用近似最近邻(FLANN)搜索算法^[18]对两张图像的特征点进行匹配。

图 8. 不同算法下的图像匹配结果。(a)(b) ORB算法;(c)(d) SIFT算法;(e)(f) SURF算法

Fig. 8. Image matching results for different algorithms. (a)(b) ORB algorithm; (c)(d) SIFT algorithm; (e)(f) SURF algorithm

下载图片 查看所有图片

提取特征点主方向及描述算子的方法,准确率是其重要的指标之一。本文将SURF特征点提取算法与两种常用的特征点提取算法作比较,分别为ORB(Oriented FAST and Rotated BRIEF)特征点提取算法^[19]和SIFT特征点提取算法,如图8所示。通过比较可以得出,当前拍摄的图像为全局QR码时,3种算法的准确率都较高,而当前拍摄的图像为局部QR码时,SURF算法较其他2种算法准确率更高。

3.3.2 定位控制量计算

获取到匹配后的特征点对,求取匹配点对的欧氏距离表示为

d2=(x1-x'1)2+(y1-y'1)2。(15)

式中:(x₁,y₁),(x'₁,y'₁)分别为匹配点对的像素坐标系下的坐标;d为获取的匹配点对的欧氏距离。

根据欧氏距离排序,提取较小的20对特征点对。将获取的特征点对转化到图像坐标系下,表达式为

xpyp1=1kx0-u0kx01ky-v0ky001xu-yv1,(16)

式中:(x_p,y_p)为图像坐标下的坐标点;(x_u,y_u)为像素坐标系下的坐标点;光心坐标(u₀,v₀)、k_x、k_y由相机标定获得。

x1y11=h11h12h13h21h22h23h31h32h33x'1y'11=Hx'1y'11,(17)

根据最小二乘拟合,可得

H=cosθ-sinθxsinθcosθy001x^=ATA-1ATI,(18)

式中:h₁₁~h₃₃均为中间变量,无实际物理意义。从(18)式中可近似求出2张图像在图像坐标系下的转换矩阵H,从转换矩阵中可得到2张图像的具体偏移旋转量。

获取到2张图像的转换关系后,需要转换为实际的控制量。所提模型中,物距变化较小,计算控制量时,2张图像可近似为尺度一致的图像,小车的控制量可表示为

ΔxΔyΔθ=1λxyλθ,(19)

式中:(Δx,Δy,Δθ)为控制量;(x,y,θ)为(17)式中矩阵H的值;λ为相机标定时求取的图像尺寸与实际尺寸的比值。

4 实验结果与分析

实验平台采用自主开发的全向重载AGV,如图9(a)所示。为了验证所提方法在工业车间中的可行性,实验选择在工业车间中进行,其地面为环氧树脂地面。由于本文是通过平面单应性映射来获取AGV的姿态,因此需要在较为光滑平坦的地面铺设QR码。经多次测量,相机距离地面图像区域的平均高度为282 mm,相机的分辨率为1280 pixel×1024 pixel,如图9(b)所示。考虑到车间中的光线变化,相机采用环形的发光二极管(LED) 光源作为辅助照明,相机与工控机采用现场总线连接,通过串口通信采集数据。工控机用于算法分析处理,相机采集图像信息发送给工控机生成运动控制量,然后将控制量发送给运动控制器实现对AGV的运动控制。

图 9. AGV与相机。(a) AGV;(b)相机

Fig. 9. AGV and camera. (a) AGV; (b) camera

下载图片 查看所有图片

视觉系统标定中采用15 mm×20 mm的矩形作为标定图像,利用标定方法,可以得到图像坐标系与AGV坐标系的夹角θ=32.6°,光心坐标为(643.8,513.2),k_x=298.3,k_y=281.2,k₁=0.032,k₂=0.037,图像坐标系与世界坐标系的尺寸比λ=0.00035,AGV坐标系原点到图像坐标系原点的距离为1027.5 mm,其连接线与AGV坐标系X轴的夹角γ=46.5°。

实验中,AGV事先运动到工位的定位点并以此作为定位参考点,拍摄地面二维码作为定位目标图像,然后AGV驶离再进入工位进行自动定位。定位采用位置模式,由于存在运动误差需进行多步运动,单步运动完成后,将相机拍摄的实时图像与目标图像对比,并基于设定的阈值判断是否达到所需精度。综合考虑电机分辨率、机械结构误差、相机实时拍摄物距误差,以及其他外部因素的影响,AGV的X轴方向的阈值设为Δx=±1 mm,Y轴方向的阈值设为Δy=±1 mm,角度阈值设为Δθ=±0.6°。同一工位,300次重复定位实验结果如图10所示,X轴方向的定位结果如图10(a)所示,Y轴方向的定位结果如图10(b)所示,角度定位结果如图10(c)所示。通过实验结果分析可以得到,在普通的工业车间中,该定位方法稳健性较好,且精度也在设定的阈值范围内波动。

图 10. 实验数据。(a) X轴方向定位结果;(b) Y轴方向定位结果;(c)角度定位结果

Fig. 10. Experimental data. (a) Positioning results in X axis; (b) positioning results in Y axis; (c) angular positioning results

下载图片 查看所有图片

5 结论

提出了一种基于单目视觉的AGV精确定位方法,通过视觉系统识别二维码完成定位预判与姿态矫正。根据AGV的结构特性,建立视觉导引模型。利用高斯函数对图像进行平滑以及噪声过滤,并采用SURF算法提取目标图像和实时拍摄图像的特征点以及特征点的主方向和描述算子,再根据获取的信息匹配特征点。利用最小二乘拟合获取目标图像与实时拍摄图像之间的转换矩阵,并根据获取的转换矩阵结合视觉导引模型生成AGV的单步运动控制量,再根据实时反馈的图像生成下一步运动控制量,并通过设定阈值以实现AGV的精确定位。通过实验验证,本文的精确定位方法定位稳健性较好,定位精度可达±1 mm,适用于结构尺寸较大的AGV中,下一步准备将该方法运用到更多复杂的场景中,并进一步提高定位精度以及缩减算法时间。