1 引言

随着机器人行业的发展,对视觉技术在机器人上的应用提出了很多新的要求,机器人作为人类进行生产和生活的帮手,其功能在一步一步的演进,尤其是机器人在工业上的应用。机器人视觉技术的主要功能是对物体进行匹配和定位,而对于提高自动化生产能力的工业机器人来说,如何实现快速、高精度的定位是其主要功能的体现,尤其是在德国提出工业4.0之后机器人的使用更是掀起了智能化应用的热潮。工业机器人的技术主要应用在对散乱物体的拾取和分类上,将机器人全自动拾取零件的过程称为Bin-picking^[1],这样的机器人系统主要包括可编程的机械手硬件系统、具有识别和定位能力的视觉系统及可规划机械手抓取路径的软件系统。视觉系统的主要功能是从一堆散乱放置的物体中识别出需要抓取的物体并计算出物体所处的空间位置,然后规划出机器人抓取路径,从而实现对零部件的抓取分类过程。在国外机器人系统中,已大量地使用了视觉定位系统用于散乱摆放的物体抓取。如日本Fanuc公司推出的基于iRVision的Bin-picking系统(该系统采用4个相机完成三维视觉重建和目标定位功能),德国ISRA Vision公司的三维Shape Scan系统,丹麦Scape Technologies公司的Scape-Tech Discs系统及德国Sick公司的PLB-500系统。

机器人视觉定位主要是对物体的识别和定位两个步骤,传统的方法主要是基于特征和基于模型的方法。基于特征主要是在图像二维特征上采用边界、空洞、特殊形状来描述物体的特征从而实现识别的过程并分析特征在空间的位置变换关系来计算零部件的空间位置,此种方法简单易实现,但是容易受到环境光线和遮挡的影响,而且不易扩展。基于模型主要是基于三维模型,首先使用物体三维数据获取设备得到所有零部件的三维数据,然后在三维数据中识别和匹配到想要抓取的物体并计算出物体所在坐标系的空间坐标和法线信息,此种方法识别准确率高、定位精度高。但是如何快速获取高精度的三维数据是企业研发的难点,无论是基于激光三维获取^[2]还是基于结构光三维数据获取的方法硬件成本都非常高,而且国内机器人公司引进国外技术的成本太高,无法实现批量装配。为了降低成本,国内研究人员在三维数据获取上采取了一些低成本的方案,例如基于视觉三维传感器RGBD的方式^[3-4](如微软的Kinect、Intel的Realsense等)或是基于散斑三维重建^[5]的方式。这些低成本的方案具有速度快和方便实现的优点,但是其缺点是三维数据精度低,只能满足一些大物体对精度要求不高的特殊情形,对于工业上绝大部分的要求都无法满足。而国内基于结构光高精度获取三维数据的设备也有很多,但这些设备都是基于DLP(digital light processing),即数字光处理投影仪^[6],其体积大、速度慢,只能完成线下的物体三维数据获取,无法满足工业上实时快速的需求。为了满足机器人定位的快速和高精度的要求,本文提出一种基于微振镜(MEMS)结构光三维重建的机器人抓取方法。

2 微振镜结构光原理与三维重建

快速三维数据的获取主要是基于双目结构光设备,包括一个投影设备和两个工业相机,工作方式是通过快速地投射系列图案并使用两个已经标定好的相机来进行同步采集,最后计算出空间三维信息。其快速的特点是源于可编程的投影设备,这种投影设备是通过激光控制器使激光线来回扫描形成光栅图片并投射出去,然后利用两部工业相机同步采集图像。

快速获取到图像之后,采用基于多频外差的方法实现对物体三维信息的重建。其主要原理是通过投影设备投射一系列不同频率的光栅条纹图像到被测量物体表面,并使用双目相机来同步采集因物体表面高度调制而变形的光栅图像。然后对变形的光栅图像进行相位解包裹,计算出对应的绝对相位值,根据双目三维重建原理计算出对应的三维信息。

2.1 微振镜结构光发生器

基于结构光三维重建的传统方法中光栅图像的投射采用的是DLP投影仪的方式,这种方法投射时间长,并且投影仪体积大,无法满足机器人抓取的工业需要。为了满足机器人在抓取物体过程中要求快速、精度高及体积小的特点,提出一种可编程的激光投影方式来投射结构光三维重建需要的光栅图片,其核心的激光模组如图1所示,其物理尺寸参数如图2所示。使用的激光波长为830 nm,具体的参数如表1所示。

图 1. 激光模组示意图

Fig. 1. Schematic of laser module

下载图片 查看所有图片

图 2. 激光模组尺寸参数

Fig. 2. Laser module size parameters

下载图片 查看所有图片

利用人眼的视觉暂留现象,二维微振镜^[7-8]在一定的帧频下(大于25 Hz),通过李萨如扫描将激光点束投射照亮整个屏幕区域,并配合单色或三色激光的高频同步亮度调制,可以实现图像和视频的投影。这种投影系统不需要任何光学镜头,只需简单改变投影系统和屏幕的距离,不需要作任何焦距调整,即可实现不同大小的屏幕区域。此外,由于任何一个瞬间屏幕上只有一个像素点亮,激光器的功率都集中在一个像素上,不需要很大的激光器功率就可以实现较高的亮度,且不需要庞大的光源散热系统,整个投影系统集成化非常高。

点束激光器发出的激光束经过光学系统调制后变成激光线^[9],并经过微振镜反射投射到被测对象上。当微振镜不扫描时,被测对象上呈现一条激光线,而当微振镜扭转扫描时在被测对象上将激光线投射成矩形光幕,如图3所示。通过对微振镜和激光器的精确同步控制,按照一定的规律调节激光器功率,在微振镜的一个扫描周期内可以在矩形光幕的区域内实现某些条形区域亮而某些条形区域暗的效果,即可以投射出明暗不同的激光条纹,这种不同密度和不同分布的条纹就可以组合成结构光的光栅图像。激光模组可以使用一个小型化的电路板,如图4所示,通过串口通讯机制来控制光栅条纹的投射。

根据需求可以投射出不同类型的光栅,可以投射一定频率的方波,也可以投射一定频率的正弦波。如图5所示,投射了频率为1,2,8,32,64,128 Hz的方波,及频率为1,4,16,64,128 Hz的正弦波。在三维重建时可以任意选择一种类型的光栅。

图 3. 微振镜扫描方式

Fig. 3. MEMS scanning mode

下载图片 查看所有图片

图 4. 硬件电路

Fig. 4. Hardware circuit

下载图片 查看所有图片

图 5. 投射光栅类型。(a)方波;(b)正弦波

Fig. 5. Projection grating type. (a) Square wave; (b) sine wave

下载图片 查看所有图片

基于激光束调制而成的结构光光栅投射器,具有速度快、可编程、易控制及体积小等特点,而且输出的激光功率小对人眼没有伤害,具体参数如表2所示。

2.2 多频外差三维重建算法

三维重建算法使用的是基于多频外差的方法^[10-11],首先使用微振镜结构光发生器投射几组不同频率的光栅图片到被测物体上,并且每个频率的光栅采用四步相移的方法分别投射4幅光栅图像。使用基于多频外差的方法的目的就是获取到图像上每个点的包裹相位^[12],而使用相移方法能很好地解决这个问题。此方法最大的优点就是图像上的相位值不会受到相邻点光照强度的影响,也可以抵消被测物体表面粗糙不均匀而造成的光照不均匀的影响。

通过微振镜激光发生器将一组正弦性质的光栅投射到被测物体上,受被测物体高度调制而产生的光强函数可以表示为

Ix,y,δj=Ax,y+Bx,ycos⁡cosϕx,y+δj,1

式中,x、y为图像点坐标,δ_j表示第j个相位值,I(x,y,δ_j)为光强函数,A(x,y)为光强,B(x,y)表示物体深度信息,δ_j表示图像光栅的相位值,ϕ(x,y)为(x,y)点的相位。然后,使用四步相移动法计算包裹相位。四步相移值可以设置为δ₀=0,δ₁=π/2,δ₂=π,δ₃=3π/2。由(1)式得:

I0(x,y)=A(x,y)+B(x,y)cosϕ(x,y)I1(x,y)=A(x,y)-B(x,y)sinϕ(x,y)I2(x,y)=A(x,y)-B(x,y)cosϕ(x,y)I3(x,y)=A(x,y)+B(x,y)sinϕ(x,y),(2)

式中I₀、I₁、I₂、I₃表示四步相移,联立上述4个方程可以解出相位函数:

ϕ(x,y)=arctanI3(x,y)-I1(x,y)I0(x,y)-I2(x,y),-π≤ϕ≤π。(3)

包裹相位计算完成之后,使用多频外差的方法对包裹相位进行展开。设每套条纹的包裹相位图为Φ_w(m,n,t),m、n表示图像像素坐标,t标定第几个条纹。求出相邻条纹包裹相位值相同的点的相位差ΔΦ_w(m,n,t),即ΔΦ_w(m,n,t)=Φ_w(m,n,t)-Φ_w(m,n,t-1),然后使用基于拟合负指数的方法对相位进行展开,即只采用s,s-1,s-2,s-4,…,s/2幅包裹相位值(s为最大条纹数),t'=1,2,4,…,s/2为条纹数。

ΔΦu(s-t',s-2t')=U[ΔΦw(s-t',s-2t'),ΔΦu(s,s-t')]w=sΦu(s)+∑ν=0log2s-1(s-2ν)Φu(s-2ν)/s2+∑ν=0log2s-1(s-2ν)2,(4)

式中,U表示包裹相位差的集合, u表示集合U的子集,ν表示指数的取值范围且ν∈(0,log₂s-1),可得到Φ_u=w×s。Φ_u=w×s即为该点最终展开相位。

通过使用5个不同频率的正弦波可以获得双目相机对应的展开相位图,然后根据双目立体三维重建方法对物体进行三维重建,以此获得物体的三维信息。

3 三维物体匹配与定位

获取到物体三维数据之后就可以对散乱的物体进行匹配和定位操作。机器人抓取的过程就是在一堆散乱放置的物体中识别并定位到每个物体,这个过程主要分为三个步骤:第一是获取散乱放置的物体的三维数据;第二是在获取的三维数据里面识别到被抓取的物体,由于在实际操作过程中物体的放置是随机的,而且相互有重叠,如何在随机放置的物体中快速识别到物体是关键;第三是识别到物体之后对每个识别到的物体进行定位,即获取到每个物体在机器人坐标系下的三维坐标和法线信息。

3.1 三维物体匹配

在机器人抓取过程中,三维物体的准确匹配是抓取的前提。其基本思路是在扫描的三维数据中寻找与被抓物体具有相同模式的三维数据。被抓取物体的三维模型可以事先得到,使用被抓取物体的模型在三维数据中匹配到需要抓取的物体,一次重建的三维数据中可以匹配到多个被抓的物体,这样可以把机器人视场内看到的物体尽量多的一次匹配完成,在定位物体时也可以一次完成所有被抓物体的定位。如果被抓取的物体在抓取过程中不会对其他物体产生位移影响可以一次扫描多次抓取;如果在抓取的过程中对其他物体产生了位移的影响,可以在机器人放置物体的过程中重新扫描重建,每次只抓取一个物体。此方法要求物体在获取三维数据和定位的时间内保持静止状态。

使用一种基于三维点PPF(point pair feature)^[13-14]的方法实现物体的三维匹配。其核心思想就是在基础模型上和扫描得到的三维数据上建立一种描述三维特征的关系,然后使用这些特征进行匹配找到最佳的反应物体之间的旋转和位置关系^[15]。设s_i∈S为基础模型上的三维点信息;m_j∈M为扫描得到的三维数据,i为对应点云的编号。对于一片三维数据中的两个三维点m₁、m₂,定义d=(x_m1-x_m2,y_m1-y_m2,z_m1-z_m2),取两垂直于点m₁和m₂所在平面的法线n₁、n₂,特征F可表示为

F(m1,m2)=[‖d‖2,∠(n1,d),∠(n2,d),∠(n1,n2)],(5)

式中∠(a,b)∈(0,π)表示两个向量之间的夹角。

可以使用PPF来描述整幅三维点云数据的特征,如图6所示,即可以使用(5)式来描述一幅点云第i和第j点对,即m_i,m_j∈M之间的特征F(m_i,m_j)。同样可以推广到基础模型得到整个模型的特征F(s_i,s_j)。三维匹配的过程就是在点云对(m_i,m_j)∈M²和(s_i,s_j)∈S²中找到相同的特征F。

图 6. PPF描述

Fig. 6. PPF description

下载图片 查看所有图片

取基础模型上任意一点s_i∈S和待匹配点云中的任意一点m_j∈M,i,j表示点云中点的编号,将两点通过一个平移变换重合到原点,如图7所示,并将两点的法线n_s、n_m对齐到x轴,即

Tnm=Tns=e1,(6)

式中,T为平移向量,e₁表示单位法线。法线对齐之后点s_i,m_i之间的关系可以通过一个旋转角α来表示。设基础模型上的一个点对(s_i,s_j)∈S²和待匹配的点云中一个点对(m_i,m_j)∈M²具有相同的特征F,则它们直接的变换关系可以表示为

si=T-1R(α)Tmi,(7)

式中R为旋转矩阵。当待匹配点云与基础模型进行匹配时,先根据(5)式计算各自的特征,然后使用基于Hash表的方法找到具有相同特征的点,最后根据(6)式和(7)式确定两个模型之间的转换关系,即得到R、T。

图 7. 变换关系示意图

Fig. 7. Schematic of transform relation

下载图片 查看所有图片

3.2 三维物体的定位

三维物体匹配完成之后可以得到一幅三维点云中有多个匹配成功的物体及这些物体与基础模型之间的变换关系。根据这个变换关系就可以找到点云中对应的实际物体在机器人坐标系下的位置和法线信息。

如图8所示,基础模型的坐标系为O_m-xyz,模型上的一个点P的三维坐标为(x,y,z)和其对应的法线为n=(n_x,n_y,n_z)。在工件台上摆放有多个待抓取的物体,可以通过快速结构光的方式获取这些物体的三维信息。其坐标系为双目结构光相机坐标系O_c-xyz及机器人坐标系O_r-xyz。坐标系之间的关系如图9所示。

图 8. 模型坐标系

Fig. 8. Model coordinate system

下载图片 查看所有图片

图 9. 坐标系之间的关系

Fig. 9. Relations between coordinate systems

下载图片 查看所有图片

三维定位就是找到散乱放置的物体在相机坐标系O_c下物体的位置和法线信息,根据(7)式可以求解出模型到三维点云中物体的转换关系,即坐标系O_m下的模型到坐标系O_c中的物体的变换关系,如是可以得到坐标系O_c下每个匹配成功的模型上的三维点和法线信息:

Pk=[Rk,Tk]P,nk=[Rk,Rk]n,(8)

式中k=1,2,…,n表示匹配到的物体编号。这样就可以计算出相机坐标系O_c下每个匹配到的物体位置和法线信息,再使用机器人手眼标定法计算出机器手坐标系O_r与相机坐标系O_c的变换关系,从而确定物体在机械人坐标系下的物体位置和法线信息。

4 实验

在基于快速结构光三维重建的机器人抓取过程中,首先需要重建出散乱摆放的系列物体的三维数据,然后使用被抓取物体的基础模型在重建的三维数据上进行匹配,通过定位到的关系确定散乱放置的物体在机器人坐标系下的位置和法线信息,最后机器人可以根据位置和法线信息来抓取某个物体。本研究的实验主要是基于快速结构光的方法,因此研究重点在三维数据的获取和定位过程。并在速度和精度上和传统的三维获取的方法进行比较。

快速结构光系统如图10所示,由两个相机和一个光速投射器组成,硬件的控制部分采用硬触发的方式采集数据,即由硬件发送一条指令来控制相机的同步和采集光栅投射器投射的图像数据,具体参数如表3所示。电脑配置采用英特尔酷睿i5-7400,内存4 G、NVIDIA GeForce GT 730显卡等。

图 10. 快速结构光双目系统

Fig. 10. Fast structure light binocular system

下载图片 查看所有图片

三维定位的处理过程如下,其对应的流程图如图11所示。

1) 载入需要抓取的物体基础模型,如图12所示,文件格式可以是obj或stl等格式;

2) 使用基于振镜的双目扫描设备投射条纹,如图13所示,采用5个频率的正弦光栅,每个频率对应的相位主值如图14(a)~(e)所示,相位展开图如图14(f)所示。最后根据左右相机的相位和标定数据得到的物体三维重建结果如图15所示。

3) 使用基础模型在三维数据上进行匹配,找到所有匹配到的物体在机器人坐标系下的位置和法线信息,如表4所示;匹配得到的物体采用蓝色显示,如图16所示。

4) 将所有的定位信息传输给机器人,通过分析即可完成物体的抓取动作。

图 11. 实验流程图

Fig. 11. Flow diagram of experiment

下载图片 查看所有图片

图 12. 基础模型

Fig. 12. Basic model

下载图片 查看所有图片

图 13. 光栅投射结果

Fig. 13. Grating projection results

下载图片 查看所有图片

图 14. 相位主值和相位展开图。(a) 1 Hz的相位主值;(b) 4 Hz的相位主值;(c) 16 Hz的相位主值;(d) 64 Hz的相位主值; (e) 128 Hz的相位主值;(f)相位展开图

Fig. 14. Principal value maps of phase and phase unwrapping graph. (a) Phase principal value of 1 Hz; (b) phase principal value of 4 Hz; (c) phase principal value of 16 Hz; (d) phase principal value of 64 Hz; (e) phase principal value of 128 Hz; (f) phase unwrapping graph

下载图片 查看所有图片

图 15. 三维重建结果

Fig. 15. 3D reconstruction results

下载图片 查看所有图片

图 16. 正确匹配到的物体

Fig. 16. Correctly matched objects

下载图片 查看所有图片

基于激光振镜结构光的机器人定位的方法可以快速地获取三维信息,并达到理想的定位精度。验证精度采用的是基于标准球的方法,如图17所示,两个球心的标准距离是通过第三方机构严格测量出来的,设为D。在测量场景中的不同位置多次重建两个标准球的三维信息从而获得两个球心的三维坐标,最后根据测量到的球心距离d_i与标准距离D进行比较以确定其精度,即E_rrori= (di-D)2。并将基于微振镜结构光的三维重建方法与基于Kinect三维重建和基于投影仪DLP的三维重建在精度上和速度上进行比较,即在相同的场景下将标准球摆放在不同的位置进行三维重建和匹配。实验一共采集100组数据,其中5组数据如表5所示,误差曲线如图18所示,处理时间如图19所示。

图 17. 标准球

Fig. 17. Standard ball

下载图片 查看所有图片

图 18. 误差曲线图

Fig. 18. Error curves

下载图片 查看所有图片

图 19. 处理时间曲线图

Fig. 19. Processing time curves

下载图片 查看所有图片

5 结论

提出了一种基于微振镜结构光投射器的方式来获取物体的图像数据并采用基于双目立体视觉和多频外差的方法来对物体进行三维重建,从而快速地获取物体的三维信息;然后利用获取的三维数据通过使用PPF特征来完成三维物体的匹配和定位操作;最后找到散乱放置的物体在机器人坐标系下的三维坐标和法线信息,从而给机器人提供抓取的三维坐标和方向信息。通过实验可以看出采用基于微振镜结构光的方式可以获得与投影仪相同数量级的精度,同时拥有与Kinect方式相同的时间效率。此方法定位的精度在0.1 mm左右,处理的时间在0.4 s左右。基于微振镜的机器人定位抓取方法不仅在精度和速度上具有优势,其小型化的产品结构更有利于机器人的工业结构实现。