枸杞槟榔的放料工序目前仍需工人手动完成，生产效率低且存在食品卫生问题。为了解决这个问题，设计了一种基于结构光3D视觉的槟榔姿态识别与定位系统。首先，由数字投影仪向槟榔投影蓝光正弦条纹，相机采集变形条纹图像后，通过计算机进行三维重建，获得高精度槟榔点云；然后，融合2D图像和3D点云信息，采用所提特征线法估计槟榔的姿态参数；最后，定位槟榔空腔中心并将其作为放料点，根据手眼标定将放料点坐标转换到机械臂基坐标系下，使机械臂自动放料。利用500个槟榔进行姿态识别与定位实验，并统计处理时间和分类准确率。实验结果表明，1个槟榔的处理时间为0.39~0.59 s。整体的识别准确率为95.6%。对放料点的定位误差在0.25 mm之内，低于放料要求的0.3 mm。所提方法能有效解决形状复杂且自由放置目标的姿态识别与定位问题，具有较高的定位精度以及良好的稳定性，满足实际生产要求。

为确定线结构光视觉传感器与工业机器人法兰中心的位姿关系，设计了一种只有单个圆的平面靶标及标定方法。调整机器人姿态，使激光线经过平面靶标上实心圆的圆心，通过图像处理，得到圆心的像素坐标，转换后得到圆心在传感器坐标系下的坐标；多次调整姿态，获取多组图像，得到多组传感器坐标系下圆心坐标；结合对应机器人位姿关系，采用最小二乘法直接解算出手眼矩阵。实验结果表明，所提方法与采用标准球为靶标的手眼标定方法对比，反求得到的三维坐标的标准差由0.3893 mm降为0.2145 mm，以同一目标的不同间距为测量对象，均方根误差均有效减小。该方法提高了标定精度，不需要采用昂贵的靶标，适合于现场标定。

近年来,随着工业4.0的提出和机器视觉的飞速发展,机器人搭配视觉系统实现智能化变为现实。视觉系统主要分为二维(2D)视觉和三维(3D)视觉,3D视觉有着高精度、自由度丰富、应用场景更多等优点,越来越受到市场的青睐。3D视觉与传统的2D视觉相比,可以获得更加全面的三维数据信息,且不受光照影响,但是X、Y方向的分辨率较低,因此基于棋盘格的传统手眼标定算法并不适用于3D相机与机器人进行手眼标定。因此,设计了一种基于3D标定块的机器人与3D相机的手眼标定方法。通过相机获得标定块的灰度信息,利用模板匹配算法分割标定块的各个平面,计算出平面中多个点在像素坐标系下的位置,同时获取该像素坐标的深度信息,拟合出标定块多个平面的法向量信息,通过多个平面相交求解出特征点位置。利用随机抽样一致性算法剔除错误特征点后,根据正确的特征点求解出机器人在不同姿态下获取标定块点云数据之间的转换关系,结合机器人当前坐标求解出手眼标定结果,并建立误差评价模型对结果进行误差分析。最后通过DENSON六自由度机械臂与康耐视EA-5000相机对此方法与利用标定板进行手眼标定的方法进行比较验证,结果显示此方法可以更快速、准确地完成标定。

工业机械臂在多工位作业时通常需要具有远近视距的双目视觉系统,用于全局目标定位和局域精确测量。由于具有远近视距的两目相机缺乏公共视场,无法由传统双目立体视觉标定内外参数,提出了一种基于点阵编码元和多视图几何的标定技术。首先为具有远近视距的两目系统制作与之视场大小匹配的两种尺寸的点阵编码元标定板,提出了一种基于灰度梯度的亚像素边缘定位方法以提高椭圆中心定位精度,并改进了点阵编码元的解码算法用于图像特征的稳健匹配。再利用不同视角下编码元的高精度中心像素坐标和图像间编码元的对应关系,通过多视图几何解算出两目相机的内参数和相对各自标定板的转换矩阵。然后由转换矩阵构造AX=ZB手眼标定方程形式,求解方程式中的X即可得到两目相机间的外参数。最后分析了两类优化方法对标定误差的抑制情况。实验结果表明,经优化后标定精度得到提高,角度误差为0.05°,位置误差为0.36 mm。

针对龙门架机器人末端执行机构只具有三个正交方向上的平移自由度的工作特性，参照传统手眼标定的两步法，设计了一种直接对3D视觉传感器的点云坐标系与机器人执行机构的工具坐标系进行手眼标定的方法。该方法只需要操作机器人进行两次正交的平移运动，采集三组标定板图片和对应点云数据，并通过执行机构的工具中心点(TCP)接触式测量出标定板上标志点的基坐标值，即可解算出手眼关系的旋转矩阵和平移矢量。该方法操作简单，标定板易于制作且成本低。采用XINJE龙门架机器人与3D视觉传感器搭建实验平台，实验结果表明，该方法具有良好的稳定性，适合现场标定，标定精度达到?0.2 mm。

航空航天产品结构尺寸大、面形复杂、装配精度要求高,移动式机器人作为一种自动化装配装备,可实现飞行器表面爬行移动装配位姿的精准定位,补偿制孔机器人刀具中心点与工件之间的相对定位误差。针对穿心夹遮挡干扰下的装配基准三维识别与测量定位需求,提出了一种轨道式爬行机器人制孔基准的高精度定位方法。首先,基于灰度聚类的自适应轮廓提取算法实现基准孔轮廓的分割、识别和坐标计算;然后,基于靶标式高精度手眼标定方法实现基准孔坐标的三维转换;最后,在制孔装备上集成视觉测量系统并进行了现场测试和精度验证。实验结果表明,本方法对基准孔的定位误差小于0.05 mm,满足轨道式爬行制孔机器人的装配定位需求。

针对基于视觉辅助下的机器人对目标物体识别精度与抓取精度的要求, 提出了一种基于深度学习目标检测方法的视觉抓取系统。系统首先通过改进的深度学习的目标检测算法实现被抓物体的识别; 其次根据张正友相机标定的方法对末端夹持器柔性夹爪和深度相机实现手眼标定; 最后在气动仿生手臂实验平台上完成物体的抓取实验。实验结果表明, 与传统视觉抓取系统相比, 基于深度学习目标检测的抓取系统不仅能够提高机器人对被抓物体的识别精度, 而且还能够适应在各种复杂环境下实现对多种类别物体的抓取, 取得了令人满意的抓取效果。

针对传统机器人视觉系统手眼标定方法存在人工定位特征点误差大和标定过程耗时长的问题, 提出了一种机器人视觉系统非接触式手眼标定方法。采用圆锥体作为标定块, 通过3D视觉传感器采集标定块图像, 基于Halcon编写上位机程序对图像进行处理计算, 自动获取3D视觉传感器坐标系下标定块特征点坐标, 同时导入机器人基坐标系下的坐标, 计算手眼关系变换矩阵, 完成机器人视觉系统手眼关系标定。实验表明: 此方法平均标定操作时间为6.47min, 平面定位误差最大值为0.39mm, 空间定位误差最大值为0.478mm, 缩短了标定操作时间并提高了标定精度。

为了克服传统机器人手眼标定方法求解手眼关系及机器人坐标系与世界坐标系方位关系对标定参照物的依赖，提出一种基于二阶锥规划的无标定参照物手眼标定改进方法，并搭建相关实验系统进行验证。首先，利用运动恢复结构算法解算定义在一个尺度因子基础上的相机运动矩阵; 然后，引入对偶四元数理论参数化标定方程中的旋转矩阵和平移向量; 最后，通过二阶锥规划方法同时求解相机运动矩阵尺度因子、手眼关系及机器人坐标系与世界坐标系方位关系的最优解。仿真和实测结果表明，在没有标定参照物作为测量基准的情况下，标定结果中旋转参数相对误差为3.998%，平移参数相对误差为0.117%。与其他标定方法相比，该方法提高了无标定参照物模式下机器人手眼标定精度，扩展了手眼标定方法的应用范围。

为了避免机器人模型误差对三维形貌柔性测量系统手眼标定的影响,对手眼关系的标定方法进行了研究。提出了一种融合特征点拟合的手眼标定方法。将三维形貌扫描仪安装在工业机器人末端搭建三维形貌柔性测量系统。标定时,首先利用激光跟踪仪对工业机器人末端法兰盘坐标系进行测量,得到两者转换关系；然后,利用三维形貌扫描仪和激光跟踪仪对空间固定的特征点组进行测量,利用特征点约束和基于罗德里格矩阵的算法求解两者转换关系即可间接地求解出手眼关系。基于ATOS三维扫描仪、安川HP20D机器人和API公司生产的激光跟踪仪进行了手眼标定实验,并进行了精度验证。结果表明：标定后的三维形貌柔性测量系统,其重复性测量精度(3σ)不超过0.1 mm,长度测量精度的均方根误差在0.2 mm以内,点云拼接精度优于±0.7 mm。该方法有效避免了传统手眼标定过程中会引入机器人模型误差的问题,在求解手眼关系解时采用了线性的解法,并且适用于三维形貌柔性测量系统。