为了在复杂噪声环境下从焊缝图像中精确地提取结构光条纹,构建了语义分割与目标检测相结合的深度学习模型用于焊缝图像的检测。为了提高模型的检测速度,在语义分割分支中,通过添加并行下采样模块及缩减卷积核数量的策略对模型进行了优化,并使该分支与目标检测分支的特征提取部分共享权重。针对焊缝图像中结构光条纹与背景像素比例失衡而导致模型分割结果偏向负样本的问题,在损失函数中添加Dice系数来对模型进行修正。经实验验证,该方法在保证实时性的基础上,以较高的精度实现了结构光条纹的检测。

针对基于原始点对特征的三维目标识别算法中存在的内存浪费、效率不高的问题,提出了一种基于增强型点对特征的三维目标识别算法。通过在原始点对特征的第4个分量上乘以一个符号函数,得到了一种区分性更强的点对特征,消除了原始点对特征存在的二义性。考虑到待识别目标三维模型存在的自遮挡,利用点对之间的视点可见性约束,剔除了目标三维模型哈希表中存在的大量冗余点对,节省了内存开销并提高了三维目标识别算法的识别准确率和效率。在开放数据集和实际采集的数据集上的实验结果表明,与基于原始点对特征的算法相比,所提三维目标识别算法在识别准确率和效率上都有一定程度的提升。

针对ORB-SLAM2 (Oriented FAST Rotated BRIEF SLAM2)系统中相机位姿求解精度不高,只能生成稀疏地图的问题,提出了一种在ORB-SLAM2系统框架上将稠密的直接法和原系统采用的稀疏特征法结合在一起求解相机位姿,并生成稠密地图的方法。该方法改进之处包括:在原系统使用的第三方图优化库g2o(General Graph Optimization)中创建一条新的稠密约束一元边,将稠密直接法的光度误差约束加入到图优化库g2o中;跟踪相机时先通过稠密直接法计算相邻两帧图像之间相机的旋转变换,再利用改进后的图优化库g2o同时最小化特征法的重投影误差和直接法的光度误差,优化求解6 DOF(Degree of Freedom)相机位姿;在ORB-SLAM2系统框架上添加稠密重建线程,将周围场景的重建结果实时反馈给用户。在TUM RGB-D和ICL-NUIM数据集上的测试结果表明,本文方法在一定程度上提高了ORB-SLAM2系统中相机位姿的求解精度,不仅可生成稀疏地图,还可重建更高精度的稠密地图。

针对多个板型物体混叠摆放的场景,提出了一种快速有效的分割算法。该算法充分利用有序点云的特点,将自顶向下以及自底向上的分割策略结合,根据三维点的空间位置和法向量,利用随机采样一致性(RANSAC)算法从三维点云数据中快速提取平面点集;然后将提取的平面点集所对应的图像坐标映射为二值图像,通过连通区域分析将其分割为多个连通的平面区域;接着利用“胶水”算法对这些区域进行快速合并,并对较大的弱连接连通区域进行断裂修正,得到最终的分割结果。实验结果表明:与区域生长算法相比,所提算法的分割结果更优,且算法效率大幅提升。

提出一种基于图像分割的稠密立体匹配算法,该算法将灰度-梯度算法与零均值归一化互相关(ZNCC)算法相结合生成匹配代价,利用SLIC(Simple Liner Iterative Cluster)算法对图像进行分割,基于视差图和超像素更新了匹配代价。在视差后处理阶段,基于左右一致性检验(LRC)、孔洞填充和十字交叉自适应窗口加权中值滤波的方法减小视差图的误匹配率。利用Middlebury数据集的4组图像进行测试,测试结果表明,平均误匹配率为4.99%。

空间飞行器上普遍具有星箭对接环部件，可以提供单圆特征，但基于单个空间圆的单目视觉位姿估计有两个位姿解，无法应用到实际工程中。为了有效剔除虚假解的干扰，利用对接环平面外一参考点到圆心距离的欧氏不变性作为约束，提出一种虚假解剔除方法，给出了在该约束条件下有唯一解的证明，并对位姿求解方法进行了误差仿真分析，给出了提高测量精度的可行策略。根据空间圆在图像上的投影计算出空间圆位姿的两个解；利用参考点到圆心的距离已知且不变作为约束剔除虚假解，得到星箭对接环的真实位姿；对该方法的有效性进行了仿真和实验验证。实验结果表明，该方法可有效剔除虚假解，计算过程简单，结果稳定可靠，对接环圆心计算误差小于0.5%，姿态角误差小于0.8°。