1　引言

自动化视觉检测，其形式通常由移动平台搭载视觉传感器对待检表面进行自动化信息采集与分析。随着机器人、无人机等技术的快速发展与应用，自动化视觉检测在现代工业制造领域得到广泛应用^［1-3］。如今，大批量的自由曲面零件被生产制造，例如叶片、叶盘等，要求具备较高的尺寸精度和表面完整性，而传统的人工检测已无法满足其效率与精度要求^［4］，逐渐被基于机器视觉的检测方法取代^［5］，因此自动化视觉检测具有较大应用需求与研究意义。其中，检测规划是自动化视觉检测的前提，主要包括视点规划与路径规划两部分，均被证明为多项式复杂程度的非确定性问题^［6］，规划的路径难以达到最优，从而影响检测的效率。

视点规划通常经视点采样转换为集合覆盖问题（SCP）进行求解^［7］，采样视点集的质量影响着后续规划视点的覆盖率与规划路径的长度。在视点采样方面，主要分为空间采样、补丁采样、顶点采样等^［8］。Wei等在视觉传感器的景深可行空间^［9］和机器人可达空间^［10］进行随机采样以确保采样视点的有效性，但采样过程过于随机，规划结果易受采样视点数量的影响。Mosbach等^［11］根据待检表面几何复杂度自适应采样视点数，为随机采样提供一些指引，但视点固定指向补丁且平行于其法向，采样视点缺乏多样性。Gronle等^［12］在每个网格顶点生成采样视点，再基于距离与方向相似性过滤得到优化视点集，但采样过程需进行大量运算。以上几类方法比较具有代表性但各有优劣，良好的视点采样方法应兼顾质量与多样性。

在视点规划与路径规划方面，研究者主要尝试通过单独优化规划视点来降低检测时间成本。刘洪鹏等^［13］通过改进贪婪算法减少规划视点，有助于降低检测时间；Mohammadikaji等^［14］将贪婪算法与粒子群优化相结合对视点数量进行全局优化；Bircher等^［15］通过优化视点与其邻域视点的距离成本从而降低整体的距离成本；Almadhoun等^［16］提出集成多个传感器以增大视点的覆盖区域的方式提高检测效率。此外，Phung等^［17］允许视点集覆盖区域冗余，通过优化路径长度来降低检测时间成本。但是，视点规划与路径规划作为两个耦合的优化问题，单独优化难以兼顾视点覆盖率与检测时间成本。Jing等^［18］尝试将视点规划与路径规划进行组合并将组合问题简化为单目标问题进行优化，检测效率得到一定提升；陈丽等^［19］在此基础上加入无人机能耗作为优化目标，但该方法在优化过程中需不断补充视点来满足视点覆盖率，计算成本大，运算效率较低。

目前尚不存在完备最优的视点规划方法，且视点与路径整体规划的研究较少，依然存在规划视点不佳、自动化视觉检测效率低下等问题。为此，本文将视点规划与路径规划组合，提出视点与路径多目标整体规划方法。本文的主要贡献在于：1）提出基于表面曲率的视点冗余采样方法，约束采样视点的数量并确保其具备较高质量与多样性；2）将组合问题作为多目标优化问题进行整体规划，提出基于约束的非支配排序遗传算法（C-NSGA-Ⅱ）实现检测时间成本的全局高效寻优；3）在检测时间成本的寻优过程中，通过约束优化个体接近最小覆盖率而非强制满足，从而大幅提升运算效率。

2　问题描述

检测规划是对视觉传感器视点以及视点的访问顺序进行规划，主要目标一般为视点覆盖率与路径长度，为了更好地描述检测时间代价，本文结合检测过程中可能耗时的因素用检测时间成本代替路径成本。先视点再路径的单独规划方法是对两目标依次寻优，通过在构造的采样视点集中优选出满足视点覆盖率的最少视点，再对视点集基于旅行商问题求解出检测时间成本最优的视点访问顺序。但单独规划视点时未考虑视点间的距离成本，因此路径规划的最优解并非全局最优解。

针对上述问题，本文在采样视点集中进行视点规划的同时进行路径规划，对视点覆盖率与检测时间成本同时进行优化，检测规划示意图如图1所示。优化过程中，以检测时间成本作为主要优化目标，并约束优化个体接近最小覆盖率，从而寻求检测时间成本全局最优的视点集及其路径。

图 1. 检测规划示意图

Fig. 1. Schematic of inspection planning

下载图片 查看所有图片

3　基于表面曲率的视点冗余采样

经网格均匀化和表面离散化处理，本文中的待检模型由处理后得到的点云集U表示。其中网格均匀化有助于开展基于表面曲率的视点冗余采样，并能够轻量化点云数据，从而提高视点采样速度。视点规划问题转换为SCP模型时，需采样n个冗余视点V=v1,v2,…,vn并生成每个采样视点覆盖点云集U的部分C=c1,c2,…,cn。视点规划即简化为从采样视点集中优选一组最优视点集Vres，其中，Vres⊆V且Vres覆盖曲面部分Cres满足：

式中：nU为点云集U的点云数量；nC为Cres的点云数量；kmin为最小覆盖率要求。

3.1　冗余视点采样策略

规划视点由冗余的采样视点中优选得到，因此视点采样策略至关重要，需要考虑曲面复杂遮挡等情况，并确保满足视点覆盖率要求。此外，还应避免采样视点过多导致运算量过大的问题，同时能为后续规划提供多样性的视点选择，以增加规划出最优视点集的可能性。因此视点采样时需要满足以下准则：1）采样视点集须完全且冗余覆盖待检表面；2）采样视点集须保证多样性；3）采样视点须覆盖尽量大的曲面；4）采样视点的数量须尽量少。

结合采样视点集的多样性要求与避免采样视点过多的考量，本文根据视觉传感器景深中间平面面积Sv与待检表面表面积Sc自适应采样视点的数量，待检表面每区域需由μ个采样视点覆盖，其中μ=5，假设视点视场存在50%的覆盖损失，采样视点数量n的计算方式为

针对复杂曲面遮挡难覆盖的性质，利用曲率表征曲面的复杂程度以指引视点的采样。对于较复杂的曲面区域，采样视点难以覆盖，因此采样更多视点以保证覆盖率，并为后续的检测规划提供多样性选择；而对于容易被采样视点覆盖的较平坦区域，采样足够的视点即可保证多样性。其中，点云的曲面复杂度可参考点与其邻域点的法向量夹角^［20］，其向量内积可表示各点的曲率大小。点云任意一点pi的法向量内积均值定义为

式中：T为pi点的邻域点数；ni为pi点的法向量；nij为pi点邻域点的法向量；内积均值ci的取值范围为［0，1］。内积均值越小则曲面曲率越大，表示曲面越复杂，从而认为该区域应采样尽量多的视点。

3.2　采样视点位姿的确定

为了确保基于表面曲率分配的采样视点能够覆盖待检表面的相应区域，首先在表面点云中进行采样，再根据采样点确定其对应的采样视点。其中，采样点作为视觉传感器测量范围的中心。如图2所示，对于采样视点vi，视觉传感器的工作距离范围为hmin,hmax；Δh为景深；Oi为采样点，也是测量范围的中心点。为保证待检表面的全覆盖，n/2的中心点通过点云集U的均匀采样得到。而其余中心点根据曲率大小从点云集U中非均匀采样，首先点云集U以曲率从大到小排序得到有序点云集Us，长度由nu表示，再从中选择n/2个中心点，其相邻序号间隔等差递增，在Us中的序号为

式中，i=1,2,…,n/2。

图 2. 视觉传感器视场与视点采样示意图

Fig. 2. Illustration of visual sensor field of view and viewpoint sampling

下载图片 查看所有图片

如图3所示，采样视点vi的空间位置确定在采样中心点的法线方向上，距离中心点hmin+Δh/2处，光轴方向Zv指向Oi。针对可能存在视线遮挡的情况，借助待检表面面片与射线Oivi进行遮挡判断。对于存在遮挡的采样视点，通过在以Oi点为球心、hmin+Δh/2为半径、Oivi方向所指向的半球面上随机改变采样视点位置，寻找不发生遮挡的视点位置，从而确保采样视点集对待检表面的全覆盖。而空间姿态Xv轴的初始方向确定与点云集U所在零件坐标系OM-XMYMZM的ZMOMXM的平面平行。为进一步提升采样视点的质量，使其能够覆盖到尽量大的表面区域，再对视点位姿每绕Zv轴旋转30°采样一次，对采样得到的6个视点位姿通过后续的可视分析选择可视化程度最大的位姿作为vi的位姿。

图 3. 采样视点位姿确定

Fig. 3. Sampling viewpoint pose determination

下载图片 查看所有图片

3.3　采样视点的可视分析

在完成冗余视点的采样后，需通过可视分析统计每个采样视点覆盖点云集U的子集部分。对于单目相机，假设A是点云集U中任意一点，判断任意采样视点vi是否对A点可视，首先确定A点是否处于视觉传感器在vi位姿下的测量范围内。其次，进行可视分析^［21］（如图4所示），通过判断viA方向向量v与A点的法向量s之间的夹角θ是否大于允许的最小可见夹角θmin，从而初步判定点云是否存在遮挡。其中，考虑到夹角θ对视觉传感器成像质量的影响^［22］，夹角θ较小时，成像质量随θ的增大逐渐降低，同时还需考虑待检表面的属性，因此θmin需要大于105°以保证视觉传感器对待检表面的成像质量^［1］，若v.s<cosθmin则A点初步满足vi的可视条件。最后八叉树搜索线段viA的邻域点，判断线段viA与其邻域点所参与构建的面片是否相交即是否存在遮挡，若A点不存在遮挡，则vi对A点可视。

图 4. 视点可视分析

Fig. 4. Viewpoint visibility analytics

下载图片 查看所有图片

4　基于C-NSGA-II的视点与路径整体规划

4.1　问题编码

为了将视点规划与路径规划进行组合优化，编码时需将两问题在一条染色体中进行基因型表示。视点规划问题即从采样视点集V中选出Vres，因此设计染色体长度为采样视点数n，引入位压缩的思想判断采样视点的选中状态，对于被选择的采样视点基因表现为1，未被选择的采样视点基因表现为0。路径规划问题即确定Vres中视点的访问顺序，对于被选中的视点在其表现基因1后赋予随机小数x∈[0,1)，通过对被选中视点的表现基因进行排序，从小到大即为视点的访问顺序。假设采样视点数n=10，染色体编码方案如图5所示。

图 5. 染色体编码

Fig. 5. Chromosomal encoding

下载图片 查看所有图片

图5中染色体表示视点2、4、5、9被选中组成Vres，而根据路径规划编码“0.35-0.11-0.98-0.15”表示的视点访问顺序为视点4、9、2、5。

4.2　种群初始化

为了大幅缩短寻优收敛时间，提高最终解的质量，本文兼顾时间成本，采用时间复杂度较低的贪婪搜索算法^［13］生成规模为m的初始种群。为保证种群的多样性，生成Vres之前随机删去部分采样视点，在剩余的采样视点中进行贪婪选择，再基于视点间距离利用贪婪思想确定视点的访问顺序。若无法满足最小覆盖率kmin，则从删去的采样视点中随机加入视点以满足kmin，重复以上操作生成m个个体，即完成种群初始化。

4.3　适应度评估

本文的目标函数包括视点规划的视点对待检表面的覆盖率k与路径规划的检测时间成本w。其中，k为Cres在点云集U中的占比。而直接计算两视点间的最优检测时间成本w需要大量运算。为了简化计算，w用视点间的路径成本d与固定时间成本w0进行估算，w0由移动平台加减速所需成本以及访问视点的时间tv组成，d由访问顺序相邻两视点的直线距离表示。另外，若两视点连线之间与待检表面外接包围盒存在交叉，还需在直线距离的基础上加上绕过包围盒的成本。为了使w中两部分成本的量纲统一，将w0基于移动平台的最大速度vmax以及最大加减速度amax转换为距离表示，为了防止混淆，检测时间成本w视为无量纲。若移动平台的速度变化为梯形速度曲线，则w0表示为

假设Vres中视点数量为nres，di表示第i-1个视点到第i个视点的路径成本，则目标函数可表示为

对于本文的组合问题，评估个体的好坏时无法通过单一指标进行比较，需要使用视点覆盖率k与视点检测时间成本w共同评估。快速非支配排序^［23］将对个体进行排序，从而确定最优解集即Pareto前沿以及各层级非支配关系。而针对同层级个体，本文提出近目标度即个体视点覆盖率接近最小覆盖率kmin的距离作为评估个体好坏的标准，越靠近kmin的个体越优秀，从而约束个体的视点覆盖率在kmin附近，有利于快速优化得到满足kmin的最优解。而NSGA-Ⅱ中原有的拥挤度概念用于评判个体是否重复，以去除种群中的重复个体。

4.4　种群更新

4.4.1　个体选择

对种群中随机选择的两个体，采用经典的二元锦标赛的方法，基于非支配关系层级与近目标度选择较优个体。对于非同一非支配层级个体选择较优解集的个体，同一层级个体选择近目标度较小的个体。

4.4.2　交叉操作

交叉作为生成子代的主要方式，优秀的父代有较大概率获得较优个体。通过个体选择的两父代个体再次基于非支配关系层级与近目标度进行比较，较优个体作为主个体，较差个体作为次个体，进行快速交叉^［24］。如图6所示，为染色体每个基因抽取一个均匀分布的随机数α∈0,1，在交叉得到子代基因时，若α≥0.3则选择主个体基因作为子代基因，若α<0.3则选择次个体基因作为子代基因，从而生成子代基因。

图 6. 交叉操作

Fig. 6. Crossover operation

下载图片 查看所有图片

4.4.3　变异操作

变异是保持种群多样性、防止陷入局部最优的主要途径。为了在种群变异中生成优秀个体，变异个体的选择需要确保随机性，同时能够针对视点的质量自适应变异概率^［25］。遍历染色体的基因时，为每个基因抽取一个随机数α，若α≥0.7则该基因gi可能发生变异。变异条件表示为

式中：ξ为均匀分布的随机数，范围为0,1；uci为基因gi对应的采样视点覆盖点云集U的点云个数；umax与umin分别为采样视点覆盖点云集U最多与最少的点云个数。式（7）表示，若基因gi>0即采样视点vi已被选中，则uci越小越容易发生变异；而若基因gi==0即vi未被选中，则uci越大越容易发生变异。另外，μ作为采样视点冗余程度，加到变异条件中用来限制最终被选中的采样视点数。

如图7所示，新种群Gt+1由父代Gt与子代Ct中精英保留个体和变异群体Mt共同组成，具体流程如下：

图 7. 种群更新流程

Fig. 7. Population update process

下载图片 查看所有图片

Step 1：使用贪婪算法生成初始化种群Gt，种群规模为m；

Step 2：计算种群的适应度，通过快速非支配排序得到非支配层级集合Q=Q1,Q2,Q3,…，并在每个非支配层级中计算个体近目标度；

Step 3：根据非支配层级Q与近目标度进行个体选择，交叉得到种群规模为m的交叉种群C_t；

Step 4：对由Gt与Ct组成的种群计算适应度，快速非支配排序得到P=P1,P2,P3,…并计算近目标度；

Step 5：精英保留P中优先级前1-Pmm的非重复精英个体，其中Pm为变异概率；

Step 6：生成由变异种群Mt与精英保留种群共同组成的新种群Gt+1；

Step 7：若t+1<tmax（其中tmax为最大种群更新次数），则执行Gt=Gt+1并返回Step 2；否则，返回Pareto前沿中将近目标度最小的个体作为最优解。

5　实验与分析

5.1　仿真实验分析

为验证本文方法的可行性与优越性，设计了本文提出的C-NSGA-Ⅱ与其他相关算法对相同待检对象的仿真对比实验，其中待检对象模型1［图8（a）］代表复杂曲面零件，包围盒尺寸为50 mm×79 mm×100 mm；模型2［图8（b）］代表存在内壁自遮挡的零件，包围盒尺寸为63 mm×63 mm×20 mm。仿真实验中本文所用算法均在Visual Studio 2015开发环境中采用C++语言编程实现，操作系统为Windows 11，处理器为AMD Ryzen 7 5800H with Radeon Graphics，主频为3.20 GHz，内存为16.0 GB。

图 8. 待检对象网络模型。（a）模型1；（b）模型2

Fig. 8. Mesh models of target objects. (a) Model 1; (b) model 2

下载图片 查看所有图片

实验中视觉传感器的工作距离范围为87~112 mm，视场为27mm×45mm（近场）~30mm×45mm（远场）。算法参数设置如下：种群规模m=400，最大种群更新次数tmax=2000，变异概率Pm=0.15，最小覆盖率kmin=99.5%，最小可见夹角θmin=120°，并假设固定成本w0=10。

5.1.1　视点与路径多目标整体规划结果

运用本文提出的C-NSGA-Ⅱ对待检对象进行规划，Pareto前沿解集如图9所示，可看出优化结果被约束在kmin的附近，选择覆盖率大于kmin中检测时间成本最小的个体作为最优个体即最终规划结果，如表1所示。其中采样视点数是根据式（2）计算得到的，视点覆盖率满足设定的最小覆盖率要求。

图 9. Pareto前沿解集。（a）模型1；（b）模型2

Fig. 9. Pareto frontier solution set. (a) Model 1; (b) model 2

下载图片 查看所有图片

图10是对待检对象的检测规划效果图。图10（a）与10（c）分别是模型1与模型2基于表面曲率的视点冗余采样效果，可看出在存在遮挡的区域采样更多的视点，可达到较理想的效果。通过C-NSGA-Ⅱ规划得到一条贯穿规划视点的检测时间成本最优路径，视点与路径多目标整体规划效果如图10（b）与10（d）所示。

图 10. 检测规划效果图。（a）、（c）视点采样效果图；（b）、（d）视点与路径整体规划效果图

Fig. 10. Inspection planning renderings. (a), (c) Viewpoint sampling renderings; (b), (d) holistic planning renderings of viewpoints and paths

下载图片 查看所有图片

5.1.2　视点采样方法对比

为了体现本文所提基于表面曲率的视点冗余采样方法的优越性，开展相关实验进行验证。由于视点采样方法多样且各有优劣，因此设计本文视点采样方法与文献［13，18］中常用的随机视点采样方法进行对比实验。以本文采样方法为基准，由式（2）计算采样视点的数量，通过比较两种视点采样方法在最终检测规划得到的检测时间成本，来评估方法的优劣。考虑到随机采样方法具有随机性，对模型1和模型2分别重复开展10组实验。表2中10组实验的平均结果表明，通过本文视点采样方法，检测时间成本分别降低了13.91%和6.90%。另外，实验中发现随机采样方法存在无法满足视点覆盖率要求的情况。因此，本实验充分证明了本文视点采样方法的优越性，特别是对于复杂对象。在采样相同视点数时，该方法采样的视点集具备较高质量，能够为检测规划提供多样性的视点选择。

5.1.3　检测规划算法对比

为了进一步验证本文所提C-NSGA-Ⅱ的优越性，开展本文算法与贪婪算法单独规划（Greedy-Greedy）、贪婪算法与遗传算法分别规划视点与路径（Greedy-GA）、遗传算法单独规划（GA-GA）以及遗传算法整体规划（GA）的对比实验。其中，Greedy-Greedy与Greedy-GA采用刘洪鹏等^［13］的贪婪搜索算法单独规划视点；GA-GA与GA采用Wei等^［18］简化为单目标优化问题的方法进行视点规划与整体规划。规划参数与本文算法一致，重复仿真实验10组。

图11是不同算法对待检对象规划的检测时间成本对比，可看出C-NSGA-Ⅱ优于其他算法，而结果中GA与GA-GA相比存在结果表现欠佳的情况，分析其原因是相同条件下整体寻优在收敛速度方面逊色于单独寻优所致。图12是不同算法对待检对象规划的视点数对比，结合图11可知，视点数与检测时间成本并非正相关，因此证明优化检测时间成本时单独优化视点数易陷入局部最优。

图 11. 不同算法规划的检测时间成本最优解对比。（a）模型1；（b）模型2

Fig. 11. Comparison of optimal solutions for inspection time cost planned by different algorithms. (a) Model 1; (b) model 2

下载图片 查看所有图片

图 12. 不同算法规划的视点数对比。（a）模型1；（b）模型2

Fig. 12. Comparison of number of viewpoints planned by different algorithms. (a) Model 1; (b) model 2

下载图片 查看所有图片

由表3中不同算法规划的检测时间成本最优解的平均值表现可知，本文C-NSGA-Ⅱ与单独规划方法Greedy-Greedy、Greedy-GA、GA-GA相比，模型1的检测时间成本平均降低了25.45%、19.65%、10.52%，模型2的检测时间成本平均降低了24.38%、15.67%、13.06%，充分证明了C-NSGA-Ⅱ相对于单独规划的全局寻优能力。同时，与整体规划方法GA相比，C-NSGA-Ⅱ在规划结果上表现较好。

此外，GA在优化过程中需要不断添加视点以满足个体的最小覆盖率，导致规划时间大幅增加。如图13所示，对于以上两模型，本文算法相比于GA每次优化花费的时间分别降低了93.3%和87.5%，运算效率大幅提高。

图 13. 不同算法运算时间对比

Fig. 13. Comparison of computing time of different algorithms

下载图片 查看所有图片

5.2　验证实验分析

为验证本文算法在实际生产检测中的可行性，搭建如图14（a）所示的实验场景，通过UR5机器人作为移动平台搭载Gocator 3506快照传感器，传感器视场参数和仿真实验一致，利用其扫描重建功能对如图15（a）和15（c）的待检对象进行扫描检测。另外，在机器人操作系统（ROS）中搭建相同的实验场景，如图14（b）所示，将采样视点的位姿通过机器人逆运动学求解与环境进行碰撞判断，保证规划视点在机器人空间可达以及机器人在环境中的安全运行。

图 14. 实验场景。（a）实物场景；（b）机器人可视化工具（Rviz）仿真场景

Fig. 14. Experimental scene. (a) Physical scene; (b) Rviz simulation scene

下载图片 查看所有图片

图 15. 待检对象实物与三维重建点云。（a）、（b）待检对象1；（c）、（d）待检对象2

Fig. 15. Photo and 3D reconstruction point cloud of target object. (a), (b) Object 1; (c), (d) object 2

下载图片 查看所有图片

实验中最小覆盖率设定为99.5%，对于待检对象1和对象2，本文检测规划的视点覆盖率分别为99.64%和99.53%。其中，由于底座对待检对象产生遮挡，视点覆盖率基于冗余采样视点对待检对象的视点覆盖率进行计算。扫描点云效果如图15（b）和15（d）所示，将点云进行点云拼接^［26］与三角化处理后，与冗余视点覆盖的三维数模表面比对，待检对象1和对象2的实际扫描覆盖率分别为98.52%和98.96%，与规划结果有轻微偏差，主要集中在底部以及边角处。分析其原因，一方面是由于实验中用到的双目结构光模型建立不准确，导致评判可见性时存在误差；另一方面是由于手眼关系以及待检对象与机器人基坐标系之间位姿关系标定的误差。针对上述问题，本文在检测规划时有意将视觉传感器的测量范围缩小10%，以减少以上误差对实际检测的影响，并保证不同视点下扫描的点云存在重叠部分，有利于点云之间的精配准。

进行对比实验，规划参数与仿真实验中规划参数一致，实际访问视点时间设置为0.5s，机器人线性最大速度为50mm/s，线性最大加速度为500mm/s2。实验结果如表4所示，C-NSGA-Ⅱ规划的检测时间优于其他算法，且各种算法的规划结果与实际检测时间的表现相同，一方面验证了本文设置的目标函数的有效性，另一方面证明了本文算法的优越性。但在实际规划过程中固定成本w0与移动平台的运动方式、速度、加速度以及访问视点时间等有关，w0应该由场景而定以保证规划结果最优。

6　结论

为了降低自动化视觉检测的时间成本，本文提出一种视点与路径多目标整体规划方法，不以降低规划视点数作为唯一目标，直接将视点覆盖率与检查时间成本作为优化目标，在全局中进行多目标优化，最终规划得到检测时间成本最优的视点集及其路径。实验证明，相较于单独规划方法与其他整体规划方法，本文算法能够快速地求解出全局较优解，有助于提高自动化视觉检测效率，为实际生产中的高效检测规划提供了方法。后续的工作一方面可以考虑在评判视点时添加精度评价指标，另一方面可以考虑现场环境影响，对视点成像质量进行反馈并做出相应调整。