上海工程技术大学电子电气工程学院，上海 201620
在激光雷达障碍物检测方法中，传统的角度约束算法面对特殊角度的点云或者缺失点云时会导致过分割。针对这个问题，提出一种基于改进角度约束的三维激光雷达障碍物检测方法。将点云转换为深度图，使用新的断点检测器完成初阶分割并构造图结构，描述点云集合，通过搜索图节点对满足簇间距离的点云集合进行合并。与传统方法相比，断点检测器增强了分割的鲁棒性，图结构搜索解决了点云缺失造成的过分割问题，同时加快了聚类速度。与传统方法相比，所提方法的平均耗时缩短了51.4%，平均正检率提高了11.5个百分点。
激光雷达 深度图 地面分割 断点检测 图结构 激光与光电子学进展
2023, 60(12): 1228008
提出一种基于注意力和中间融合表示的三维重建模型, 旨在重建具有精细化结构的三维模型。该方法利用轴向空间注意力机制学习不同方向的信息, 将其嵌入编码器中以捕获局部结构特征; 并基于双流网络推测深度图和三维平均形状以设计中间融合表示模块, 该模块能够有效地融合可见表面细节信息, 从而更好地描绘对象的三维空间结构。实验结果表明: 所提出的轴向空间注意力机制和中间融合表示模块增强了特征提取的能力, IoU和F-score比PixVox++分别提升了1.3%和0.4%, 三维重建效果更优。
深度学习 三维重建 轴向空间注意力 深度图 中间融合表示 deep learning 3D reconstruction axial spatial attention depth map intermediate fusion representation
1 广西大学 计算机与电子信息学院，广西南宁530004
2 梧州学院 机器视觉与智能控制广西重点实验室，广西梧州54300
3 梧州学院 大数据与软件工程学院，广西梧州54002
针对珠宝、矿物和金属样本等立体标本在显微镜局部放大观测时存在弱纹理、反光等问题，本文提出了一种适用于显微镜应用场景下基于特征提取的多视图立体三维重建算法。将显微镜镜头角度固定，通过移动载物台对立体标本进行多角度成像获得图像序列。通过将Harris与SIFT算法的优势相结合将原本SFM方法重建中的SIFT算法改进为Harris-SIFT算法进行特征提取与匹配，提升了对显微图像在弱纹理区域特征信息提取的性能。通过使用与深度残差网络相结合的全卷积神经网络对输入的图像进行深度估计和预测，将预测的深度信息通过阈值法与MVS深度图相融合，对MVS深度图进行修正，重建出物体的稠密点云，提升了重建结构完整性并提取到更多的点云数目。在基恩仕VHX-6000数码显微系统进行实验表明，本算法比原始MVS重建算法重建的点云模型点云数目多31.25%，整体重建时间节省了21.16%。
显微镜 三维重建 特征检测 深度估计 MVS深度图 microscope 3D reconstruction feature detection depth estimation MVS depth map 光学 精密工程
2022, 30(14): 1669
1 天津大学精密测试技术及仪器国家重点实验室, 天津 300072
2 天津大学微光机电系统技术教育部重点实验室, 天津 300072
基于热红外特性, 红外立体视觉路况行人感知方法可以在夜间、雾霾环境下有效检测道路场景中的行人等目标, 提高驾驶安全性。针对红外图像中纹理细节少, 传统稠密双目立体匹配算法效果差的问题, 本文首先根据目标在红外图像下的亮度、边缘特征提取感兴趣区域(Region of interest, ROI); 然后在 ROI中提取图像特征点并匹配, 进而计算原始稀疏深度图; 最后根据目标表面深度变化较小的特点, 结合 ROI和原始深度图估计半稠密深度图。本文搭建了实验系统验证该方法的有效性。实验结果表明, 在系统约 120°观测视场角内, 该方法对行人等目标深度感知相对误差在 15 m范围内优于 1.5%, 30 m范围内优于 3%。
长波红外 立体视觉 深度图 辅助驾驶 long-wave infrared, stereo vision, SURF, depth map SURF
天津大学电气自动化与信息工程学院, 天津 300072
为了解决变电站智能巡检机器人对环境的预判断缺乏有效评估的问题,以雾环境下的表计读数为研究对象,提出一种基于支持向量回归机(SVR)的表计读数环境预判断模型。该模型利用离散余弦变换(DCT)频域特征和基于局部二值模式旋转不变算子的空间结构特征来反映雾浓度,利用深度图像的统计特征来反映距离,利用SVR对所有图像特征进行训练拟合,从而综合考虑雾浓度与距离对表计读数造成的影响,提高判别准确率。在采集的图像数据库上对算法进行测试并与其他算法进行对比。实验结果表明,与未加入深度图特征相比,深度图特征的加入显著提升各算法的性能,有效反映占屏比对表计读数的影响;与其他相关算法相比,所提算法的性能最优,能够有效解决环境预判断的问题。
图像处理 智能巡检机器人 环境感知 频域特征 结构特征 深度图特征 激光与光电子学进展
2021, 58(12): 1210026
1 浙江农林大学信息工程学院, 浙江 杭州 311300
2 浙江农林大学浙江省林业智能监测与信息技术研究重点实验室, 浙江 杭州 311300
3 浙江农林大学林业感知技术与智能装备国家林业与草原局重点实验室, 浙江 杭州 311300
针对深度相机受环境光干扰大而导致立木深度图获取困难的问题,提出一种基于小运动短视频图像的立木深度图生成算法。该算法对分割后获取的亚像素角点进行跟踪和匹配,利用光束法平差估计相机参数;利用平面扫描法对图像序列进行密集立体匹配、去噪得到立木深度图。使用智能手机采集1~2 s小运动的立木短视频图像验证所提算法的有效性,生成的立木深度图在主观效果上有显著提升。在深度图像数据库NYU depth v2上进行验证,均方根误差为60.58,相对误差为0.34。实验结果表明:自然环境下利用该算法可有效生成精细的立木深度图,不需要深度相机、相机标定以及大量RGB(Red,Green,Blue)图像、深度图的训练,能有效节省数据采集和存储的开销,研究结果可为立木的可视化重建、立木因子的测量等提供参考。
图像处理 立木图像 深度图 立木图像分割 光束法平差 密集立体匹配 激光与光电子学进展
2020, 57(16): 161011
贵州大学大数据与信息工程学院, 贵州 贵阳 550025
提出了一种基于深度学习和景深信息的人体检测方法。采用基于深度学习的方法进行目标检测,运用深度图的景深信息判定人体的位置,将两者结合准确定位人体。本文方法通过深度摄像头采集RGB图及对应深度图,采用darknet-yolo-v3对RGB图进行目标检测,将目标边界框预处理后传给RGB图对应深度图,深度图采用无边界主动轮廓模型对景深信息进行处理,达到将深度学习的高识别率与景深信息结合精准定位人体目标的目的。实验结果表明,本文方法能准确找到一个不受标识框影响的目标定位点,有效改善由人体的不同姿态、动作幅度大小导致标识框误差增大的问题,提升了检测人体的精度,为进一步研究行人的准确跟踪提供了保障。
图像处理 深度图 人体检测 无边界主动轮廓模型 深度学习 激光与光电子学进展
2020, 57(10): 101006
华侨大学信息科学与工程学院, 福建 厦门 361021
提出了一种基于颜色恒常性的图像背景虚化算法。首先,利用颜色恒常性检测图像中的光照情况,构建朗伯表面模型。然后,计算最大遮蔽物像素差值与最大局部像素差值,并利用软抠图算法获取图像深度图,对其进行灰度值分割,得到图片的前景与背景部分。最后,利用高斯滤波对图像的背景进行虚化处理。本方法能准确获取单目图像的前景与背景图像,且虚化效果明显。
图像虚化 深度图 颜色恒常性 软抠图算法 高斯滤波 激光与光电子学进展
2020, 57(8): 081001
华南理工大学机械与汽车工程学院, 广东 广州 510640
获取基于激光散斑的深度图像时存在匹配精度低、计算量大,以及在面对不同测量环境时鲁棒性差等问题,为此,提出了一种基于激光散斑的半稠密深度图获取算法。为解决鲁棒性差的问题,采用局部自适应二值化对散斑图像进行预处理,保证了窗口描述子的光照不变性;在测量精度方面,通过聚类算法提取出每个散斑的中心像素坐标,提高了每个散斑的位置准确度;在匹配成功率方面,将窗口描述子进行卷积得到简化的描述子,在减少计算量的同时增大了匹配成功率。最后根据匹配准则得到散斑配对点,再根据三角测距原理得到了每个散斑的深度值。实验结果表明:所提算法的鲁棒性较强,精度较高,提高了匹配成功率。
测量 激光散斑 半稠密深度图 自适应二值化 聚类 卷积
1 先进制造智能化技术教育部重点实验室, 哈尔滨 150080
2 哈尔滨理工大学 机械动力工程学院, 哈尔滨 150080
为解决高光弱纹理物体表面重建时，存在的孔洞和噪声，及信息缺失等问题，提出了光照补偿结合深度图像的重建方法.结合光照方向和光照强度的参数估计，确定高光区域并均匀光照，再以激光点的变化轨迹修正均值漂移算法的漂移区域，建立改进的均值漂移中心描述子，对深度图像的噪声和孔洞进行判定并修复，实现物体表面重建.结果表明，该方法既可以保持不同种类对象重建完整，避免信息缺失，还可减少外界环境和对象自身特征的负面影响.通过高光弱纹理标准图片和实拍物体重建实验，以及使用均方根误差、峰值信噪比和结构相似性等性能指标进行评价，验证了该方法的鲁棒性和有效性.
机器视觉 表面重建 光照估计 均值漂移 深度图处理 高光现象 弱纹理 Machine vision Surface reconstruction Illumination estimation Mean shift Depth map processing Highlight phenomenon Weak texture 光子学报
2019, 48(12): 1212002
