上海工程技术大学电子电气工程学院，上海 201620
在激光雷达障碍物检测方法中，传统的角度约束算法面对特殊角度的点云或者缺失点云时会导致过分割。针对这个问题，提出一种基于改进角度约束的三维激光雷达障碍物检测方法。将点云转换为深度图，使用新的断点检测器完成初阶分割并构造图结构，描述点云集合，通过搜索图节点对满足簇间距离的点云集合进行合并。与传统方法相比，断点检测器增强了分割的鲁棒性，图结构搜索解决了点云缺失造成的过分割问题，同时加快了聚类速度。与传统方法相比，所提方法的平均耗时缩短了51.4%，平均正检率提高了11.5个百分点。
激光雷达 深度图 地面分割 断点检测 图结构 激光与光电子学进展
2023, 60(12): 1228008
提出一种基于注意力和中间融合表示的三维重建模型, 旨在重建具有精细化结构的三维模型。该方法利用轴向空间注意力机制学习不同方向的信息, 将其嵌入编码器中以捕获局部结构特征; 并基于双流网络推测深度图和三维平均形状以设计中间融合表示模块, 该模块能够有效地融合可见表面细节信息, 从而更好地描绘对象的三维空间结构。实验结果表明: 所提出的轴向空间注意力机制和中间融合表示模块增强了特征提取的能力, IoU和F-score比PixVox++分别提升了1.3%和0.4%, 三维重建效果更优。
深度学习 三维重建 轴向空间注意力 深度图 中间融合表示 deep learning 3D reconstruction axial spatial attention depth map intermediate fusion representation
1 广西大学 计算机与电子信息学院，广西南宁530004
2 梧州学院 机器视觉与智能控制广西重点实验室，广西梧州54300
3 梧州学院 大数据与软件工程学院，广西梧州54002
针对珠宝、矿物和金属样本等立体标本在显微镜局部放大观测时存在弱纹理、反光等问题，本文提出了一种适用于显微镜应用场景下基于特征提取的多视图立体三维重建算法。将显微镜镜头角度固定，通过移动载物台对立体标本进行多角度成像获得图像序列。通过将Harris与SIFT算法的优势相结合将原本SFM方法重建中的SIFT算法改进为Harris-SIFT算法进行特征提取与匹配，提升了对显微图像在弱纹理区域特征信息提取的性能。通过使用与深度残差网络相结合的全卷积神经网络对输入的图像进行深度估计和预测，将预测的深度信息通过阈值法与MVS深度图相融合，对MVS深度图进行修正，重建出物体的稠密点云，提升了重建结构完整性并提取到更多的点云数目。在基恩仕VHX-6000数码显微系统进行实验表明，本算法比原始MVS重建算法重建的点云模型点云数目多31.25%，整体重建时间节省了21.16%。
显微镜 三维重建 特征检测 深度估计 MVS深度图 microscope 3D reconstruction feature detection depth estimation MVS depth map 光学 精密工程
2022, 30(14): 1669
1 天津大学精密测试技术及仪器国家重点实验室, 天津 300072
2 天津大学微光机电系统技术教育部重点实验室, 天津 300072
基于热红外特性, 红外立体视觉路况行人感知方法可以在夜间、雾霾环境下有效检测道路场景中的行人等目标, 提高驾驶安全性。针对红外图像中纹理细节少, 传统稠密双目立体匹配算法效果差的问题, 本文首先根据目标在红外图像下的亮度、边缘特征提取感兴趣区域(Region of interest, ROI); 然后在 ROI中提取图像特征点并匹配, 进而计算原始稀疏深度图; 最后根据目标表面深度变化较小的特点, 结合 ROI和原始深度图估计半稠密深度图。本文搭建了实验系统验证该方法的有效性。实验结果表明, 在系统约 120°观测视场角内, 该方法对行人等目标深度感知相对误差在 15 m范围内优于 1.5%, 30 m范围内优于 3%。
长波红外 立体视觉 深度图 辅助驾驶 long-wave infrared, stereo vision, SURF, depth map SURF
1 南京理工大学 智能弹药技术国防重点学科实验室，江苏 南京 210094
2 西南技术物理研究所，四川 成都 610041
3 北京信息科技大学 高动态导航技术北京市重点实验室，北京 100101
为了解决TOF(Time of Flight)相机获取的深度像分辨率较低的问题，基于导向滤波器提出了一种边缘区域约束的超分辨率重建算法。首先对低分辨深度像进行初始上采样，利用多尺度边缘检测提取深度像的边缘区域；然后根据同场景中灰度图像与深度像的边缘相似性，提取公共边缘区域；最后，根据灰度图像的边缘像素在公共边缘区域中的位置约束导向滤波器的系数生成，重新对导向滤波器的系数进行加权，从而构建出高分辨率的深度图。通过标准数据库Middlebury数据集进行验证，与3种近年来基于滤波的超分辨重建算法相比较，文中方法既能有效地保护重建深度像的边缘结构，同时具有较高的计算效率。研究结果可以为低分辨激光成像雷达的目标识别、场景重建等对实时性要求较高的工程应用提供理论依据。
超分辨重建 导向滤波 深度像 边缘区域约束 super-resolution reconstruction guided filter depth map edge area constraint 红外与激光工程
2021, 50(1): 20200081
贵州大学大数据与信息工程学院, 贵州 贵阳 550025
提出了一种基于深度学习和景深信息的人体检测方法。采用基于深度学习的方法进行目标检测,运用深度图的景深信息判定人体的位置,将两者结合准确定位人体。本文方法通过深度摄像头采集RGB图及对应深度图,采用darknet-yolo-v3对RGB图进行目标检测,将目标边界框预处理后传给RGB图对应深度图,深度图采用无边界主动轮廓模型对景深信息进行处理,达到将深度学习的高识别率与景深信息结合精准定位人体目标的目的。实验结果表明,本文方法能准确找到一个不受标识框影响的目标定位点,有效改善由人体的不同姿态、动作幅度大小导致标识框误差增大的问题,提升了检测人体的精度,为进一步研究行人的准确跟踪提供了保障。
图像处理 深度图 人体检测 无边界主动轮廓模型 深度学习 激光与光电子学进展
2020, 57(10): 101006
华侨大学信息科学与工程学院, 福建 厦门 361021
提出了一种基于颜色恒常性的图像背景虚化算法。首先,利用颜色恒常性检测图像中的光照情况,构建朗伯表面模型。然后,计算最大遮蔽物像素差值与最大局部像素差值,并利用软抠图算法获取图像深度图,对其进行灰度值分割,得到图片的前景与背景部分。最后,利用高斯滤波对图像的背景进行虚化处理。本方法能准确获取单目图像的前景与背景图像,且虚化效果明显。
图像虚化 深度图 颜色恒常性 软抠图算法 高斯滤波 激光与光电子学进展
2020, 57(8): 081001
华南理工大学机械与汽车工程学院, 广东 广州 510640
获取基于激光散斑的深度图像时存在匹配精度低、计算量大,以及在面对不同测量环境时鲁棒性差等问题,为此,提出了一种基于激光散斑的半稠密深度图获取算法。为解决鲁棒性差的问题,采用局部自适应二值化对散斑图像进行预处理,保证了窗口描述子的光照不变性;在测量精度方面,通过聚类算法提取出每个散斑的中心像素坐标,提高了每个散斑的位置准确度;在匹配成功率方面,将窗口描述子进行卷积得到简化的描述子,在减少计算量的同时增大了匹配成功率。最后根据匹配准则得到散斑配对点,再根据三角测距原理得到了每个散斑的深度值。实验结果表明:所提算法的鲁棒性较强,精度较高,提高了匹配成功率。
测量 激光散斑 半稠密深度图 自适应二值化 聚类 卷积
1 先进制造智能化技术教育部重点实验室, 哈尔滨 150080
2 哈尔滨理工大学 机械动力工程学院, 哈尔滨 150080
为解决高光弱纹理物体表面重建时，存在的孔洞和噪声，及信息缺失等问题，提出了光照补偿结合深度图像的重建方法.结合光照方向和光照强度的参数估计，确定高光区域并均匀光照，再以激光点的变化轨迹修正均值漂移算法的漂移区域，建立改进的均值漂移中心描述子，对深度图像的噪声和孔洞进行判定并修复，实现物体表面重建.结果表明，该方法既可以保持不同种类对象重建完整，避免信息缺失，还可减少外界环境和对象自身特征的负面影响.通过高光弱纹理标准图片和实拍物体重建实验，以及使用均方根误差、峰值信噪比和结构相似性等性能指标进行评价，验证了该方法的鲁棒性和有效性.
机器视觉 表面重建 光照估计 均值漂移 深度图处理 高光现象 弱纹理 Machine vision Surface reconstruction Illumination estimation Mean shift Depth map processing Highlight phenomenon Weak texture 光子学报
2019, 48(12): 1212002
合肥工业大学计算机与信息学院, 安徽合肥 230601
由于成像设备的限制, 深度图往往分辨率较低。对低分辨率深度图进行上采样时, 通常会造成深度图的边缘模糊。当上采样因子较大时, 这种问题尤为明显。本文提出金字塔密集残差网络, 实现深度图超分辨率重建。整个网络以残差网络为主框架, 采用级联的金字塔结构对深度图分阶段上采样。在每一阶段, 采用简化的密集连接块获取图像的高频残差信息, 尤其是底层的边缘信息, 同时残差结构中的跳跃连接分支获取图像的低频信息。网络直接以原始低分辨率深度图作为输入, 以亚像素卷积层进行上采样操作, 减少了运算复杂度。实验结果表明, 该方法有效地解决了图像深度边缘的模糊问题, 在定性和定量评价上优于现有方法。
深度图 超分辨率 金字塔 密集残差 depth map super-resolution pyramid dense residual
