深度学习在检测领域高速发展，但受限于训练数据和计算效率，在基于嵌入式平台的边缘计算领域，尤其是实时跟踪应用中深度学习的智能化算法应用并不广泛。针对这一现象，同时为满足现阶段国产化、智能化的技术需求，提出了一种改进的孪生网络深度学习跟踪算法。在特征网络加入微调网络，解决了网络模型无法在线更新的问题，提升了跟踪的准确性；在IoUNet损失函数中加入中心距离惩罚项，解决了IoUNet当IoU相同时位置跳跃，存在收敛盲区和收敛速度慢的问题；将训练后的网络通过通道剪枝，缩减网络模型尺寸，提升了模型加载和运行的速度。在华为Atlas200NPU平台上实现了实时运行，算法准确率高达0.90（IoU>0.7），帧率达到66 Hz。
针对红外与可见光图像融合的实时性要求，介绍了一种解决目前高清或超高清多源图像拉普拉斯金字塔图像融合算法的实时实现方法。基于视频数据流设计了拉普拉斯金字塔并行流水线处理结构，分析了各流水线之间的时延及优化思路。通过片上缓存的方式补偿时延时间差，实现了算法的流水等长，保证了处理数据的完整性。该方法可以在赛灵思7系列及以上的可编程门阵列（field programmable gate array，FPGA）芯片上实现双通道1080×1920@60 Hz视频图像的5层拉普拉斯金字塔融合。实验结果显示，该实时并行处理方法融合效果良好，一帧图像的融合仅需10.535 ms，处理时延小于1 ms。
陕西师范大学计算机科学学院, 陕西 西安 710119
针对传统桥梁裂缝检测算法检测精度低和现有的主流语义分割算法容易丢失裂缝图像细节信息、结果不连续等问题,提出了一种基于改进PSPNet的桥梁裂缝图像分割算法。首先使用无人机采集桥梁图像,通过图像增强处理得到桥梁裂缝数据集;其次通过带有扩张卷积的残差网络初步提取裂缝特征;接着将提取到的特征送入到空间位置自注意力模块(SPAM)和金字塔池化模块的串联结构中,使其能够在空间维度上获得丰富的上下文信息。实验结果表明,与现有的主流语义分割算法相比,所提算法得到的裂缝细节更加丰富,各项分割指标都有较为显著的提升,平均交并比达到84.31%,并能对细小桥梁裂缝进行准确、完整提取。
图像处理 桥梁裂缝检测 自注意力机制 金字塔池化 残差网络 激光与光电子学进展
2021, 58(22): 2210001
陕西师范大学计算机科学学院, 陕西 西安 710119
针对传统的桥梁裂缝检测算法具有抗噪能力差和难以处理复杂背景的裂缝图像,以及常规深度学习图像分割算法存在空间精确度低的问题,提出一种基于多分辨率且具有较高空间精确度的桥梁裂缝检测方法。首先使用无人机采集桥梁图像,通过图像增强处理得到桥梁裂缝数据集。接着利用并行连接多分辨率子网和重复的多尺度融合,使检测模型在整个过程中保持高分辨率表示,同时在相同深度和相似水平的低分辨率表示的帮助下执行重复的多尺度融合以提升高分辨率表示,使得高分辨率表示中具有很强的高级语义特征。最后在数据集上对所提算法进行训练及验证。结果表明,所提算法的各项分割指标都有较为显著的提升,裂缝检测准确率高达93.8%,平均交互比达到85.48%。
激光与光电子学进展
2021, 58(12): 1210004
陕西师范大学计算机科学学院, 陕西 西安 710119
针对传统桥梁裂缝检测算法不能准确提取裂缝的问题,提出了一种复杂背景下基于图像处理的桥梁裂缝检测算法。根据深度卷积生成式对抗网络原理,利用桥梁裂缝图像生成模型,对数据集进行扩增。针对裂缝特征构建基于语义分割的桥梁裂缝图像分割模型,利用桥梁裂缝图像分割模型提取高分辨率裂缝图像中的裂缝。研究结果表明,与现有算法相比,所提算法在复杂道路场景中具有更好的检测效果和更强的泛化能力。
图像处理 复杂背景 桥梁裂缝检测 深度卷积生成式对抗网络 语义分割 激光与光电子学进展
2019, 56(6): 061002
陕西师范大学计算机科学学院, 陕西 西安 710119
提出了一种基于生成式对抗网络的细小桥梁裂缝分割方法。该方法在判别器结构中引入分割分支,将生成式对抗网络与语义分割网络合二为一,兼具超分辨率图像重建功能与分割功能。在处理细小桥梁裂缝分割问题时,该方法先将低分辨率的细小桥梁裂缝图像转换为超分辨率的粗大型桥梁裂缝图像,再对转换后的超分辨率图像进行分割。实验结果表明,该方法更容易识别出细小桥梁裂缝并实现准确分割,与传统的分割方法相比,该方法的分割召回率提高了6%,平均交并比提高了10%。
图像处理 桥梁路面裂缝 深度学习 超分辨率图像 生成式对抗网络 语义分割 激光与光电子学进展
2019, 56(10): 101004
针对Kinect传感器在获取深度图像时存在深度值随机跳变的不准确性问题，基于最优估计的思想，提出卡尔曼滤波与多帧平均法相结合的图像修复方法。首先利用卡尔曼滤波对多幅深度图像进行修复处理，实现Kinect传感器在采集信息过程中随着时间递推，深度值的跳变逐渐趋于平稳的效果；然后基于多幅图像平均法确定最终的深度图像，解决了Kinect获取深度值存在误差导致的不精确问题。实验结果表明，该算法的均方根误差为38.102 5，平均梯度为0.471 3，信息熵为6.191 8，与单幅图像修复效果相比，得到的深度图像边缘更加清晰。
深度图像 误差修复 卡尔曼滤波 优化估计 depth image error repair Kalman filter optimal estimation
为了解决深度图像中存在的图像模糊、空洞和噪声等图像质量问题, 拟从软件的角度出发, 在不改变传感器成像系统物理结构的前提下, 基于结构特征并以彩色图像作为引导展开研究, 实现深度图像增强和空洞修补的目的, 提高深度图像的质量。通过对彩色图像和深度图像的结构特征进行提取, 得到共性的全局特征, 并对得到的结构特征进行联合双边滤波, 最后基于马尔科夫随机场的方法进行深度图像增强, 实现了低成本获取深度增强的图像。实验结果表明本文算法在保持图像边缘的细节性、平滑性和整体性上具有更好的效果, 与其他算法相比, 图像的均方根误差RMSE更低, 仅为0.506 93及1.169 30(针对Teddy及Art图像) 。
结构特征 图像增强 马尔科夫随机场 双边滤波 structure feature image enhancement Markov random field bilateral filter.
1 海军驻二十所 军代表室，陕西 西安 710068
2 海军九三三 办公室，北京 100841
3 西安应用光学研究所，陕西 西安 710065
针对光学图像中的抛物线目标特征检测问题，提出一种基于最小二乘法的抛物线检测方法。采用Canny边缘检测算子进行边缘提取，对提取到的边缘点采用最小二乘法确定抛物线方程的系数，通过对二次曲线施加抛物线约束，使得算法不需要经过迭代就能得到最优解，并对抛物线方程进行坐标变换推导，计算出抛物线的参数。仿真数据实验和实际图像的实验表明：该算法能够检测到光学图像中的抛物线目标特征，各个参数的计算精度均在98%以上。
光学图像 抛物线 二次曲线 特征检测 最小二乘法 optical image parabola conic feature detection least square
