期刊基本信息
创刊：
1964年 • 半月刊
名称：
激光与光电子学进展
英文：
Laser & Optoelectronics Progress
主管单位：
中国科学院
主办单位：
中科院上海光机所
出版单位：
中国激光杂志社
主编：
范滇元
执行主编：
邱建荣
副主编：
戴琼海 张龙 张雨东 曹良才
ISSN：
1006-4125
刊号：
CN 31-1690/TN
电话：
021-69918427
邮箱：
地址：
上海市嘉定区清河路390号
邮编：
201800
定价：
120元/期
本期栏目 2021, 58(20)
激光与光电子学进展 第58卷 第20期
近年来组织光透明技术的飞速发展,为现代骨科临床基础研究带来了新的契机。组织光透明技术主要通过多种物理、化学手段,降低组织的光散射和光吸收,使光能在组织中更好地传播,从而增加光学成像的深度和对比度。结合多种荧光标记策略,实现更深层、更高分辨的骨组织及三维空间微结构信息,为突破骨这种高散射组织及骨疾病的分子影像学研究带来新的视角与方法。对组织光透明技术的原理及机制进行介绍,并重点从骨组织光透明成像技术的应用现状、新方法及透明机制三个方面加以详述,最后对该技术应用于骨及骨疾病的分子影像学研究前景进行展望。
医用光学 组织光透明技术 骨透明化 光学成像 三维成像 
片上光谱成像系统具有结构紧凑、轻量便携等诸多优点,可灵活搭载于无人机、立方星等平台,具有广阔的应用前景。本文综述了近年来片上光谱成像系统的研究进展及应用情况,梳理了片上光谱成像系统的分光原理、集成方式,展示了片上光谱成像系统在生物医疗、环境监测、**装备和智能消费电子等领域的应用前景,揭示了片上光谱成像系统目前所面临的挑战和未来发展方向。
针对基于高光谱数据的悬浮物浓度反演问题,提出一种利用预训练神经网络(PNN)进行有监督波段选择的方法,并使用随机森林和神经网络建立悬浮物浓度反演模型。 PNN算法需进行多次重复实验以获得低噪声且充分的波段重要性表达,在每次实验时选取适当数量的波段作为神经网络输入数据的特征,训练一个神经网络,并利用最后一期训练时第一层权重的L1范数、L2范数和ReLU(Rectified Linear Unit)函数来表示波段的重要性。实验结果表明,相比其他常用的波段选择算法,使用L1范数、L2范数的PNN算法能够得到信息量更大的波段集合,且其用于悬浮物浓度反演时,能够获得更优的效果。
大气光学 高光谱数据 波段选择 预训练神经网络 悬浮物浓度反演 高分遥感影像的场景分类是解译遥感影像信息的重要工作之一。为了准确提取出目标信息,针对高分遥感影像场景分类中存在的背景复杂、目标多样、目标信息与背景信息难以区分等问题,提出了一种基于显著性特征和深度卷积神经网络(DCNN)的高分遥感影像场景分类方法。首先,利用K-means聚类与超像素分割算法得到影像的颜色空间分布与颜色对比图,融合不同对比图,以得到显著图。然后,通过对数变换增强显著图中的特征,采用自适应阈值分割方法提高目标的区分度并划分出目标区域和背景区域,以提取出感兴趣区域。最后,构建了一种用于提取深层语义特征的DCNN模型,并将得到的特征输入网络模型中进行训练和分类。实验结果表明,本方法能有效区分主要目标信息与背景信息,减少无关信息的干扰,在UC-Merced数据集和WHU-RS数据集上的分类精度分别为96.10%和95.84%。
大气光学 高分遥感影像 场景分类 显著性检测 卷积神经网络 深层语义特征 为了更好地抑制太阳耀光对海面目标探测的影响,基于偏振检测技术并结合背景水体、太阳耀光与典型海洋目标三者之间的偏振特性差异提出了一种海面太阳耀光抑制方法。分析了观测天顶角、太阳天顶角对太阳耀光背景下海面目标偏振度以及海面目标与太阳耀光背景对比度的影响,结果表明,在晴朗天气下对海面目标进行探测时,背景辐射主要受太阳辐射从海面直接反射产生的辐亮度影响。可见光波长550 nm与670 nm对太阳耀光的抑制效果无明显差异,均在53°观测天顶角附近、50°~60°太阳天顶角方向以及太阳天顶角和观测天顶角之和为106°左右时对太阳耀光的抑制效果较好。该研究对于提升海面目标与太阳耀光背景图像的对比度以及海面太阳耀光背景下的目标检测效果具有重要意义。
海洋光学 偏振检测 太阳耀光 海面目标 背景抑制 RGBW滤光阵列常被用于提升探测器在低照度下的成像质量,但相应的彩色重构方法依然是结合拜尔阵列特点设计的,未充分利用亮度信息的优势,故重构结果较差。针对这一缺陷,首先,使用引导滤波挖掘亮度信息和彩色信息的关联性。然后,根据残差的平滑性,设计了适用于SONY-RGBW滤光阵列空域特点的采样率逐步提升的多步残差插值算法。接着,为改进算法边缘适应性,结合在正交方向上的插值结果,引入迭代过程并改进逐像素的评价因子。最后,利用亮度信息的高频成分增强彩色图像。在Kodak数据集和实际场景采集图像上的实验结果表明,所提方法能够降低颜色混叠,重构出清晰的图像细节,且有/无参考图像的客观评价指标优于现有RGBW滤光阵列彩色重构方法。
探测器 SONY-RGBW滤光阵列 残差插值 引导滤波 二维离散小波变换 彩色重构 超声流量计的回波信号中通常存在噪声干扰,导致回波信号难以准确定位。为滤除超声波回波信号中的噪声,提出了一种基于优化变分模态分解(VMD)算法的信号去噪方法。所提方法首先利用互信息准则的信息熵将遗传算法与VMD相关联。然后,将样本熵作为适应度函数,自适应性地优化VMD算法中的参数组合。最后,对原始信号进行分解,利用相关系数计算出有效信号,并将有效信号进一步去噪后进行重构。仿真结果表明,所提方法能有效滤除超声波回波信号中的噪声并且能够完整的保留有用信号。
信号处理 遗传算法 互信息准则 变分模态分解 信息熵 相关系数 针对常规的点云滤波方法在去除接近模型噪声的过程中会对模型造成较大破坏的问题,提出一种结合双张量投票和多尺度法向量估计的点云滤波算法。首先采用主成分分析法在较大的尺度下估计各点的法向量,对各点进行双张量投票以提取特征点。然后对提取出的特征点在较小的尺度下估计法向量,并结合随机采样一致性方法对小范围噪声平面进行剔除。最后采用曲率对剩余的噪声进行滤波,获得最终的点云数据。实验结果表明,所提算法可以有效剔除噪声点,并较好地保留三维模型的尖锐特征,为后续点云配准和三维重建奠定基础。
图像处理 点云滤波 张量投票 随机采样一致性 多尺度法向量估计 曲率 针对指静脉提取困难和识别精度不够高等问题,提出了一种基于ResNet改进的手指静脉识别方法。首先,使用深度超参数化卷积(DO-Conv)代替网络中的传统卷积,在减少模型参数的同时提高了网络识别率。然后,将空间注意力模型(SAM)和挤压激励块(SE-Block)融合,应用于改进的残差网络(ResNet)提取图像在通道和空间域上的细节特征。最后,使用标签平滑的交叉熵(LSCE)损失函数来训练模型,实现自动校准网络防止分类出现误差。实验结果表明,改进后的模型不易受到图片质量的影响,在公开数据库FV-USM和SDUMLA上的识别精度分别达到99.4919%和99.4485%,较之前的网络在精度上有明显提高。
图像处理 指静脉识别 注意力机制 残差网络 标签平滑 损失函数 结构光条纹投影是广泛应用的一种三维测量技术。虽然该技术经过几十年的研究和发展,但如何从单幅图像中快速获取物体三维形貌仍然是没有得到很好解决的难题之一。近几年,深度学习方法广泛应用于计算机视觉和图像处理领域。提出一种基于U-Net网络的结构光三维测量方法。该方法直接从单个变形条纹图中获取物体表面的深度信息,实现三维形貌的快速测量。仿真和实际实验数据证明了所提方法的有效性。由于仅从一幅变形条纹中计算得到三维数据,所提方法可应用于动态物体三维面形的测量。
图像处理 条纹投影 三维测量 深度学习 计算机视觉 针对在图像融合中存在边缘细节保留不够理想的问题,提出一种基于非下采样剪切波变换(NSST)与卷积神经网络图像融合框架(IFCNN)的红外可见光图像融合算法。首先将红外和可见光图像进行NSST分解。然后为了使低频子带图像更好地突出轮廓信息,使用相似性匹配的融合规则对图像进行融合;对高频子带图像使用IFCNN提取特征层,特征层通过L2正则化、卷积运算和最大选择策略处理可以得到最大权重图,根据最大权重图来确定高频融合规则。最后使用NSST逆变换得到最终的融合图像。实验结果表明,所提算法很好地保留图像的边缘及纹理等细节信息,减少伪影和噪声,具有良好的视觉效果。
图像处理 非下采样剪切波变换 红外与可见光图像 卷积神经网络 图像融合 提出了一种融合场景上下文的轻量级目标检测网络,有效地解决了现有检测算法在无人机领域应用效果较差的问题。在该网络的设计中,首先用MobileNetV3替换YOLOv3的主干网络,并通过1×1卷积层提取场景信息。同时,构建场景上下文模块以筛选物体的细粒度特征。再采用完全交并比(CIOU)损失对损失函数中的边界框位置误差项进行优化。最后,在新建无人机航拍数据集上对所提算法进行训练与测试。实验结果表明,相较于YOLOv3算法,所提算法的平均检测精度提高了8.4个百分点,检测速度提高了5.8 frame/s。
图像处理 目标检测 场景上下文 YOLOv3 简单循环单元 由于传统的视觉里程计(VO)存在实现过程繁琐、计算复杂等问题,提出了一种基于改进双流网络结构的VO。所提VO使用双流卷积神经网络结构,能够将RGB图像、深度图像同时馈入模型进行训练,并采用Inception网络结构对卷积层进行改进,减少参数数量。同时,在卷积层中加入注意力机制,提升网络对图像特征的辨识度和系统的鲁棒性。为了评估所提模型,在KITTI数据集上进行了模型的训练与测试,并与VISO2-M、VISO2-S和SfMLearner进行对比。结果表明,相较于同样使用单目相机的VISO2-M和SfMLearner,所提模型在旋转误差和平移误差方面取得了较大的改善,可与使用双目相机的VISO2-S相媲美。
图像处理 成像系统 视觉里程计 注意力机制 深度学习 双流网络 在变电站二次侧管理中,压板承担着重要作用。针对现有压板状态识别方法效果不理想的问题,提出了一种融合注意力机制的双线性细粒度压板状态识别方法。首先,通过注意力机制将注意力集中到压板接触部分;然后,利用双线性细粒度模型将重点集中到与压板开闭相关的关键区域;最后,从关键区域中提取有效的特征以实现对压板状态的准确识别。实验结果表明,本方法能实现压板状态的端到端识别,识别准确率可达到98%;且相比传统方法,本方法的精确率、召回率均有明显提升。
图像处理 压板状态识别 图像分类 注意力机制 双线性细粒度模型 图像语义分割作为一种像素级分类技术,已应用于合成孔径雷达(SAR)图像的解译领域中。U-Net是一种端到端的图像语义分割网络,具有典型的编码-解码结构。其中,编码部分主要由卷积层和池化层组成,可以有效提取图像中的目标特征,但难以获取目标的位置和方向等信息。胶囊网络是一种能够获取目标姿态(位置、大小、方向)等信息的神经网络,因此,提出了一种基于U-Net和胶囊网络的SAR图像语义分割方法。此外,考虑到SAR图像数据集较小的特点,将U-Net的编码部分设计成视觉几何组(VGG16)结构,将预训练的VGG16模型直接迁移至编码部分。为了验证本方法的有效性,在两个极化SAR图像数据集上开展了建筑物目标的分割实验。结果表明,相比U-Net,本方法的精确率、召回率、F1分数和交并比更高,且能减少网络模型的训练时间。
图像处理 合成孔径雷达 图像语义分割 U-Net 胶囊网络 迁移学习 针对显微图像领域色彩恒常(CC)数据集缺乏、CC算法跨数据集训练效果不佳的问题,通过相机采集和模拟生成两个步骤建立了显微CC数据集,并提出了一种基于自编码器的显微图像CC算法。该算法用改进的UNet结构自编码器进行半监督训练,同时引入一种新的复合损失函数优化网络参数,使恢复的图像色彩更准确。实验结果表明,相比传统自编码器,本算法训练的图像清晰度更高,在NUS-8 CC数据集、RECommended CC数据集和自建显微CC数据集中的角误差估计值更小。
图像处理 显微图像 色彩恒常 自编码器 角误差估计 针对暗通道先验去雾算法中存在的块效应、算法复杂度高等问题,提出了一种改进的基于暗通道先验的去雾算法。首先,通过暗通道先验去雾算法得到粗略透射率,再通过峰值信噪比自适应调节雾气参数,以获取最优透射率。然后,将上述结果分别作为多层感知器的输入向量和目标向量进行训练,以建立粗略透射率到最优透射率之间的映射并得到最优透射率。最后,结合大气光值复原无雾图像。实验结果表明,本算法能有效改善块效应,提高复原效率,且能在一定程度上提升图像细节的清晰度。
图像处理 暗通道先验 多层感知器 峰值信噪比 透射率 基于深度学习的单图像超分辨率重建方法已经比较完善,重建图像具有较高的客观评价值或具有较好的视觉效果,但是图像感知效果和客观评价值不能均衡提升。针对这一问题,提出一种融合注意力的生成式对抗网络单图像超分辨率重建方法。首先去掉残差网络中会破坏图像原本的对比度信息、影响图像生成质量的批归一层,其次是构造注意力卷积神经网络残差块,可有效地在特征映射中进行自适应特征细化,改善重建结果在大尺度因子下缺乏高频信息和纹理细节的问题,最后构造像素损失函数,使用鲁棒性较好的Charbonnier损失函数替代均方差损失函数,用总变差正则项平滑训练结果。实验结果表明,在4倍放大因子下,与其他方法在Set5、Set14、Urban100、BSDS100测试集上进行测试比较,本文方法峰值信噪比平均值提升2.88 dB,结构相似性平均值提升0.078。实验数据和效果图表明,该方法主观上具有丰富的细节,客观上具有较高的峰值信噪比值和结构相似性值,实现了视觉效果和客观评价指标值的均衡提升。
图像处理 超分辨率 残差学习 卷积神经网络 注意力 生成式对抗网络 为提高航拍图像目标检测精度以及检测速度,提出了基于自适应阈值的改进CenterNet航拍图像目标检测算法。以目标的中心点作为关键点代替锚框进行分类和边界回归,设计自适应阈值预测分支对预处理结果进行筛选优化。同时设计了编码-解码结构的主干网络,通过可变形空洞卷积结构以及基于注意力机制的卷积连接结构,将浅层空间信息以及深层语义信息进行有效提取以及特征融合,提升了输出特征图质量。并通过结构化信息丢弃和利用误检、漏检目标构建新样本的方法实现数据增强,降低误检率及漏检率。在公开数据集NWPU VHR-10上进行实验,结果表明,与基于ResNet-50的CenterNet相比,本文算法的平均精度均值提升5.17%,交并比为0.50和0.75的平均精度分别提升了3.57%和 3.61%,检测速度达45 frame·s -1,取得了良好的检测精度和实时性的平衡。
为了提高融合图像的视觉感知效果,提出一种非下采样剪切波变换(Non-Subsampled Shear Transform, NSST)域红外和可见光图像感知融合方法。首先采用NSST将源图像分解为高频和低频分量;接着采用参数自适应脉冲耦合神经网络(Parameter Adaptive Pulse Coupled Neural Network,PA-PCNN)融合高频分量图像,提高成像细节;然后联合使用高斯滤波器和双边滤波器进行多尺度变换以融合低频分量图像,将低频分量分解为多尺度纹理细节和边缘特征以捕获更多的多尺度红外光谱特征;最后利用NSST逆变换获取融合图像。实验结果表明,该方法不仅可以有效提高融合图像的细节信息,而且还能增强红外特征的提取能力以契合人体的视觉感知。
图像处理 非下采样剪切波变换 参数自适应融合脉冲耦合神经网络 多尺度变换 图像融合 针对目前在检测商用砂石骨料的过程中,人工检测的效率低下且受到主观因素的影响较大以及检测的准确率不理想,提出一种基于卷积神经网络(Convolutional Neural Network,CNN)的砂石骨料图像分类模型CNN13,该分类模型参考经典卷积神经网络VGG16(Visual Geometry Group 16)模型进行网络结构的改进和参数优化,利用TensorFlow深度学习框架搭建一个13层的卷积神经网络结构。实验数据集采集于某商用混凝土生产企业日常生产中的砂石骨料,共5000幅数字图像,模型在训练过程中采用GPU进行高速计算。相比于VGG16模型,CNN13模型的卷积层和参数量较少,对GPU内存的要求更低,训练速度更快,分类的准确率更高,每个等级的砂石骨料的分类准确率都达到99%以上。
图像处理 卷积神经网络 砂石骨料 图像分类 高速计算 直线截距直方图Otsu法具有良好的分割性能,但在处理图像的偏暗部分时通常只能将其划分为背景,使得图像大量的细节信息丢失。在分析直线截距直方图算法本质的基础上,提出了一种基于方向模糊导数的Otsu法来对图像的弱光部分进行分割。为了增强算法的普适性,将分割的结果与Otsu算法分割结果进行融合。首先,通过使用方向模糊导数的值来替代像素的邻域均值以更好地分割出图像弱光部分的细节信息并抑制噪声,然后将分割结果与Otsu法分割的结果融合,以得到更精确的阈值分割结果。实验结果表明,与其他多种分割算法相比,本文算法可以更精确地分割图像弱光部分,提供更好的降噪效果。
图像处理 图像分割 直线截距直方图 Otsu 模糊导数 融合 针对现有数字水印算法对于几何攻击稳健性差、嵌入彩色版权图像信息量过多导致效率低下等问题,提出一种基于SURF(speed up robust features)几何校正和半色调映射加密的彩色零水印算法。基于SURF提取载体图像的特征点,并将其特征点信息保存为密钥用于实现盲检测。在版权验证过程中,提取受攻击图像的特征点并进行密钥匹配,使用筛选后的特征点估计出仿射矩阵,对受攻击的图像进行几何校正。同时,根据半色调原理对版权标识进行预处理,使用像素扩展的三通道二值矩阵表示彩色图像,并根据加密规则对水印图像进行半色调子块映射加密,在减少嵌入信息量的同时保留了彩色版权图像的颜色和结构信息,增加了水印信息的安全性。实验结果表明,提出的零水印算法在面对几何攻击和非几何攻击时都具有很强的稳健性,生成的零水印信息更安全。
图像处理 彩色零水印 半色调映射加密 SURF 在有雾气的环境下,户外采集到的图像容易出现对比度低、细节丢失等问题。针对该问题,提出了多尺度Retinex(MSR)理论结合小波变换的图像融合算法对雾天图像进行恢复。首先,用MSR算法对采集到的雾天图像进行增强处理,之后采用‘db5’小波基对雾天图像与增强图像的亮度分量V进行融合处理,并对雾天图像的饱和分量进行约束,最后合成去雾图像。设置阈值,用小波变换对雾浓度相对较大的雾天图像进行二次迭代融合去除残雾。实验结果表明,所提算法可有效恢复不同浓度的雾天图像,去雾后的图像可增强暗区细节、增强图像色彩、丰富图像信息。小波融合的使用保留了更多图像信息,使图像色彩丰富自然、整体平滑,融合图像具有良好的复原效果。
图像处理 多尺度Retinex 小波变换 二次融合 图像增强 行人重识别(ReID)任务在提取身份相关特征时可能会丢失一些信息,导致判别依据减少并影响模型性能。为此,提出了基于双分辨率特征及通道注意力机制的行人重识别方法。首先,在ResNet基础上增加了高分辨率特征分支,通过在不同分辨率的特征图上应用池化层,生成了对应着8种不同区域的特征向量。然后根据特征向量的情况设计了一个通道注意模块,增强了其中有效部分的表达能力。最后利用批归一化处理来协调分类损失和度量损失。消融实验中,算法内各步骤的运用都有效提升了模型的性能。在Market-1501、DUKEMTMC-REID、CUHK03等数据集上进行的对比实验中,该算法相比近几年具有代表性的其他算法,平均准确率和Rank-1都有所提升。实验结果表明,该方法能结合更丰富的特征,提高行人重识别准确度。
图像处理 行人重识别 双分辨率特征 通道注意力机制 批归一化 分类损失和度量损失 字符切分是藏文古籍文档图像分析与识别中重要的一环,针对乌金体藏文古籍文本行倾斜,字符之间笔画交叠、交叉、粘连以及不同程度的笔画断裂、噪声干扰等问题,提出了一种基于结构属性的乌金体藏文字符切分方法。首先,建立了乌金体藏文古籍字符区块库。然后,利用音节点位置信息或结合水平投影与直线检测的方法检测出字符区块的局部基线,并根据基线将字符区块切分为上下两部分;利用改进的模板匹配算法检测基线上方笔画的粘连及其类型,利用多方向、多路径粘连切分算法切分交叉、粘连笔画。最后,根据藏文结构属性对各笔画进行归属,完成字符切分。实验结果表明,本方法能有效解决字符切分中遇到的问题,字符切分的召回率、精确率以及F-Measure可分别达到96.52%、98.24%、97.37%。
图像处理 藏文古籍文档 字符区块 局部基线 粘连检测与切分 笔画归属 人群密度估计在智能安全防范领域具有重要的应用价值。针对人群密度估计在二维图像中视角变化呈现较大差异、特征空间信息丢失、尺度特征和人群特征提取困难等问题,提出了一种多特征信息融合的人群密度估计方法。该方法通过注意力机制引导的空间注意力透视(Perspective of spatial attention,PSA)方法,对图像多视角信息进行了有效信息编码,获取了特征图的空间全局上下文信息,弱化了视角变化带来的影响;而后通过多尺度信息聚合(Multi-Scale Information Aggregation,MSIA)方法,利用多尺度非对称卷积与不同膨胀率的空洞卷积进行了有效融合,获取了较为全面的图像尺度及特征信息。最终通过细致语义特征嵌入融合的方式,补充了高层特征图的空间信息及低层特征图的语义信息,并使上下文信息与尺度信息相互补充,提高了模型的准确度与鲁棒性。采用ShanghaiTech、Mall、Worldexpo’10数据集进行了实验验证,实验结果表明,所提方法的性能较其他对比方法有一定的提升。
图像处理 卷积神经网络 人群密度 全局上下文信息 语义嵌入 衍射受限的相干光成像研究中,存在两种计算公式,一种是在特定近似条件下导出的单透镜成像系统像光场振幅分布计算公式,可以推广到多元件构成的光学系统中。另一种是直接计算光学系统像光场振幅及相位分布的公式。为了分析两种公式的实用价值,以两个透镜组成的成像系统为例,在不同空间位置放置孔径光阑,对比了两种公式的理论计算与实验测量结果。
CMOS图像传感器常采用像元在奈奎斯特频率处的调制传递函数(MTF)值对成像质量进行评价。MTF主要由孔径MTF和扩散MTF的频域乘积得到,其中孔径MTF与CMOS图像传感器像元的物理结构相关,扩散MTF主要由感光区p-n结的工艺参数决定,同时工艺参数会影响像元的量子效率(QE),进而影响信噪比(SNR)。从CMOS图像传感器像元的工艺参数出发,详细分析了MTF函数和SNR的理论机理,并列举了300~1000 nm光谱段中8个典型光波长条件下CMOS图像传感器像元的MTF和SNR的计算结果,L型灵敏度孔径的像元在奈奎斯特频率处的孔径MTF为固定值0.67,奈奎斯特频率处的扩散MTF随入射光波长的变大而减小,QE在800 nm入射光波长条件下达到峰值85.8%,而相同读出噪声和暗电流条件下的SNR也在800 nm处达到峰值124。
成像系统 图像传感器 调制传递函数 孔径 量子效率 信噪比 针对传统自由立体显示技术视点数目少和视角窄的问题,提出一种超多视点的大视角光场三维(3D)显示方法。基于集成成像全视差光场构建原理,该方法利用大节距的非连续柱透镜阵列(DLLA)以特定的水平方向角将基元图像(EI)中所有平面像素发出的光线进行水平调制,在大视角范围内构建出水平方向密集排列的超多视点。此外,对DLLA进行光学成像优化设计以抑制像差,保证高质量3D成像。在实验部分,利用分辨率为1280 pixel×720 pixel的54 inch (1 inch=2.54 cm)发光二极管(LED)显示器实现了视角为42.8°、视点数目为100的水平光场3D显示效果,且3D成像的畸变率为2.23%,呈现的3D影像具有连续的运动视差和自然的深度信息表达,这些结果验证了本文方法的优越性和可行性。
成像系统 光场三维显示 超多视点 大视角 基于成像式光电容积脉搏波的非接触式心率测量方法受到环境光干扰会严重影响心率信号的辨别与提取,为了解决这个难点,提出了一种基于自寻优归一化最小均方误差算法的心率信号降噪方法。该方法可根据原始心率信号和背景信号中光线变化的趋势,在归一化最小均方自适应滤波器的基础上,通过最小均方误差自动地调整最优控制因子,最大化地去除拾取的图像中的光照干扰。通过与指夹式脉搏血氧仪实际测得的心率结果对比,在光强剧烈变化的条件下,两种方法测量得到的心率平均值的Pearson相关系数为0.95,平均绝对百分比误差为2.16%。本文方法极大地提高了成像式光电容积脉搏波对环境光的抗噪能力,大大提升了成像式光电容积脉搏波测量方法的实用性、可靠性和稳定性。
成像系统 成像式光电容积脉搏波 心率测量 光照干扰 归一化最小均方误差 自寻优算法 双线扫描相机三维测量系统的匹配环节容易受到表面纹理和光源的影响,从而影响点云的精度和完整性。为此,提出了一种基于傅里叶变换的灰度相似性匹配算法,以实现高精度匹配和处理部分过度曝光。此外,建立了测量系统的成像模型,提出了一种灵活的线扫描相机静态标定方法。最后,搭建了实验平台验证了所提匹配算法的效果和测量系统的精度。相机标定结果的重投影误差优于0.3 pixel,基于所提算法的测量点云完整且能良好反映被测物深度突变处的真实形貌,标准平板测量点云到拟合平面均方根误差为0.023 mm。结果表明,所提匹配算法既能有效保证点云的完整性,又能保留被测物的表面细节特征。
测量 形貌测量 线扫描相机 傅里叶变换 灰度 标定 铆钉平齐度是铆接质量参数中的一项重要指标,但在实际检测中缺少高效、稳定的检测方法。针对铆钉平齐度的检测,本文提出了一种基于图像-点云映射分割策略的平齐度检测方法。首先,为了快速、稳定地提取图像中的铆钉轮廓,本文提出了一种图像噪声轮廓的分割方法,并基于铆钉轮廓像素的邻域特征,总结出轮廓拐点处的三种邻域特征,据此判断轮廓点是否为拐点,依据拐点对噪声轮廓进行分割;然后,基于图像-点云映射策略,将图像中的铆钉特征映射到测量得到的三维点云中,实现铆钉点云区域的快速、稳定分割。实验结果验证了本文所提铆钉平齐度检测方法具有较高的稳定性和检测精度。
图像处理 图像识别 形貌测量 铆钉平齐度 轮廓检测 点云分割 为改进传统人工方法对熔覆区域裂纹检测耗时、准确率低的现状,提出了一种融合注意力模型的熔覆区裂纹自动识别方法,以便对裂纹进行标识和检测。基于U-net网络构造的熔覆裂纹语义分割网络存在对局部小特征提取能力不足的问题,而通过增加注意力模型(CBAM)层,提取特征空间和特征通道的权重信息,就可以对激光熔覆区微观裂纹进行实时的像素级标注和检测。实验结果表明:引入注意力模型的深度学习模型可使熔覆裂纹的识别和检测准确率提升2.7个百分点;融合注意力模型的网络在熔覆区域裂纹测试集上的准确率为79.8%。深度学习模型标注的准确度和速度均已超过人工标注,为激光熔覆裂纹的识别提供了有效方法。
图像处理 熔覆区裂纹 卷积模块注意力机制 语义分割 U-net网络 三维激光扫描点云在采集和处理后生成的三角化网格,由于测量设备限制或模型自身形状特点常包含孔洞,这类孔洞会给后续三维重建带来障碍。针对孔洞修补问题,提出了一种激光三角网格曲面点云孔洞修补算法。首先对封闭孔洞通过遍历三角网格确定三角面片边界,检测孔洞。其次基于最小角度法在孔洞多边形处快速生成新三角面片,形成初始网格。然后融合最小二乘网络与径向函数隐式曲面,利用最小二阶导数对曲面曲率进行最小化,并与原始网格曲率变化趋势保持相同,最终实现激光点云孔洞修补。实验结果表明,与其他点云修补方法相比,该方法降低了修补误差,适用于多种三角网格模型孔洞修补。
激光光学 三维激光扫描 三角化网格 检测孔洞 曲率 孔洞修补 针对小样本条件下深度学习缺陷检测算法识别率较低的问题,提出一种基于双通道生成对抗网络的数据增强方法。由全局鉴别层和局部鉴别层两通道组成生成对抗网络,其中局部鉴别器可以增加缺陷类型的置信度损失,实现对局部信息的增强。采用所提方法在镜片缺陷图像数据集上进行实验。实验结果表明,所提方法的最近邻留一指标、最大均值差异和Wasserstein距离分别达到0.52、0.15和2.81;对于麻点、划痕、气泡和异物的缺陷类型图像,生成的图像质量优于条件生成对抗网络、Wasserstein距离生成对抗网络和马尔科夫判别器。双通道生成对抗网络生成的镜片图像有着多样性的全局信息和高质量的细节特征,可以有效增强镜片缺陷数据集。
针对SiamRPN(Siamese Region Proposal Network)在目标被短时遮挡以及外观剧烈变化的情况下存在定位不准确的问题,提出一种结合目标跟踪缓冲区与三元组损失的目标跟踪算法。该算法首先将原有的固定模板改为动态模板,提升复杂环境下相似度判别的可靠性;然后在模板缓冲区稀疏地缓存目标外观以应对跟踪过程中非语义样本的干扰,增强目标跟踪的鲁棒性;最后应用三元组损失以充分利用目标的正负样本特征,使跟踪更加具有判别能力。使用OTB100数据集进行实验,结果表明所提算法的成功率曲线下面积较SiamRPN提高了0.021,平均中心位置误差降低了25.56 pixel,平均重叠率提高了25.2%。
机器视觉 孪生网络 区域提议网络 缓冲区 三元组损失 针对工业上手机屏幕缺陷检测准确度不高,分割精度低等问题,提出一种基于无监督网络的方法,实现手机屏幕的缺陷分割。首先,通过无监督的卷积去噪自编码器构建多尺度特征的图像重构网络,实现从缺陷图像中重构出多层背景纹理图像。然后,将缺陷图像与多层背景重构图像分别进行减法运算,消除背景纹理的影响。最后,通过自适应阈值策略进行分割处理,再将多层分割结果进行融合,提升缺陷分割准确度。为提升重构性能,在网络中结合一种改进的损失函数进行训练。在分割处理中,根据残差图像的像素直方图是单峰的特点,使用三角法进行自适应阈值分割,提升分割精确度。经实验验证,通过本文方法进行手机屏幕的缺陷分割,分割精度达到90.30%,准确度和实时性满足工业要求,并具有实用性。
机器视觉 缺陷分割 手机屏幕 无监督网络 图像重构网络 阈值分割 堆栈沙漏网络(SHN)是人体姿态估计中的代表性研究成果,但该网络忽略了关节局部信息。因此,提出了一种基于改进沙漏网络的人体姿态估计模型。首先,利用多个残差模块及步长为2的卷积层获取低层次到高层次的特征,同时随着网络层数的加深,相应调整残差模块的数目和通道数,以突出局部细节特征信息。然后,为了提取遮挡部位的纹理和形状等局部特征,融合了在线困难关键点挖掘模块。最后,采用反卷积最大化恢复原始的局部特征。实验结果表明,本模型在COCO数据集上的平均精度达到了74.6%,**数量为1.5×10 7,比叠加8个SHN(8-SNH)的平均精度高5.1个百分点,且其**数量仅为8-SNH的1/3。
机器视觉 人体姿态估计 堆栈沙漏网络 残差模块 在线困难关键点挖掘 针对各向异性高斯方向导数滤波器运算量大、耗时长的问题,利用盒式滤波器拟合出各向异性高斯方向导数滤波模板,并结合积分图像,提出一种性能优良的快速角点检测算法。利用盒式滤波器设计了6个方向的导数滤波模板,并结合积分图像,快速计算输入图像在各个方向上的导数响应;基于角点的稀疏特性,提出一种候选点粗筛选机制,快速筛选出候选角点区域像素以减少后续运算所涉及的像素数量;针对每一个候选像素,利用各个方向的导数响应构建多方向结构张量积,生成角点测度。将提出的算法与9种经典的检测器在仿射变换、高斯噪声干扰等条件下进行性能评估,在尺寸不同的测试图集上进行耗时对比。实验结果表明,新提出的算法具有优良的检测性能,耗时少,满足实时处理的需求。
机器视觉 角点检测 各向异性高斯方向导数滤波器 多方向结构张量积 盒式滤波器 积分图像 面对当前复杂场景下异常事件检测算法过度依赖帧级别标记,以及I3D模型耗时长、内存占用大等问题,设计了一种基于I3D的M-I3D模型并将其作为特征提取器,提出一种了基于深度时空特征和多示例学习的异常检测方法。所提方法将正常视频和异常视频作为包,并将视频片段作为多示例学习中的示例。利用M-I3D模型提取每个视频片段的特征,并将提取到的特征向量输入到三层全连接层中,进而自动学习一个深度异常排序模型,该模型可以预测异常视频片段的分数。此外,为了在训练过程中较好地定位异常,在排序损失函数中引入稀疏函数和约束性函数。结果表明,与其他方法相比,所提算法在UCF-Crime数据集上具有更高的准确率和更好的实时性。
异常事件检测 多示例学习 深度异常排序模型 卷积神经网络 特征提取 无人机(UAV)的普及,给人们带来了极大的安全隐患。针对该问题,设计了一种基于主动子空间鲁棒主成分分析(ASRPCA)和五帧差分相融合的UAV视频检测算法。首先,采用交替迭代法结合增广拉格朗日乘子法对ASRPCA模型进行优化求解,获取视频序列当前帧的背景图像;其次,用背景图像替代五帧差分的中间帧;最后,中间帧分别与前两帧和后两帧进行差分二值化运算,使得UAV有较好的检测结果和去噪能力。实验结果表明,与全变分正则化RPCA(TVRPCA)算法相比,所提算法在不同背景下的召回率、准确率和综合性能的平均值分别提高了5个百分点、4.8个百分点和5个百分点,而且每帧运行时间约为0.51 s,基本上符合目标算法的线下实时性要求。
机器视觉 ASRPCA 五帧差分 视频去噪 无人机检测 针对基于三维(3D)变形模型的人脸图像重建方法对人脸特征点检测不准确导致的重构模型形状表达能力不稳健问题,提出了一种优化3D变形模型参数的重建方法。首先,通过改进的位置映射图网络准确提取和定位人脸特征点,并以此为基础得到初始模型参数。然后,为了提高模型的精准度和泛化能力,融合基于回归方法得到的参数获取优化的模型参数。最后,对3D变形模型进行优化,得到最终的人脸模型。用真实人脸作为实验数据的结果表明,本方法能实现精确的3D人脸重建。
机器视觉 三维人脸重建 三维变形模型 人脸特征点 模型参数 圆孔是自动化制造装配过程中最重要的特征,准确估计孔位姿有利于实现高精度工艺。因此,提出了一种基于双目视觉极线约束的圆孔位姿检测方法。首先,为了提高轮廓提取的准确性,提出了一种基于形态学相加的轮廓提纯方法。然后,基于极线约束对孔的纵坐标进行补偿,并利用高斯拟合确定最优横坐标,实现精准匹配。最后,利用拟合的空间圆确定孔的位姿。实验结果表明,本方法提取的轮廓接近真实的孔轮廓,孔位与半径的测量精度为0.05 mm;相比没有补偿的情况,增加补偿后孔径与孔间距的测量精度分别提升了31.56%和34.07%。本方法提供了一种提升孔位姿测量精度的策略,且满足制造和装配的实际应用需求。
机器视觉 双目视觉 极线约束 偏差补偿 形态学 视网膜血管分割是检测多种眼病的重要手段,在视网膜疾病自动筛查系统中发挥重要作用。针对现存方法对细小血管分割不足且易出现病理误分割的问题,提出了一种基于多尺度注意力解析网络的分割算法。该网络以编码-解码架构为基础,在子模块中引入注意力残差块,加强了特征传播能力,降低了光照不均、对比度低对模型的影响;在编码器和解码器之间增加跳跃连接并去掉传统池化层,以保留足够的血管细节信息;运用并行多分支结构和空间金字塔池化两种多尺度特征融合方法,实现不同感受野下的特征提取,提升血管分割性能。实验结果表明,该方法在CHASEDB1和STARE标准集上的F1值分别达到了83.26%和82.56%,灵敏度分别达到了83.51%和81.20%,其性能优于当前主流方法。
医用光学 图像处理 血管分割 编码-解码 注意力残差块 特征融合 针对医学图像融合过程中出现的细节损失严重、视觉效果不佳问题,提出了一种基于非下采样轮廓波变换(NSCT)与离散小波变换(DWT)的脉冲耦合神经网络(PCNN)医学图像融合算法。首先,利用NSCT处理医学源图像,得到相应的低频和高频子带,并利用DWT对得到的低频子带进行处理。然后,利用PCNN对低频子带进行融合,将平均梯度和改进型拉普拉斯能量和作为PCNN的输入项,将信息熵与匹配度结合实现对高频子的融合。最后,利用多尺度逆变换将低频子带和高频子带图像进行融合。实验结果表明,所提方法能够有效提升融合图像的对比度并保留源图像的细节信息,在主观和客观评价上均有优良的性能表现。
医用光学 图像融合 非下采样轮廓波变换 离散小波变换 脉冲耦合神经网络 时序动作检测作为视频理解中的一项基本任务,被广泛应用于人机交互、视频监控、智能安防等领域。基于卷积神经网络,提出了一种改进的编码-解码时序动作检测算法。改进后的算法分两阶段进行:首先,替换特征提取网络,用残差结构网络提取视频帧的深度特征;之后,构建编码-解码时序卷积网络。采用联接的方式进行特征融合,改进上采样的形式,并运用新的激活函数LReLU进行训练,提高网络的检测精度。实验结果表明,所提算法在时序动作检测数据集MERL Shopping和GTEA上取得了优良的效果。
光计算 图像处理 动作检测 时序卷积神经网络 深度学习 针对港口难以自动识别的问题,在高分辨率可见光遥感影像上将深度学习和地理空间分析相结合,提出了船舶-码头-港口递进式识别模型。首先,对构建的码头样本数据集进行数据增强,并用增强后的数据集来训练YOLO v3算法。然后,在大幅遥感影像上利用滑动窗口进行多尺度识别,获取影像底层特征以计算出码头类别和像素坐标。最后,将码头点位转化为地理坐标,使用Getis-Ord Gi *统计方法进行热点分析。并利用经典的密度聚类方法,实现了对港口位置及范围的识别与提取。在实验区中的识别对比结果表明,在1000 m聚合阈值下,所提模型对港池识别的比例达到82.79%。
遥感 光学遥感影像 目标识别 港口 码头 YOLO v3 滑动窗口 高效的定位算法是实现机器人自主运动的前提,由于激光模型受复杂环境的限制,传统自适应蒙特卡罗定位(AMCL)算法提供的位姿精度有限。提出一种增加扫描匹配(SM)和离散傅里叶变换(DFT)的优化AMCL算法,将传统AMCL的加权均值输出作为SM的初始值,通过构建激光雷达观测点与先验地图的匹配函数模型,利用高斯牛顿的方法优化求解,最终通过DFT滤波滤除位置处的小抖动,提升了系统的稳定性和鲁棒性。通过运动中的绝对定位实验和重复定位,实验验证了优化算法优于传统AMCL算法,优化算法有效提高了系统定位精度,同时保证了鲁棒性。
遥感 机器人定位 自适应蒙特卡罗定位算法 激光雷达 扫描匹配 高斯牛顿 针对机载LiDAR点云中几何结构复杂和不同地物尺度变化大导致小目标点云分类准确率低的问题,本文提出了一种基于通道注意力机制进行多尺度特征融合的卷积神经网络。首先,通过球形邻域计算点云的平面度、线性度、法向量以及本征熵等浅层几何特征,并将其与网络提取的深层次语义特征进行融合,增强模型对点云几何结构的感知能力;其次,设计基于通道注意力机制的多尺度特征融合模块,学习特征融合的权重系数,使网络可以自适应调整不同尺度目标的感受野大小,实现对不同尺度信息的筛选,进而提高小尺度目标的分类精度。实验结果表明,与其他模型相比,本文模型在ISPRS机载LiDAR点云上的平均F1分数为72.2%,且对电力线和汽车类别均取得了最高的分类精度,F1分数分别为64.3%和79.9%。
针对目前大多数云与云阴影检测方法容易产生误检、边缘细节丢失严重以及检测不够精确的问题,提出一种基于双注意力卷积神经网络模型(RDA-Net)的遥感影像云与云阴影检测方法。模型中引入双注意力模块可以有效捕获全局特征的依赖关系,使用递归残差模块可以避免深层网络出现退化,改进空洞空间金字塔池化模块在不改变特征图尺寸的前提下可以提取图像的多尺度特征。首先对遥感影像数据集进行预处理并制作对应的标签,然后利用高分一号WFV遥感影像数据集进行训练和测试。实验结果表明,所提方法有效提高云与云阴影的检测精度,在复杂条件下仍能获得较好的云与云阴影的边缘细节。
遥感 双注意力 云与云阴影检测 递归残差 改进空洞空间金字塔池化 