长春理工大学电子信息工程学院,吉林 长春 130012
针对彩色图像引导的深度图像超分辨率重建算法中存在的纹理转移和深度流失的问题,提出一种基于双特征融合引导的深度图像超分辨率重建网络(DF-Net)。为了充分利用深度和强度特征的关联性,在网络模型的深度恢复重建部分采用双通道融合模块(DCM)和双特征引导重建模块(DGM)。利用输入金字塔结构提取深度信息和强度信息的多尺度特征:DCM基于通道注意力机制对深度特征和强度特征进行通道间的特征融合与增强;DGM将深度、强度特征自适应选择融合后实现重建的双特征引导,增加了深度特征的引导作用,改善了纹理转移和深度流失的问题。实验结果表明,所提方法的峰值信噪比(PSNR)和均方根误差(RMSE)优于RMRF、JBU和Depth-Net等方法,尤其4×超分辨率重建结果的PSNR值比其他方法平均提升6.79 dB,RMSE平均下降0.94,取得了较好的深度图像超分辨率重建效果。
图像处理 图像超分辨率重建 卷积神经网络 深度图像 特征融合 通道注意力 激光与光电子学进展
2024, 61(8): 0837007
1 江苏省农业科学院农业信息研究所, 江苏 南京 210014
2 江苏省农业科学院植物保护研究所, 江苏 南京 210014
3 中国科学院地理科学与资源研究所, 北京 100101
4 江苏省农业科学院农业信息研究所, 江苏 南京 210014江苏大学农业工程学院, 江苏 镇江 212013
油菜菌核病为土传病害, 发病早期叶片无可见症状, 从植株表面很难发现。 用叶片的普通光谱图像或RGB图像无法对其进行识别。 采用高光谱图像作为监测技术, 结合深度学习模型构建油菜菌核病发病早期识别模型, 并取得了较好的识别效果。 以油菜菌核病为研究对象, 采用菌丝块接种法, 在油菜根部诱发病害。 分别于发病后第2、 5、 7、 9天采集发病油菜植株和健康植株光谱图像。 对高光谱图像去除背景、 S-G光谱曲线平滑处理、 剪切、 分割等处理后构建模型训练测试数据集。 以Resnet50深度学习模型为基础, 通过增加特征图数量, 减小第1层卷积核大小来提高模型对油菜菌核病发病早期的识别能力。 通过交叉验证、 模型结构改进前后识别能力对比、 模型泛化能力测试等, 验证了改进模型的识别能力和泛化能力。 Resnet50模型结构改进前后, 对油菜菌核病发病早期的识别正确率分别是66.79%、 83.78%和88.66%, 改进后模型的识别正确率分别提高了16.99%和4.88%, 模型的识别精度和召回率也得到很大提高。 所提出的识别模型平均识别正确率为88.66%, 精度和召回率达到83%以上, 只有对发病第7天的召回率为79.04%。 把构建的多分类模型设定为是否受病害胁迫的二分类模型, 则模型的正确率97.97%, 精度99.19%, 召回率98.02%, 同时, 模型对第9天测试集的识别正确率达到91.25%。 改进后的Resnet50模型可有效保留数据的光谱特征和局部特征, 使模型对油菜菌核病发病早期的识别能力显著提高。 该模型对发病1周内的油菜菌核病严重程度具有较好的识别能力。 对是否发病的识别能力更高, 模型识别正确率、 精度和召回率均达到97.97%以上。 模型对油菜菌核病发病早期识别具有很好识别能力和泛化能力。 因此, 该模型可综合利用高光谱图像的光谱和图像特征, 解决油菜菌核病发病早期无症状、 识别困难的问题; 也可为基于高光谱或多光谱图像的农作物病害早期识别技术的发展提供参考。
深度卷积神经网络 高光谱图像 油菜菌核病 早期诊断 Deep convolution neural network Hyperspectral imaging Sclerotinia stem rot on oilseed rape Early recognition Resnet50 Resnet50 光谱学与光谱分析
2023, 43(7): 2220
光学 精密工程
2023, 31(21): 3167
1 广西大学计算机与电子信息学院,广西 南宁 530004
2 广西多媒体通信与网络技术重点实验室,广西 南宁 530004
随着深度学习的发展,基于卷积神经网络(CNN)的目标检测方法取得巨大成功。现有的基于CNN的目标检测模型通常采用单一模态的RGB图像进行训练和测试,但在低光照环境下,检测性能显著下降。为解决此问题,提出了一种基于YOLOv5构建的多模态目标检测网络模型,将RGB图像和热红外图像相结合,以充分利用多模态特征融合信息,从而提升目标检测精度。为了实现多模态特征信息的有效融合,提出了一种多模态自适应特征融合(MAFF)模块。该模块通过自适应地选择不同模态特征并利用各模态间的互补信息,实现多模态特征融合。实验结果表明:所提算法能有效融合不同模态的特征信息,从而显著提高检测精度。
卷积神经网络 多模态 YOLOv5 多模态目标检测 自适应特征融合 激光与光电子学进展
2023, 60(24): 2410003
1 微米纳米加工技术全国重点实验室, 上海 200241
2 上海交通大学 微纳电子学系, 上海 200241
近年来仿生扑翼飞行器利用视觉系统自主飞行成为一个具有广泛前景的研究方向, 然而, 其有限的带载能力对视觉传感器的类型、尺寸和重量提出了严格要求。目前商用图像处理模块的尺寸和重量较大, 且需要回传图像信息至地面控制系统处理, 文章旨在设计一款轻量化机载单目视觉系统, 帮助微型仿生扑翼飞行器获取外界信息并实现智能自主的飞行。相比于其他图像处理模块, 此系统以国产高算力芯片K210为核心进行设计, 可脱离电脑端完成图像处理, 尺寸仅为2.2cm×2.3cm, 重量仅为3g, 内部兼容轻量化网络模型实现分类识别, 通过串口进行信息交互, 控制扑翼飞行器实现手势识别和目标追踪。
仿生飞行器 单目视觉系统 卷积神经网络 轻量化 目标识别 机载图像处理 串口通信 自主飞行 bionic aircraft monocular vision system convolution neural network lightweight target recognition onboard image processing serial communication autonomous flight
昆明理工大学信息工程与自动化学院云南省计算机技术应用重点实验室,云南 昆明 650500
行人轨迹预测能够有效降低行人轨迹突变造成的碰撞风险,在智能交通及监控系统等领域有着广泛应用。目前已有的研究大多利用无向图卷积网络对行人间的社会交互关系进行建模,这种方法缺少对行人隐藏状态关联性的考虑,容易产生行人间的冗余交互。针对这一问题,提出一种基于注意力机制和稀疏图卷积的行人轨迹预测模型(DASGCN),通过构建深度注意力机制,捕捉行人间运动隐藏状态的关联性,从而准确地提取行人运动状态特征。进一步提出自调节稀疏方法,减小冗余信息带来的运动轨迹偏差,解决行人密集无向交互的问题。将所提模型在ETH和UCY数据集上进行验证,其平均位移误差(ADE)和最终位移误差(FDE)分别达到0.36和0.63。实验结果表明,DASGCN对行人轨迹的预测能力要优于传统算法。
图像处理 深度注意力 图卷积神经网络 轨迹预测 稀疏交互 激光与光电子学进展
2023, 60(10): 1010013
1 重庆理工大学光纤传感与光电检测重庆市重点实验室, 重庆 400054
2 重庆大学光电技术及系统教育部重点实验室, 重庆 400044
水质污染源的及时精确定位和精细化的污染防治措施是打赢水污染防治攻坚战的迫切需求, 为解决地表水实际水样高锰酸盐指数准确分类的实际问题, 以光谱降噪和光谱有效信息提取为切入点, 根据紫外-可见光谱数据的特点, 提出使用一维卷积神经网络处理紫外-可见光谱数据。 为验证检测一维卷积神经网络对地表水光谱信号分类的可行性, 选取长江的某段流域作为取样点。 采集当天的长江上游水、 某河水、 嘉陵江水, 生活污水、 500 mg·L-1邻苯二甲酸氢钾溶液来模拟污染水源。 将几种水样按不同的配比来模拟当天该流域的水污染变化情况。 采集现有的单一水样及混合配比水样的光谱数据, 根据各类水样的特征光谱信息进行区分, 实现地表水高锰酸盐指数的预测分类, 快速确定异常水样的污染来源, 通过仿真实验, 优化模型参数并完成优化训练。 与K最邻近法、 支持向量机等传统分类方法相比, 该算法在光谱预处理复杂度和定性分析准确度方面有较大优势, 在没有复杂的数据预处理前提下, 将获取的350条光谱数据建立水质分类模型, 随机选择其中245条数据作为训练集, 另105条数据作为测试集, 模型的混淆矩阵分类精度达99.0%。 不仅简化了整个光谱分析流程, 而且能保留更多的有效光谱信息, 减小人为预处理对紫外-可见光谱数据的影响, 实现地表水高锰酸盐指数的准确分类。 实验结果表明该方法可对不同水体水样进行准确分类, 快速定位污染源, 为无法激发荧光的污染物溯源提供了科学依据, 为与三维荧光技术辅助配合快速精确定位地表水污染源提供了可能, 同时表明了深度学习在紫外-可见光谱法测量实际水样领域有着巨大的应用潜力和研究价值。
水质 紫外-可见光谱 一维卷积神经网络 分类 Water quality UV-Vis spectrum One-dimensional convolution neural network Classification