作者单位
摘要
1 大连交通大学 机械工程学院,辽宁 大连 116028
2 中国人民解放军 91550部队,辽宁 大连 116023
针对在飞行目标位姿估计中背景复杂、目标提取及位姿解算精度低、速度实时性差等问题,提出了一种激光与图像信息融合的飞行目标位姿估计方法。首先,建立彩色相机和激光雷达间的坐标变换模型实现两传感器像素级匹配,对同一时刻的图像和点云进行融合处理;其次,采用ViBe算法与深度信息融合对图像中运动目标进行提取,并根据图像目标的位置框选出对应的点云;最后,利用PnP算法进行特征点粗配准,获取点云间初始旋转平移矩阵,并采用迭代最近点算法进行精配准,利用IK-D Tree加速临近点搜索,提高配准速度。使用仿真试验和半实物仿真试验对方法准确性和稳定性进行了验证,结果显示:二维图像目标检测算法正确率为97%,错误分类比为0.0112%;位姿估计算法与传统迭代最近点算法相比精度提高了53.2%,单次耗时从261 ms降低至132 ms,效率提升约49.4%,与其他算法相比也具有一定优势。为飞行目标落点精准预测和制导控制提供解决思路。
双模态信息融合 位姿估计 飞行目标 目标提取 bi-modal information fusion pose estimation flying target target extraction 
红外与激光工程
2023, 52(3): 20220618
作者单位
摘要
中北大学信息与通信工程学院, 山西 太原 030000
针对现实场景中双模态红外图像融合对异类差异特征协同优化融合的需求, 且现有差异特征属性无法根据差异特征多个属性的变化针对性地调整融合算法进行有效驱动, 导致融合效果差的问题, 提出了面向双模态红外图像融合算法选取的联合可能性落影构造方法。首先计算双模态红外图像多融合算法下不同差异特征的融合有效度、统计差异特征分布特性; 再构造差异特征融合有效度的可能性分布, 通过最小二乘估计法拟合可能性分布函数; 然后通过择优比较法对不同差异特征融合有效度的可能性分布进行对比分析, 确定差异特征可能性分布函数投影权重, 构造联合可能性落影函数; 最后分析联合可能性落影函数截集水平, 结合差异特征分布特性构建融合性能指标动态选取最优融合算法。实验结果表明, 本文方法所选出的最优融合算法在主客观综合分析上优于其他算法, 验证了本文将联合可能性落影运用于双模态红外图像最优融合算法选取中有效性和合理性。
双模态红外图像 融合算法选取 可能性合成 联合可能性落影 dual-mode infrared image, fusion algorithm selecti 
红外技术
2023, 45(2): 178
孙颖 1,2侯志强 1,2,*杨晨 1,2马素刚 1,2范九伦 1
作者单位
摘要
1 西安邮电大学 计算机学院,西安 710121
2 陕西省网络数据分析与智能处理重点实验室,西安 710121
针对红外图像和可见光图像的融合目标检测问题,提出一种基于双模态融合网络的目标检测算法。在同时输入红外和可见光图像对后,利用设计的红外编码器提取红外图像空间特征信息;通过设计的可见光编码器将可见光图像从垂直和水平两个空间方向聚合特征,通过精确的位置信息对通道关系进行编码;最后,采用提出的门控融合网络自适应调节两路特征的权重分配,实现跨模态特征融合。在KAIST行人数据集上,与基准算法YOLOv5-n单独检测可见光图像和红外图像的结果相比,所提算法检测精度分别提升15.1%和2.8%;与基准算法YOLOv5-s相比,检测精度分别提升14.7%和3%;同时,检测速度在两个不同基准算法模型上分别达到117.6 FPS和102 FPS。在自建的GIR数据集上,所提算法的检测精度和速度也同样具有明显优势。此外,该算法还能对单独输入的可见光或红外图像进行目标检测,且检测性能与基准算法相比有明显提升。
目标检测 门控网络 早期融合 双模态 编码器 Object detection Gating network Early fusion Dual-model Encoder 
光子学报
2023, 52(1): 0110002
作者单位
摘要
1 山东理工大学物理与光电工程学院, 淄博 255000
2 滕州市羊庄中心卫生院, 枣庄 277526
光声成像和激光诱导击穿光谱技术(LIBS)是近些年在成像领域发展非常迅速的两种技术, 在医学影像学方面有着巨大的潜力。当激光照射到组织时, 组织表面会同时产生光声信号和等离子体, 光声信号携带着生物组织内光吸收的特征信息, 等离子体特征光谱也可以示踪组织内的元素信息。本文总结了两种技术的研究背景和成像原理, 然后, 通过对光声成像和LIBS成像模式进行分析, 进一步展现了两种技术结合的可能性, 并介绍了它们在病理切片成像和组织金属元素示踪等领域的应用。最后, 我们对两种技术结合的双模态成像系统进行了深入的探讨和展望, 以期其在医学诊断和图像领域发挥重要作用。
光声成像 激光诱导击穿光谱技术 病理切片 元素示踪 双模态成像 photoacoustic imaging laser-induced breakdown spectroscopy pathological section element tracer bimodal imaging 
激光生物学报
2022, 31(5): 391
作者单位
摘要
运城学院 数学与信息技术学院,山西 运城 044000
热红外成像技术被广泛地应用于**、遥感和安防等领域中的目标跟踪,但热红外图像对对比度较低、目标模糊等跟踪场景效果一般。因此,将热红外图像与可见光图像进行融合提高跟踪性能具有重要意义。与基于可见光或热红外图像的单模态跟踪算法相比,基于可见光/热红外(RGB/Thermal, RGBT)图像的双模态跟踪算法对光照变化、云雾遮挡具有更强的鲁棒性。提出了一种基于特征融合的RGBT双模态孪生跟踪网络架构。该网络将双模态图像中提取的深度特征进行融合,提高目标外观特征的判别力。该网络可以利用训练数据进行端到端的离线训练。公开数据集RGBT234上的实验结果表明,所提出的RGBT双模态孪生特征融合跟踪网络能够实现复杂场景下鲁棒持续的目标跟踪。
可见光/热红外 双模态跟踪 孪生网络 特征融合 RGB/Thermal infrared dual-modal tracking Siamese network feature fusing 
红外与激光工程
2021, 50(3): 20200459
作者单位
摘要
中北大学 信息与通信工程学院,太原030051
针对双模态红外图像在融合时异类差异特征两两合成出现信息冗余导致所选择的融合算法相互冲突,造成融合效果差甚至失效的问题,提出了一种基于可能性信息质量合成的双模态红外图像融合算法选取方法。首先计算双模态红外图像多融合算法下不同差异特征的融合有效度,利用可能性框架得到对应的可能性分布向量子集;其次计算向量子集的信息量和可信度,并对多个向量子集进行加权合成;然后构建基于信息质量的排序函数,得到每种融合算法下的非支配子集;最后构建多融合算法得分函数的联合分布对多种融合算法优化选择。实验结果表明,将基于质量来整合多个差异特征的方法运用于双模态红外图像融合算法选取中,所选出的融合算法在加权综合指标上高于其他算法均值55%以上,证明了本文方法的有效性和合理性;由多组实验算得本文方法平均耗时10.083 s,在时间效率上也符合实时图像融合应用的工程需求。
图像处理 融合算法选取 信息质量 可能性合成 双模态红外图像 Image processing Fusion algorithm selection Information quality Possibility synthesis Dual-mode infrared image 
光子学报
2021, 50(3): 167
作者单位
摘要
中北大学 信息与通信工程学院,太原030051
针对双模态红外图像实际融合需求中常涉及到异类差异特征协同优化融合,且现有差异特征属性无法针对性地调整融合算法进行有效驱动,导致融合效果差等问题,提出了基于可能性分布联合落影的双模态红外图像融合算法选取的方法。首先计算双模态红外图像差异特征幅值的融合有效度,利用K最近邻法得到差异特征幅值的概率密度分布,得到差异特征频次属性的分布;然后通过差异特征幅值属性与频次属性构造差异特征权重函数,建立异类差异特征权重函数与多融合算法间的可能性分布合成,得到异类差异特征权重函数多融合算法融合有效度的联合落影;最后构建融合性能指标动态选取最优融合算法。实验结果表明,本文方法所选出的最优融合算法在等级得分指标上明显优于其他算法,验证了本文将可能性分布联合落影运用于双模态红外图像最优融合算法选取中具有可行性。
图像处理 融合算法选取 可能性分布合成 差异特征权重函数 双模态红外图像 Image processing Fusion algorithm selection Possibility distribution synthesis Difference feature weight function Dual-mode infrared image 
光子学报
2021, 50(4): 228
作者单位
摘要
1 郑州经贸学院 计算机与人工智能学院, 河南 郑州 451191
2 河南理工大学 计算机科学与技术学院, 河南 焦作 454003
针对传统图像描述方法存在提取图像关键信息精度不高、描述不准确等问题, 提出了一种结合残差学习和双模态CAE的图像描述方法。提出一种新型双模态卷积自动编码器(CAE)结构, 包括图像和文本两个输入, 以及编码、隐藏层交互、解码等处理环节, 完成对输入图像的文本描述;在经典CAE中加入残差学习, 与CAE的卷积层构成深度残差网络(DRN), 增加了学习深度, 以提高方法的准确率;将文本和图像的隐藏层进行交叉重构, 以最小化损失函数为目的, 训练得到图像-文本的关系, 从而实现图像的描述。利用COCO和Flickr30k数据集对所提方法进行定性和定量的仿真实验, 其结果论证了所提方法的有效性, 与其他方法相比, 评价指标Med r最低, 且R@K(K=1,5,10)最高, 运算时间仅为0.183s, 能够更为精准地描述图像。
残差学习 双模态CAE 图像描述 深度残差网络 交叉重构 最小化损失函数 residual learning bimodal CAE image description deep residual network cross reconstruction minimizing loss function 
光学技术
2021, 47(1): 93
作者单位
摘要
1 福州大学 物理与信息工程学院, 福建 福州 350108
2 福建金东矿业股份有限公司, 福建 三明 365101
针对可见光图像特征驱动的浮选工况识别方法的不足, 提出一种基于双模态图像多尺度CNN特征及自适应深度自编码核极限学习机(Kernel Extreme Learning Machine, KELM)的浮选工况识别方法。先对泡沫的可见光、红外图像进行非下采样剪切波多尺度分解, 设计双通道CNN网络对双模态多尺度图像进行特征提取及融合, 将多个双隐层自编码极限学习机串联成深度学习网络对CNN特征逐层抽象提取, 然后通过核极限学习机映射到更高维空间进行决策, 最后改进量子细菌觅食算法并应用于深度自编码KELM识别模型参数优化。实验结果表明: 采用双模多尺度CNN特征较单模多尺度、双模单尺度CNN特征的识别精度提高了2.65%, 自适应深度自编码KELM模型具有较好的分类精度和泛化性能, 各工况识别的平均准确率达到95.98%, 识别精度和稳定性较现有方法有较大提升。
浮选工况识别 双模态图像 卷积神经网络 深度双隐层自编码极限学习机 量子细菌觅食算法 flotation performance recognition dual-modality images convolutional neural network deep two hidden layer autoencoder extreme learning quantum bacterial foraging algorithm 
光学 精密工程
2020, 28(8): 1785
作者单位
摘要
中北大学信息与通信工程学院,山西 太原 030051
针对现有的红外光强与偏振图像融合中融合有效度度量稳定性低且不符合人类视觉系统的问题,通过比较常见的基于距离度量的三种融合有效度函数化度量方法,分析比较了多种融合算法对差异特征融合有效度分布的稳定性;通过统计十组源图像的差异特征幅值区间中出现最优融合算法的频次,从而得出每种差异特征的最优融合算法,进而得到了余弦相似性为一种稳定性高且与人类主观观察结果更符合的融合有效度的度量方式。实验结果表明,在多种融合算法的融合有效度度量的融合效果中,余弦相似性具有高稳定性且与人类视觉分析有良好的匹配性。
图像融合 双模态红外图像 融合有效度 余弦相似性 image fusion dual-mode infrared images fusion validity cosine similarity 
光电工程
2019, 46(10): 190059

关于本站 Cookie 的使用提示

中国光学期刊网使用基于 cookie 的技术来更好地为您提供各项服务,点击此处了解我们的隐私策略。 如您需继续使用本网站,请您授权我们使用本地 cookie 来保存部分信息。
全站搜索
您最值得信赖的光电行业旗舰网络服务平台!