1 浙江大学 机械工程学院，浙江 杭州 310027
2 浙江西子势必锐航空工业有限公司，浙江 杭州 310018
为提高复合材料铺放质量，辅助现场人员快速对缺陷进行检测，提出一种基于Transformer的复合材料多源图像实时实例分割网络Trans-Yolact，用来对复合材料缺陷进行检测、分类、分割。在Yolact网络框架基础上，针对复合材料缺陷特点，从空间域与通道域两个维度，增强网络对复合材料缺陷的检测能力。在空间域上，常规卷积核具有空间尺度的局限性，对狭长形、大尺寸缺陷的检测效果不佳。因此，采用CNN+Transformer架构的BoTNet作为基础主干网络；同时将Transformer引入Yolact网络的FPN结构中，增强网络从非局部空间中获取信息的能力。在通道域上，采用红外与可见光联立的检测方式，并改进主干网络浅层结构，将其分为可见光通道、红外通道、混合通道，混合通道中引入通道域注意力机制，进一步增强网络对红外与可见光图像的综合判断能力。实验结果表明：改进后Trans-Yolact对复合材料缺陷mAP为88.0%，较基准Yolact网络提高5.5%，缺丝、扭转等狭长形缺陷AP提高15.2%、5.1%，包含部分大尺寸缺陷的异物类缺陷AP提高9.1%。最终对Trans-Yolact网络进行结构化剪枝，剪枝后较基准Yolact网络减少26.5%的计算量(FLOPs)、减少44.7%的参数量；检测帧数提高58%，达到57.67 fps。并在大型龙门复合材料自动铺放设备上进行在线测试，可以满足生产过程最大铺放速度1.2 m/s下，复合材料缺陷的实时检测分割。
缺陷检测 多光谱融合 纤维自动铺放 深度学习 实例分割 defects detection multi-spectrum fusion automatic fiber placement deep learning instance segmentation 红外与激光工程
2023, 52(2): 20220338
传统提升低照度成像质量的方法主要包括外界补光和光圈提升，通过增大物理进光量完成源信息增强，但此类方法会造成光源污染和景深缩短等问题。提出一种端到端的多光谱融合方案，在弥补传统方法缺陷的同时有效恢复低照度场景中物体颜色和细节，实现高质量计算成像。通过定制化设计深度学习网络，融合多通道光谱信息，可有效消除场景噪声。所提方法具有较高的自由度，可以根据具体应用场景需求调节通道数和网络参数，同时也能替代传统的相机模块，优化图像信号处理流程。进行详细的消融实验，结果表明，光谱融合后，相比传统基于RGB数据的方法，所提方法得到的图像质量的均方误差（MSE）和感知损失分别降低了54.43%和35.12%。所提方法将为增强现实/虚拟现实（AR/VR）、医疗成像、自动驾驶等新兴技术领域带来新的高质量成像方案。
计算成像 多光谱融合 深度学习 低照度 激光与光电子学进展
2022, 59(20): 2011010
1 中国石油大学(华东)地球科学与技术学院, 山东 青岛 266580
2 中国石油大学(华东)计算机科学与技术学院, 山东 青岛 266580
3 齐鲁工业大学(山东省科学院), 山东省科学院海洋仪器仪表研究所, 山东 青岛 266061
4 山东科技大学海洋科学与工程学院, 山东 青岛 266590
海洋沉积物中碳的变化是衔接海洋生态系统的过去与未来的信息桥梁, 揭示了海洋生态过程变化规律。 因此开展海洋沉积物碳含量的研究, 对掌握海洋生态系统碳循环规律, 研究全球碳循环, 研究对气候变化的响应和反馈有着重要的作用。 光谱技术是一种快速、 无损的测量方法, 在定量分析中已有很成熟的应用。 多光谱融合通过将多个光谱数据结合一起, 获得比单一光谱更丰富的信息, 有利于物质的分析研究。 将多光谱融合应用于海洋沉积物碳含量的研究, 以青岛海洋潮间161份沉积物为样品, 分别采用海洋光学QE65000光谱仪(光谱仪1)和AVANTES光纤光谱仪AvaSpec-ULS2048(光谱仪2)采集沉积物可见-近红外光谱。 将两种光谱仪的光谱进行多光谱融合, 分别采用偏最小二乘回归算法(PLSR)和BP神经网络算法(BPNN)建立沉积物碳含量模型。 在PLSR沉积物碳含量建模结果中, 多融合光谱结果优于光谱仪2, 略低于光谱仪1, RPD值为1.968; 在BPNN沉积物碳含量建模结果中, 多融合光谱结果优于两个单光谱仪, RPD值为2.235。 将多光谱融合后的光谱划分多个波段, 分别建立沉积物碳含量模型, 寻找沉积物碳的特征波段。 通过分析多光谱融合各波段模型结果, 560~790 nm的建模效果最好, 为0.949, RMSEC为0.550, 为0.874, RMSEP为0.733, RPD值为2.823。 预测效果相较于光谱仪1、 光谱仪2、 多光谱融合全波段都有了显著的提高。 因此采用多融合光谱特征波段建立海洋沉积物碳含量模型, 能够提高海洋沉积物碳含量的预测结果, 建立准确度更高的沉积物碳模型, 为沉积物碳的快速测定打下基础。
海洋沉积物 多光谱融合 碳 光谱技术 Marine sediments Multispectral fusion Carbon spectroscopy 光谱学与光谱分析
2021, 41(9): 2898
1 内蒙古民族大学物理与电子信息学院, 内蒙古 通辽 028000
2 燕山大学信息科学与工程学院, 河北省特种光纤与光纤传感重点实验室, 河北 秦皇岛 066004
为了对水中的有机污染物进行绿色、 快速、 准确的检测, 提出了一种基于荧光多光谱融合的水质化学需氧量(Chemical Oxygen Demand, COD)的检测方法。 实验样本为包含近岸海水和地表水在内的实际水样53份, 采用标准化学方法获取样本的化学需氧量的理化值, 利用荧光分光光度计采集样本的三维荧光光谱并对光谱数据进行处理和建模。 在200～300 nm(间隔5 nm)的激发波长范围内将三维光谱展开成二维的发射光谱(发射波长范围250～500 nm, 间隔2 nm)。 采用ACO-iPLS(蚁群-区间偏最小二乘)算法提取发射光谱特征, PSO-LSSVM(粒子群优化的最小二乘支持向量机)算法建立预测模型, 分别建立了单激发波长下的荧光发射光谱数据预测模型、 多激发波长下发射光谱的数据级融合(LLDF)预测模型以及多激发波长下发射光谱的特征级融合(MLDF)预测模型, 通过对预测效果的对比, 得出结论。 实验结果表明, 对于不同激发波长下荧光发射光谱数据而言, 265 nm激发光作用下的发射谱数据的预测模型最优, 其检验集决定系数R2P和外部检验均方根误差RMSEP分别为0.990 1和1.198 6 mg·L-1; 对于荧光多光谱数据级融合模型(简写为: LLDF-PSO-LSSVM)而言, 在235, 265和290 nm激发光作用下的发射光谱的LLDF模型效果最优, 其检验集的Ｒ２ｐ和RMSEP分别为0.992 2和1.055 1 mg·L-1; 对于荧光多光谱特征级融合模型(MLDF-PSO-LSSVM)而言, 在265, 290和305 nm激发光作用下的荧光发射光谱的MLDF模型效果最优, 其R2p=0.998 2, RMSEP=0.534 2 mg·L-1。 综合比较各类建模结果可知, MLDF-PSO-LSSVM的模型效果最优, 说明基于荧光发射光谱数据, 采用多光谱特征级融合模型检测水质COD时, 检测的精度更高, 预测效果更好。
荧光 多光谱融合 预测模型 化学需氧量 水质检测 Fluorescence spectrum Multi-spectral fusion Prediction model Chemical oxygen demand(COD) Water quality detection
1 内蒙古民族大学物理与电子信息学院, 内蒙古 通辽 028000
2 燕山大学信息科学与工程学院, 河北省特种光纤与光纤传感重点实验室, 河北 秦皇岛 066004
提出了一种基于紫外和荧光多光谱融合的水质化学需氧量(COD)的检测方法。实验样本为包含近岸海水和地表水在内的53份水样,采用标准化学方法获取样本的COD理化值,利用紫外-可见光谱仪和荧光分光光度计采集样品的紫外吸收光谱和三维荧光光谱,对光谱数据进行处理后建模。采用蚁群-区间偏最小二乘法(ACO-iPLS)作为特征提取算法,采用粒子群优化的最小二乘支持向量机(PSO-LSSVM)算法作为建模方法,分别建立基于紫外吸收光谱数据和单激发波长下的荧光发射光谱数据的预测模型,以及紫外-荧光多光谱数据级融合模型和特征级融合模型,并对各类模型的预测效果进行对比。结果表明:基于紫外-荧光多光谱特征级融合模型的预测效果最优,该模型预测水质COD的精度更高,其校正集决定系数为0.9999,检验集的预测决定系数为0.9912,外部检验均方根误差为1.1297 mg/L。本研究为水质COD的快速检测提供了一种新的研究思路和解决方法。
光谱学 紫外吸收光谱 荧光发射光谱 多光谱融合 化学需氧量 水质检测 中等水平数据融合 激光与光电子学进展
2018, 55(11): 113003
