1 上海工程技术大学,电子电气工程学院
2 上海市数据智能技术及其应用协同创新中心
3 上海市制造业数字化转型设计与验证专业技术服务平台,上海 201000
在图像识别的实际应用中, 不考虑人为平衡的因素, 其训练数据往往遵循长尾类分布。针对基于深度学习的长尾图像识别算法识别效果不佳, 中、尾部类别识别准确率不理想的问题, 提出了一种个性化专家识别算法(PMRA)。首先, 在残差网络的基础上集成多个分支构建多专家网络; 接着, 通过为不同专家分配个性化训练数据构建个性化学习模块以提高中、尾部类别的识别准确率, 通过专家信息融合反馈构建个性化信息增强模块处理中、尾部类别信息不足问题;在融合多个模块的专家网络中, 通过两阶段的学习来提高长尾图像的整体识别准确率; 最后, 在CIFAR-10-LT,CIFAR-100-LT,ImageNet-LT,iNaturalist2018基准数据集上的实验结果表明, 该算法在多个数据集上的识别准确率相比其他算法均有较大提升。
图像识别 深度学习 长尾分布 集成学习 个性化学习 image recognition deep learning long-tailed distribution ensemble learning personalized learning
1 西安邮电大学 电子工程学院, 西安 710121
2 中国船舶集团公司第705研究所 水下信息与控制重点实验室, 西安 710119
为了提升无线光通信系统接收灵敏度, 采用一种基于改进基分类器系数的AdaBoost弱光信号检测算法, 解决多像素光子计数器(MPPC)在弱光条件下的信号检测问题。该算法采用k最近邻(KNN)为基分类器组建强分类器, 针对传统AdaBoost算法基分类器系数仅与错误率有关而产生冗余的基分类器消耗系统资源的问题, 提出一种基于错误和正确分类样本权重的基分类器系数优化AdaBoost算法(W-AdaBoost), 将信号解调问题转换为分类问题; 并采用波长450 nm半导体激光器、MPPC光电转换器件搭建了无线光通信系统。结果表明, 系统在通信速率为2 Mbit/s、误比特率为3.8×10-3时, 改进的W-AdaBoost-KNN算法较传统AdaBoost-KNN和单一KNN算法,灵敏度分别提升了1.6 dB和4.8 dB左右。此研究结果说明W-AdaBoost-KNN算法可提高弱光条件下的信号检测效率, 提升无线光通信系统接收灵敏度。
光通信 AdaBoost算法 多像素光子计数器 集成学习 信号检测 optical communication AdaBoost algorithm multi pixel photon counter ensemble learning signal detection
针对传统经验公式对高性能混凝土强度预测时存在偏差大、效率低等问题, 本文提出一种基于Stacking模型融合的高性能混凝土强度预测方法。首先, 通过数据清洗和归一化对1 030组高性能混凝土抗压强度试验数据进行预处理, 剔除异常数据及消除数据间量纲影响; 其次, 基于极端梯度提算法(XGBoost)、类别优先梯度提升算法、多层感知器和随机森林(RF)4种算法开展超参数优化、模型训练和评估, 采用决定系数、均方根误差和平均绝对误差对比分析4种基学习器对强度预测的整体效果, 在此基础上构建基于Stacking集成学习融合多种机器学习算法的高性能混凝土强度预测模型; 最后, 采用103组新的高性能数据集对模型进行验证, 并开展可解释分析。结果表明: 与其他基学习器的组合相比, XGBoost和RF融合模型的预测精度和性能均明显提高, 泛化性能较好, 且可解释分析显示最重要的输入特征变量是龄期和水泥, 说明模型内在的预测逻辑与工程实践的经验较吻合, 具有较高的合理性与可靠度。研究结果为进一步提高高性能混凝土强度的预测精度提供参考。
混凝土 强度预测模型 集成学习 stacking算法 XGBoost算法 RF算法 concrete strength prediction model ensemble learning stacking algorithm XGBoost algorithm RF algorithm
1 北京信息科技大学 高动态导航技术北京市重点实验室,北京 100101
2 北京航天时代光电科技有限公司,北京 100094
为提高光纤陀螺的输出精度，以天牛须搜索算法（BAS）优化后的BP神经网络模型为基学习器，采用Bagging并行集成学习算法建立了BAS-BP-Bagging温度补偿模型，并对某型号光纤陀螺进行了温度补偿实验。实验结果表明，在-40~+60 ℃温度变化环境下，该方法补偿后的光纤陀螺温度漂移相较于补偿前减小了近80%，相较于多项式补偿算法减小了55%，相较于BP神经网络补偿算法减小了30%左右。同时该模型在对新鲜样本的补偿过程中表现出了较为优越的泛化性能。
光纤陀螺 温度补偿 BP神经网络 天牛须搜索算法 集成学习 fiber optic gyroscope temperature compensation BP neural network beetle antennae search algorithm ensemble learning
Shijie Feng 1,2,3Yile Xiao 1,2,3Wei Yin 1,2,3Yan Hu 1,2,3[ ... ]Qian Chen 1,2,*
Author Affiliations
Abstract
1 Nanjing University of Science and Technology, Smart Computational Imaging Laboratory, Nanjing, China
2 Nanjing University of Science and Technology, Jiangsu Key Laboratory of Spectral Imaging and Intelligent Sense, Nanjing, China
3 Smart Computational Imaging Research Institute of Nanjing University of Science and Technology, Nanjing, China
In recent years, there has been tremendous progress in the development of deep-learning-based approaches for optical metrology, which introduce various deep neural networks (DNNs) for many optical metrology tasks, such as fringe analysis, phase unwrapping, and digital image correlation. However, since different DNN models have their own strengths and limitations, it is difficult for a single DNN to make reliable predictions under all possible scenarios. In this work, we introduce ensemble learning into optical metrology, which combines the predictions of multiple DNNs to significantly enhance the accuracy and reduce the generalization error for the task of fringe-pattern analysis. First, several state-of-the-art base models of different architectures are selected. A K-fold average ensemble strategy is developed to train each base model multiple times with different data and calculate the mean prediction within each base model. Next, an adaptive ensemble strategy is presented to further combine the base models by building an extra DNN to fuse the features extracted from these mean predictions in an adaptive and fully automatic way. Experimental results demonstrate that ensemble learning could attain superior performance over state-of-the-art solutions, including both classic and conventional single-DNN-based methods. Our work suggests that by resorting to collective wisdom, ensemble learning offers a simple and effective solution for overcoming generalization challenges and boosts the performance of data-driven optical metrology methods.
optical metrology fringe-pattern analysis deep learning ensemble learning three-dimensional measurement phase retrieval Advanced Photonics Nexus
2023, 2(3): 036010
1 安徽大学互联网学院, 安徽 合肥 230039
2 合肥工业大学计算机与信息学院, 安徽 合肥 230009
3 中国科学院合肥物质科学研究院, 安徽 合肥 230031
研究集成学习方法在有机物红外光谱定量分析中的应用及特征波长选取方法对红外光谱集成学习建模效率和预测精度的影响。 以柴油红外光谱的十六烷和总芳香烃含量为研究对象, 首先采用极端随机森林(ERT)、 线性核支持向量机(LinearSVM)、 径向基核支持向量机(RBFSVM)和多项式核支持向量机(polySVM)作为基学习器, LinearSVM作为元学习器建立两层Stacking集成学习框架, 分析比较单个基学习器与集成学习对柴油红外光谱的定量回归预测精度, 与偏最小二乘(PLS)定量回归模型相比, Stacking集成学习模型对柴油光谱的两种有机物含量的预测精度均有提升, 其中十六烷含量的ERT模型预测结果最优(r=0.848, RMSEP=1.603, RDP=2.627), 总芳香烃含量的Stacking模型预测结果最优(r=0.991, RMSEP=0.526, RDP=9.243); 进一步利用组合偏最小二乘(SiPLS)和连续投影算法(SPA)对红外光谱进行特征波长选取, 利用优选出的红外光谱特征波长建立集成学习定量回归模型, 其中十六烷含量的SiPLS-ERT模型预测结果最优(r=0.893, RMSEP=1.013, RDP=3.051), 芳香烃含量的SiPLS-Stacking模型预测结果最优(r=0.998, RMSEP=0.354, RDP=11.475), 且模型平均训练时间较全光谱训练时间减少50%以上, 建模速度明显提高。 研究结果表明, 特征波长结合集成学习定量回归建模能够用于有机物红外光谱的定量分析中, 与传统定量回归方法相比, 该方法的建模效率和预测精度均有较大提高, 为进一步研究机器学习在光谱定量分析中的应用提供相关方法支持。
集成学习 定量回归 特征波长选取 有机物红外光谱 Ensemble Learning Quantitative regression Characteristic wavelength selection Infrared spectra of organic compounds
1 国防科技大学气象海洋学院，湖南 长沙 410000
2 中国气象局国家卫星气象中心，北京 100081
云底高度是地气系统辐射收支以及飞行安全的重要影响因素。介绍了利用FY-4A卫星的数据产品反演云底高度的方法，设计了两种云底高度反演方案：第一种方案先将云划分为卷云（Ci）、高层云（As）、高积云（Ac）、层云/层积云（St/Sc）、积云（Cu）、雨层云（Ns）、深对流云（Dc）和多层云（Multi）等8种云类型，再分别采用独立的集成学习模型反演这8类云的云底高度；第二种方案不区分云的类型，采用统一的集成学习模型反演云底高度。将CloudSat探测的云底高度作为参考值，以129515个样本对两种方案进行评估，结果表明方案一的反演模型效果更好，均方根误差（RMSE）为1304.7 m，平均绝对误差（MAE）为898.4 m，相关系数（R）为0.9214。
大气光学 云底高度反演 FY-4A 云顶高度 云光学厚度 云粒子有效半径 集成学习
1 北方工业大学信息学院，北京 100144
2 中国石油管道局工程有限公司国际事业部，河北 廊坊 065000
3 中国石油管道局工程有限公司亚太分公司，河北 廊坊 065000
对光纤振动信号的有效识别是保证油气管道光纤预警系统运行的重要基础。针对传统光纤振动信号检测中单一分类方法的不足，提出一种基于AdaBoost集成学习的光纤振动信号识别分类算法。首先通过分析研究5类光纤振动信号的特征，选取样本熵、能量分布以及频带宽度作为三维特征向量，并将其分别送入决策树、支持向量机（SVM）以及以决策树作为基分类器的AdaBoost分类算法进行训练识别；其次通过交叉验证的方式对得到的模型进行参数优化和模型评价；最后对得到的模型进行对比测试实验。实验结果表明：以决策树作为基分类器的AdaBoost集成学习算法可以对不同振动类型进行有效识别，在光纤预警中对不同来源振动信号的识别具有一定意义。
傅里叶光学与信号处理 光纤 AdaBoost集成学习 光纤振动信号 特征提取与识别 激光与光电子学进展
2022, 59(13): 1307004
宁波大学 信息科学与工程学院， 浙江宁波315211
准确的云分类模型对气象监测有重要的意义，传统机器学习云分类模型依赖手工特征提取，容易受噪声数据影响，模型泛化能力较差。深度网络分类模型能自动学习图像深度特征，但是对于图像边缘与细节分类效果不佳。本文针对上述问题进行研究。首先提取Himawari-8卫星云图光谱特征、纹理特征用以训练模糊支持向量机（Fuzzy Support Vector Machine，FSVM）模型；同时利用不同通道云图训练深度网络，学习云图深度特征；最后，根据不同模型特性，训练元分类器对各模型输出进行融合，设计了一种基于深度网络与FSVM集成学习的云分类方法，该方法综合不同模型优势，利用不同模型间的互补性提高云分类结果的鲁棒性和可信度。相比单独使用FSVM或深度网络的分类模型，本文集成学习方法在众多评价指标中有更好的表现，平均命中率、平均误报率和平均临界成功指数分别达到0.924 5、0.079 6、0.858 1；与其它云分类模型相比，本文方法也有更好的分类效果；在具体案例测试中也发现，该方法对于不同云类混合区有更高的识别精度，而且能更加准确的识别云团边缘及细节。本文模型能够满足云分类模型稳定可靠、高精度、泛化性能强的要求。
Himawari-8 云分类 深度网络 FSVM 集成学习 Himawari-8 cloud classification deep neural network FSVM ensemble learning
