河北工业大学 人工智能与数据科学学院, 天津 300401
露天矿山台阶爆破后矿岩的平均块度是衡量爆破质量的重要指标。早期研究主要依靠经验公式总结、岩体力学模型计算等方法, 这些方法存在准确率不够、主观性强等缺点。近期, 机器学习算法应用于块度预测, 但基本通过专家经验选用固定的特征来进行预测且预测稳定性不足, 泛化能力差。针对以上缺点, 提出一种基于特征工程的极端梯度提升树(XGBoost)爆破块度预测模型。以太原袁家村铁矿为研究区, 采集近半年的爆破数据作为原始数据, 综合考虑影响平均块度的各方面因素。首先使用随机森林(RF)的袋外估计和互信息(MI)两种方法分别进行特征选择, 其次将不同方法选择的特征子集集成并利用特征之间的互信息进行去冗余, 最后以MSE的值为评价指标选出最优特征子集表征爆破, 完成基于数据驱动的特征选择。更进一步, 在最优特征子集上采用XGBoost 算法进行块度预测, 通过均方误差(MSE)、平均绝对误差(MAE)两个指标构成模型的评价体系将文章所提方法与其他传统机器学习算法进行对比。对比结果表明:文章提出方法比传统机器学习算法的预测准确率更高, 可以为爆破的管理与控制提供科学指导。
随机森林 互信息 Xgboost模型 平均块度 random forest mutual information XGBoost-model average lumpiness
1 中南大学 资源与安全工程学院, 长沙 410083
2 保利新联爆破工程集团有限公司, 贵阳 550002
3 贵州大学 矿业学院, 贵阳 550025
现代爆破工程研究中, 炸药岩石的匹配模型为揭示爆破过程内在机制和预测爆破系统的经济效益提供了科学依据, 已经成为不可替代的重要工具。但由于土岩介质的多样性和复杂性、炸药爆炸过程的不确定性, 炸药岩石的相互作用在爆炸过程中就更为复杂和不确定, 很难从其相互作用过程来研究炸药与岩石的匹配。早期的研究主要是依靠经验公式与现场试验进行推算总结, 往往存在特征值高, 适用环境苛刻的情况, 而机器学习的特点是只考虑开始和结果, 不计较中间过程, 这保证了其在炸药岩石匹配模型研究中的普适性。而XGBoost算法结合多线程、数据压缩、分片的方法, 具有在数据量大的情况下算法效率较高的优点, 适用于数据量较大的现场数据训练学习。鉴于此, 依托贵州某矿开展现场试验, 采用XGBoost算法建立炸药与岩石匹配系统, 通过成功实例对网络进行训练, 并将训练过的神经网络应用于实际工程。结果表明: 采用这种方法所建立的匹配系统选用的炸药与目前使用的工业炸药性能相近, 误差在±10%以内, 具有较高的可信度, 进一步验证了基于XGBoost算法的炸药岩石匹配系统合理性。
混装炸药 XGBoost算法 匹配模型 小样本预测 mixed explosive XGBoost algorithm match model small sample prediction
1 江苏大学电气信息工程学院, 江苏 镇江 212013
2 江苏科技大学经济管理学院, 江苏 镇江 212100
三七是一种传统的中药材, 具有较高的药用价值。 目前市场上中药售假的现象屡见不鲜, 许多不法商贩将三七支根或剪口粉末假冒主根粉末销售, 严重损害了消费者的利益。 利用高光谱技术结合多元分析方法实现三七不同部位粉末的快速无损鉴别。 通过高光谱成像系统分别采集了三七剪口、 须根和主根粉末在400~1 000 nm范围内的高光谱图像, 共300个样本。 采用Savitzky-Golay（SG）平滑结合标准变量变换（SNV）的方法对高光谱数据进行去噪和消除因散射引起的光谱差异。 为了移除光谱变量中的重迭和冗余信息, 利用竞争自适应重加权采样（CARS）算法和本文提出的一种考虑了变量间交互作用的二进制竞争自适应重加权采样（BCARS）算法进行特征波长选择。 最后分别建立了基于全光谱、 CARS和BCARS特征波长的支持向量机（SVM）和极端梯度提升（XGBoost）分类模型。 结果表明, BCARS-XGBoost模型的分类效果最优, 训练集和测试集的分类准确率分别为100%和99.33%。 与CARS相比, BCARS所选择的特征波长数量较少, 有助于多光谱系统和便携式仪器的开发。 利用高光谱技术结合BCARS-XGBoost模型鉴别三七不同部位粉末是可行的。
高光谱 三七 极端梯度提升 特征波长选择 Hyperspectral imaging Panax notoginseng XGBoost Feature wavelength selection 光谱学与光谱分析
2023, 43(7): 2027
1 西安邮电大学电子工程学院, 陕西 西安 710121
2 西安邮电大学电子工程学院, 陕西 西安 710121 中国科学院西安光学精密机械研究所, 中国科学院光谱成像技术重点实验室, 陕西 西安 710119
3 中国科学院西安光学精密机械研究所, 中国科学院光谱成像技术重点实验室, 陕西 西安 710119
针对传统光谱法检测鸡蛋新鲜度存在的效率低、 准确率不够高等问题, 提出采用可见-近红外光谱结合极度提升树(XGBoost)等算法对鸡蛋新鲜度分类进行研究, 以期在保证足够高准确度的同时大幅提高检测效率。 将不同储存条件下的鸡蛋作为样本, 并分别划分为训练集和测试集, 采用训练集的综合评价指标(F-measure)和准确率(Accuracy)评估分类模型的性能。 具体地, 首先利用可见-近红外光谱系统采集鸡蛋的反射光谱, 将所得的光谱数据经过不同预处理后再结合随机森林(random forest, RF)、 偏最小二乘(partial least squares, PLS)、 支持向量机(support vector machine , SVM)、 多层感知机(muhi-layer perception , MLP)以及XGBoost等分类算法构建鸡蛋新鲜度分类评估模型, 并对比各模型性能指标。 分析结果发现, 经Savitzky-Golay一阶导(Savitzky Golay first-order derivative, SG-1st-Der)预处理后的RF、 SVM、 XGBoost模型和经标准正态变量(standardized normal variate, SNV)预处理后的PLS、 MLP模型具有较好的训练结果。 为进一步提高模型精度和运算效率, 提出利用区间偏最小二乘法(interval partial least squares, IPLS)对SG-1st-Der和SNV预处理后的光谱数据首先进行降维, 然后再分别建立基于RF、 SVM、 XGBoost、 PLS及MLP等算法的预估模型, 最后通过测试集对模型进行验证。 结果发现原始光谱数据经SG-1st-Der预处理后所建立的IPLS-XGBoost分类模型性能最优, 在不同储藏条件下测试集的F-measure分别为92.33%和90%, Accuracy分别达到94.44％和91.67％, 而程序运行时间均不超过0.6 s。 表明, 可见-近红外光谱结合IPLS-XGBoost分类算法可应用于鸡蛋新鲜度评估, 该方法在模型分类性能、 准确度评估、 运行速度等方面比传统方法更具优越性。
可见/近红外光谱技术 XGBoost算法 区间偏最小二乘法 鸡蛋新鲜度 VIS-NIR spectrum Interval partial least squares XGBoost algorithm Egg freshness 光谱学与光谱分析
2023, 43(6): 1711
针对传统经验公式对高性能混凝土强度预测时存在偏差大、效率低等问题, 本文提出一种基于Stacking模型融合的高性能混凝土强度预测方法。首先, 通过数据清洗和归一化对1 030组高性能混凝土抗压强度试验数据进行预处理, 剔除异常数据及消除数据间量纲影响; 其次, 基于极端梯度提算法(XGBoost)、类别优先梯度提升算法、多层感知器和随机森林(RF)4种算法开展超参数优化、模型训练和评估, 采用决定系数、均方根误差和平均绝对误差对比分析4种基学习器对强度预测的整体效果, 在此基础上构建基于Stacking集成学习融合多种机器学习算法的高性能混凝土强度预测模型; 最后, 采用103组新的高性能数据集对模型进行验证, 并开展可解释分析。结果表明: 与其他基学习器的组合相比, XGBoost和RF融合模型的预测精度和性能均明显提高, 泛化性能较好, 且可解释分析显示最重要的输入特征变量是龄期和水泥, 说明模型内在的预测逻辑与工程实践的经验较吻合, 具有较高的合理性与可靠度。研究结果为进一步提高高性能混凝土强度的预测精度提供参考。
混凝土 强度预测模型 集成学习 stacking算法 XGBoost算法 RF算法 concrete strength prediction model ensemble learning stacking algorithm XGBoost algorithm RF algorithm
1 哈尔滨理工大学 测控技术与通信工程学院 黑龙江省激光光谱技术及应用重点实验室， 黑龙江 哈尔滨 50080
2 国网黑龙江省电力有限公司 综合信息中心，黑龙江 哈尔滨 150010
3 中部大学 计算机科学学院，日本 爱知 487-8501
针对跨场景高光谱遥感图像分类中源域和目标域的频谱偏移问题，提出一种结合空谱域适应与极度梯度提升树（eXtreme Gradient Boosting， XGBoost）的跨场景高光谱图像分类模型。将深度超参数卷积模型（Depthwise Over-parameterized Convolution Model，DOCM）和大核注意力（Large Kernel Attention，LKA）结合，构成空谱注意力模型，提取源域空谱特征。利用相同的空谱注意力模型对目标域进行特征提取，并与鉴别器完成对抗域适应，减少源域与目标域之间的频谱偏移；通过目标域中少量有标签数据对目标域特征提取器进行有监督域适应，使目标域特征提取器进一步学习目标域的真实分布，并对源域和目标域的特征进行映射，形成相似的空间分布，完成聚类域适应。最后，使用集成分类器XGBoost进行高光谱图像分类，进一步提高模型的训练速度与置信度。在Pavia和Indiana高光谱数据集上的实验结果表明，本文算法的总体分类精度分别达到了91.62%和 65.98%。相比较于其他跨场景高光谱图像分类模型，本文所提模型具有更高的地物分类精度。
高光谱图像 域适应 大核注意力 XGBoost hyperspectral images domain adaptation large kernel attention XGBoost 光学 精密工程
2023, 31(13): 1950
光电编码器检测系统的误差主要受基准光电编码器测角误差、数据采集误差、检测系统同轴误差影响。其中，基准光电编码器的测角误差可进行补偿。因此设计了一种基于极度梯度提升树（extreme gradient boosting，XGBoost）机器学习的算法用来补偿基准光电编码器的误差。经该算法补偿后，静态精度提高了35倍，标准差由3.62″减小至0.13″，最大误差值由5.53″降低至0.39″。与传统的误差反传（back progagation，BP）神经网络算法以及径向基函数（radial basis function，RBF）神经网络算法补偿效果相比，XGBoost的补偿效果更优。XGBoost机器学习算法有效降低了基准光电编码器的测量误差，提高了光电编码器检测系统的检测精度。
光电编码器 误差补偿 XGBoost 检测精度 photoelectric encoder error compensation XGBoost accuracy of detection
1 武汉理工大学,资源与环境工程学院,武汉 430070
2 矿物资源加工与环境湖北省重点实验室, 武汉 430070
3 武汉理工大学,安全科学与应急管理学院, 武汉 430070
针对小样本条件下使用机器学习方法预测岩石爆破块度存在的数据利用率不足, 预测精度存在浮动较大的问题。将留一法(LOO)与极限梯度提升(XGboost)算法结合, 利用Python 3.7构建LOO-XGboost岩石爆破块度预测模型, 选取31组爆破数据进行LOO-XGboost模型训练与预测, 通过调用不同参数, 得到模型的最优内置参数如下：求解方式为树模型, 学习率为0.30, 决策树数量为50, 决策树最大迭代深度为3, 叶子节点最小样本数为3, 随机采样比例为0.8。将预测结果与同条件下的支持向量机回归(SVR)、BP神经网络(BPNN)、随机森林(RF)模型以及10折交叉验证下的XGboost模型进行对比, 对比结果为LOO-XGboost模型预测精度明显高于其他4种模型, 其相关系数、均方根误差、平均绝对误差分别为0.9128、0.0587、0.0342。结果表明：LOO-XGboost模型既保证了小样本情况下的数据利用率, 又提高了预测精度, 适合应用于岩石爆破块度预测。
岩石块度 LOO-XGboost模型 小样本预测 模型对比 rock fragmentation LOO-XGboost model small sample prediction model comparison Python 3.7 Python 3.7
1 哈尔滨工业大学（威海），山东 威海 264209
2 中国科学院海岸带环境过程与生态修复重点实验室（烟台海岸带研究所），山东 烟台 264003
3 中国科学院海洋大科学研究中心，山东 青岛 266071
4 中国科学院大学，北京100049
光谱技术与机器学习算法结合快速识别微塑料, 为微塑料的现场检测提供了极大的技术支持, 是一个得到极大关注的新领域。 近红外光谱检测技术具有检测速度快、 灵敏度高、 不损坏样品, 且可以在不对样品进行预处理的情况下直接检测等特点, 在化学分析、 质量检测等领域广泛应用。 本文基于近红外光谱检测技术, 研究比较了结合Support Vector Machine(SVM)和Extreme Gradient Boosting(XGBoost)两种机器学习分类算法, 构建微塑料的高速有效识别分类模型。 采用微型近红外光谱仪采集了20种常见的微塑料标准样品的光谱数据, 为了防止过拟合, 对每种样品多次采样, 共收集了1 260个微塑料样本, 每个样本包含512个数据点。 利用XGBoost算法进行特征重要性排序, 共提取了对识别准确率影响较大的65个数据点。 分别采用SVM算法和XGBoost算法对数据降维后提取的65个数据点建立微塑料快速识别模型, 并运用网格搜索(GridSearchCV)对XGBoost算法影响较大的超参数进行选取, 确定n_estimators, learning_rate, min_child_weigh, max_depth, gamma的最佳超参数分别为700, 0.07, 1, 1, 0.0。 为了提高模型的稳定性, 识别速率和泛化能力, 对模型采用10折交叉验证和混淆矩阵评估; 研究结果表明, XGBoost模型对微塑料的识别准确率为97%, 而SVM模型对微塑料的识别准确率为95%; XGBoost模型对微塑料识别的正确率优于SVM模型。 综上所述, XGBoost模型微塑料识别整体性能优于SVM模型, 为实际微塑料快速识别提供技术支撑。
微塑料 近红外光谱 Microplastics Near infrared spectrum XGBoost SVM XGBoost SVM 光谱学与光谱分析
2022, 42(11): 3501
