1 华北电力大学(保定)环境科学与工程系, 河北省燃煤电站烟气多污染物协同控制重点实验室, 河北 保定 071003
2 贵州医科大学食品科学学院, 贵州 贵阳 550025
3 中国人民解放军陆军第八十二集团军医院, 河北 保定 071000
4 天津市建筑材料科学研究院有限公司, 天津 300110
如何从海量或高维数据中“提纯”出有用的信息, 这是当前数据分析面临的一个巨大的挑战, 也是当前研究的一个热点。 变量筛选技术能够从众多、 复杂的量测数据中提取出特征信息变量, 达到简化多元模型乃至提高模型预测性能等目的。 在光谱分析中, 来自噪声等诸多因素的影响, 量测数据会不可避免地包含干扰和无关信息变量, 以及变量间存在的多重共线性, 这些都会影响模型的稳健性和预测能力。 近年来变量(波长)筛选方法在光谱解析领域的研究与应用中取得了较大的进展。 结合国内外相关研究文献和作者的研究体会, 不仅仅综述了近红外光谱, 还综述了中红外光谱、 拉曼光谱等众多筛选变量的方法的提出、 特点、 发展、 类别、 比较和近五年来在不同领域的应用进展。 其中, 评价变量重要性的参数及其标准或阈值的选择、 搜索变量的策略和途径是变量筛选方法的关键。 而且每种方法都具有各自的优势和局限性, 实际使用中要根据方法自身特点结合目标体系的特征选择合适的方法。 重点内容: (1)对比了光谱数据分析中常用的波长筛选和波段筛选方法; (2)对比了基于PLS模型参数的不同变量筛选方法的原理和特点; (3)根据搜索和筛选变量策略的不同将变量筛选方法进行分类评述。 最后, 围绕在解析实际复杂体系中变量筛选方法出现的过拟合、 不稳定等问题进行了讨论并提出相应的解决措施, 同时对变量筛选方法的研究趋势、 发展前景和应用方向进行了展望。 其中, 新的评价变量重要性的判据和搜索变量的策略等工作仍需要展开深入地研究。 期望本综述能够对光谱变量筛选的后续研究及应用起到积极的推动作用。
变量筛选 光谱数据 特征变量 冗余信息 Variable selection Spectral data Characteristic variable Redundant information 光谱学与光谱分析
2021, 41(11): 3331
戴鹏钦 1,2,3,*丁丽霞 1,2,3,**刘丽娟 1,2,3董落凡 1,2,3黄依婷 3
1 省部共建亚热带森林培育国家重点实验室, 浙江 杭州 311300
2 浙江省森林生态系统碳循环与固碳减排重点实验室, 浙江 杭州 311300
3 浙江农林大学环境与资源学院, 浙江 杭州 311300
将深度学习和面向对象方法用于处理超高空间分辨率的无人机可见光影像,以期实现高精度的森林树种遥感分类。首先,利用面向对象方法对无人机影像进行最优尺度分割,基于对象提取特征变量,运用随机森林(RF)法对树种遥感分类,同时对参与分类的变量按重要性排序,并筛选出对分类贡献率最高的两个特征变量——可见光差异植被指数(VDVI)和过绿减过红指数(ExG-ExR)。然后,将这两个特征变量和无人机原始RGB波段融合生成新的数据,针对该数据与原始RGB波段数据,分别利用基于Res-U-Net模型的全卷积神经网络(FCN)方法进行树种分类,并对结果精度评价。最后,为了消除FCN法基于像元分类引起的缺陷,结合面向对象最优分割法对分类结果进行修正。实验结果表明,融合了VDVI和ExG-ExR的FCN方法对无人机影像的树种分类效果最好,总精度为97.8%,Kappa系数为0.970。RF法能够有效筛选分类特征变量,对原始影像添加特征变量能有效提高FCN方法的分类精度,再对面向对象分割结果进行修正,可以基本消除椒盐现象,减弱边缘效应,使总精度提高0.9个百分点,Kappa系数提高了0.013。
图像处理 树种分类 全卷积神经网络 无人机影像 面向对象 随机森林 特征变量 激光与光电子学进展
2020, 57(10): 101001
1 青海师范大学地理科学学院,青海省自然地理与环境过程重点实验室, 青海 西宁 810008
2 中国环境科学研究院, 北京 100012
针对高光谱数据量大、信息冗余严重的现象,应用稳定竞争性自适应重加权采样(sCARS)、连续投影算法(SPA)、遗传算法(GA)、迭代保留有效信息变量(IRIV)和稳定竞争性自适应重加权采样结合连续投影算法(sCARS-SPA),从全波段光谱数据中筛选特征变量,并利用全波段和特征波段建立偏最小二乘回归(PLSR)、支持向量机(SVM)和随机森林(RF)模型预测土壤有机质含量。结果表明, PLSR和SVM模型结合特征变量选择,不仅提高了模型运算效率,而且模型预测能力较全波段均有一定提高;RF模型采用特征变量建模,对模型精度的提高不是十分明显,但其构建模型的变量数量却显著减少,大大提高建模效率。RF模型精度优于SVM和PLSR模型,IRIV结合RF建立的土壤有机质含量预测模型,变量数仅63个,校准集和验证集模型决定系数(R2)分别为0.941和0.96,验证集相对分析误差(RPD)为4.8。与全波段建模相比,特征变量选择和回归方法相结合,在保证模型精度的同时,可有效提高建模效率。
光谱学 土壤有机质含量 特征变量选择 回归模型
1 地质灾害防治与地质环境保护国家重点实验室（成都理工大学）, 四川 成都 610059
2 地学空间信息技术国土资源部重点实验室, 四川 成都 610059
3 成都理工大学地球科学学院, 四川 成都 610059
4 成都理工大学旅游与城乡规划学院, 四川 成都 610059
为解决传统的土壤地球化学测量方法成本高、 效率低等问题, 研究了利用可见-近红外光谱技术检测土壤重金属含量的简易方法。 研究对西范坪矿区土壤反射光谱进行微分、 连续统去除等六种变换, 利用逐步回归法和皮尔逊相关系数选出对土壤铜含量敏感的特征波段, 组成综合特征变量集, 再应用不同的特征变量选取方法和参数建立估算模型并检验。 结果表明: 不同的光谱变换方法对土壤铜含量信息提取能力不同, 每种光谱变换都对应特定的敏感波谱区间; 基于综合光谱变换信息建立的土壤铜含量反演模型精度优于基于单种光谱变换信息建立的模型; 利用综合光谱变换信息建立土壤铜含量反演模型, 后向剔除法优于前向引入法和逐步回归法, 当Removal取0.20时得到最优回归模型, 其模型决定系数R2和预测模型决定系数R2pre分别达到了0.851和0.830, 建模均方根误差RMSEC和预测均方根误差RMSEP分别为0.349和0.468 mg·kg-1, 能较好地检测土壤铜含量, 同时为其他土壤重金属元素的光谱检测提供了思路。
土壤地球化学 光谱变换 特征变量选取 高光谱反演模型 西范坪矿区 Soil geochemistry Spectral transformation Characteristic variable selection Hyperspectral inversion model Xifanping mining area 光谱学与光谱分析
2016, 36(11): 3637
江西农业大学工学院生物光电技术及应用重点实验室, 江西 南昌 330045
食品重金属污染日趋严重,常规的实验室化学分析方法难以满足现代农业发展的需求.激光诱导击穿光谱是一种新兴的快速无损检测新方法,但该技术存在检测稳定性、灵敏度和精确度不高的瓶颈问题.本工作以江西特色水果赣南脐橙中的Cu元素为研究对象,探讨采用LIBS技术检测的可行性问题.首先对脐橙样品进行实验室污染处理,再利用优化的试验参数(激光能量120 mJ、光谱采集延迟时间1.14 μs、采集积分时间2 ms)采集样品表皮的LIBS光谱信息,然后利用AAS对激光击打部位果皮进行Cu元素真实含量检测.提取Cu Ⅰ324.7 nm与Cu Ⅰ 327.4 nm作为Cu元素定量分析特征光谱,建立Cu元素真实浓度与Cu Ⅰ 324.7强度、Cu Ⅰ 327.4强度、Cu Ⅰ 324.7与Cu Ⅰ 327.4强度之和的关系模型,并对模型的灵敏度和预测准确度进行了分析.结果显示,三个关系模型的浓度预测相对误差均在7.01%以下,最小分别达到了0.02%,0.01%和0.02%,平均相对误差分别为2.33%,3.10%和2.63%.试验表明,寻找合适的特征变量能明显提高定量分析结果的精确度.此外,该研究有助于为重金属元素在果皮果肉中的传输规律提供理论依据。
激光诱导击穿光谱 脐橙皮 铜 特征变量提取方法 LIBS Navel orange peel Cu Extraction of characteristic variable 光谱学与光谱分析
2015, 35(7): 2021
1 合肥工业大学仪器科学与光电工程学院, 安徽 合肥 230009
2 中国科学院安徽光学精密机械研究所, 安徽 合肥 230031
3 中国科学技术大学环境科学与光电技术学院, 安徽 合肥 230026
4 中国石油化工集团公司中原石油工程有限公司录井公司, 河南 濮阳 457001
激光诱导击穿光谱(LIBS)已经被证明是极具潜力的物质定性、定量分析工具之一。将激光诱导击穿光谱结合自组织映射神经网络技术，引入到石油勘探录井领域，对五类岩心样品（火山灰岩、泥岩、页岩、砂岩、白云岩）进行了岩性自动分类，为以后在录井现场实现岩性在线快速识别奠定基础。使用构造特征变量和主成分分析两种方法对原始光谱进行特征提取，相应的特征参量和主成分分别作为自组织映射神经网络的输入变量。两种输入方式下，神经网络对全部44块岩心样品岩性分类的准确率分别为75%和86%。其中以主成分作为网络输入变量，对火山灰岩、砂岩、白云岩的分类准确率可达100%。实验分析表明：在进一步提高对泥岩和页岩的区分能力后，LIBS有望成为录井领域新的岩性快速识别技术。
激光光学 激光诱导击穿光谱 自组织映射 特征变量 主成分分析 岩性分类 中国激光
2013, 40(12): 1215001
西安交通大学电力设备电气绝缘国家重点实验室, 陕西 西安710049
针对FTIR光谱分析数据计算量大, 具有相同基团的多组分混合气体交叉灵敏度过高, 以及在线分析过程中基线漂移等问题, 提出了一种改进的TR2-1(Tikhonov 2norm-1norm)正则化特征变量提取法。 该方法借鉴TR1和TR2模型的基本思想, 引入谱线距离和谱线系数绝对值最小化两个约束项来保证所提取特征量的准确度, 消除基线漂移所带来的影响, 并结合上述两种模型建立了不适定问题的最优化求解通式。 该通式有效地克服了经验法和实验法确定正则矩阵和参数所带来的误差。 实验以浓度为0.01%~20%的甲烷、 乙烷、 丙烷、 正丁烷、 异丁烷、 正戊烷和异戊烷气体为例进行了特征光谱选取。 结果表明, 对于浓度为0.2%的甲烷气体, 其预测误差平方和仅为2.6×10-4, 可决系数达到0.959 2, 分析准确度高, 有效增强了TR正则法的实用性。
多组分气体定量分析 特征变量提取 Tikhonov正则化 L曲线 Multicomponent gas quantitative analysis Characteristic variable extraction Tikhonov regularization L curve 光谱学与光谱分析
2012, 32(10): 2730
