1 空军航空大学, 吉林 长春 130022
2 东北师范大学地理科学学院, 吉林 长春 130024
作为遥感领域的新兴技术, 高光谱成像为遥感影像处理分析和计算机视觉提供了海量内容。 高光谱图像的优势在于电磁波谱的范围广度与高分辨率, 能够将地物目标的光谱反射特性和差异特征更全面地表现出来, 广泛地应用于地物分类、 目标识别、 异常检测等领域。 但是, 高光谱图像由于数据量繁重、 信息重叠冗杂等问题, 给图像处理、 存储和传输带来一定挑战。 选择合适的光谱波段可以在不改变原图像物理信息的情况下, 达到较好的图像处理成果。 为设计适合数据降维和目标地物分类的波段选择方法, 提出将视觉显著性模型应用到波段选择方法中。 首先引入基于图像空间分布的目标显著性算法进行波段图像处理得到目标显著图; 其次, 利用目标显著图分析地物之间在每一波段图像中的可分离程度定义为波段显著性。 为避免波段信息重叠, 在波段选择之前利用谱聚类算法将波段划分为若干子空间。 然后在子空间内依据波段显著性降序排列, 选择各子空间中目标显著性表现较好的波段组成波段子集; 最后, 在GF-5采集的高光谱图像数据进行方法验证, 筛选有效的目标显著性算法, 与常用的波段选择算法进行分类精度比较。 结果表明, 基于LC目标显著性算法的波段选择子集, 在SVM分类器中具有优异分类结果, 总体分类精度和Kappa系数达87.780 0%和0.805 3, 优于应用全波段和其他三种波段选择方法的结果子集。
高光谱遥感 数据降维 目标显著性 波段选择 地物分类 Hyperspectral remote sensing Data reduction Target saliency Band selection Object classification 光谱学与光谱分析
2023, 43(9): 2952
1 青岛科技大学信息科学技术学院, 山东 青岛 266061
2 江西中烟工业有限责任公司信息中心, 江西 南昌 330096
3 中国海洋大学信息科学与工程学部, 山东 青岛 266100
近红外光谱具有高维、 高冗余、 非线性的特性, 严重影响了样本之间的相似性度量的精准, 故而提出了一种基于Wasserstein散度的t分布随机近邻嵌入算法(Wt-SNE)。 基于流形学习算法思想, 利用高斯分布将高维数据的距离转换为概率分布, 使用更加偏重长尾分布的方式t分布表示低维空间中对应数据点的概率分布。 将高维数据的概率分布嵌入映射至低维度空间, 重构低维流形结构, 引入Wasserstein散度度量两个空间内概率分布的差异, 通过降低散度值来提高两个分布的相似度, 以此来实现高维数据降维处理。 为验证Wt-SNE算法的有效性, 首先对烟叶近红外光谱数据进行降维投影, 并与PCA、 LPP、 t-SNE算法比较, 结果表明Wt-SNE算法降维后的数据, 在低维空间内样本类别边界更加明显。 其次, 采用KNN、 SVM和PLS-DA分类器对降维后的数据进行烟叶产地预测, 准确率分别为93.8%、 91.5%、 92.7%, 表明降维后的数据不仅重构了原始光谱的空间结构而且保留了样本间的相似度关系。 最后, 选取某一卷烟叶组配方中的烟叶进行单料目标烟叶的替换, 根据备选样本与目标样本之间的马氏距离选取替换样本。 实验表明, Wt-SNE选取的替换烟叶与目标烟叶相似度最高, 烟碱、 总糖等化学成分含量与目标烟叶差异较小, 香气、 烟气、 口感得分表现出较高的一致性。 该方法能够有效度量烟叶近红外光谱之间的相似性, 为卷烟叶组配方的维护提供有力的依据。
近红外光谱 数据降维 t-SNE算法 Wasserstein散度 相似性度量 Near-infrared spectrum Data dimension reduction t-SNE algorithm Wasserstein divergence Similarity measurement 光谱学与光谱分析
2023, 43(12): 3806
1 广州开放大学(广州市广播电视大学)数字化服务中心, 广东 广州 510000
2 暨南大学信息科学技术学院, 广东 广州 510000
微博文本数据高维度、同义、多义特征明显, 传统基于向量空间模型 (VSM)联合 K-均值的热点话题发现方法存在准确率低, 计算复杂, 聚类中心难以确定等问题。提出一种相关向量机 (RVM)优化 VSM的微博文本向量化方法, 首先利用 RVM的自适应特征选择能力对 VSM特征向量进行降维, 然后利用主成分分析 (PCA)方法确定 K-均值算法的初始聚类中心, 进而采用 K-均值算法得到聚类结果, 最后根据微博转发、评论和高影响力用户数量定义热度指数, 热度指数最大的话题即为当前热点话题。采用实际微博文本数据集开展实验, 结果表明所提方法相对于 2种传统方法的准确率分别提升 7.3%和 1.1%, 实时性分别提升 45%和 53%。
热点话题发现 向量空间模型 话题聚类 数据降维 微博 hot topic detection Vector Space Model topic clustering data dimensionality reduction Micro-blog 太赫兹科学与电子信息学报
2023, 21(3): 378
1 塔里木大学农学院, 新疆 阿拉尔 843300
2 中国农业大学土地科学与技术学院, 北京 100083
3 浙江大学环境与资源学院, 浙江 杭州 310058
快速准确监测农田土壤全氮含量, 可显著提高土壤肥力诊断与评价工作的效率。 传统测定土壤全氮的方法存在耗时费力、 成本高、 环境污染等缺点, 而基于光谱学原理的土壤全氮定量方法克服了传统测量的劣势。 中红外(MIR)光谱相较于可见光-近红外(VNIR)光谱而言, 具有更多的波段数和信息量, 如何利用中红外光谱监测土壤全氮含量是具有重要应用前景的研究课题。 为了探索中红外光谱对土壤全氮监测的可行性, 以新疆南疆地区采集的246个农田土样为研究对象, 以室内测定的全氮含量和中红外光谱反射率数据为数据源, 分析了不同全氮含量土样的中红外光谱特征差异, 以主成分分析法(PCA)和连续投影算法(SPA)对光谱数据进行降维, 然后采用偏最小二乘回归(PLSR)、 支持向量机(SVM)、 随机森林(RF)和反向传播神经网络(BPNN)四种建模方法分别构建基于全波段和降维数据的土壤全氮含量定量反演模型。 研究结果表明: (1)土壤在中红外波段光谱反射率随全氮含量的增加而增加, 在3 620, 2 520, 1 620和1 420 cm-1附近存在明显的吸收谷; 将中红外光谱数据进行最大值归一化处理后, 可明显提高土壤光谱反射率与全氮含量的相关性。 (2)对比两种数据降维方法, PCA和SPA分别使模型变量数减少了99.8%和97.5%, 但以PCA提取的8个主成分为自变量建立的模型预测精度总体要高于SPA对应的模型, 因此以PCA提取的主成分建模更适于土壤全氮模型的构建。 (3)在建模集中, PLSR和SVM模型以全波段建模精度最高, 但建模变量数多, 建模效率较低, 而RF和BPNN模型分别以PCA和SPA降维后的数据建立的模型在保持精度相当的前提下, 可显著提高建模效率; 在预测集中, 基于PCA降维数据的BPNN模型预测能力最高, R2和RMSE分别为0.78和0.12 g·kg-1, RPD和RPIQ值分别为2.33和3.54, 模型具备较好的预测能力。 研究结果可为农田土壤全氮含量快速估测提供一定的参考价值。
中红外光谱 土壤全氮 反演模型 光谱数据降维 Mid-infrared spectrum Soil total nitrogen Inversion model Dimension reduction of spectral data 光谱学与光谱分析
2022, 42(9): 2768
吉林大学仪器科学与电气工程学院, 吉林 长春 130000
针对光谱重构领域中光谱数据量较大与重构精度较低的问题, 提出了一种光谱可调谐的光谱重构方法。 在此之前国内外相关研究均是在数百条膜系的基础上进行, 并且计算过程比较复杂, 该方法利用10条膜系针对不同的单色光源进行实验并进行光谱重构。 光谱重构数学模型可以用线性方程组AX=B表示, 在实验过程中会受到多种误差源的干扰, 如膜系加工与设计间的误差、 探测器量子效率拟合误差、 杂散光干扰误差以及灰度值选取的误差等。 这些误差源造成了线性方程组变为病态方程, 造成了目标光谱信息解算的不准确。 在解算目标光谱信息的过程中, 首先在400~900 nm波长范围内利用凸优化算法解出含有误差的目标光谱信息的初始值, 并进行初次拟合, 得出含有误差的光谱曲线。 然后利用已知的光谱曲线信息判断目标光谱的有效波长范围, 对目标光谱范围进行伸缩, 在此范围内进行二次局部解算, 得出局部波长内的光谱信息, 然后对局部光谱信息进行局部拟合, 结合初次拟合结果, 得出新的目标光谱拟合曲线, 进一步提高了光谱重构精度, 以此类推, 得出精度较高的目标光谱曲线。 针对重构精度的评价指标不仅采用了国内外广泛使用的ARE, MSE与RQE, 还首次提出了一种新的评价光谱重构精度的指标, 即计算目标有效波长范围内每隔10 nm的MSE值, 若每10 nm的MSE值小于0.1, 则认为光谱重构精度达到了10 nm, 该方法不仅有效避免了在求解出现严重偏离真实值的情况, 还在凸优化解算过程中提供了约束条件, 有利于提高重构精度。 实验结果表明该方法在保证MSE, ARE与RQE高精度的条件下, 每隔10 nm的MSE最小值达到了0.002 3。 基于光谱可调谐光谱重构方法不仅达到了对目标光谱达到高精度重构的效果, 而且实现了数据降维。 此方法为光谱重构领域的工作方向提供了新的思路, 在工程上具有较大的应用价值。
光谱重构 调谐光谱 凸优化 数据降维 Spectral reconstruction Tuning spectrum Convex optimization Data dimensionality reduction 光谱学与光谱分析
2022, 42(5): 1378
针对弱约束非合作目标的轨迹具有复杂性、海量性和实时性等特点, 传统轨迹分析处理技术较难有效发挥作用, 提出了弱约束非合作目标轨迹预处理技术。研究了离群点、缺失点和冗余点的清理模型; 提出了基于航速、航向变化率约束的轨迹降维方法; 采用了规约和扩充的方法, 增加了轨迹数据的多样性。仿真结果表明, 经过处理后, 轨迹的压缩率为64.44%, 精度损失仅为26.71%, 数据集扩充了3倍, 获得了高质量的轨迹数据, 降低模型对轨迹特征的敏感性, 提高了模型的泛化能力。
轨迹分析 数据清理 数据降维 数据规约 扩充 trajectory analysis data cleaning data dimensionality reduction data reduction expansion
山东大学机电与信息工程学院, 山东 威海 264209
随着天文学的发展以及天文望远镜观测能力的提升, 国内外许多大型巡天望远镜将产生PB级的恒星光谱数据。 恒星光谱是来自恒星的电磁辐射, 通常由连续谱与吸收线叠加而成, 其差异源于恒星的有效温度、 表面重力加速度以及元素的化学丰度等。 恒星光谱自动分类是天文数据处理的一项重要研究内容, 是研究恒星演化和参数测量的基础。 海量的恒星光谱对分类方法提出了高效、 准确的要求。 传统的人工分类方法存在速度慢、 精度低等缺点, 已经无法满足海量恒星光谱特别是低信噪比恒星光谱自动分类的实际需要, 机器学习算法目前已经被广泛地应用于恒星光谱分类。 恒星光谱的一个显著特征是数据维度较高, 降维不但可以实现特征提取, 而且可以降低计算量, 是光谱分类的首要任务。 传统的线性降维方法如主成分分析仅依据方差对光谱进行降维, 不同类型的光谱在投影到低维特征空间后会出现交叉现象, 而流形学习能够产生优良的分类边界, 很好地避开重叠, 有利于后续的分类。 针对光谱数据维度较高的特点, 研究了光谱数据在高维空间内的分布以及流形学习对高维线性数据降维的原理, 比较了t-SNE和主成分分析两种降维方法对光谱数据降维的效果, 并使用基于属性值相关距离的改进的K近邻算法进行光谱分类, 最终对实验结果进行了分析并使用多种机器学习分类器进行比较和验证。 采用Python语言及Scikit-learn第三方库实现了算法, 对SDSS的12 000条低信噪比的恒星光谱进行实验, 最终实现了光谱数据的高精度自动处理和分类。 实验结果表明, 对于光谱数据的降维处理, 基于流形学习的t-SNE方法能够在高维光谱数据中恢复低维流形结构, 即找出高维空间中的低维流形, 并解出与之对应的嵌入映射, 在降维过程中最大程度地保留不同类别光谱样本之间的差异从而产生明显的分类边界。 特征提取后, 使用机器学习分类器能够在测试数据集上达到满意的分类准确率。 所使用的方法也可以应用于其他的巡天望远镜产生的海量光谱的自动分类以及稀少天体的数据挖掘。
流行学习 恒星光谱分类 数据降维 K近邻算法 Manifold learning Stellar spectral classification Data reduction K-Nearest neighbor algorithm 光谱学与光谱分析
2020, 40(9): 2913
1 河北工业大学电子信息工程学院, 天津 300401 、
2 河北工业大学电子信息工程学院, 天津 300401
3 北京农业智能装备技术研究中心, 北京市农林科学院, 北京 100097
近红外光谱（NIR）分析具有测试方便、 不破坏样本、 响应快速等优势, 但是, 由于在谱带分布和结构分析中存在着许多复杂因素, 使得在提取特征光谱信息时存在许多困难。 现阶段, 虽然已经有多种光谱数据降维方式被广泛使用, 但是这些传统的数据降维方式都有一个局限性, 就是数据的降维仅仅针对于一个数据集, 当数据集中有多个关键因素形成干扰时, 数据降维和分类的结果往往不是很理想, 得不到想要分析的信息。 这一问题造成了在分析近红外光谱时建立的数据降维模型极差, 无法正确的对样品进行预测分类。 对比主成分分析（contrastive principle component analysis, cPCA）是一种基于主成分分析（PCA）的改进算法, 起源于对比学习, 并应用于基因组信息解析。 cPCA算法的优势就是能够将一个数据集中的降维推广到两个相关联数据集之间的降维, 从而能够得到数据集中的关键信息。 将cPCA算法应用于近红外光谱处理中, 建立了准确的近红外光谱数据降维模型。 在实验验证中, 使用cPCA算法对不同类型水果（苹果和梨）表面农药残留进行分析。 结果表明, 在对不同类型的水果进行农药残留分析时, 使用PCA算法进行数据降维只能区分出不同的水果类型, 而水果表面是否喷洒农药这一关键的特征信息并不能分析出来; 而使用cPCA算法进行数据降维分析时, 由于对背景光谱的约束作用, 能够清晰的将有无喷洒农药的样本分类。 这说明了, cPCA在近红外光谱数据降维中有着明显的优势, 解决了近红外光谱数据降维模型中数据集受限和特征信息的提取问题, 进而建立准确的近红外光谱数据降维模型。
近红外 数据降维 模型建立 Near-infrared spectroscopy cPCA cPCA Data dimensionality reduction Model establishment
1 西北大学信息科学与技术学院, 陕西 西安 710127
2 西北大学西安市影像组学与智能感知重点实验室, 陕西 西安 710127
多激发点荧光分子断层成像(FMT)重建过程中生成的系统矩阵规模较大,导致计算复杂度高,重建时间长。为了加快重建速度并保证其准确性,基于人工神经网络理论,通过降低系统矩阵规模,提出了一种快速FMT重建方法。具体来说,采用的降维方法是自编码器,即一种典型的人工神经网络,训练数据为由系统矩阵和表面荧光测量值组成的矩阵,然后使用自编码器网络的编码部分得到原始矩阵在低维空间上的表示。为了测试所提方法的性能,设计了一系列数值模拟实验,包括非匀质圆柱体实验和数字鼠实验。实验结果表明,该方法能有效缩短重建时间,得到较高的重建精度。
医用光学 荧光分子断层成像 数据降维 深度学习 自编码器 图像重建
西北大学信息科学与技术学院, 陕西 西安 710127
采用大规模荧光分子断层成像（FMT）投影数据进行重建需要消耗大量的计算内存，花费较长的计算时间。为降低FMT重建的病态性以及加快重建速度，基于流形学习和压缩感知理论，提出了结合局部保留投影（LPP）和稀疏正则化的重建方法，并对原始的多投影荧光数据进行重建。为评估该方法的重建效果和时间，分别设计了非匀质圆柱单、双目标仿真实验和真实小鼠实验。实验结果表明，在保证FMT重建图像精度和分辨率的同时将重建时间大幅度减少。
生物光学 荧光分子断层成像 数据降维 局部保留投影 图像重建
