1 广州开放大学(广州市广播电视大学)数字化服务中心, 广东 广州 510000
2 暨南大学信息科学技术学院, 广东 广州 510000
微博文本数据高维度、同义、多义特征明显, 传统基于向量空间模型 (VSM)联合 K-均值的热点话题发现方法存在准确率低, 计算复杂, 聚类中心难以确定等问题。提出一种相关向量机 (RVM)优化 VSM的微博文本向量化方法, 首先利用 RVM的自适应特征选择能力对 VSM特征向量进行降维, 然后利用主成分分析 (PCA)方法确定 K-均值算法的初始聚类中心, 进而采用 K-均值算法得到聚类结果, 最后根据微博转发、评论和高影响力用户数量定义热度指数, 热度指数最大的话题即为当前热点话题。采用实际微博文本数据集开展实验, 结果表明所提方法相对于 2种传统方法的准确率分别提升 7.3%和 1.1%, 实时性分别提升 45%和 53%。
热点话题发现 向量空间模型 话题聚类 数据降维 微博 hot topic detection Vector Space Model topic clustering data dimensionality reduction Micro-blog 太赫兹科学与电子信息学报
2023, 21(3): 378
吉林大学仪器科学与电气工程学院, 吉林 长春 130000
针对光谱重构领域中光谱数据量较大与重构精度较低的问题, 提出了一种光谱可调谐的光谱重构方法。 在此之前国内外相关研究均是在数百条膜系的基础上进行, 并且计算过程比较复杂, 该方法利用10条膜系针对不同的单色光源进行实验并进行光谱重构。 光谱重构数学模型可以用线性方程组AX=B表示, 在实验过程中会受到多种误差源的干扰, 如膜系加工与设计间的误差、 探测器量子效率拟合误差、 杂散光干扰误差以及灰度值选取的误差等。 这些误差源造成了线性方程组变为病态方程, 造成了目标光谱信息解算的不准确。 在解算目标光谱信息的过程中, 首先在400~900 nm波长范围内利用凸优化算法解出含有误差的目标光谱信息的初始值, 并进行初次拟合, 得出含有误差的光谱曲线。 然后利用已知的光谱曲线信息判断目标光谱的有效波长范围, 对目标光谱范围进行伸缩, 在此范围内进行二次局部解算, 得出局部波长内的光谱信息, 然后对局部光谱信息进行局部拟合, 结合初次拟合结果, 得出新的目标光谱拟合曲线, 进一步提高了光谱重构精度, 以此类推, 得出精度较高的目标光谱曲线。 针对重构精度的评价指标不仅采用了国内外广泛使用的ARE, MSE与RQE, 还首次提出了一种新的评价光谱重构精度的指标, 即计算目标有效波长范围内每隔10 nm的MSE值, 若每10 nm的MSE值小于0.1, 则认为光谱重构精度达到了10 nm, 该方法不仅有效避免了在求解出现严重偏离真实值的情况, 还在凸优化解算过程中提供了约束条件, 有利于提高重构精度。 实验结果表明该方法在保证MSE, ARE与RQE高精度的条件下, 每隔10 nm的MSE最小值达到了0.002 3。 基于光谱可调谐光谱重构方法不仅达到了对目标光谱达到高精度重构的效果, 而且实现了数据降维。 此方法为光谱重构领域的工作方向提供了新的思路, 在工程上具有较大的应用价值。
光谱重构 调谐光谱 凸优化 数据降维 Spectral reconstruction Tuning spectrum Convex optimization Data dimensionality reduction 光谱学与光谱分析
2022, 42(5): 1378
针对弱约束非合作目标的轨迹具有复杂性、海量性和实时性等特点, 传统轨迹分析处理技术较难有效发挥作用, 提出了弱约束非合作目标轨迹预处理技术。研究了离群点、缺失点和冗余点的清理模型; 提出了基于航速、航向变化率约束的轨迹降维方法; 采用了规约和扩充的方法, 增加了轨迹数据的多样性。仿真结果表明, 经过处理后, 轨迹的压缩率为64.44%, 精度损失仅为26.71%, 数据集扩充了3倍, 获得了高质量的轨迹数据, 降低模型对轨迹特征的敏感性, 提高了模型的泛化能力。
轨迹分析 数据清理 数据降维 数据规约 扩充 trajectory analysis data cleaning data dimensionality reduction data reduction expansion
1 河北工业大学电子信息工程学院, 天津 300401 、
2 河北工业大学电子信息工程学院, 天津 300401
3 北京农业智能装备技术研究中心, 北京市农林科学院, 北京 100097
近红外光谱（NIR）分析具有测试方便、 不破坏样本、 响应快速等优势, 但是, 由于在谱带分布和结构分析中存在着许多复杂因素, 使得在提取特征光谱信息时存在许多困难。 现阶段, 虽然已经有多种光谱数据降维方式被广泛使用, 但是这些传统的数据降维方式都有一个局限性, 就是数据的降维仅仅针对于一个数据集, 当数据集中有多个关键因素形成干扰时, 数据降维和分类的结果往往不是很理想, 得不到想要分析的信息。 这一问题造成了在分析近红外光谱时建立的数据降维模型极差, 无法正确的对样品进行预测分类。 对比主成分分析（contrastive principle component analysis, cPCA）是一种基于主成分分析（PCA）的改进算法, 起源于对比学习, 并应用于基因组信息解析。 cPCA算法的优势就是能够将一个数据集中的降维推广到两个相关联数据集之间的降维, 从而能够得到数据集中的关键信息。 将cPCA算法应用于近红外光谱处理中, 建立了准确的近红外光谱数据降维模型。 在实验验证中, 使用cPCA算法对不同类型水果（苹果和梨）表面农药残留进行分析。 结果表明, 在对不同类型的水果进行农药残留分析时, 使用PCA算法进行数据降维只能区分出不同的水果类型, 而水果表面是否喷洒农药这一关键的特征信息并不能分析出来; 而使用cPCA算法进行数据降维分析时, 由于对背景光谱的约束作用, 能够清晰的将有无喷洒农药的样本分类。 这说明了, cPCA在近红外光谱数据降维中有着明显的优势, 解决了近红外光谱数据降维模型中数据集受限和特征信息的提取问题, 进而建立准确的近红外光谱数据降维模型。
近红外 数据降维 模型建立 Near-infrared spectroscopy cPCA cPCA Data dimensionality reduction Model establishment
1 西北大学信息科学与技术学院, 陕西 西安 710127
2 西北大学西安市影像组学与智能感知重点实验室, 陕西 西安 710127
多激发点荧光分子断层成像(FMT)重建过程中生成的系统矩阵规模较大,导致计算复杂度高,重建时间长。为了加快重建速度并保证其准确性,基于人工神经网络理论,通过降低系统矩阵规模,提出了一种快速FMT重建方法。具体来说,采用的降维方法是自编码器,即一种典型的人工神经网络,训练数据为由系统矩阵和表面荧光测量值组成的矩阵,然后使用自编码器网络的编码部分得到原始矩阵在低维空间上的表示。为了测试所提方法的性能,设计了一系列数值模拟实验,包括非匀质圆柱体实验和数字鼠实验。实验结果表明,该方法能有效缩短重建时间,得到较高的重建精度。
医用光学 荧光分子断层成像 数据降维 深度学习 自编码器 图像重建
西北大学信息科学与技术学院, 陕西 西安 710127
采用大规模荧光分子断层成像（FMT）投影数据进行重建需要消耗大量的计算内存，花费较长的计算时间。为降低FMT重建的病态性以及加快重建速度，基于流形学习和压缩感知理论，提出了结合局部保留投影（LPP）和稀疏正则化的重建方法，并对原始的多投影荧光数据进行重建。为评估该方法的重建效果和时间，分别设计了非匀质圆柱单、双目标仿真实验和真实小鼠实验。实验结果表明，在保证FMT重建图像精度和分辨率的同时将重建时间大幅度减少。
生物光学 荧光分子断层成像 数据降维 局部保留投影 图像重建
1 中国地质大学（北京）, 北京100083
2 北京市国土资源信息开发研究重点实验室, 中国地质大学（北京）, 北京100083
高光谱数据具有图谱合一和数据量大的特点, 数据降维是主要的研究方向。 波段选择和特征提取是目前高光谱降维的主要方法, 就高光谱数据图像岩性特征提取的方法进行了试验和探讨。 基于高光谱影像的自相似特征, 探索了分形信号算法在CASI高光谱数据岩性特征提取上的应用研究。 以CASI高光谱影像数据为研究对象, 将基于地毯的方法进行修正后用于计算高光谱影像中每一像元的分形信号值。 试验结果表明, 与其他分类算法相比分形信号算法增强高光谱图像的影像特征从另一个侧面更细致的描述了不同光谱的可区分性。 分形信号影像在一定程度上可以更好地突出基岩裸露地区岩性特征, 从而可以实现影像地表岩性特征提取的目的。 原始光谱曲线自身形态特征、 初始尺度的选择以及迭代步长等对分形信号和分形特征尺度均有影响。 目前, 光谱曲线的分形信号特征研究还不多, 对其物理意义和定量分析尚需要深入研究。
高光谱 数据降维 分形信号 岩性特征提取 Hyperspectral Data dimensionality reduction Fractal signal Lithology feature extraction 光谱学与光谱分析
2014, 34(5): 1388
北京理工大学 机电工程与控制国家级重点实验室,北京 100081
为了解决高光谱图像维数高、数据量巨大、实时处理技术实现难的问题,提出了高光谱图像实时处理降维技术。采用奇异值分解(SVD)算法对高光谱图像进行降维,又在可编程门阵列(FPGA)芯片中针对这一算法划为自相关模块、特征求解模块、特征提取模块和降维实现模块4个模块进行编程实现、仿真和验证。仿真结果表明,高光谱图像降维后数据量为降维前的1/3,而降维后的分类像素点误差为0.2109%,证明了奇异值分解算法进行高光谱图像降维算法的有效性。
光谱学 高光谱图像 数据降维 奇异值分解 可编程门阵列
