类星体是人类所观测到的最遥远天体, 对于了解早期宇宙的演化具有重要科学意义。 由于类星体距离地球较远, 其红移一般较大, 导致在光学观测窗口中只有很少的特征（发射线）, 且难以识别。 类星体光谱的异常特征提取与分析可对未知类星体的识别, 提供有效的判别依据。 离群检测作为数据挖掘领域的一个主要研究内容, 旨在发现那些稀有、 特殊数据对象及异常特征, 可作为从海量类星体光谱数据中, 发现特殊、 未知类星体的一种有效途径和手段。 Spark作为新一代大数据分布式处理框架, 可为海量天体光谱的有效分析和处理, 提供一个高效且可靠的并行编程平台。 本文充分利用集群系统和Spark编程模型的强大数据处理能力, 提出一种基于稀疏子空间的类星体光谱异常特征并行提取与分析方法, 其工作由三个模块组成, 即类星体光谱特征约减、 类星体光谱的稀疏子空间构造和搜索、 类星体光谱异常特征提取并行算法设计与分析。 类星体光谱特征约减模块, 通过属性相关性分析来识别呈现聚类结构的类星体光谱特征线, 这些特征线通常会聚集在稠密区域且对类星体光谱异常特征检测毫无意义。 光谱特征约减旨在运行异常特征检测算法之前剪枝类星体光谱的冗余特征线, 缩小光谱数据检测范围。 类星体光谱的稀疏子空间构造和搜索模块, 通过设定的稀疏系数阈值来测量类星体光谱的子空间密度, 并采用粒子群优化方法作为稀疏子空间的搜索策略, 从而快速、 高效地获取类星体的异常特征。 在第三个模块中, 提出了一种MapReduce框架下的类星体光谱异常数据并行检测算法, 该算法由并行化数据约减策略、 稀疏子空间并行搜索技术两个MapReduce构成, 达到适应海量光谱数据的处理目标。 最后对检测出的部分类星体异常特征进行了理论分析、 测量及人眼证认, 充分说明稀疏子空间可为识别特殊、 未知类星体候选源, 提供有效支持和有力证据。

频繁模式是频繁出现在数据集中的模式, 在数据挖掘中起着非常重要的作用。 针对恒星光谱分类任务, 在频繁模式的基础上, 提出一种基于分类模式树的恒星光谱分类规则挖掘方法。 首先根据数据库中恒星光谱各属性出现的频率不同, 其在分类中的重要程度也不同的特征, 提出一种新的树型结构——分类模式树, 给出了相关概念及其构造方法SSCPTC, 然后, 将恒星光谱的特征信息映射到分类模式树上, 通过采用自顶向下和自底向上两种模式相结合的方法对分类模式树进行遍历, 实现分类规则的提取, 同时引入模式有用度的概念来调整分类规则的数量、 提高分类模式树的构造效率; 最后采用国家天文台提供的SDSS恒星光谱作为实验数据, 验证了该方法的正确性, 而且具有较高的分类正确率。

概念格是数据分析与知识提取的一种有效形式化工具, 约束概念格是一种新的概念格结构, 具有构造的时空复杂性低, 所提取知识的实用性和针对性强等特点。 针对海量恒星光谱自动分类任务, 依据约束概念格结点外延与训练样本数据集等价划分之间的关系, 通过引入外延支持度和划分支持度的概念, 提出了一种基于约束概念格的恒星光谱数据分类规则挖掘方法, 并采用SDSS恒星光谱数据集, 实验验证了由该方法所提取出的分类规则具有较高的分类效率和分类正确率, 从而为海量的恒星光谱数据自动分类提供了一种有效方法。