大规模的netflow训练数据集是构建高质量、高稳定网络流量分类器的必然要求. 但随着网络流特征维数的提高和数据集规模的扩大，无论是网络流的分析处理还是基于支持向量机(SVM)的分类器模型的训练，都无法在有效的时间内得到有效的处理结果. 本文基于Hadoop云计算平台，采用MapReduce技术对SVM网络流量分类器进行分布式学习和训练，构建CloudSVM网络流量分类器. 通过对来自校园网出口镜像的近2 T的大规模网络流量的跟踪文件的分布式存储和处理，对抽取的样本数据集进行分类，实验验证了基于Hadoop平台分布式存储和并行处理大规模网络数据集的高效率性，也验证了CloudSVM分类器在不降低分类准确度的情况下可以快速收敛到最佳，并随着大规模网络流样本的增加，SVM分类器训练的时间趋近平稳.

天体光谱中蕴含着非常丰富的天体物理信息, 通过对光谱的分析, 可以得到天体的物理信息、 化学成分以及天体的大气参数等。 随着LAMOST和SDSS等大规模巡天望远镜的实施, 将会产生海量的光谱数据, 尤其是LAMOST正式运行后, 每个观测夜产生大约2~4万条光谱数据。 如此海量的光谱数据对光谱的快速有效的处理提出了更高的要求。 恒星光谱的自动分类是光谱处理的一项基本内容, 该研究主要工作就是研究海量恒星光谱的自动分类技术。 Lick线指数是在天体光谱上定义的一组用以描述光谱中谱线强度的标准指数, 代表光谱的物理特性, 以每个线指数最突出的吸收线命名, 是一个相对较宽的光谱特征。 研究了基于Lick线指数的贝叶斯光谱分类方法, 对F, G, K三类恒星进行分类。 首先, 计算各类光谱的Lick线指数作为特征向量, 然后利用贝叶斯分类算法对三类恒星进行分类。 针对海量光谱的情况, 基于Hadoop平台实现了Lick线指数的计算, 以及利用贝叶斯决策进行光谱分类的方法。 利用Hadoop HDFS高吞吐率和高容错性的特点, 结合Hadoop MapReduce编程模型的并行优势, 提高了对大规模光谱数据的分析和处理效率。 该研究的创新点为: (1) 以Lick线指数作为特征, 基于贝叶斯算法实现恒星光谱分类; (2) 基于Hadoop MapReduce分布式计算框架实现Lick线指数的并行计算以及贝叶斯分类过程的并行化。

偏最小二乘(PLS)算法是常用的光谱建模算法, 然而对于海量光谱处理情形, 在单台计算机上建模及优化时间开销很大。 基于MapReduce编程模式, 提出了并行MapReduce PLS回归算法, 包括并行数据标准化和并行主成分提取两个过程。 在多台普通计算机上搭建Hadoop云计算集群平台, 以近红外光谱处理为例, 开展了算法验证实验。 实验结果表明, 基于MapReduce编程模式的并行PLS算法对海量近红外光谱数据集进行回归建模时, 能有效提高建模速度, 随计算机台数的增多可得到接近线性的加速比, 并具有良好的扩展性。