1 桂林电子科技大学电子工程与自动化学院, 广西 桂林 541004
2 桂林电子科技大学计算机科学与工程学院, 广西 桂林 541004
3 清华大学分析中心, 北京 100084
偏最小二乘(PLS)算法是常用的光谱建模算法, 然而对于海量光谱处理情形, 在单台计算机上建模及优化时间开销很大。 基于MapReduce编程模式, 提出了并行MapReduce PLS回归算法, 包括并行数据标准化和并行主成分提取两个过程。 在多台普通计算机上搭建Hadoop云计算集群平台, 以近红外光谱处理为例, 开展了算法验证实验。 实验结果表明, 基于MapReduce编程模式的并行PLS算法对海量近红外光谱数据集进行回归建模时, 能有效提高建模速度, 随计算机台数的增多可得到接近线性的加速比, 并具有良好的扩展性。
并行偏最小二乘 近红外光谱 并行计算 云计算 Parallel partial least squares Near infrared spctrum MapReduce MapReduce Parallel computing Hadoop Hadoop Cloud computing 光谱学与光谱分析
2012, 32(9): 2399
