偏最小二乘(PLS)算法是常用的光谱建模算法, 然而对于海量光谱处理情形, 在单台计算机上建模及优化时间开销很大。 基于MapReduce编程模式, 提出了并行MapReduce PLS回归算法, 包括并行数据标准化和并行主成分提取两个过程。 在多台普通计算机上搭建Hadoop云计算集群平台, 以近红外光谱处理为例, 开展了算法验证实验。 实验结果表明, 基于MapReduce编程模式的并行PLS算法对海量近红外光谱数据集进行回归建模时, 能有效提高建模速度, 随计算机台数的增多可得到接近线性的加速比, 并具有良好的扩展性。

近红外光谱（NIRS）广泛应用于生产过程分析与监测, 常需事先建立定量校正或定性判别模型, 并需在生产条件变化后调整模型, 使用较复杂。 本文从相异度和相似度两个对立互补的角度, 提出自适应移动窗口标准差法和过程光谱相似度法, 并以此为基础建立一种针对生产过程的无需校正模型的简易光谱在线监测方法。 论文以中药柱层析过程为例, 对监测过程作NIRS自适应移动窗口标准差趋势图和过程光谱相似度趋势图, 并通过HPLC离线分析所得的多指标成分含量变化趋势图进行对比验证, 发现可用于工艺状况实时监测, 指导收集起点、 终点、 溶液相变点的判断, 表明论文提出的方法合理可行。 该方法亦可用于紫外/可见、 红外、 拉曼、 荧光等光谱及色谱、 质谱等其他过程分析技术。