近红外光谱分析技术依赖于表征光谱向量和预测目标之间关系的化学计量学方法。 然而, 样品的光谱由信号和各种噪声组成, 传统化学计量学方法较难直接提取光谱的有效特征, 并为复杂的预测任务建立具有较强泛用性的校正模型。 进一步地, 受限于仪器间的差异, 在一台仪器上建立的模型应用于另一台仪器时, 难以取得相同的定量分析结果。 为此, 提出了一种基于卷积神经网络和迁移学习的定量分析建模及模型传递方案, 以提高模型在单仪器和跨仪器上的预测性能。 在卷积神经网络的基础上, 一种结合多尺度特征融合和残差结构, 名为MSRCNN的先进模型被设计, 并在主仪器上展现了卓越的预测能力。 然后, 设计了四种的基于fine-tune模型迁移策略, 将在主仪器上建立的MSRCNN模型迁移到从仪器。 在药品和小麦的公开数据集上的实验结果表明, MSRCNN在主仪器上的RMSE和R2分别为2.587, 0.981和0.309, 0.977, 优于PLS, SVM和CNN。 在利用30个从仪器的样本微调主仪器建立的模型后, 迁移MSRCNN中的卷积层和全连接层的方案取得了最好效果, 其RMSE和R2可分别达到2.289, 0.982和0.379, 0.965。 增加参与模型微调的从仪器样本, 可进一步提高性能。

近红外光谱分析技术对检测样品无损伤且检测速度快、 精度高, 因此被广泛应用在了药品检测、 石油化工等领域, 尤其近年来机器学习和深度学习建模方法的深入应用使其具备了更准确的检测性能。 然而, 样品的近红外光谱数据具有比较高的维度且存在谱间重合、 共线性和噪声等问题, 对近红外光谱模型的性能产生消极影响, 此时样品有效特征波长的筛选极为重要。 为了提高近红外光谱定量和定性分析模型的准确性和可靠性, 提出了一种近红外光谱变量选择方法, 其结合了最小角回归（LAR）和竞争性自适应重加权采样（CARS）的优点, 具有更优的性能。 该方法利用LAR初步筛选样品全谱区的特征波长, 接着利用CARS对筛选出来的特征波长进一步选择, 从而有效去除无关特征波长。 为验证该方法的有效性, 从定量和定性分析两个方面评价该方法。 在定量分析实验中, 以FULL, LAR, CARS, SPA和UVE作为对比方法, 以药品样品数据集为实例建立PLS回归分析模型, 经LAR-CARS筛选出的变量建立的PLS模型在药品数据集表现出较高的预测决定系数和较低的预测标准偏差。 在定性分析实验中, 以SVM, ELM, SWELM和BP作为对比方法、 不同比例训练集的药品数据集为实例建立分类模型, 经LAR-CARS筛选出的变量建立的SVM分类模型精度最高达100%。 从实验结果可见, LAR-CARS可有效的筛选出表征样品特征的波长, 利用其筛选出的波长建立的定量、 定性分析模型具有更好的鲁棒性, 可用于样品光谱的特征波长筛选。

衍射光栅是非常重要的色散元件, 在光谱分析领域中有着广泛的应用, 光栅光谱衍射效率的测量对于评估光栅性能和改进光栅制备工艺有着重要的作用。 在目前常见光栅光谱衍射效率的测量技术中, 由于存在两种需要重复数百次的机械运动, 因而光栅光谱衍射效率的测量速度比较缓慢, 如获取700～900 nm波段范围内的光谱衍射效率, 大约需要5～8 min的时间。 在之前的研究中, 报道了一种快速测量光栅光谱衍射效率的新方法, 新方法采用声光可调谐滤波器、 积分球探测器和高速数据采集系统, 可以完全消除现有测量方法中存在的两种耗时的机械运动, 由于测量过程中没有任何机械运动的参与, 新方法能在10 ms量级获得700～900 nm波段范围内的光谱衍射效率。 首先对光栅光谱衍射效率测量新方法的主要误差来源进行了系统分析, 发现新方法一个比较明显的误差来源是凸透镜的透过率与入射角相关; 然后结合光学模拟, 得到了激光光束以不同入射角度传播通过凸透镜时的透过率, 并提出了相应的误差校正方法; 最后结合实验测量数据, 我们对光栅光谱衍射效率新测量技术的误差校正方法进行了实验验证。 数据分析结果表明, 在550～750 nm波段范围内测得的光栅光谱衍射效率, 经过误差校正后, 新方法与传统测量方法之间绝对误差的平均值从校正前的0.207%降低到校正后的0.099%, 由于传统光栅光谱衍射效率测量方法的测量精度约为0.1%, 结果表明, 提出的误差校准方法能成功消除光栅光谱衍射效率新测量方法的主要误差来源。

近红外光谱(NIR)分析具有分析高效、 样品无损、 环境无污染以及可现场检测等优点, 特别适合药品的快速建模分析。 但NIR存在吸收强度弱以及谱带重叠等缺点, 需要建立稳健可靠的化学计量学模型对其进行分析。 深度卷积神经网络是深度学习方法中一个重要分支, 它通过逐层抽取数据特征并进行组合、 转换, 形成更高层的语义特征, 具有极强的建模能力, 广泛应用于计算机视觉、 语音识别等领域, 而在药品NIR分析方面尚未见报道。 基于深度卷积网络模型, 对药品NIR多分类建模进行研究。针对药品NIR数据的特点,设计若干个面向多品种、多厂商药品NIR分类的一维深度卷积网络模型。模型中卷积层和池化层交叠排列用于逐层抽取NIR数据特征,输出层连接softmax分类器,对药品NIR数据进行分类概率预测。在输出层之前采用全局最大池化层, 将特征图进行整体池化, 形成一个特征点, 用于解决全连接层存在的限制输入维度大小, 参数过多的问题。 同时, 在网络模型中引入批处理操作和dropout机制, 以防止梯度消失和减小网络过拟合的风险。 在网络模型的设计过程中, 通过设计不同的卷积网络层数以及不同的卷积核尺寸大小, 分析其对建模效果的影响, 同时分析五种经典数据预处理方法对NIR分析的影响。 以我国7个厂商生产的头孢克肟片和11个厂商生产的苯妥英钠片样本NIR为实验对象, 建立药品的多品种、 多厂商分类模型, 该模型在二分类、 多分类实验中取得了良好的分类效果。 在十八分类实验中, 当训练集与测试集比例为7∶3时, 分类准确率为99.37±0.45, 比SVM, BP, AE和ELM算法取得更优的分类性能。 同时, 深度卷积神经网络模型推理速度较快, 优于SVM和ELM算法, 但训练速度慢于二者。 大量实验结果表明, 深度卷积神经网络可对多品种、 多厂商药品NIR数据准确、 可靠地判别分类, 且模型具有良好的鲁棒性和可扩展性。 该方法也可推广到烟草、 石化等其他领域的NIR数据分类应用中。

偏最小二乘(PLS)算法是常用的光谱建模算法, 然而对于海量光谱处理情形, 在单台计算机上建模及优化时间开销很大。 基于MapReduce编程模式, 提出了并行MapReduce PLS回归算法, 包括并行数据标准化和并行主成分提取两个过程。 在多台普通计算机上搭建Hadoop云计算集群平台, 以近红外光谱处理为例, 开展了算法验证实验。 实验结果表明, 基于MapReduce编程模式的并行PLS算法对海量近红外光谱数据集进行回归建模时, 能有效提高建模速度, 随计算机台数的增多可得到接近线性的加速比, 并具有良好的扩展性。