为了克服单一模型预测精度很难进一步提高的不足, 利用近红外光谱分析结合基于Stacking框架的异构集成学习模型实现对油页岩含油率的检测。 以松辽盆地某区块所取230个油页岩岩芯样本为研究对象, 使用低温干馏法测量油页岩样本的含油率, 同时扫描每个样本对应的近红外光谱数据。 样本使用蒙特卡洛算法进行异常样本剔除, 将剔除异常样本后的213个数据按照3∶1的比例随机划分为训练集和预测集。 利用去趋势加基线校正方法进行预处理消除光谱数据中噪声和基线漂移, 利用随机森林算法进行波长重要性排序并保留重要波长, 在此基础上采用CARS算法进行特征波长提取, 进一步降低数据维度。 最后, 构建以PLS, SVM, RF和GBDT为初级学习器, PLS回归模型为次级学习器的Stacking集成学习模型, 各初级学习器模型参数使用网格搜索进行寻优。 使用决定系数和预测均方根误差作为各模型的评价指标, 探究单一模型和集成学习模型对油页岩含油率预测的准确性。 研究结果表明, RF-CARS方法能够有效筛选重要波长, 进而提高模型效率。 基于Stacking的异构集成学习模型与单一模型(SVM和PLS)和同构集成学习模型(RF和GBDT)相比有更好的预测效果和更强的稳定性。 在多次随机划分数据集的基础上, Stacking集成学习模型的平均决定系数R2为0.894 2, 相比于其他单一模型平均提高了0.062 3； RMSEP为0.586 9, 比其他模型平均降低了0.147 4。 说明, 基于Stacking的异构集成学习模型能够组合初级学习器的优势, 提高油页岩含油率预测精度, 为油页岩含油率快速检测提供了一种新方法。

准确认识不同种类的岩石特征对地质构造、 结构与年代的判断至关重要。 常规光学显微手段虽然可以对岩石的颜色与表面形貌进行直接观测, 但是对岩石种类的判断往往凭靠经验, 一些颜色相近的矿物容易混淆, 所得结果并不准确。 光谱方法能够在不同频段给出样品的多个光学参数信息, 通过建立光学参数与样品自身物性的联系, 可以从多个维度确定样品的性质, 从而有望实现对不同矿物成分与含量定性、 定量评价。 太赫兹光谱具备一定的穿透能力, 能够透过一定厚度的岩石, 是研究岩石物理性质的合理手段。 基于太赫兹光谱技术, 对取自不同地区的花岗岩、 灰岩、 砂岩和油页岩样品进行测试, 分别计算得到每个样品的等效折射率n、 衰减系数a, 并以a为横坐标、 n为纵坐标作图, 结果表明, 相同岩性岩石的n与a基本呈线性相关关系, 而对于不同类型的岩石, 其n随a的线性变化趋势存在明显区别。 进而研究了岩石中的组成、 结构等信息与其太赫兹光谱响应的联系, 分析了不同岩性岩石的光谱响应机制, 结果表明: 花岗岩与灰岩的结构较为致密, 其矿物组成是影响太赫兹光谱响应的主要因素, 利用太赫兹参数能够估算岩石中铁、 镁元素的相对含量; 砂岩的成分较为单一, 太赫兹光谱响应受孔隙度的影响; 而对于油页岩来说, 由于有机质具有强吸收、 低折射率的特点, 其有机质含量越高, 折射率越低, 对太赫兹吸收越强。 结果表明, 太赫兹光谱技术有望成为岩石物理性质现有研究手段的合理补充, 为其评价、 分析提供新技术、 新指标, 有着极其光明的应用前景。

可见光-近红外(visible near infrared,VNIR)高光谱以其光谱分辨率高、波段连续性强,能够反映烃类物质诊断性吸收特征,在烃类能源的识别和调查研究中得到广泛应用.对研究区的油砂光谱进行特征分析,研究显示油砂样品在1 740～1 780,2 300～2 340和2 340～2 360 nm波段均具有由烃类基团弯曲和伸缩振动引起的吸收光谱特征,同时当油砂含油率较低时,引起1 700～1 730 nm波段振动的烃类基团较少,使得在此波段区间产生较微弱甚至不产生烃类吸收特征,随着含油率的增加,1 700～1 730 nm附近开始出现明显的烃类吸收谱带.鉴于含油率是油砂资源储量分析过程中的关键参数,基于油砂中烃类基团在VNIR波段由于弯曲和伸缩振动等引起的一级倍频和合频形成的特征吸收,采用光谱的吸收深度量化特征吸收谱带的响应强度,根据含油率与油砂光谱中1 740～1 780,2 300～2 340和2 340～2 360 nm等烃类特征谱带吸收深度的Pearson和偏相关关系,确立含油率光谱响应强度的关联模式,进而应用单变量一元线性回归方法(unary linear regression,ULR)和多变量偏最小二乘方法(partial least squares regression,PLSR)进行油砂含油率光谱估算研究.结果表明,利用2 350 nm附近吸收深度作为变量的含油率URL估算模型和1 758,2 310和2 350 nm附近吸收深度作为变量的PLSR估算模型精度较高,可为含油率的快速估算提供科学的参考依据.

为实现油页岩含油率的快速单点测量, 研究了基于近红外波长组合的油页岩含油率快速检测方法。以高岭土与机油混合的模拟样品为研究对象, 利用便携式近红外光谱分析技术, 研究了近红外波长组合选择方法。该方法采用自制的便携式光谱仪获得全光谱反射率数据, 结合微分和多元散射校正数据处理及相关系数法进行波长初步筛选, 将组合生成算法与留一交互校验多元线性回归(MLR)建模相结合, 确定最佳波长组合, 并用MLR建模对单点测量获得的最佳波长组合光谱数据进行了实验验证。结果表明: 最佳波长组合为1 644, 1 720, 2 210, 2 260 nm, 30个建模样品的校正集和预测集的决定系数为0.995 4和0.997 7, 11个验证样品的验证集的决定系数为0.990 1。该方法为研制基于单点测量的油页岩含油率快速检测光谱仪提供了基础。

为实现油页岩含油率的原位检测, 采用便携式近红外光谱分析技术, 针对吉林扶余油页岩基地2号钻井的66个岩芯样品开展了原位检测的分析建模方法研究。 采用自制便携式近红外光谱仪器获得反射率、 吸光度、 K-M函数三种数据形式光谱数据, 结合主成分-马氏距离(PCA-MD)剔除异常样品、 无信息变量消除法(UVE)波长筛选及二者组合的四种建模数据优化方法, 采用相同的数据预处理方法进行偏最小二乘(PLS)和反向传播神经网络(BPANN)两种方法的建模分析研究, 确定最佳分析模型及方法。 结果表明(1)不论是否采用四种不同的数据优化方法, 两种建模方法所用建模数据库适合采用反射率或K-M函数的光谱数据形式; (2)两种建模方法, 采用四种不同的数据优化方法, 对相同数据库建模精度的影响不同: 采用PLS建模方法、 以PCA-MD和UVE+ PCA-MD两种方法进行数据优化、 可以提高K-M函数光谱数据形式数据库的建模分析精度, 采用BPANN建模方法、 以UVE、 PCA-MD 与UVE组合的 三种方法进行数据优化、 对三种数据形式数据库的建模精度均有所提高; (3)除以反射率光谱数据并进行PCA-MD数据优化外, 采用BPANN方法的建模精度好于PLS法。 其中采用反射率光谱数据形式、 只进行UVE数据优化外的BPANN建模精度最高, 预测相关系数为0.92、 标准偏差为0.69%。

研究了漫反射近红外(NIR)光谱法分析油页岩含油率过程中异常样品的识别和剔除方法。 在近红外光谱定量分析中, 环境变化和操作失误等都会产生异常样品, 异常样品的存在会导致模型的预测能力下降, 因此异常样品的剔除是建模过程中的关键步骤。 分别采用主成分分析—马氏距离（PCA-MD）法和半数重采样（RHM）法识别油页岩光谱数据中的异常样品, 通过剔除异常样品后所建的偏最小二乘（PLS）分析模型的性能来评价PCA-MD与RHM方法对异常样品的识别能力。 实验中考察了不同MD阈值和RHM置信度对异常样品剔除结果的影响, 比较了单独和同时应用PCA-MD及RHM法识别并剔除异常样品后所得PLS模型的预测能力。 结果表明: 与所有样品参与建模时预测偏差均方根（RMSEP）相比, 采用PCA-MD法时阈值取平均值与标准偏差之和时RMSEP降低了48.3%; 采用RHM法时置信度取85%时RMSEP降低了27.5%; 同时采用PCA-MD法和RHM法时RMSEP降低了44.8%, 研究内容有效地提高了分析模型的预测能力。

便携式近红外光谱分析技术可实现油页岩含油率的原位检测, 在油页岩资源现场勘查中发挥着重要作用。 但是, 由于其测得的原始光谱数据量大、 冗余信息多, 直接建模会影响速度与精度。 因此提出一种小波变换与神经网络融合法, 先将油页岩全谱数据进行db8小波3级分解, 提取其近似系数形成输入矩阵, 然后再进行神经网络建模。 为了验证有效性, 利用30个油页岩合成样品, 从中随机选择20个用于训练, 另外10个用于预测, 并分别使用全谱数据与小波特征数据进行了10次神经网络建模。 结果表明, 全谱数据建模速度均值为570.33 s, 预测残差平方和及相关系数均值分别为0.006 012及0.843 75; 而小波神经网络法对应的以上均值为3.15 s, 0.002 048及0.953 19。 由此说明小波神经网络法优于全谱数据建模法, 为油页岩含油率的快速、 高精度检测提供了一种新方法。

目前油页岩关键的评价参数——含油率的检测方法均无法实现原位测量, 无法满足油页岩资源的勘查和开采中样品检测的要求。 便携式近红外光谱分析技术, 为实现油页岩含油率的原位检测提供了可能性。 由于光谱数据的不同形式与样品的成分含量值之间有不同的相关关系, 样品不同成分的吸收特性表现在不同的近红外波段上, 因此利用合成样品, 针对反射率、 吸光度、 K-M函数等三种不同的光谱数据表示形式和四种不同的建模区间, 研究它们对油页岩含油率PLS模型精度的影响情况。 结果表明: 对于合成样品, 进行PLS建模的最佳光谱数据形式是反射率, 最佳建模区间是组合特征区间, 即适当的光谱数据形式及建模区间可提高模型的精度。