基于紫外-可见光谱法的工业废水CNN-GRU分类模型研究
0 引 言
随着我国工业化率和城镇化率的不断提升,水体环境遭到严重破坏,水质检测、监测及实时预警的需求变得尤为迫切[1,2]。我国一直重视工业废水治理技术的研发与应用,根据《中国环境统计年鉴》统计,2020年我国工业化学需氧量排放总量为49.7万吨,相较于2019年下降了27.5万吨[3]。工业废水水质种类繁多,检测技术要求高,因此亟待一种切实可靠的工业废水分类方法辅助国家监管部门监控工业废水的排放情况。
化学需氧量 (COD) 被定义为由强氧化剂 (如重铬酸盐、高锰酸盐) 氧化水体中还原性物质所消耗的氧的当量,可代表大多数污水排放的总有机污染程度[4,5]。其数值越大,意味着污水的有机物污染情况越严重。利用紫外-可见 (UV-Vis) 光谱法构建模型对水质COD进行分析,在水质检测领域得到广泛应用,具有实时、在线、原位检测、无二次污染等优点。Li 等[6]提出了一种浊度补偿方法,有效地矫正了光谱吸收特性,显著提高了UV-Vis光谱测量COD的准确性。Li 等[7]针对COD的UV-Vis光谱测量提出了一种改进的Bagging算法,经过基于集成经验模态分解的算法去噪和稳定性竞争自适应重加权采样算法降维,降低检测模型的方差和偏差。改进的Bagging模型达到了最佳的预测性能。Chen 等[8]采用乘法散射校正来补偿混合溶液的吸收光谱的浊度,利用光谱差法对浊度补偿后的光谱进行COD补偿,通过偏最小二乘法 (PLS) 算法计算混合溶液中的硝酸盐、COD和浊度。
随着机器学习和人工智能技术的飞速发展,已有许多神经网络模型应用于水质预测或水体评价中[9,10]。卷积神经网络是一种应用广泛的多层感知机。Jia 等[11]提出了一种基于增强型卷积神经网络 (CNNs) 的回归模型用于预测COD,预测精度高,与回归曲线拟合良好。但是普通的模型已经无法应对日益复杂的水质变化,急需一种更快速、更精准的COD分类方法。
污水数据随时间、季节、气象条件等变化具有一定的周期性,但是并非呈现线性趋势,因此实时地对水质情况进行分类有一定的难度,使用门控循环网络 (GRU) 模型可能会引入与污水质量数据毫无关系的噪声,还会受到时间序列数据中较大值和较小值的影响,且模型训练时间过长。而卷积神经网络 (CNN) 模型在深层网络中,采用误差反向传播 (BP) 时靠近输入层的参数改动较慢,且池化层会丢失大量有价值信息,失去整体与局部的关联。特征提取的封装为网络性能的改进罩了一层黑盒,虽然能够针对每一段时间序列进行卷积运算,较好地提取水质信息中的局部特征,但由于CNN对时间顺序并不敏感,且采用梯度下降算法很容易使训练结果收敛于局部最小值而非全局最小值,单独完成污水分类的效果并不理想。因此,将CNN与GRU结合使用,充分利用CNN的特征信息提取能力和GRU对时间序列数据的敏感性,提高对污水分类的准确率[12]。
为解决工业废水中的COD快速预测分类问题,提出了一种基于CNN的水体COD紫外可见光谱法检测方法。该模型将光谱数据输入CNN网络中,再经过GRU网络进行COD预测。通过与CNN神经网络、GRU神经网络、长短期记忆 (LSTM) 网络、CNN-LSTM网络相比,在预测精度与预测效率方面都取得了更好的效果,实现了工业废水的水质精准分类。
1 研究基础
1.1 基于UV-Vis光谱水质COD数据采集
依据《水质 化学需氧量的测定 重铬酸盐法》(HJ 828-2017)[13]配置浓度为100、150、500 mg/L的邻苯二甲酸氢钾标准溶液。根据《污水综合排放标准》(GB 8978-1996)[14]将100、150、500 mg/L的标准溶液根据浓度分为500份,并利用纯水稀释至0~100、100~150、150~500 mg/L浓度范围,如
表 1. 工业废水COD分类标准
Table 1. Industrial wastewater COD classification standard
|
实验使用海洋光学生产的光谱仪,COD水质检测系统主要有氘卤灯光源 (DHLLS)、光衰减器 (OA)、支架 (CH)、比色皿 (CE)、遮光罩 (LH)、Maya2000 pro光谱仪 (MPSM) 以及电脑 (CP) 组成,实验平台结构如
图 1. 基于UV-Vis光谱法的实验平台结构图
Fig. 1. Structure diagram of experimental platform based on ultraviolet-visible spectroscopy
为避免光照对数据采集的干扰,保证采集环境一致性,实验过程中都使用特制的样品支架进行遮光处理。根据多次调试结果,设置光谱仪采集的积分时间为80 ms,平均扫描次数为10次。根据朗伯-比尔定律检测邻苯二甲酸氢钾溶液的吸光度A,即
式中
实验时,为去除水中的散射影响,检测纯水出射光作为样品的入射光,然后采集样品出射光,利用
1.2 卷积神经网络算法
CNN模型是神经网络中的一种,一般由五个部分构成,分别是输入层、卷积层、池化层、全连接层、激活函数层。CNN通过充分利用局部相关性和权值共享的思想,很大程度上减少了网络参数量,从而提高训练效率,得以实现超大规模的深层网络。通过卷积函数提取数据特征,随着网络逐渐加深,输入的每个神经元与前一层局部感受野链接在一起。池化层也称为下采样,可以有效减少网络中的参数,防止过拟合发生。全连接层在整个 CNN 中充当分类器,将学习到的特征映射到样本标记空间。激活函数层的功能是对提取的特征进行非线性变换,激活提取的特征。
1.3 门控循环单元
循环神经网络 (RNN) 是一种用于处理序列数据的神经网络。在RNN中,在训练过程中容易出现梯度消失和梯度爆炸,从而导致RNN在实际应用中的效果不尽如人意。Hochreiter 和 Schmidhuber[15]提出了具有记忆功能的 LSTM。它由三部分组成:输入门、遗忘门和输出门。根据算法判断输入数据,需要则被保留,否则就会被丢弃。LSTM在大部分序列任务上都取得了比基础RNN模型更好的性能和表现,但是LSTM结构相对复杂,计算代价较高,模型参数量较大。研究发现,只有遗忘门的简化版网络在多个基准数据集上面优于标准LSTM网络。Cho等[16]根据LSTM网络提出了GRU网络,其结构如
复位门根据门控向量控制进入GRU网络的输入状态,更新门根据上一时刻状态和新输入控制当前状态。GRU的表达式为
式中
Cho等[16]提出的GRU神经网络相较于LSTM具有更简单的结构,且对工业废水的预测具有良好的性能,可以更好地作为污水处理的算法支持。Miao等[17]的研究说明GRU神经网络的城市污水COD预测结果优于传统RNN,具有架构更简单、学习效率快等优点。
2 实验与结果分析
2.1 基于CNN和GRU的深度学习网络模型
基于CNN和GRU的深度学习网络模型流程图如
为了更好地完成分类任务参考VGG16模型,卷积层采用的卷积核尺寸均为3,可通过适当加深神经网络深度增强模型的预测能力。本研究中使用2个GRU层,优化器采用Adama,学习率设置为0.0012,损失函数采用categorical_crossentropy。CNN-GRU网络各层输出维度如
表 2. CNN-GRU网络各层输出维度
Table 2. Output dimension of each layer of CNN-GRU network
|
2.2 数据预处理
实测水体的UV-Vis光谱数据中常含有高频噪声,主要由实验器械引起。
图 6. 加噪光谱数据。(a) 50 dB; (b) 40 dB; (c) 30 dB; (d) 20 dB
Fig. 6. Noised spectral data. (a) 50 dB; (b) 40 dB; (c) 30 dB; (d) 20 dB
原始数据存在的噪声近似为30~40 dB的高斯高噪声。采用信噪比
式中
通过对比小波去噪、Savitzky-Golay平滑滤波和高斯滤波去噪算法去噪效果,如
表 3. 光谱去噪结果
Table 3. The result of spectral denosing
|
2.3 预测结果与分析
将数据按照6:2:1分为训练集、验证集和测试集,使用CNN-GRU混合神经网络在数据集上进行训练,将预测结果于相同条件下LSTM网络[19-21]、GRU网络[22]、CNN网络[23]、CNN-LSTM网络[24-26]的预测精度进行比较[27],可以得知本模型在保持高效训练的同时具有较好的预测精度。
训练过程如
图 9. CNN-GRU模型 COD分类训练结果图
Fig. 9. CNN-GRU model COD classification training result diagram
为了横向比较CNN-GRU算法COD预测精度,将所提出算法与CNN、LSTM、GRU、CNN-LSTM模型进行对比,其中CNN网络与CNN-GRU模型中的CNN设定相同;LSTM网络模型由2层LSTM单元与一层全连接层组成;GRU网络由2层GRU单元与一层全连接层组成,且与CNN-GRU网络中GRU网络结构相同;CNN-LSTM网络结构与本文中CNN-GRU网络结构设置相同。将所有网络模型对所测得的COD UV-Vis光谱数据进行预测分类,得到各个模型的准确率与预测效率如
表 4. 模型预测结果比较
Table 4. Model prediction results comparison
|
3 结 论
针对工业废水快速预测分类的问题,提出了一种基于CNN与GRU相结合的工业废水COD预测模型。该模型克服了在深层网络中输入层参数改动较慢,而采用梯度下降时会形成局部收敛的问题。通过高斯滤波去噪去除高频波段噪声。利用CNN提取光谱数据特征,接着输入GRU单元中,实现UV-Vis光谱COD数据精准分类。CNN-GRU模型的预测精度与预测效率具有显著优势。
[1] Koppanen M, Kesti T, Kokko M, et al. An online flow-imaging particle counter and conventional water quality sensors detect drinking water contamination in the presence of normal water quality fluctuations[J]. Water Research, 2022, 213: 118149-118161.
[2] Sun Y, Chen Z, Wu G X, et al. Characteristics of water quality of municipal wastewater treatment plants in China: Implications for resources utilization and management[J]. Journal of Cleaner Production, 2016, 131: 1-9.
[3] 胡汉舟, 孙守亮. 中国环境统计年鉴 [M]. 北京: 中国统计出版社, 2021: 20-23.
HuH Z, SunS L. China Statistical Yearbook on Environment [M]. Beijing: China Statistics Press, 2021: 20-23.
[4] 汤 斌, 魏 彪, 吴德操, 等. 一种紫外-可见光谱法检测水质COD的浊度影响实验研究[J]. 光谱学与光谱分析, 2014, 34(11): 3020-3024.
[5] Nezamzadeh-Ejhieh A, Shirzadi A. Enhancement of the photocatalytic activity of ferrous oxide by doping onto the nano-clinoptilolite particles towards photodegradation of tetracycline[J]. Chemosphere, 2014, 107: 136-144.
[6] Li J W, Tong Y F, Guan L, et al. A turbidity compensation method for COD measurements by UV-vis spectroscopy[J]. Optik, 2019, 186: 129-136.
[7] Li J W, Pan S S, Bian J, et al. An improved-bagging model for water chemical oxygen demand measurements using UV-vis spectroscopy[J]. IEEE Access, 2021, 9: 161834-161845.
[8] Chen X W, Yin G F, Zhao N J, et al. Simultaneous determination of nitrate, chemical oxygen demand and turbidity in water based on UV-Vis absorption spectrometry combined with interval analysis[J]. Spectrochimica Acta Part A: Molecular and Biomolecular Spectroscopy, 2021, 244: 118827-118833.
[9] 秦 岭, 张崇泰, 郭 瑛, 等. 基于Elman神经网络的可见光室内定位算法研究[J]. 光学学报, 2022, 42(5): 16-23.
Qin L, Zhang C T, Guo Y, et al. Research on visible light indoor location algorithm based on Elman neural network[J]. Acta Optica Sinica, 2022, 42(5): 16-23.
[10] Cai J N, Meng L, Liu H L, et al. Estimating chemical oxygen demand in estuarine urban rivers using unmanned aerial vehicle hyperspectral images[J]. Ecological Indicators, 2022, 139: 108936.
[12] 赵明富, 唐 平, 汤 斌, 等. 主成分分析联合Fisher判别在紫外-可见光谱法水质检测中的应用[J]. 大气与环境光学学报, 2018, 13(6): 436-446.
[13] 生态环境部. 水质 化学需氧量的测定 重铬酸盐法: HJ 828―2017 [S]. 北京: 中国标准出版社, 2017.
Ministry of Ecology and Environment. Water quality-Determination of the chemical oxygen demand-Dichromate method: HJ 828―2017 [S]. Beijing: China Standard Press, 2017.
[14] Ministry of Ecology and Environment. Intigrated wastewater discharge standard: GB 8978―1996 [S]. Beijing: China Standard Press, 1996.
生态环境部. 污染综合排放标准: GB 8978―1996 [S]. 北京: 中国标准出版社, 1996.
[15] Hochreiter S, Schmidhuber J. Long short-term memory[J]. Neural Computation, 1997, 9(8): 1735-1780.
[16] ChoK, van MerriënboerB, GulcehreC, et al. Learning phrase representations using RNN encoder-decoder for statistical machine translation [C]. Proceedings of the 2014 Conference on Empirical Methods in Natural Language Processing (EMNLP). Doha, Qatar. Stroudsburg, PA, USA: Association for Computational Linguistics, 2014: 1724-1734.
[17] Miao S, Zhou C L, AlQahtani S A, et al. Applying machine learning in intelligent sewage treatment: A case study of chemical plant in sustainable cities[J]. Sustainable Cities and Society, 2021, 72: 103009-103017.
[18] 周飞燕, 金林鹏, 董 军. 卷积神经网络研究综述[J]. 计算机学报, 2017, 40(6): 1229-1251.
Zhou F Y, Jin L P, Dong J. Review of convolutional neural network[J]. Chinese Journal of Computers, 2017, 40(6): 1229-1251.
[19] Jiang Y Q, Li C L, Sun L, et al. A deep learning algorithm for multi-source data fusion to predict water quality of urban sewer networks[J]. Journal of Cleaner Production, 2021, 318: 128533-128543.
[20] Hu C S, Cheng F J, Ma L, et al. State of charge estimation for lithium-ion batteries based on TCN-LSTM neural networks[J]. Journal of the Electrochemical Society, 2022, 169(3): 030544.
[21] Sagheer A, Kotb M. Time series forecasting of petroleum production using deep LSTM recurrent networks[J]. Neurocomputing, 2019, 323: 203-213.
[22] Ma Y, Li H G. A GRU network-based approach for steam drum water level predictions[J]. Journal of Chemical Engineering of Japan, 2020, 53(5): 198-205.
[23] Jourabloo A, Liu X M. Pose-invariant face alignment via CNN-based dense 3D model fitting[J]. International Journal of Computer Vision, 2017, 124(2): 187-203.
[24] Kortli Y, Gabsi S, Voon L F C L Y, et al. Deep embedded hybrid CNN-LSTM network for lane detection on NVIDIA Jetson Xavier NX[J]. Knowledge-Based Systems, 2022, 240: 107941.
[25] Vidal A, Kristjanpoller W. Gold volatility prediction using a CNN-LSTM approach[J]. Expert Systems with Applications, 2020, 157: 113481-113490.
[26] Wang Z F, Man Y, Hu Y S, et al. A deep learning based dynamic COD prediction model for urban sewage[J]. Environmental Science: Water Research & Technology, 2019, 5(12): 2210-2218.
[27] Zhou X H, Wang J P, Cao X K, et al. Simulation of future dissolved oxygen distribution in pond culture based on sliding window-temporal convolutional network and trend surface analysis[J]. Aquacultural Engineering, 2021, 95: 102200.
Article Outline
缪俊锋, 汤斌, 陈庆, 龙邹荣, 叶彬强, 周彦, 张金富, 赵明富, 周密. 基于紫外-可见光谱法的工业废水CNN-GRU分类模型研究[J]. 大气与环境光学学报, 2024, 19(1): 73. Junfeng MIAO, Bin TANG, Qing CHEN, Zourong LONG, Binqiang YE, Yan ZHOU, Jinfu ZHANG, Mingfu ZHAO, Mi ZHOU. Research on CNN-GRU industrial wastewater classification model based on UV-Vis spectroscopy[J]. Journal of Atmospheric and Environmental Optics, 2024, 19(1): 73.