基于三维振动信息融合的卷积神经网络风力机叶片裂纹诊断方法

郭迎福; 全伟铭; 王文韫; 周浩; 邹龙洲

doi:doi:10.3788/AOS202040.2212004

光学学报, 2020, 40 (22): 2212004, 网络出版: 2020-10-25

基于三维振动信息融合的卷积神经网络风力机叶片裂纹诊断方法下载： 851次

Crack Diagnosis Method of Wind Turbine Blade Based on Convolution Neural Network with 3D Vibration Information Fusion

论文大纲

郭迎福 ¹全伟铭 ¹王文韫 ^2,*周浩 ¹邹龙洲 ¹

作者单位

¹ 湖南科技大学机电工程学院, 湖南湘潭 411201

² 机械设备健康维护湖南省重点实验室, 湖南湘潭 411201

AI 词云图 AI语音精读 AI语音超短摘要

注：本部分内容由 AI 自动生成，请您知悉。

摘要

针对接触式测量方法易受传感器采集通道限制与附加质量的问题,提出了一种基于三维振动信息融合的卷积神经网络风力机叶片裂纹诊断方法。首先,在双目摄影测量原理的基础上,提出一种三维振动信息融合的多通道样本构造方法,该方法可以集成叶片表面空间分布的多测点运动信息,得到更丰富的信号,且能极大地减少附加质量的干扰。其次,为了获取裂纹多层次的语义信息,提出一种新的多尺度卷积神经网络。选用某型1.5 kW的风力机叶片开展裂纹诊断实验,建立不同裂纹状态样本数据库,预测精度达到了93.4%,验证了所提方法的有效性。通过与经典的LeNet-5和VGG-11网络对比分析表明,改进的卷积神经网络具有更高的识别精度和更快的收敛速度,多通道样本在风力机叶片裂纹故障诊断中具有较好的应用效果。

Abstract

To solve the problem that the contact measurement method is susceptible to the limitation of the sensor acquisition channel and the additional weight, a wind turbine blade crack diagnosis method based on three-dimensional (3D) vibration information fusion and convolutional neural network is proposed. First, based on the principle of binocular photogrammetry, a multi-channel sample construction method of 3D vibration information fusion is proposed. This method can integrate the motion information of multiple measurement points on the surface of the wind turbine blade, gain the acquired signal with more abundant features, and greatly decrease additional weight interference. Secondly, in order to obtain multi-level semantic information of cracks, a new multi-scale convolutional neural network is proposed. A type of 1.5 kW wind turbine blade was selected to carry out crack diagnosis experiments, and a database of samples of different crack states was established. The prediction accuracy reached 93.4%, which verified the effectiveness of the proposed method. Comparative analysis with the classic LeNet-5 and VGG-11 networks shows that the improved convolutional neural network has higher identify precision and faster convergence speed. Multi-channel signal samples can offer a better effect in wind turbine blade crack fault diagnosis application.

1 引言

风力机叶片是风力机捕获风能的关键部件,其制造成本达到整机成本的20%^[1]。在运行过程中,叶片的安全可靠性和其性能的好坏直接影响整个风电机组的运行稳定性与经济效益^[2-3]。叶片长期受到多载荷的冲击和自然界的腐蚀,容易产生初始疲劳裂纹,裂纹的演化会进一步导致叶片的断裂并引起塔架的倒塌,造成重大安全事故。根据凯斯内斯风电场资讯论坛提供的风电机组事故统计数据表明,由叶片损伤引起的事故已经成为数量最多的类型,且大部分为重大恶性事故^[4]。因此,定期诊断风力机叶片的健康状况具有重要的意义。

对振动信号进行分析是工程实际中普遍采用的故障诊断方法。黎少辉等^[5]对风力机叶片在不同状态下的气动信号进行多带小波分解,并结合基于二带小波分解的方法,实现裂纹的检测;蒋勉等^[6]针对叶片裂纹定位问题,提出一种在高频激励的状态下,利用多点振动响应非线性估计的方法,定位风力机叶片裂纹;耿晓锋等^[7]通过研究多频简谐调制的现象,提出一种采用低频振动信号和高频超声波信号在裂纹损伤处的非线性调制来检测损伤的方法;Soualhi等^[8]利用Hilbert-Huang变换从振动信号中提取出健康指标,并利用支持向量机(SVM)实现轴承的故障分类。然而,这些基于传统的信号处理方式和机器学习的方法,通常需要在进行故障诊断前,从信号的时域^[9]、频域^[10]和时频域^[11]三个方面提取信号的特征,但复杂的特征提取过程由于需要很强的专业知识,容易存在特征提取不准确和工作量较大等问题。

卷积神经网络(CNN)是一种通过卷积、池化与全连接来提取数据特征的算法。该方法能在无特征提取的情况下,充分挖掘原始数据中的特征信息,这些特点使它在故障诊断领域具有广泛的应用价值^[12]。Chen等^[13]将振动信号的偏度、均值和方差得到的特征矩阵作为卷积神经网络的输入,实现轴承故障的诊断。Wang等^[14]使用小波比例尺图像作为CNN的输入来检测一组振动数据中的故障。Oberholster等^[15]利用对频率响应函数特征进行训练的神经网络,从叶片的振动和应变信号中识别特征信息,进而实现对叶片的状态监测;虽然以上基于深度学习自主挖掘数据特征的方法得到了广泛应用,但研究中所构造的样本往往局限于单个传感器的数据,诊断准确率和泛化能力在一定程度上还有待提高。为了提高分类准确性,可以融合来自多个传感器的数据,以创建更具代表性的训练样本。与单个传感器数据相比,多传感器信号往往具有冗余和互补的信息,可以更好地用于故障诊断^[16-19]。Liu等^[16]提出一种基于堆叠自编码神经网络(SAE)和深度神经网络(DNN)的旋转机械特征级融合技术。Gunerkar等^[17]融合声发射和加速度的特征信号,构建滚动轴承诊断样本,并使用K最近邻分类器进行故障分类。Chen等^[18]提出一种基于多层稀疏自编码神经网络的多传感器数据特征融合技术,并使用融合的特征向量训练深度信念网络,进一步实现故障诊断。朱丹宸等^[19]在轴承附近布置多个传感器,整合传感器的振动信号为二维灰度图像,并用于诊断轴承故障。然而以上研究中所构造的多通道样本,数据均来源于某一个方向的振动信号,并且在一定程度上仍然依赖专业知识。此外,测量信号的传感器具有较大的附加质量,容易导致待测物体的结构特性发生改变,降低故障诊断的效果。

摄影测量是一种通过分析照片,提取拍摄对象几何形状、位移和变形的学科。该方法不会对测试对象带来质量载荷和刚度变化,可以获取结构件上多个点的三维振动数据,具有非接触、高精度、全场测量的优点^[20-21]。为了充分挖掘原始数据的特征,本文在风力机叶片表面粘贴多个编码标志,通过双目摄影测量方法,获取叶片的三维振动信息。综合考虑多点和多方向的振动数据,构造一种三维运动信息融合的多通道样本构造方法,避免繁琐的特征提取过程。为了获取风力机叶片裂纹多层次的语义信息,提出一种新的多尺度卷积神经网络。该网络利用1×1的卷积核增加图像的维度,并扩展样本的特征,通过引入Leaky纠正线性单元^[22](LReLU)以及采用了两个Dropout和两个完全连接层的结构,进一步改善了网络的非线性拟合能力和模型的适用性。对风力机叶片裂纹故障的诊断结果表明,多通道信号样本可在风力机叶片裂纹故障诊断中有较好的应用效果,改进的卷积神经网络具有更高的识别精度和更快的收敛速度。

2 原理与方法

2.1 双目摄影测量原理

图1为双目立体成像模型,它由两个摄像机和四种坐标系构成,四种坐标系分别为图像像素坐标系(o-uv)、成像平面坐标系(O-XY)、摄像机坐标系(O_C-X_CY_CZ_C)和三维世界坐标系(o_w-x_wy_wz_w)。为了描述世界坐标系中的任意一点坐标P(x_w,y_w,z_w)的转换关系,现定义:下标l和r分别代表左和右,左摄像机坐标系(O_Cl-X_ClY_ClZ_Cl)和三维世界坐标系重合。具体转换步骤如下:右摄像机坐标系(O_Cr-X_CrY_CrZ_Cr)通过旋转矩阵R绕X_Cr、Y_Cr和Z_Cr轴分别旋转α、β和γ角,得到与左摄像机坐标系平行的坐标系(O_k-X_kY_kZ_k)。再通过平移矩阵T(t_X,t_Y,t_Z)的转换,即可实现世界坐标系与右摄像机坐标系之间的转换。根据小孔成像原理,得到摄像机坐标系与成像平面坐标系之间的转换关系,最后通过转换坐标原点和单位尺寸,生成图像像素坐标。

图 1. 双目立体成像模型

Fig. 1. Binocular stereo imaging model

下载图片查看所有图片

世界坐标系中的任意一点P(x_w,y_w,z_w)在三维世界坐标系、摄像机坐标系、图像平面坐标系和图像像素坐标系的空间变换关系为

\{\begin{array}{l} [\begin{array}{l} X_{C} \\ Y_{C} \\ Z_{C} \end{array}] = R \cdot [\begin{array}{l} x_{w} \\ y_{w} \\ z_{w} \end{array}] + T \\ x = f \frac{X_{C}}{Z_{C}}, y = f \frac{Y_{C}}{Z_{C}} \\ u_{p} = u_{0} + \frac{x_{p}}{d_{x}}, v_{p} = v_{0} + \frac{y_{p}}{d_{y}} \end{array}, (1)

式中:R为旋转正交矩阵;T为平移矢量;f为摄像机镜头焦距;d_x和d_y分别表示每个像素在x轴和y轴的物理尺寸(单位:mm/pixel)。根据(1)式可以得到左摄像机图像像素坐标到三维世界坐标的映射关系为

Z_{Cl} [\begin{array}{l} u_{pl} \\ v_{pl} \\ 1 \end{array}] = [\begin{array}{l} 1 / d_{x} & 0 & u_{0 l} \\ 0 & 1 / d_{y} & v_{0 l} \\ 0 & 0 & 1 \end{array}] [\begin{array}{l} f_{l} & 0 & 0 \\ 0 & f_{l} & 0 \\ 0 & 0 & 1 \end{array}] [\begin{array}{l} x_{w} \\ y_{w} \\ z_{w} \end{array}] 。 (2)

根据(2)式可以得到右摄像机图像像素坐标到三维世界坐标的映射关系为

Z_{Cr} [\begin{array}{l} u_{pr} \\ v_{pr} \\ 1 \end{array}] = [\begin{array}{l} 1 / d_{x} & 0 & u_{0 r} \\ 0 & 1 / d_{y} & v_{0 r} \\ 0 & 0 & 1 \end{array}] [\begin{array}{l} f_{r} & 0 & 0 \\ 0 & f_{r} & 0 \\ 0 & 0 & 1 \end{array}] [\begin{array}{l} r_{1} & r_{2} & r_{3} & t_{x} \\ r_{4} & r_{5} & r_{6} & t_{y} \\ r_{7} & r_{8} & r_{9} & t_{z} \end{array}] [\begin{array}{l} x_{w} \\ y_{w} \\ z_{w} \\ 1 \end{array}] 。 (3)

采用张正友的棋盘格标定方法^[23],得到摄像机的内部参数(焦距f,畸变系数s)和外部参数(旋转矩阵R,平移矢量T),联立(2)式和(3)式即可求解编码标志的三维坐标,通过相机的连续拍摄和对编码标志的识别跟踪,即可实现编码标志三维运动信息的动态实时提取,重构坐标系后可获得规范化的振动响应数据。

2.2 基于三维振动信息融合的图像样本构造方法

目前大多数的故障诊断研究中所构造的样本,均基于某一个传感器或者某一个方向的振动信号。信号的特征不能被充分挖掘,而且传感器的附加质量容易引起测量误差。此外,传统的特征提取方法非常繁琐,不同特征的数据可能需要不同的方法去提取,非常依赖操作经验或知识。因此,本文通过摄影测量的方法,在不影响风力机叶片结构特性的前提下,获取叶片表面多个编码标志的三维运动信息。针对样本数据不充分以及特征提取困难的问题,提出一种基于三维振动信息融合的图像样本构造方法,该方法把各个编码标志在X、Y和Z三个方向的振动数据,分别转化为图像中的R、G和B分量,生成代表振动信息的图片,实现多点和多方向振动数据的融合。对生成的图像做翻转和拼接处理,进一步提高样本数据的维度与鲁棒性,得到适合CNN训练的图像样本。该方法生成的图像样本相比于单传感器和单方向的振动数据具有更丰富的信息。样本制作的过程如图2所示。

图 2. 制作样本的流程图

Fig. 2. Flow chart for making samples

下载图片查看所有图片

具体的步骤如下。

1) 在不同故障状态的风力机叶片表面上,布置位置和数量相同的编码标志,并确保编码标志能够被清晰摄影。

2) 对不同故障状态的风力机叶片施加相同的Z方向激励。

3) 建立双目成像模型,并根据双目摄影测量原理和图像特征跟踪方法,获取编码标志的空间振动数据。

4) 定义距离叶尖最近的编码标志的第一个波峰处为数据截断的初始时刻,结合编码标志的数量关系,截取初始时刻之后的294帧数据作为样本的初始数据。需要注意的是,这里之所以截取294帧数据,一方面是因为振动信息主要包含在0~300的区间中,另一方面是因为编码标志的数量为14,这意味着图像的宽度为14的倍数,为了得到利于CNN训练的正方形图像样本,所以截取294帧数据。

5) 分别对各个编码标志在X、Y和Z三个方向的振动数据做归一化处理,将数据转化为0~255的像素区间,通过uint8函数将数据转换为8位无符号整数类型,实现振动数据到图像数据的转换。具体的公式表示为

{\tilde{y}}_{d}^{c} (i) = uint 8 [\frac{y_{d}^{c} (i) - \min (y_{d}^{c})}{\max (y_{d}^{c}) - \min (y_{d}^{c})} \times 255], (4)

式中: $y_{d}^{c}$ (i)表示第c个编码标志在d方向第i帧的振幅;min( $y_{d}^{c}$ )为第c个编码标志在d方向振幅的最小值;max( $y_{d}^{c}$ )为第c个编码标志在d方向振幅的最大值; ${\tilde{y}}_{d}^{c}$ (i)为振动数据转换的像素值。其中,d∈(X,Y,Z),c∈(1,2,…,14)。

6) 假设通过摄影测量得到n个编码标志的振动响应数据,则生成的图片尺寸为294×3n。其中,图像的前n行对应于各个编码标志在X方向的振动数据,第n+1行到第2n行对应各个编码标志在Y方向的振动数据,第2n+1到第3n行对应编码标志在Z方向的振动数据,如图2(a)所示。

7) 定义编码标志在X、Y和Z三个方向的振动数据分别对应图像的R、G和B分量。

8) 在水平方向上翻转归一化后的图像数据,得到倒序的图像数据。通过矩阵的垂直拼接,生成顺序和倒序交替出现的图像,如图2(c)所示。多次拼接后得到尺寸为294×294的图像样本,如图2(d)所示。

2.3 改进的多尺度卷积神经网络

CNN是深度学习的重要组成部分,由于其良好的特征提取能力而得到了广泛的使用,它通常由卷积层、池化层和全连接层组成。卷积层是CNN的关键组件,输入的特征图通过卷积运算和激活函数的作用,可形成新的特征图并用于下一层的输入。池化层主要起到二次特征提取、特征降维和特征选择的作用,其中最常用的方式是最大池化。全连通层通常用于集成前一层提取的特征,并将得到的特征向量进行权重计算,输出各个类别的概率。LeNet-5是一种经典的CNN模型,在图像模式识别中有很好的效果,本文在此基础上提出了一种改进的CNN模型,主要由五个卷积层,三个池化层,三个全连接层以及一个Softmax分类器构成,如图3所示。

为了提高分类的准确性和结构的适应性,使用了以下三种方法。首先,在第一个卷积层中采用大小和步长都为1×1的卷积核进行采样,该过程可以在不改变尺寸的前提下增加图像的维度,并扩展样本的特征,具有提高模型非线性程度的作用,有利于模型后期的训练。一般来说,CNN模型通常会选择纠正线性单元^[24](ReLU)作为激活函数,因为它与Tanh和Sigmoid等非线性函数相比具有更好的稳定性,ReLU的算法表示为

f (k) = (0, \max) 。 (5)

但是对于振动信号而言,由于信号具有上下波动的特性,通常会引起ReLU的激活值为0,导致基于梯度的学习方法无法进行,削弱了模型的识别性能。因此,引入LReLU来解决输入为负时的情况。经过分析可以发现,把它添加在网络的最后一层效果最佳,其他层仍然使用ReLU激活函数。LReLU函数的具体算法为

f (k) = \{\begin{array}{l} k, & k > 0 \\ 0.01 k, & otherwise \end{array}, (6)

图 3. 本文改进的CNN模型

Fig. 3. Improved CNN model

下载图片查看所有图片

式中:k表示神经网络上一层的输入。在模型的全连接层部分,采用两个Dropout和两个完全连接层的结构,进一步改善网络的非线性拟合能力和模型的适用性。模型具体的结构参数如表1所示。

表 1. 本文提出的CNN模型的结构参数

Table 1. Structural parameters of the proposed CNN model

Layer	Kernel or filter size, output channel	Output size
Convolution	1×1, 24	294×294×24
Convolution	11×11, 24	59×59×24
Max pooling	3×3, 24	30×30×24
Convolution	5×5, 64	30×30×64
Max pooling	3×3, 64	15×15×64
Convolution	3×3, 64	15×15×96
Convolution	3×3, 96	15×15×96
Convolution	3×3, 96	15×15×64
Max pooling	2×2, 64	8×8×64
Fully connected,dropout	512, 0.5	64
Fully connected,dropout	512, 0.5	64
Fully connected, SoftMax	8	8

查看所有表

3 实验与结果分析

3.1 测量振动响应

为了避免接触式测量方法的局限性,基于摄影测量技术对某型1.5 kW的风力机叶片进行振动测量,获取了风力机叶片在7种不同裂纹位置以及健康状态下编码标志的空间振动信息。图4展示了实验设备以及风力机叶片的测试现场。本实验使用的风力机叶片的直径为890 mm,其材料由尼龙和玻璃纤维复合组成,在风力机叶片表面共贴有14个尺寸为20 mm×20 mm的有效编码标志用于测量振动响应。需要注意的是,实验中,风力机叶片与相机的距离为1.5 m,相机的分辨率是4080 pixel×3072 pixel,焦距为35 mm。

设置相机拍摄的帧率为120 Hz,在Z方向的激励下,连续采集1000幅图像,通过对编码标志的识别和追踪,获取了各个编码标志的空间运动信息,图5所示为在Z方向激励下,5号编码标志在X、Y和Z三个方向的振动响应数据。

图 4. 摄影测量实验图。(a) 双目高速摄像测量仪;(b) 风力机叶片;(c) 不同裂纹的标签;(d) 编码识别图

Fig. 4. Photogrammetry experiment chart. (a) Binocular high-speed camera measuring instrument; (b) wind turbine blade; (c) labels for different cracks; (d) code identification map

下载图片查看所有图片

图 5. 5号编码点的振动位移曲线。(a) X方向;(b) Y方向;(c) Z方向

Fig. 5. Vibration displacement curves of No.5 coded marker. (a) X direction; (b) Y direction; (c) Z direction

下载图片查看所有图片

3.2 样本库的构建

在相机的采集过程中,通常会拍摄较多的无用信息,所以定义距离叶尖最近的编码标志的第一个波峰处为数据截断的初始时刻,结合编码标志的数量关系,截取初始时刻之后的294帧数据作为样本的初始数据。此时得到的数据虽然包含了风力机叶片主要的振动信息,但由于布置的编码标志数量有限,生成的图片尺寸过长,不利于CNN模型的训练,因此我们对图像数据进行翻转和拼接处理,实现数据的扩维。该方法不仅解决了尺寸过长的问题,还提高了样本的鲁棒性,最终的样本尺寸为294×294。定义标签YPA代表健康状态的风力机叶片,标签YPB-YPH代表含有不同裂纹的风力机叶片,标签与裂纹具体的对应关系如图4(c)所示。图6为所述方法构造的8种不同类型的图像样本,其中每类样本个数为220,训练集和测试集的数量按4∶1的比例进行随机划分。

图 6. 图像样本。(a) YPA; (b) YPB; (c) YPC; (d) YPD; (e) YPE; (f) YPF; (g) YPG; (h) YPH

Fig. 6. Image samples. (a) YPA; (b) YPB; (c) YPC; (d) YPD; (e) YPE; (f) YPF; (g) YPG; (h) YPH

下载图片查看所有图片

3.3 结果及分析

为了验证所提方法的有效性,对风力机叶片进行故障模拟实验,通过CNN诊断风力机叶片在不同位置处的裂纹故障。将本文方法的预测结果与其他方法进行比较,评估所提出的CNN模型和多通道样本的识别效果。本文共开展3类实验进行验证,实验1包含方法1、方法2和方法7,用于验证单通道和多通道样本的诊断差异。实验2包含方法3、方法4和方法7,用于验证改进的CNN模型性能。实验3包含方法5、方法6和方法7,用于分析多通道样本制作流程对结果的影响。其中,方法7为本文方法。本文所有实验均在带有NVIDIA Tesla P100 GPU的云平台进行,并且采用Python3.6和TensorFlow2.0进行CNN构造、训练和验证。对比实验的具体情况如下。

1) 方法1:采用类似于图3的CNN模型,各层的参数和改进的CNN一致,但取消了1×1的卷积层以及2个全连接层和2个Dropout组成的结构,并且卷积层均采用ReLU激活函数。训练的样本采用Z方向的振动数据构造,图像样本如图8所示。

2) 方法2:采用方法1中的CNN模型,并使用本文提出的图像样本训练。

图 7. 图像样本。(a) YPA; (b) YPB; (c) YPC; (d) YPD; (e) YPE; (f) YPF; (g) YPG; (h) YPH

Fig. 7. Image samples. (a) YPA; (b) YPB; (c) YPC; (d) YPD; (e) YPE; (f) YPF; (g) YPG; (h) YPH

下载图片查看所有图片

3) 方法3:采用经典的LeNet-5模型,并使用本文提出的图像样本训练。

4) 方法4:采用经典的VGG-11模型,并使用本文提出的图像样本训练。

5) 方法5:采用改进的CNN模型,使用的图像样本仅由图2(a)部分垂直拼接生成,样本的尺寸和本文提出的图像样本一致。

6) 方法6:采用改进的CNN模型,使用的图像样本仅由图2(b)部分垂直拼接生成,样本的尺寸和本文提出的图像样本一致。

7) 方法7:采用改进的CNN模型,并使用本文提出的图像样本训练。

设定模型的learning_rate=0.001,batch_size=20,epoch=500,steps_per_epoch=20,并对模型进行训练,以上5种方案运行10次后的平均预测准确率和训练时间的比较结果如表2所示。可以看出,本文方法的预测准确率达到93.4%以上,模型的训练时间在23.6 min左右,模型的综合性能要优于其他模型。

表 2. 实验对比结果

Table 2. Contrast results of experiments

Method	Mean accuracy /%	Training time /s
CNN (unfusion-signal)	76.62	323.45
CNN (fusion-signal)	89.54	327.82
LeNet-5 (fusion-signal)	89.16	423.59
VGG11 (fusion-signal)	92.27	1162.19
Proposed-CNN (fusion-signal_A)	93.24	548.27
Proposed-CNN (fusion-signal_B)	93.32	552.36
Proposed-CNN (fusion-signal)	93.41	559.21

查看所有表

模型训练的迭代过程如图8所示。由图8(a)可以看出,在均为普通CNN模型的情况下,使用三维信息融合后的图像样本的诊断准确率明显优于单通道样本,并且模型收敛的速度也略有提高。此外,改进的CNN模型经过230个epoch后基本收敛,相较于未改进的CNN具有更高的预测精度和更快的收敛速度。由图8(b)可知,在训练样本都为本文提出的多通道样本前提下,LeNet-5模型相较于改进的CNN具有更快的收敛速度,但准确率却不高。VGG-11模型能达到较高的准确率,但收敛速度较慢。此外,由于训练参数的增多,模型的训练时间也增大了很多。综合比较可知,改进的CNN具有更好的性能。由图8(c)可以看出,在网络模型一致的情况下,三种不同方法构造的多通道样本,它们训练的准确率相差不大,都在93%左右。本文提出的多通道样本的准确率和收敛速度,要略好于其他两种多通道样本,其中,方法6中的多通道样本又要略好于方法5。综合以上三类实验结果可知,改进的CNN相较于其他两种经典的CNN具有更好的性能,基于振动信息融合的多通道样本可以有效诊断叶片裂纹故障。在多通道样本中,对图像样本进行顺序和逆序的拼接,可以进一步提高数据的收敛速度。

选取实验1的预测混淆矩阵做进一步分析,如图9所示。预测混淆矩阵的纵坐标为样本的实际标签,横坐标为样本的预测标签。在方法1中,各种故障很明显的被误判,这在很大程度上说明,仅仅使用单通道数据不足以完全区分每个故障的类型。在方法2中,最低的预测准确率为80%,其中有5类故障的预测准确率在85%左右,表明该CNN提取的

图 8. 训练准确率。(a) 实验1;(b) 实验2;(c) 实验3

Fig. 8. Train accuracy. (a) Experiment 1; (b) experiment 2; (c) experiment 3

下载图片查看所有图片

图 9. 实验1的混淆矩阵。(a) 方法1;(b) 方法2;(c) 方法7

Fig. 9. Confusion matrix for experiment 1. (a) Method 1; (b) method 2; (c) method 7

下载图片查看所有图片

特征,不能较好区分全部样本;而在方法7中,大部分故障的预测准确率都在95%左右,表明基本实现了每个样本的分离。

4 结论

针对接触式测量方法易传感器采集通道限制和附加质量的问题,本文通过摄影测量方法,获取了风力机叶片的三维运动信息。针对样本数据不充分以及特征提取困难的问题,提出一种基于三维振动信息融合的图像样本构造方法,避免繁琐的特征提取过程,充分挖掘原始数据的特征。根据图像样本的特点,构造了一种改进的卷积神经网络,并用于风力机叶片的裂纹诊断,预测精度达到了93.4%。通过实验结果的验证和对比可以发现,多通道样本信号可在风力机叶片裂纹故障诊断中有较好的应用效果,改进的卷积神经网络具有更高的识别精度和更快的收敛速度。当然,本文采集的数据样本还不够大,仅仅讨论了单裂纹对风力机叶片的影响,也没有深入研究各层网络最优参数的选取。在下一步工作中,将针对以上问题进行研究,进一步提高风力机叶片裂纹故障的诊断效果。

参考文献

[1] Joshuva A, Sugumaran V. A lazy learning approach for condition monitoring of wind turbine blade using vibration signals and histogram features[J]. Measurement, 2020, 152: 107295.

[2] Asghar A B, Liu X D. Adaptive neuro-fuzzy algorithm to estimate effective wind speed and optimal rotor speed for variable-speed wind turbine[J]. Neurocomputing, 2018, 272: 495-504.

[3] 陈长征, 王琳琳, 周勃, 等. 基于红外热像技术的风力机微裂纹叶片研究[J]. 太阳能学报, 2019, 40(2): 417-421.

Chen C Z, Wang L L, Zhou B, et al. Study on microcrack of wind turbine blade based on infrared thermography technology[J]. Acta Energiae Solaris Sinica, 2019, 40(2): 417-421.

[4] Caithness Windfarm Information Forum. Summary of wind turbine accident data to 30 June[EB/OL]. ( 2020-06-30)[2020-07-20]. http:∥www.caithnesswindfarms.co.uk/Accidentst-atistics.htm.

[5] 黎少辉, 蔡利梅. 基于气动信号分析的风机叶片裂纹故障识别[J]. 振动与冲击, 2017, 36(19): 227-231.

Li S H, Cai L M. Fan blade crack fault diagnosis based on the analysis of pneumatic signals[J]. Journal of Vibration and Shock, 2017, 36(19): 227-231.

[6] 蒋勉, 张文安, 伍济钢, 等. 一种利用振动响应非线性估计的叶片裂纹定位方法[J]. 机械科学与技术, 2018, 37(4): 545-552.

Jiang M, Zhang W, Wu J G, et al. A crack location method for blades via nonlinearity estimation of vibration response[J]. Mechanical Science and Technology for Aerospace Engineering, 2018, 37(4): 545-552.

[7] 耿晓锋, 魏克湘, 王琼, 等. 基于多频简谐调制的风力机叶片裂纹检测研究[J]. 振动与冲击, 2018, 37(22): 201-205.

Geng X F, Wei K X, Wang Q, et al. Crack detection method for wind turbine blades based on the method of multi-frequency harmonic modulation[J]. Journal of Vibration and Shock, 2018, 37(22): 201-205.

[8] Soualhi A, Medjaher K, Zerhouni N. Bearing health monitoring based on Hilbert-Huang transform, support vector machine, and regression[J]. IEEE Transactions on Instrumentation and Measurement, 2015, 64(1): 52-62.

[9] Zhao R, Wang D Z, Yan R Q, et al. Machine health monitoring using local feature-based gated recurrent unit networks[J]. IEEE Transactions on Industrial Electronics, 2018, 65(2): 1539-1548.

[10] Song L Y, Wang H Q, Chen P. Vibration-based intelligent fault diagnosis for roller bearings in low-speed rotating machinery[J]. IEEE Transactions on Instrumentation and Measurement, 2018, 67(8): 1887-1899.

[11] Li Y B, Xu M Q, Liang X H, et al. Application of bandwidth EMD and adaptive multiscale morphology analysis for incipient fault diagnosis of rolling bearings[J]. IEEE Transactions on Industrial Electronics, 2017, 64(8): 6506-6517.

[12] Krizhevsky A, Sutskever I, Hinton G E. ImageNet classification with deep convolutional neural networks[J]. Communications of the ACM, 2017, 60(6): 84-90.

[13] Chen Z, Li C, Sanchez R. Gearbox fault identification and classification with convolutional neural networks[J]. Shock and Vibration, 2015, 2015(2015): 1-10.

[14] Wang JJ, Zhuang JF, Duan LX, et al.A multi-scale convolution neural network for featureless fault diagnosis[C]∥2016 International Symposium on Flexible Automation (ISFA). August 1-3, 2016, Cleveland, OH, USA.New York: IEEE Press, 2016: 65- 70.

[15] Oberholster A J, Heyns P S. On-line fan blade damage detection using neural networks[J]. Mechanical Systems and Signal Processing, 2006, 20(1): 78-93.

[16] Liu J, Hu Y M, Wang Y, et al. An integrated multi-sensor fusion-based deep feature learning approach for rotating machinery diagnosis[J]. Measurement Science and Technology, 2018, 29(5): 055103.

[17] Gunerkar R S, Jalan A K. Classification ofball bearing faults using vibro-acoustic sensor data fusion[J]. Experimental Techniques, 2019, 43(5): 635-643.

[18] Chen Z Y, Li W H. Multisensor feature fusion for bearing fault diagnosis using sparse autoencoder and deep belief network[J]. IEEE Transactions on Instrumentation and Measurement, 2017, 66(7): 1693-1702.

[19] 朱丹宸, 张永祥, 潘洋洋, 等. 基于多传感器信号和卷积神经网络的滚动轴承故障诊断[J]. 振动与冲击, 2020, 39(04): 172-178.

Zhu D C, Zhang Y X, Pan Y Y, et al. Fault diagnosis for rolling element bearings based on multi-sensor signals and CNN[J]. Journal of Vibration and Shock, 2020, 39(04): 172-178.

[20] 严俊, 叶南, 李廷成, 等. 无编码点的工业摄影测量技术的研究及实现[J]. 光学学报, 2019, 39(10): 1015002.

Yan J, Ye N, Li T H, et al. Research and implementation of industrial photogrammetry without coded points[J]. Acta Optica Sinica, 2019, 39(10): 1015002.

[21] Wang W Y, Chen A H. Target-less approach of vibration measurement with virtual points constructed with cross ratios[J]. Measurement, 2020, 151: 107238.

[22] Aghdam H H, Heravi E J, Puig D. Recognizing traffic signs using a practical deep neural network[J]. Robot 2015: Second Iberian Robotics Conference, 2016: 399-410.

[23] Zhang Z. A flexible new technique for camera calibration[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2000, 22(11): 1330-1334.

[24] HaraK, SaitoD, ShounoH. Analysis of function of rectified linear unit used in deep learning[C]∥2015 International Joint Conference on Neural Networks (IJCNN). July 12-17, 2015, Killarney, Ireland.New York: IEEE Press, 2015: 1- 8.

1 引言

2 原理与方法

2.1 双目摄影测量原理

2.2 基于三维振动信息融合的图像样本构造方法

郭迎福, 全伟铭, 王文韫, 周浩, 邹龙洲. 基于三维振动信息融合的卷积神经网络风力机叶片裂纹诊断方法[J]. 光学学报, 2020, 40(22): 2212004. Yingfu Guo, Weiming Quan, Wenyun Wang, Hao Zhou, Longzhou Zou. Crack Diagnosis Method of Wind Turbine Blade Based on Convolution Neural Network with 3D Vibration Information Fusion[J]. Acta Optica Sinica, 2020, 40(22): 2212004.

基于三维振动信息融合的卷积神经网络风力机叶片裂纹诊断方法下载： 851次

1 引言

2 原理与方法

2.1 双目摄影测量原理

图 1. 双目立体成像模型

Fig. 1. Binocular stereo imaging model

2.2 基于三维振动信息融合的图像样本构造方法

图 2. 制作样本的流程图

Fig. 2. Flow chart for making samples

2.3 改进的多尺度卷积神经网络

图 3. 本文改进的CNN模型

Fig. 3. Improved CNN model

表 1. 本文提出的CNN模型的结构参数

Table 1. Structural parameters of the proposed CNN model

3 实验与结果分析

3.1 测量振动响应

图 4. 摄影测量实验图。(a) 双目高速摄像测量仪;(b) 风力机叶片;(c) 不同裂纹的标签;(d) 编码识别图

Fig. 4. Photogrammetry experiment chart. (a) Binocular high-speed camera measuring instrument; (b) wind turbine blade; (c) labels for different cracks; (d) code identification map

图 5. 5号编码点的振动位移曲线。(a) X方向;(b) Y方向;(c) Z方向

Fig. 5. Vibration displacement curves of No.5 coded marker. (a) X direction; (b) Y direction; (c) Z direction

3.2 样本库的构建

图 6. 图像样本。(a) YPA; (b) YPB; (c) YPC; (d) YPD; (e) YPE; (f) YPF; (g) YPG; (h) YPH

Fig. 6. Image samples. (a) YPA; (b) YPB; (c) YPC; (d) YPD; (e) YPE; (f) YPF; (g) YPG; (h) YPH

3.3 结果及分析

图 7. 图像样本。(a) YPA; (b) YPB; (c) YPC; (d) YPD; (e) YPE; (f) YPF; (g) YPG; (h) YPH

Fig. 7. Image samples. (a) YPA; (b) YPB; (c) YPC; (d) YPD; (e) YPE; (f) YPF; (g) YPG; (h) YPH

表 2. 实验对比结果

Table 2. Contrast results of experiments

图 8. 训练准确率。(a) 实验1;(b) 实验2;(c) 实验3

Fig. 8. Train accuracy. (a) Experiment 1; (b) experiment 2; (c) experiment 3

图 9. 实验1的混淆矩阵。(a) 方法1;(b) 方法2;(c) 方法7

Fig. 9. Confusion matrix for experiment 1. (a) Method 1; (b) method 2; (c) method 7

4 结论

Article Outline

关于本站 Cookie 的使用提示

全站搜索

基于三维振动信息融合的卷积神经网络风力机叶片裂纹诊断方法 下载： 851次

1 引言

2 原理与方法

2.1 双目摄影测量原理

图 1. 双目立体成像模型

Fig. 1. Binocular stereo imaging model

2.2 基于三维振动信息融合的图像样本构造方法

图 2. 制作样本的流程图

Fig. 2. Flow chart for making samples

2.3 改进的多尺度卷积神经网络

图 3. 本文改进的CNN模型

Fig. 3. Improved CNN model

表 1. 本文提出的CNN模型的结构参数

Table 1. Structural parameters of the proposed CNN model

3 实验与结果分析

3.1 测量振动响应

图 4. 摄影测量实验图。(a) 双目高速摄像测量仪;(b) 风力机叶片;(c) 不同裂纹的标签;(d) 编码识别图

Fig. 4. Photogrammetry experiment chart. (a) Binocular high-speed camera measuring instrument; (b) wind turbine blade; (c) labels for different cracks; (d) code identification map

图 5. 5号编码点的振动位移曲线。(a) X方向;(b) Y方向;(c) Z方向

Fig. 5. Vibration displacement curves of No.5 coded marker. (a) X direction; (b) Y direction; (c) Z direction

3.2 样本库的构建

图 6. 图像样本。(a) YPA; (b) YPB; (c) YPC; (d) YPD; (e) YPE; (f) YPF; (g) YPG; (h) YPH

Fig. 6. Image samples. (a) YPA; (b) YPB; (c) YPC; (d) YPD; (e) YPE; (f) YPF; (g) YPG; (h) YPH

3.3 结果及分析

图 7. 图像样本。(a) YPA; (b) YPB; (c) YPC; (d) YPD; (e) YPE; (f) YPF; (g) YPG; (h) YPH

Fig. 7. Image samples. (a) YPA; (b) YPB; (c) YPC; (d) YPD; (e) YPE; (f) YPF; (g) YPG; (h) YPH

表 2. 实验对比结果

Table 2. Contrast results of experiments

图 8. 训练准确率。(a) 实验1;(b) 实验2;(c) 实验3

Fig. 8. Train accuracy. (a) Experiment 1; (b) experiment 2; (c) experiment 3

图 9. 实验1的混淆矩阵。(a) 方法1;(b) 方法2;(c) 方法7

Fig. 9. Confusion matrix for experiment 1. (a) Method 1; (b) method 2; (c) method 7

4 结论

Article Outline

相关论文

相关资讯

关于本站 Cookie 的使用提示

全站搜索

基于三维振动信息融合的卷积神经网络风力机叶片裂纹诊断方法下载： 851次