1 引言

基于视频检测技术的铁路周界侵限检测系统能够有效检测侵入轨道区域周界以内的异物,是实现铁路安全运行的重要保障。轨道区域的位置及边界是系统判断异物是否侵限的重要依据,其划分过程却是通过人工操作在监控场景中事先标注的,而随着铁路沿线监控相机数量的激增,单纯依靠人工标注变得费时费力。除此之外,铁路沿线还存在大量的变焦相机,它们会因不同业务需求而临时改变拍摄角度及焦距,变动后的监控场景需要及时地进行重新标注,这同样需要大量的人工操作。因此,如果检测系统能够利用相应的场景分割与识别算法^[1-2],自动划分需要监控的轨道区域,将大幅提高检测系统的自动化程度和工作效率。在实际工程应用中,检测系统要求相应算法不仅要有良好的分割精准度和识别准确率,而且要具备快速处理临时变动场景的能力,同时系统对算法本身的计算量也有所限制,以便将算法移植进不同的数据处理硬件平台^[3-4]。

传统方法如超级像素点算法^[5-6]是将图像从RGB颜色空间转换到CIE-Lab颜色空间,组成一个5维向量,通过计算向量距离,将图像分割成多个碎片化区域。刘亚辰等^[7]通过增加图像的灰度、颜色和边缘梯度等融合式空间塔式直方图特征信息,并使用支持向量机(SVM)对特征进行分类。房泽平等^[8]在YCbCr颜色空间对图像进行颜色阈值分割,通过相关区域与人工设计模板的匹配来定位和识别现场的交通标志。上述算法说明将图像从RGB颜色空间转换到其他颜色空间可以增加更多维度的特征信息。为了将碎片化区域组合为代表场景组成元素的局部区域,刘凯品等^[9-11]将K-Mean(多维度)聚类思想应用到实际工程中,根据不同的场景设定不同的颜色聚类规则,进而对每个碎片化区域中的连通域进行分析,最后对各区域进行组合与聚类。Arbeláez等^[12-14]提出多尺度组合聚合(MCG)算法,通过训练随机森林回归器优化碎片化区域的组合方式,最终得到前景物体的完整轮廓。上述算法的聚类过程通常涉及大量的迭代运算,使得局部区域的精准度与计算时间成反比。

新兴的卷积神经网络(CNN)作为深度学习的重要分支,在图像识别、语义分割和目标检测等领域有着广泛的应用。Farabet等^[15-16]在卷积神经网络结构的基础上分别并行引入超级像素点、随机效应场和图像语义分割等算法。Gupta等^[17-18]提出先对RGB-D图像的深度信息进行水平差异、地面高度和重力倾角的编码,最后串行连接CNN分类网络。全连接卷积神经网络(FCN)算法^[19-20]则是通过深度卷积神经网络自身同时完成特征提取、组合及分类,并实现像素级的图像分割与识别。上述算法说明卷积神经网络可以并行、串行和独立完成相关图像的分割与识别工作,其功能及效果取决于网络结构的复杂程度,而大量的网络参数导致相应计算只能依赖于GPU显卡,不利于将算法移植进分布在铁路沿线的不同配置的数据处理平台。

对MCG算法和FCN算法进行比较。MCG算法的计算结果与真值的平均交互重合率(MIU)为80%,但计算时间为7 s(图像分辨率为90 pixel×150 pixel,RGB三色),导致其只适用于固定监控场景的初始划分或后期处理,而不适用于变动场景的快速划分。而FCN算法(运算结果因FCN具体结构而异)的区域分割结果与真值的交互重合率(IU)在70%~80%之间,像素准确率约为90%,网络参数约为57×10⁶~134×10⁶个,只能依赖GPU显卡并行计算。本文结合传统图像分割算法与卷积神经网络算法的优点,提出了先分割得到精确的局部区域边界,再识别局部区域类别的计算方案,并针对上述方法的缺点逐一做出改进。

针对图像分割依赖大量迭代运算的问题,通过充分利用铁路场景直线特征强烈、组成区域类别固定等特点,提出自适应的多尺度边界点权值计算方法,大幅减少传统算法中的计算项,加快碎片化区域的生成;然后通过阈值筛选强弱边界点,减少碎片化区域数量,并进一步通过区域面积及相邻区域边界强度将碎片化区域快速组合成局部区域。

针对卷积神经网络计算量大的问题,提出只将卷积神经网络应用于局部区域的识别,通过简化卷积神经网络及减少网络参数来加快识别速度并摆脱对GPU显卡的依赖;进一步通过对卷积核进行预训练并增加损失函数的稀疏项来提高特征图的差异性,以弥补因简化网络而损失的准确率。

2 高速铁路场景碎片化区域的生成与组合

2.1 基于自适应多尺度边界权值算法的铁路场景碎片化处理

如图1所示,铁路场景主要包括轨道区域、天空、接触网、绿化带和附属建筑等多个区域,其中包含钢轨、枕木、路基或高铁轨道板的轨道区域(标记区域)通常被划定为需要监控的限界区域。

图 1. 铁路场景及轨道区域

Fig. 1. Railway scene and track area

下载图片 查看所有图片

多尺度边界点权重计算是在不同缩放比例S下,利用不同倾斜角θ的高斯卷积核来对不同通道C内的特征图局部区域进行卷积运算,从而得到像素点自身图像特征分布与临近点之间的相似度分布,然后通过加权求和得到每个点成为边界点的可能性,最终将图像分割成碎片化区域。传统方法是在0-π之间均匀选择8~16组θ角度的卷积核,而在实际应用中发现,铁路场景包含的各个区域多是以消隐点为中心呈放射状分布的,特别是轨道区域多数与接触网立柱、支架、建筑等相邻,它们之间的边界带有强烈的直线特征,因此如果针对每个具体场景自动调整高斯卷积核的倾斜角θ,则可加强相关区域直线边界点的权重,这样就可以用少量自适应的卷积核代替传统算法中大量的均匀取值的卷积核,从而大幅减少加权项的数量,加快计算速度。为此提取原始图像边缘特征(图2),根据空间转换关系ρ=xcos θ'+ysin θ',- π2<θ'< π2,进行霍夫(Hough)变换,其中x,y为像素点在笛卡尔坐标系下的坐标,θ'为极坐标系下的极角,ρ为极径。

图 2. 铁路场景边缘特征图

Fig. 2. Edge feature map of railway scene

下载图片 查看所有图片

由于直角坐标系中的共线点对应着霍夫变换坐标内有共同交点的一组曲线,所以霍夫变换后的极大值H(θ',ρ)(图3矩形框所示)意味着有最多的点共线,根据表达式

y=-1tanθ'x+ρsinθ'=kx+b,(1)

反向计算极值点所代表的直线方程,即可得到直角坐标系中直线的斜率k和截距b,对应到0-π之间的倾斜角θ= π2-θ'。图4是倾斜角分别为22°,38°,90°,178°的4个自适应的卷积核,其中(X,Y)为卷积核像素坐标。

图 3. 霍夫变换后的直线特征分布图

Fig. 3. Distribution of linear character after Hough transformation

下载图片 查看所有图片

图 4. 自适应调整角度的高斯卷积核。(a) θ=22°; (b) θ=38°; (c) θ=90°; (d) θ=178°

Fig. 4. Gaussian convolution kernels rotated by adaptive angles. (a) θ=22°; (b) θ=38°; (c) θ=90°; (d) θ=178°

下载图片 查看所有图片

在确定卷积核之后,先将原始图像从RGB色彩空间转换至CIE-Lab色彩空间,并获取包含亮度、色度A、色度B和纹理在内的四通道特征图;然后将图像中每一个像素P(x,y),在缩放比例S下通道C中及倾斜角θ上的高斯卷积结果记作G(x,y,θ,C,S);最后通过加权求和(权重为α_C,S)得到像素点P(x,y)的色彩纹理特征分布f_PC:

fPC(x,y,θ)=∑S∑CαC,SG(x,y,θ,C,S)。(2)

定义像素点i与j之间的连线l上所有点的PC最大值为两点之间的相似度S_imilarity(i,j):

Similarity(i,j)=exp{-max[fPC(x,y)|(x,y)∈li,j]}。(3)

利用(3)式可以得到局部区域内任意点到中心点的相似度矩阵M。计算矩阵M的特征值λ和特征向量ν,提取特征向量前t维作为区域中心像素与周围像素的相似度值,进而组成全图的t层相似度特征图;在不同缩放比例S下,通过不同倾斜角θ的高斯卷积及加权求和(权重为β_t,S)得到每个像素P(x,y)的相似度分布f_PS:

fPS(x,y,θ)=∑S∑tβt,SG(x,y,θ,t,S),(4)

最终求和得到B(x,y):

B(x,y)=∑θfPC(x,y,θ)+∑θfPS(x,y,θ),(5)

B(x,y)即为该像素点成为边界点的可能性。带有不同强弱权重的边界点将会把原始图像分割成碎片化区域。

2.2 基于碎片化区域面积及边界强度的快速组合

通过多尺度边界点权重计算得到的强弱边界点如图5(a)所示,像素点的权值越高、越明亮,表示该点越有可能成为边界点。为加快碎片化区域的合并,提出通过自动选取权重阈值来减弱边界以减少碎片化区域数量,进一步将小碎片合并进边界权重最弱的邻域,通过循环操作逐渐将碎片化区域合并成局部区域,主要过程分为以下7个步骤:

1) 对得到的边界点权重B(x_m,y_m)进行sigmoid运算,得到边界点B(m)为

B(m)=sigmoid[B(xm,ym)]=11+exp[-B(xm,ym)],(6)

边界点B(m)的取值为0~1之间,序号m=1,2,…,M,M为边界点总数,其中(x_m,y_m)为像素点m的坐标,如图5(a)所示;

2) 边界点权值分布统计图如图5(b)所示,边界点权值共分为10个等级,筛选阈值B,选取最小权重等级,删掉边界强度B(i)≤B的边界点;

3) 通过膨胀腐蚀处理连接断点,如图5(c)所示,得到的碎片化区域如图5(d)所示;

4) 统计碎片化区域面积分布,如图5(e)所示,区域编号n=1,2,3,…,N,N为总区域数,选择像素面积最小的碎片化区域n_min,沿该区域边界寻找边界权值最小的邻域n',将两者合并。

5) 重复步骤4),以减小N值,直至最小碎片化区域面积大于最小碎片面积S_min,如图5(f)所示,区域编号1与2,3,4合并;

6) 若N>T,T为最终保留区域个数,则选择B为边界权值次小等级,并返回步骤2)重新开始;

7) 将分割后的局部区域调整为像素尺寸64 pixel×64 pixel,如图5(g)~(o)所示,将其送入卷积神经网络,得到分类标签。

通过多次对比实验并结合铁路场景包含区域的自身特点(放射性、类别少且面积大),将铁路场景图像设定为90 pixel×150 pixel,保留区域个数T设定为10,最小碎片面积S_min设定为图像总面积的10%,从而防止结果过于碎片化。

图 5. 碎片化区域合并过程图。(a)强弱边界图;(b)边界权重分布图;(c)筛选掉弱边界点;(d)碎片化区域;(e)碎片化区域面积分布;(f)合并后得到的局部区域;(g)-(o)分割后的局部区域

Fig. 5. Procedures of combining fragmented regions. (a) Strong and weak boundaries; (b) distribution of boundary weight; (c) boundaries after deletion of weak points; (d) fragmented regions; (e) distribution of fragmented region area; (f) local areas after combination; (g)-(o) local areas after segmentation

下载图片 查看所有图片

3 高速铁路场景局部区域的识别

3.1 简化卷积神经网络结构

传统深度卷积神经网络算法虽然可以同时实现像素级的图像分割与识别,但是在实际工程应用中除了使用GPU显卡进行并行计算外,还需要大量的人工操作来细化样本区域及边界的像素级标签,因此通过设计一个简化的小型卷积神经网络,可简化人工标注工作并节省成本。卷积神经网络结构主要是由输入层、两层卷积层(C1和C2)、两层均值采样池化层(S1和S2)、一个全连接层(FC)和一个分类层(softmax)组成,如图6所示。

图 6. 卷积神经网络结构示意图

Fig. 6. Schematic of convolutional neural network structure

下载图片 查看所有图片

不同卷积神经网络结构的对比实验结果如表1所示,在简化网络结构、减少计算参数和节省计算时间的前提下,调整卷积核数量(表1中第1行,C1层分别选用30个和100个卷积核)和卷积核尺寸的方法对简化卷积神经网络识别准确率的提升有限。对比结果表明:简化卷积神经网络对识别准确率的提升有限,远不如结构复杂的、使用GPU显卡参与运算的深度卷积神经网络。

为了弥补因简化网络而损失的准确率,需要对网络参数进行优化,因此提出对卷积核进行预处理,使其能够更好地提取图像底层特征,同时增加损失函数中的稀疏项,通过抑制特征图的平均输出并提高个别特征图的输出值来增大特征图的差异性。

3.2 优化卷积神经网络参数

在铁路场景中采集彩色小图像补丁(像素大小为8 pixel×8 pixel,RGB三色),采集数据构成列向量并作为自编码网络AutoEncoder[图7(a)]的输入,隐含层为100个隐含神经元,令输出等于输入,经无监督训练后的W1作为卷积层C1的卷积核,结果如图7(b)所示。

图 7. 利用自编码网络预训练卷积核。(a)自编码网络结构;(b)预训练后的卷积核

Fig. 7. Pre-train convolutional kernels using autoencoder network. (a) Structure of autoencoder networks; (b) pre-trained convolution kernels

下载图片 查看所有图片

原有的代价函数可表示为

J=1P∑p=1P12[h(ep)-lp]2+τ∑f=110χlgχηf+(1-χ)lg1-χ1-ηf,(7)

其中

ηf=1P∑p=1P∑u=128∑v=128Of,ep(2)(u,v)。(8)

式中:e_p为第p个输入样本;l_p为对应标签;P为样本总量;h(e_p)为输出;τ为控制稀疏性惩罚因子的权值;χ为稀疏参数,取接近0的较小数值,如0.05;η_f为第二卷积层生成的第f张特征图O(u,v)(第二卷积层共有10张特征图)在P个样本中的平均激活度;u和v为特征图像素坐标(特征图尺寸为28 pixel×28 pixel)。根据(7)式和(8)式,在原有代价函数J的基础上增加稀疏项。每次迭代训练中,通过稀疏项来抑制多数特征图输出和提高个别特征图输出,从而增加卷积核的差异性,提高特征图的可分性,最终提高分类准确率。

不同卷积神经网络结构优化后的对比实验结果如表2所示。通过对比表1和表2可以发现:在经过卷积核预处理和特征图稀疏化以后,拥有不同卷积核尺寸及数量的卷积神经网络的识别准确率都得到了提高。

4 分析与讨论

为了验证算法的可行性,本文在沪宁城际高速铁路建立了高速铁路周界侵限检测系统实验平台,如图8所示。服务器放置在沪宁城际南京站联合机房内,通过光纤网络通信获取线路视频。服务器之间通过千兆以太网交换机进行通信。报警服务器与车载终端之间通过4G网络通信。

图 8. 高速铁路周界侵限检测系统组成结构示意图

Fig. 8. Structural schematic of high-speed railway intrusion detecting system

下载图片 查看所有图片

本文算法通过提取直行线路上行方向、下行方向、弯道和公跨铁桥梁等典型铁路场景并进行计算,将其与MCG和FCN算法作对比,实验平台采用统一配置,Intel i5处理器,8 G内存,不使用GPU显卡,实验结果如图9所示,其中标记区域为轨道区域。

图 9. 不同算法识别轨道区域的结果对比图。(a) 铁路场景;(b) 人工标记区域;(c) MCG算法结果;(d) FCN算法结果;(e) 所提算法结果

Fig. 9. Comparison diagrams of results of different algorithms for track area recognition. (a) Railway scenes; (b) manually labeled regions; (c) results of MCG algorithm; (d) results of FCN algorithm; (e) results of proposed algorithm

下载图片 查看所有图片

不同算法实验结果分析如表3所示,用Intersection over Union(IU)表示实验结果与真值的交集与并集比例,用Pixel Accuracy(PA)表示属于真值中轨道区域的像素点被实验结果标记为轨道区域的比例;用Extra Pixel(EP)表示真值中不属于轨道区域的像素点被实验结果标记为轨道区域的比例。

平均PA值越高意味着越少的轨道区域被漏掉(表4第2行所示),带来越低的漏报率;平均EP值越高意味着越多的无关区域被监控(表4第3行所示),带来越高的误报率。对高速铁路周界侵限检测系统来说,误报警情况尚可通过2次处理来排除,但漏报警情况却无法弥补,将带来巨大的安全隐患,因此在漏报与误报之间选择最高的PA值更具有实际意义。实验结果表明,所提算法得到的像素级准确率PA值为最高的95.90%(与FCN算法相比增加了4.64%的准确区域,仅增加了1.97%的错误区域,MCG算法的PA值太低),计算时间最短(2.5 s),网络参数仅为0.18×10⁶个,摆脱了对GPU显卡的依赖,降低了系统成本,便于移植进不同配置的数据处理平台。当高速铁路周界侵限检测系统增加监控相机或改变相机监控区域时,所提算法能使系统快速准确地自动划分所要监控的轨道区域。

5 结论

所提出的高速铁路场景分割与识别算法结合了传统图像分割算法与卷积神经网络算法的优点,充分利用铁路场景直线特征强烈、组成区域类别固定等特点,对图像分割与识别算法在实际工程应用中遇到的一系列问题做出改进,在边界精准度、识别准确率、计算时间和人工操作复杂度等多对矛盾中寻求有效的平衡点,从而使铁路周界侵限检测系统能够自动、快速、准确地划定监控场景中轨道区域的周界范围,提高了系统的工作效率。