病害严重影响作物品质, 并造成经济损失。 病斑分割是病害定量诊断的重要过程, 其分割结果可为后续的识别和严重度估算提供有效依据。 由于病斑具有不规则性和复杂性, 且自然环境下病斑可见光谱图像易受光照变化等影响, 传统的图像处理方法对病斑图像分割存在准确率低、 普适性低和鲁棒性不高等问题。 该工作提出了基于语义分割和可见光谱图像的作物叶部病害病斑分割方法。 首先, 以花生褐斑病、 烟草赤星病为研究对象, 使用尼康D300s单反相机共采集到165张可见光谱图像。 通过Matlab Image Labeler APP对病害可见光谱图像进行像素标记, 分别标记出褐斑病病斑、 赤星病病斑和背景区域。 其次, 对标记后的数据采用水平翻转、 垂直翻转、 改变亮度等图像扩充方式, 获得1 850份增强后样本数据集。 为了节约计算成本, 将数据集的像素分辨率调整为300×300。 最后, 基于FCN, SegNet和U-Net 3种语义分割网络, 构建4 种作物叶部病害病斑分割模型, 探索了数据增强、 病害类别对病斑分割模型的影响, 并采用4种分割指标评价模型效果。 结果表明: 仅对于病斑分割, 图像增强能够提高模型的分割精度, 增强后FCN模型的平均精度(MP)和平均交并比(MIoU)分别为95.71%和93.36%。 4个语义分割模型显著优于支持向量机(SVM), 其中FCN与U-Net, SegNet-2和SegNet-4分割模型相比, 能够有效避免光线变化等影响, 病斑分割精度(P)和交并比(IoU)分别达到99.25%和97.55%。 对于病斑分类分割实验, FCN对两种病害的分割精度Pd分别达到97.54%和90.41%, 对两种病害的交并比IOUd分别为95.61%和70.30%, 均优于其他3种分割模型。 FCN能够在分割病斑的同时也准确地识别病害类别, 有较好的泛化性和鲁棒性, 实现了自然场景下作物叶部病害病斑的识别与分割, 为计算混合病害严重度提供了技术参考。

在语义分割模型结构不变的前提下, 为提升模型对图像分割的精确度, 引入生成对抗网络结构用于训练语义分割模型(SS-GAN)。SS-GAN包含 3个设计环节: 构建全卷积网络(FCN)结构的生成模型, 进行初步的图像分割; 设计具备像素间高阶关系学习能力的对抗模型, 提高生成模型的学习能力; 加入对抗损失辅助生成模型学习, 进一步促进生成网络自主学习像素间关系。在计算机视觉竞赛数据集 (PASCAL VOC)和城市景观数据集 (Cityscapes)上的实验结果表明, 引入生成对抗网络后取得了更好的效果, 2个数据集的交并比 (IoU)指标分别提高了 1.56%/1.17%和1.93%/1.55%。

海上溢油对海洋生态环境造成的危害巨大，完成溢油区域的准确检测对海洋异常现象的快速应急处理具有重要意义。现阶段，合成孔径雷达（SAR）为海上溢油检测提供重要数据基础，但广泛存在海上生物油膜、低风区及SAR影像本身显著的斑点噪声等溢油疑似区域，极大限制了海上溢油检测精度。针对上述问题，提出一种基于改进全卷积神经网络（FCN）的多极化SAR影像海上溢油智能检测框架。首先，对极化SAR影像进行Pauli分解和Refined-Lee滤波预处理，在保证SAR影像极化特征信息同时降低疑似溢油噪声对检测精度的影响；其次，针对FCN模型对空间信息考虑的不足，提出不同层级卷积层融合机制，实现高层语义特征与低层空间细节特征融合，进而提升海上溢油区域检测精度。经实验对比分析可知，基于改进FCN的海上溢油智能检测框架可有效降低疑似溢油区域对检测精度的影响，同时兼顾考虑多极化与边缘特征信息，实现基于像素的溢油区域检测，最优检测精度可达95.7%。

由于医疗图像质量差、对比度低、患者之间差异大导致全自动分割方法很难获得足够准确、鲁棒的结果。为了解决全自动分割方法的局限性, 本文提出一种基于神经网络改进的区域生长法, 并与全卷积神经网络相结合对肝脏CT图像进行交互式分割。首先对图像进行预处理, 突出待分割肝脏区域; 接着计算像素在不同边缘检测算子下的梯度值作为该像素的特征, 形成像素特征向量训练网络: 该网络以一对像素特征向量为输入, 以两像素的关联度系数为输出; 然后将训练好的神经网络模型作为区域生长算法的生长准则, 手动交互选取一点产生分割结果; 最后将分割结果作为原图的交互信息和原图灰度通道连接在一起一同输入全卷积神经网络。实验结果表明: 平均Dice系数达到96.69%, 像素准确率达到99.62%, 平均交并比达到9665%。不同的腹部CT图像序列中肝脏的分割结果表明, 该方法能精确提取肝脏区域, 满足临床应用的需求。

基于电子计算机断层扫描(CT)影像的肺叶分割是医生诊断和治疗肺部疾病的重要参考之一, 但肺叶边界的模糊以及手动分割的巨大工作量使得医生难以准确、快速地分割肺叶。为此, 提出了一种基于新型3D全卷积神经网络的肺叶自动分割方法。对原始CT图像进行预处理, 然后利用预处理后图像训练卷积神经网络,再将待分割图像输入到训练好的网络模型中, 实现CT图像中肺叶的自动分割。实验数据包括来自上海市肺科医院的50例肺部疾病患者的CT图像, 30例被用于训练, 20例被用于测试。对分割结果进行了定量评价, 其中Dice系数为0.961, Jaccard相似系数为0.916。实验结果表明该肺叶自动分割算法具有更好的分割性能以及更强的泛化能力, 即使在训练集数据较少的情况下, 也能够准确、快速的分割肺叶。

对于语音的情感识别,针对单层长短期记忆(LSTM)网络在解决复杂问题时的泛化能力不足,提出一种嵌入自注意力机制的堆叠LSTM模型,并引入惩罚项来提升网络性能。对于视频序列的情感识别,引入注意力机制,根据每个视频帧所包含情感信息的多少为其分配权重后再进行分类。最后利用加权决策融合方法融合表情和语音信号,实现最终的情感识别。实验结果表明,与单模态情感识别相比,所提方法在所选数据集上的识别准确率提升4%左右,具有较好的识别结果。

人体图像分割作为人体行为理解和分析的基础, 但要实现精准分割及实时分割是一个巨大的难题, 因此提出一种深浅交错式特征融合的全卷积神经网络的方法, 应用于人体图像分割。使用全卷积神经网络的卷积层提取丰富的图像特征, 对不同深度的特征图由深到浅交错式地拼接并融合。最终将融合特征图送入卷积层输出预测图像, 并经过全局阈值分割得到分割结果。在百度人体图像分割数据库上进行实验, 其平均覆盖率可以达到89.95%, 最佳分割重叠率高达99.31%; 分割一幅500×500彩色图像的平均耗时为56ms, 实现较好的分割性能。

针对全卷积神经网络在图像分割中信息遗失、依赖固定权重导致分割精度低的问题,对U-Net结构进行改进并用于脑肿瘤磁共振(MR)图像的分割。在U-Net收缩路径上用注意力模块,将权重分布到不同尺寸的卷积层,有助于图像空间信息和上下文信息的利用;用残差紧密模块代替原有卷积层,能够提取更多的特征并促进网络收敛。基于BraTS(The Brain Tumor Image Segmentation Challenge)提供的脑肿瘤MR图像数据库,对提出的新模型进行验证,用Dice分数评估分割效果,获得肿瘤整体区域0.9056分、肿瘤核心区域0.7982分和肿瘤增强区域0.7861分的精度。由此表明本文提出的U-Net结构可提高MR图像分割的精度和效率。

将深度学习和面向对象方法用于处理超高空间分辨率的无人机可见光影像,以期实现高精度的森林树种遥感分类。首先,利用面向对象方法对无人机影像进行最优尺度分割,基于对象提取特征变量,运用随机森林(RF)法对树种遥感分类,同时对参与分类的变量按重要性排序,并筛选出对分类贡献率最高的两个特征变量——可见光差异植被指数(VDVI)和过绿减过红指数(ExG-ExR)。然后,将这两个特征变量和无人机原始RGB波段融合生成新的数据,针对该数据与原始RGB波段数据,分别利用基于Res-U-Net模型的全卷积神经网络(FCN)方法进行树种分类,并对结果精度评价。最后,为了消除FCN法基于像元分类引起的缺陷,结合面向对象最优分割法对分类结果进行修正。实验结果表明,融合了VDVI和ExG-ExR的FCN方法对无人机影像的树种分类效果最好,总精度为97.8%,Kappa系数为0.970。RF法能够有效筛选分类特征变量,对原始影像添加特征变量能有效提高FCN方法的分类精度,再对面向对象分割结果进行修正,可以基本消除椒盐现象,减弱边缘效应,使总精度提高0.9个百分点,Kappa系数提高了0.013。