为提高SSD目标检测算法的小目标检测能力, 提出在SSD算法中引入转置卷积结构, 采用转置卷积将低分辨率高语义信息特征图与高分辨率低语义信息特征图相融合, 增加低层特征提取能力, 提高SSD算法的平均精准度。同时针对SSD算法存在模型过大, 运行内存占用量过高, 无法在嵌入式ARM设备上运行的问题, 以DenseNet为基础, 结合深度可分离卷积,逐点分组卷积与通道重排提出轻量化特征提取最小单元, 将SSD算法特征提取部分替换为轻量化特征提取最小单元的组合后, 可在嵌入式ARM设备上运行。在PASCAL VOC数据集和KITTI自动驾驶数据集上进行对比实验, 结果表明改进后的网络结构在平均精准度上得到明显提升, 模型参数数量得到有效降低。

针对现有的图像质量评价方法普遍为人工设计特征, 难以自动且有效提取到符合人类视觉系统的图像特征, 受人眼视觉特性的启发, 提出一种新的基于卷积神经网络的全参考图像质量评价方法(DeepFR)。该方法基于对数据集本身的学习设计了卷积神经网络DeepFR模型, 利用人眼视觉系统对梯度的敏感性进行加权优化, 提取了符合人眼视觉特性的视觉感知图。实验表明: 设计的DeepFR模型优于已有的全参考图像质量评价方法, 其预测结果与主观质量评价有很好的精确性与一致性。

为提高电气设备红外故障图像识别准确率, 提出了基于双监督信号深度学习的电气设备红外故障图像识别方法。首先, 使用Slic超像素分割算法合并相似像素成区域块; 其次, 根据改进后HSV空间的亮度信息判别设备温度异常区域, 进而分割出温度异常区域所在的连通区域及所对应的设备; 最后, 基于GoogLeNet卷积神经网络对电气设备红外故障图像进行特征提取, 再采用softmax 损失和中心损失两种监督信号对提取的特征进行监督训练, 并自行建立700幅电气设备红外故障图像数据集, 其中500幅用于训练, 200幅用于测试。实验结果表明: 使用双监督信号深度学习算法测试准确率达到98.6%, 比单独使用softmax损失时准确率提高了1%。该算法能够对变压器套管、电流互感器、避雷器、隔离开关、绝缘子5种电气设备及其对应故障精准定位、识别。

近年来, 深度学习以其强大的非线性计算能力在目标检测和识别任务中取得了巨大的突破。现有的深度学习网络几乎都是以数据的欧氏结构为前提, 而在计算机视觉中许多数据都具有严格的流形结构, 如图像集可表示为Grassmann流形。基于数据的流形几何结构来设计深度学习网络, 将微分几何理论与深度学习理论相结合, 提出一种基于Grassmann流形的深度图像集识别网络。同时在模型训练过程中, 使用基于矩阵链式法则的反向传播算法来更新模型, 并将权值的优化过程转换为Grassmann流形上的黎曼优化问题。实验结果表明: 该方法不仅在结果上识别准确率得到了提高, 同时在训练和测试速度上也有一个数量级的提升。

PolSAR(Polarimetric Synthetic Aperture Radar)图像分类的传统方法在前期需要对数据进行特征提取, 涉及较多的人为参与, 且分类精度有待进一步提高。此外, 在采用监督分类方法时, 某些地物存在小样本问题, 针对这些问题并结合PolSAR图像精细分类的需求, 提出基于3D卷积神经网络的PolSAR图像地物精细分类方法, 将传统卷积神经网络扩展为三维并将其应用于PolSAR图像分类中, 利用PolSAR数据多通道特性, 充分挖掘数据中的信息, 提高分类性能, 并采用虚拟样本扩充的方法改善某些地物的小样本情况, 获得更好的分类结果。实验结果表明: 3D卷积神经网络较2D卷积神经网络在PolSAR图像地物精细分类中有较好的性能, 且虚拟样本扩充方法能够有效改善小样本分类问题。

疲劳驾驶是导致车祸的重要诱因, 严重危害道路交通安全, 而车辆行驶过程中的光照条件变化、驾驶员姿态调整和眼镜遮挡等因素将对疲劳检测任务产生不利的影响。针对以上问题, 提出了基于深度学习的驾驶员疲劳检测算法。首先, 使用850 nm红外光源补光, 在复杂光照和遮挡形态下采集驾驶员的面部图像; 其次, 利用红外图像中的多种特征, 通过级联CNN确定人脸边框和特征点位置, 提取眼睛区域并识别眼睛的睁闭状态; 最后, 将眼睛状态识别结果和连续图像中的特征点坐标差值输出至LSTM网络, 检测驾驶员疲劳状态。实验结果表明: 该疲劳检测算法的准确率可达94.48%, 平均检测时间为65.64 ms。

有效学习丰富的表征信息在RGB-D目标识别任务中至关重要, 是实现高泛化性能的关键。针对卷积神经网络训练时间长的问题, 提出了一种混合卷积自编码极限学习机(HCAE-ELM)结构, 包括卷积神经网络(CNN)和自编码极限学习机(AE-ELM), 该结构合并了CNN的有效性和AE-ELM快速性的优点。它使用卷积层和池化层分别从RGB和深度图来有效提取低阶特征, 然后在共享层合并两种模型特征, 输入到自编码极限学习机中以得到高层次的特征, 最终的特征使用极限学习机(ELM)进行分类, 以获得更好的快速泛化能力。文中在标准的RGB-D数据集上进行了评估测试, 其实验结果表明, 相比较深度学习和其他的ELM方法, 文中的混合卷积自编码极限学习机模型取得了良好的测试准确率, 并且有效地缩减了训练时间。

基于自然场景图像的人体行为识别方法中遮挡、背景干扰、光照不均匀等因素影响识别结果, 利用人体三维骨架序列的行为识别方法可以克服上述缺点。首先, 考虑人体行为的时空特性, 提出一种时空特征融合深度学习网络人体骨架行为识别方法; 其次, 根据骨架几何特征建立视角不变性特征表示, CNN(Convolutional Neural Network)网络学习骨架的局部空域特征, 作用于空域的LSTM(Long Short Term Memory)网络学习骨架空域节点之间的相关性特征, 作用于时域的LSTM网络学习骨架序列时空关联性特征; 最后, 利用NTU RGB+D数据库验证文中算法。实验结果表明: 算法识别精度有所提高, 对于多视角骨架具有较强的鲁棒性。

针对火灾发生时, 火灾图像背景复杂、人工特征提取过程繁琐、对火灾图像的识别泛化能力不强、容易出现精度不高、误报和漏报等问题, 提出了张量对象特征提取的多线性主成分分析(Multilinear Principal Component Analysis, MPCA)深度学习算法的火灾图像识别新方法。利用MPCANet建立火灾图像识别模型, 通过MPCA算法学习滤波器作为深度学习网络卷积层卷积核, 对张量对象的高维图像进行特征提取, 并把蜡烛图像和烟花图像作为干扰。通过仿真实验并与其他火灾图像识别方法对比得到提出的图像识别方法识别精度达到了97.5%、误报率1.5%、漏报率1%。实验表明: 该方法可以有效解决火灾图像识别存在的问题。

纹理合成是计算机图形学、计算机视觉和图像处理领域的研究热点之一。传统的纹理合成方法往往通过提取有效的特征样式或统计量并在该特征信息的约束下生成随机图像来实现。对抗生成网络作为一种较新的深度网络形式, 通过生成器和判别器的对抗训练能够随机生成与观测数据具有相同分布的新数据。鉴于此, 提出了一种基于对抗生成网络的纹理合成方法。该算法的优点是不需要经过多次迭代就能够生成更真实纹理图像, 且生成图像在视觉上与观测纹理图像一致的同时具有一定随机性。一系列针对随机纹理和结构性纹理的合成实验验证了该算法的有效性。