视频修复旨在填补视频中的缺失区域, 由于很难精确保持修复内容的时空一致性, 故视频修复仍具有挑战性。针对现有视频修复中存在的修复结果语义信息不连续, 出现视频模糊和时间伪影, 以及网络设计越来越复杂, 网络整体速度变慢的问题, 本文提出了一种基于残差网络的卷积注意力网络(RCAN)用以视频修复。通过将自注意力机制和全局注意力机制引入进残差网络, 增强网络对所有输入帧的时空特征的学习能力, 并采用时空对抗损失函数进行优化, 提高视频修复的质量。同时网络还能够高度自由地定义层数和参数量, 提高网络的实际应用能力。实验结果表明, 该网络在DAVIS和YouTube-VOS数据集上取得了PSNR为30.68 dB, SSIM为0.961, FID为0.113的平均修复结果, 基本符合实际场景对模型的修复质量要求, 为视频修复提供了一种新思路。

针对目前医学图像普遍存在病理区域尺寸分布较分散、细节特征不明显以及同类组织影像间的视觉差异较大等问题, 本文在CBMIR系统的基础上, 提出了一种融合多尺度特征及注意力机制的医学图像检索方法。该方法通过融合多尺度特征并设置可学习权重系数来自适应平衡浅层图像纹理特征和深层图像语义特征的关系, 提高网络对不同尺度上的病理特征提取能力。同时, 引入注意力模块, 对网络输出的特征图进行通道加权求和, 提高关键特征通道的特征表达能力, 使网络更能关注到图像中的具有辨识性的病理特征区域。最后, 在损失函数设计时, 使用多重损失进一步优化样本特征在特征空间的分布。最终在Mura数据集上的mAP@100、mAP@20两个指标上分别达到了0.95、0.98的检索精度, 基本符合实际场景对模型的检索精度要求。

为了满足磁瓦生产工业对表面质量检测的高要求，实现磁瓦缺陷自动分割与识别，本文提出了一种基于卷积神经网络的缺陷分割与分类网络。该网络基于U-net架构，通过U-net编码部分提取缺陷的深层特征，并使用该深层特征进行缺陷分类，然后通过解码部分输出分割的缺陷区域。为了解决部分缺陷前景面积占比太小，导致网络难以收敛的问题，通过添加差异系数损失以保证网络持续优化。然后在训练阶段添加多层损失和进行在线数据增强进一步提升了分割精度和分类准确率。实验结果表明，添加辅助损失函数和数据增强后，分割网络能够分割出94.5%标注的缺陷区域，并且对于缺陷分类的准确率能够达到98.9%，满足工业生产的高精度要求。该方法能够精准有效地分割和识别磁瓦的表面缺陷，为磁瓦表面质量检测自动化行业提供了一种新的思路。

为了获得更好的图像超分辨率重建质量，提高网络训练的稳定性，对生成对抗网络、损失函数进行研究。首先，介绍了SRGAN和DenseNet，并设计了基于DenseNet的生成网络用以生成图像，且将子像素卷积模块加入到DenseNet中。接着，移除了原本DenseNet中冗余的BN层，提高了模型的训练效率。最后，介绍了SRGAN的损失函数并基于Earth-Mover距离来重新设计损失函数，并且用SmoothL1损失取代MSE损失来计算VGG特征图，以防止MSE放大最大误差和最小误差间的差距。实验证明：该模型在网络训练过程中能够达到稳定收敛的状态。重建出的图像质量对比SRGAN，在3个基准测试集SET5,SET14,BSD100上的平均PSNR要高约2.02 dB，SSIM高约0.042(5.6%)。重建出的图像不仅在指标上有所提升，且拥有更好的清晰度，高频细节更为丰富。

缺陷检测在TFT阵列工艺的良率提高中起着重要作用,传统的人工识别效率低, 新兴的目标检测卷积神经网络在缺陷标注上需要耗费大量人力。为了实现TFT阵列缺陷自动检测的同时尽可能地减少人工成本, 提出了一种基于生成对抗网络和形态学重建的TFT阵列缺陷检测方法, 该方法中用于训练网络的数据集无需人工标注, 解决了人工标注成本大的问题。该方法首先通过AttentionGAN网络得到TFT阵列的显著性图, 接着选定显著性图中显著性最低的像素为种子点, 得到缺陷标记图像与缺陷掩膜图像, 进而进行二值形态学重建的区域生长, 最后得到缺陷的检测。该方法对于TFT阵列缺陷的二分类能达到F1分数为0.94的结果, 为TFT阵列的自动化缺陷检测提出了一种新思路。

现有的移动端人像分割网络存在分割精度差、分割边缘模糊等问题。为此, 提出了一种融合注意力机制的轻量化人像分割网络。首先, 利用MobileNetV2网络提取图像特征。然后对注意力模块NLNet(Non-local neural networks)进行轻量化处理, 随后将优化过的注意力模块嵌入到四层解码网络中。利用融合注意力机制的解码网络自适应地学习有效特征, 最后通过SoftMax层得到人像分割结果图。同时改进了损失函数, 引入多损失函数(Multi-Loss), 使网络更容易收敛。解码网络融合注意力机制的方式使得轻量化网络可以在语义分割任务上取得较好的效果。实验结果表明, 模型在550张自采集的人像测试集上达到了92.29%的交并比(MeanIOU),单张图片在Inter(R) Core i5 CPU上的分割时间为0.74 s。与传统的人像分割网络相比, 研究网络的分割精度和分割速度优势明显, 适合应用于移动端设备。

YOLOv3作为开源的目标检测网络与同时期目标检测网络相比,在速度和精度上有着明显的优势。由于YOLOv3采用了新型的全卷积网络(FCN)、特征金字塔网络(FPN)和残差网络(ResNet),因此对硬件配置要求较高,导致开发成本过高,不利于工业上的应用普及。在嵌入式平台上普遍使用YOLOv3tiny进行检测,虽然计算量较小,但是检测效果远不如YOLOv3。为了解决在嵌入式平台上YOLOv3检测速度低的问题,提出一种基于YOLOv3的简化版网络,与YOLOv3不同的是,在保留了对特征提取有较大帮助的FCN、FPN以及ResNet的同时,尽可能减少每层的参数量和残差层数,并尝试加入了密集连接网络空间金字塔池化。实验结果表明,该网络的参数量和检测速度大幅优于YOLOv3,且平均精度比YOLOv3tiny在PASCAL VOC2007、2012数据集上有明显的提升。

针对传统的手部跟踪算法存在实时性差、识别精度低、易受环境影响等问题, 提出了一种基于神经网络与卡尔曼滤波的手部实时追踪方法。该方法首先通过神经网络对视频中出现的检测目标 进行定位, 接着用卡尔曼滤波对目标运动进行估计, 将估计的结果与下一帧图像中检测到的目标进行比对; 然后对检测到的目标进行跟踪, 将手部运动的轨迹实时显示。实验结果表明, 该方法能够 对多个手部目标实时进行追踪, 并在手部运动过程中出现交叉和形变的情况下还能保持跟踪, 其平均处理帧数为21.212 f/s, 追踪正确率为94.88%,基本满足手部跟踪的稳定可靠、高实时性、高鲁 棒性等要求。

利用传统狭缝光栅实现的自由立体显示器, 存在着串扰严重、莫尔条纹明显、可视区域较小、在水平和竖直方向上光损失不平衡等缺陷。针对这些问题, 本文就狭缝光栅的倾斜角度、狭缝宽度、狭缝错开距离等光栅关键参数对立体显示莫尔条纹、串扰、可视区域的影响展开研究, 分析了交错狭缝光栅设计方案, 优化设计了两种狭缝光栅立体显示器件, 分别采用了垂直交错狭缝光栅和倾斜交错狭缝光栅。以4视点的自由立体显示器为例, 以像素半高度将相邻的两段狭缝错开。实验测试结果表明, 当倾角θ为12.2°, 错开距离分别为0.053 7 mm和0.030 2 mm时, 垂直/倾斜交错光栅均能有效减少莫尔条纹的发生。对比发现, 倾斜交错光栅的串扰仅增加1.57%, 但可视区域增加了17.9%, 且在水平和竖直方向上光损失率匹配度较高, 立体显示效果明显改善。

液晶显示屏Mura缺陷是一类较难检测的显示缺陷, 它具有对比度低、背景亮度不均匀、边缘模糊等特点。针对传统Chan-Vese模型（C-V模型）对其分割时存在误分割及速度慢的问题, 本文提出一种改进的C-V模型。首先, 依据曲线演化理论, 简化了传统C-V模型的图像数据力驱动项, 这样减少了迭代过程中的计算量, 提高了分割的速度。其次, 为了平衡图像的亮度不均匀, 在模型中引入一个新的能量项, 该能量项与轮廓曲线内、外部之间的亮度差有关, 提高了分割的准确性。最后, 在算法的实现过程中引入迭代停止的判别式, 通过设定分割的精度可以实现迭代的自动停止, 并有利于正确地分割出目标。实验结果表明, 本文提出的改进C-V模型能够准确分割背景不均匀的Mura缺陷, 并且具有较快的速度。