卷积神经网络在对图像进行语义分割时，高层特征经过降采样和padding操作和低层特征之间容易产生错位。为了解决高低层特征之间的错位问题，更好地聚合多尺度特征信息，提出了一种带有多尺度特征对齐聚合（MFAA）模块的语义分割方法。MFAA模块采用一种可学习插值策略来学习像素的变换偏移，可以有效缓解不同尺度特征聚合的特征不对齐问题，同时模块内的注意力机制提高了解码器恢复重要细节特征的能力。该方法利用高层特征的语义信息和低层特征的空间信息，通过多个MFAA模块将高低层特征对齐之后聚合到一起，从而实现图像更加精细的语义分割效果。将所提网络结构在语义分割数据集PASCAL VOC 2012上进行了验证，使用ResNet-50作为骨干网络时在验证集上的平均交并比值达到了78.4%。实验结果表明，该方法与几种主流分割方法相比在评价指标方面存在优越性，可以有效提高图像分割的效果。

面对海量的视频数据,视频摘要技术在视频检索、视频浏览等领域发挥着越来越重要的作用,其旨在通过生成简短的视频片段或选择关键帧集合来获取输入视频中的重要信息。现有的方法大多集中在研究视频摘要的代表性和多样性上,没有考虑到视频结构等多尺度上下文信息。针对上述问题,提出了一种基于全卷积序列网络的视频摘要模型,模型中利用时间金字塔池化对视频中的多尺度上下文信息进行提取,并利用全连接的条件随机场对视频帧序列进行标注。在SumMe和TVSum数据集上的实验表明,所提模型取得了比全卷积序列网络更好的性能,在这两个数据集上F分指标分别提高了1.6%和3.0%。

基于成像式光电容积脉搏波的非接触式心率测量方法受到环境光干扰会严重影响心率信号的辨别与提取,为了解决这个难点,提出了一种基于自寻优归一化最小均方误差算法的心率信号降噪方法。该方法可根据原始心率信号和背景信号中光线变化的趋势,在归一化最小均方自适应滤波器的基础上,通过最小均方误差自动地调整最优控制因子,最大化地去除拾取的图像中的光照干扰。通过与指夹式脉搏血氧仪实际测得的心率结果对比,在光强剧烈变化的条件下,两种方法测量得到的心率平均值的Pearson相关系数为0.95,平均绝对百分比误差为2.16%。本文方法极大地提高了成像式光电容积脉搏波对环境光的抗噪能力,大大提升了成像式光电容积脉搏波测量方法的实用性、可靠性和稳定性。

头部姿态估计是视线追踪的重要组成部分,但相关研究大多利用人脸的二维(2D)图像进行计算,因此,提出了一种基于双目相机的眼动仪三维(3D)头部姿态估计方法。首先,建立空间坐标系与人脸本征坐标系;然后,利用Dlib库检测双目图像的人脸特征点,并求取对应特征点的视差及3D坐标;最后,结合人脸对称性计算3D头部姿态的欧拉角,并提出了一种俯仰角修正算法。为了验证本方法的精确性,利用模特人头和高精度光学仪器构建了双目头部姿态数据集。实验结果表明,本方法测量欧拉角的平均误差为1.08°,均方根误差为1.25。相比基于2D图像的OpenFace方法,本方法的精度更高、鲁棒性更强。

与常规目标相比,小目标在图像中的像素占比较小且特征不明显,而基于卷积神经网络的目标检测算法对小目标的鲁棒性较差。因此,基于改进的多尺寸反卷积单次多目标检测(MDSSD)网络提出了一种多特征融合小目标实时检测算法,可在不影响实时性的前提下增强算法对小目标的检测能力。为了提高算法的实时性,删减了MDSSD网络中的一部分融合模块,并用双线性插值操作代替特征图尺寸变换过程中的反卷积操作。为了提高算法的准确率,在特征图预测阶段,对每个预测层添加残差预测模块。针对算法中存在正负样本严重失衡的问题,用Focal Loss作为分类损失函数。实验结果表明,本算法在PASCAL VOC2007数据集上的平均精度均值(mAP)为81.7%,在自制轮胎瑕疵数据集上的mAP为90.6%,每秒检测帧数为50 frame。

针对可见光定位的信源在空间传输中抗干扰能力差、易失真,且接收信号的信噪比(SNR)会随传输距离的增加而显著降低等问题,设计了一款线性调频(LFM)信号同步检测的时域匹配滤波器。该匹配滤波器的特点是结合了过采样与互相关正交算法,将它应用在LFM信号的可见光定位中,可以有效地提高信号传输的距离。基于现场可编程门阵列器件完成了LFM时域匹配滤波器的逻辑设计与集成。在长距离可见光通信的同步检测实验中,在6 m通信距离内,该匹配滤波器同步检测的正确率超过99%,这为将来采用LFM信号进行可见光定位的应用奠定了基础。

头部姿态估计广泛应用于多个领域,大多基于二维图像,而三维(3D)头部姿态估计与人脸三维重建结合的相关研究较少。利用重建的头部三维信息,可以为估计头部姿态提供更多有效的数据信息,能大大提高头部姿态估计的精确度和准确度。因此,将基于结构光三维重建和3D头部姿态估计相结合,重建人脸三维形貌并实现3D点云可视化。同时提出一种3D头部姿态估计算法,搜索鼻尖和鼻梁,建立空间直角坐标系和人脸本征坐标系,利用人脸的垂直对称性估计头部姿态欧拉角。利用模特人头进行实验,基于结构光三维重建的3D头部姿态估计算法的欧拉角在-25°~25°范围内均可测量,绝对误差的平均值和标准差均小于1°,测量平均值与真实值的线性相关度达99.8%。与基于二维图像的头部姿态估计相比,本文算法具有更高的准确度和鲁棒性。

针对现有方法在脑肿瘤图像分割上的不足,提出一种基于改进的卷积神经网络的脑肿瘤图像分割算法。将DenseNet和U-net网络结构相融合,以提高对图像特征的提取能力。为了扩大卷积核的感受野,采用了空洞卷积。将分割结果通过完全连接的条件随机场循环神经网络进行精细分割输出,从而得到精确的脑肿瘤分割区域。实验结果表明,与传统的深度学习方法相比,平均Dice可以达到91.64%,算法在准确率上有较好的提升。

为解决视觉车辆跟踪过程中尺度变化导致的模型漂移问题,在核相关滤波算法的基础上,提出一种车辆目标的尺度搜索算法。通过比较目标区域上三个特定尺度相关滤波响应的平均峰值相关能量,推断出目标尺度的变化方向,进而在变化方向上迭代搜索当前目标的最佳尺度。此外,为确保相关滤波模板能够适应运动过程中的车辆外观变化,在最佳尺度估计的情形下,对模板进行自适应加权更新,进一步提高模板准确性。大量的实验表明,本文算法可以有效解决车辆跟踪过程中尺度变化导致的模型漂移问题,且相比于其他相关滤波类算法具有更加优秀的跟踪性能。