针对Faster R-CNN在多尺度目标检测时易出现小目标漏检和误检的问题, 提出一种改进的多尺度目标检测算法。将利于小目标检测的低层网络和利于大尺度目标检测的高层网络进行多尺度特征融合; 在训练阶段, 采用在线难例样本挖掘算法维护难例样本分类池, 加速神经网络模型迭代收敛, 解决训练样本不均衡、训练效率低下的问题; 计算并统计待检测目标的尺度大小, 合理控制用于生成候选区域的锚框尺寸, 提高模型泛化能力。采用PASCAL VOC2012公开数据集和类人足球机器人自建数据集进行算法验证, 实验结果表明, 相比Faster R-CNN算法, 本算法的平均检测精度在上述数据集下分别提高了8.61和5.47个百分点。

针对从二维彩色图像中恢复深度信息的问题,提出一种基于视觉词典的深度图生成算法。采用基于数据驱动的方法,从包含深度图的深度图像库中找出图像中各种空间结构对应的深度信息,得到由空间结构相似的图像块组成的初始视觉单词;采用难例挖掘方法找到视觉单词的难例负样本,更新视觉单词分类器,获得最优的分类效果;利用视觉单词分类器和视觉单词组成的视觉词典对目标图像进行多尺度检测,得到对应的深度图并进行边缘保持平滑滤波。实验结果表明,该算法生成的深度图符合目标图像的深度变化,在主观视觉效果和各种客观评价指标上都有显著提高。

为了提高图像目标的检测精度, 提出一种在残差网络下设计基于困难样本挖掘的目标检测算法。首先阐述基于深度学习的目标检测算法, 即超快速区域卷积神经网络(Faster R-CNN)的工作原理, 分析该算法存在的不足与改进方式。在Faster R-CNN的基础上, 为了使模型能提取更有效的深度卷积特征, 选取网络更深的残差网络替换原始的ZF或VGG网络。为了使学习到的网络模型有更强的泛化能力, 在网络训练过程中, 利用困难样本更新网络参数, 使网络训练更充分。在Pascal VOC2007、Pascal VOC2007+Pascal VOC2012和BIT这三个数据集中进行训练和测试, 实验结果显示, 融合了两种方法的Faster R-CNN在这三个数据集上的检测精度分别提升了3.5%、7.1%、6.4%, 提升效果明显。