场景外观剧烈变化引起的感知偏差和感知变异给视觉场景识别带来了很大的挑战。现有的利用卷积神经网络(CNN)的视觉场景识别方法大多数直接采用 CNN 特征的距离并设置阈值来衡量两幅图像之间的相似性, 当场景外观剧烈变化时效果较差, 为此提出了一种新的基于多层次特征差异图的视觉场景识别方法。首先, 一个在场景侧重的数据集上预训练的 CNN 模型被用来对同一场景中感知变异的图像和不同场景中感知偏差的图像进行特征提取。然后, 根据 CNN 不同层特征具有的不同特性, 融合多层 CNN 特征构建多层次特征差异图来表征两幅图像之间的差异。最后, 视觉场景识别被看作二分类问题, 利用特征差异图训练一个新的 CNN 分类模型来判断两幅图像是否来自同一场景。实验结果表明, 由多层 CNN 特征构建的特征差异图能很好地反映两幅图像之间的差异, 文中提出的方法能有效地克服感知偏差和感知变异, 在场景外观剧烈变化下取得很好的识别效果。