针对目前基于红外与可见光模态融合的行人检测方法难以自适应外界环境变化的问题, 提出基于多模态信息融合权值学习的行人检测网络。首先, 区别于目前大多数研究采用的两模态直接堆叠融合方法, 权值学习融合网络考虑两种模态在不同环境条件下对行人检测任务的不同贡献比重, 通过双流交互学习二者差异, 然后根据各模态特征的当前特性自主获得各模态特征的相应权重, 进行加权融合得到融合特征, 最后基于融合特征生成新的特征金字塔, 并改变先验框的尺寸和密集度以丰富行人先验信息, 完成行人检测任务。实验结果表明: 在 Kaist多光谱行人检测数据集上获得 26. 96%的平均漏检率, 相比目前采用直接堆叠的最优方法以及 baseline方法分别降低了 2. 77%和 27. 84%, 因此自适应权值融合红外和可见光两种模态的信息可以有效获得互补的模态信息以自适应外界环境变化, 大幅提升行人检测的性能。

当前卷积神经网络结构未能充分考虑RGB图像和深度图像的独立性和相关性,针对其联合检测效率不高的问题,提出了一种新的双流卷积网络。将RGB图像和深度图像分别输入到两个卷积网络中,两个卷积网络结构相同且权值共享,经过数次卷积提取各自独立的特征后,在卷积层根据最优权值对两个卷积网络进行融合;继续使用卷积核提取融合后的特征,最后通过全连接层得到输出。相比于以往卷积网络对RGB-D图像采用的早期融合和后期融合方法,在检测时间相近的情况下,双流卷积网络检测的准确率和成功率分别提高了4.1%和3.5%。