针对红外图像和可见光图像的融合目标检测问题，提出一种基于双模态融合网络的目标检测算法。在同时输入红外和可见光图像对后，利用设计的红外编码器提取红外图像空间特征信息；通过设计的可见光编码器将可见光图像从垂直和水平两个空间方向聚合特征，通过精确的位置信息对通道关系进行编码；最后，采用提出的门控融合网络自适应调节两路特征的权重分配，实现跨模态特征融合。在KAIST行人数据集上，与基准算法YOLOv5-n单独检测可见光图像和红外图像的结果相比，所提算法检测精度分别提升15.1%和2.8%；与基准算法YOLOv5-s相比，检测精度分别提升14.7%和3%；同时，检测速度在两个不同基准算法模型上分别达到117.6 FPS和102 FPS。在自建的GIR数据集上，所提算法的检测精度和速度也同样具有明显优势。此外，该算法还能对单独输入的可见光或红外图像进行目标检测，且检测性能与基准算法相比有明显提升。