同时定位与建图（SLAM）是自动驾驶的基本要求之一。多传感器融合，尤其是激光雷达和相机的融合，对于自动驾驶来说是必不可少的。其中，如何针对各种场景调整不同传感器的置信度是关键问题，基于此，提出一种自适应紧耦合的激光雷达相机融合的SLAM（AVLS）算法。首先，所提AVLS算法建立在基于滑动窗口的因子图上，包含提升整体算法精度和鲁棒性的灵活深度关联和弹性初始化等模块。其次，为了充分探索激光雷达和相机在不同环境中的性能，采用一种基于先验知识的动态加权方案。最后，将所提AVLS算法在两个公开的大规模自动驾驶数据集上进行了全面实验，包括与经典算法的对比及消融实验，实验结果表明，AVLS算法的鲁棒性和精确度可以达到目前领先水平。

在无锚点算法 CenterNet模型的基础上, 针对基于红外图像的目标检测算法检测精度低、耗时长的问题, 给出了一种基于改进高斯卷积核的变电站设备红外图像检测方法, 该目标检测方法模型网络结构精简, 模型计算量较小。通过现场变电站巡检机器人设备收集数据样本, 进行算法模型的训练及验证, 实现红外图像变电站设备精准识别及定位。本文以变电站巡检机器人搭配红外热成像仪采集到的红外图像库为基础, 用深度学习方法对数据集进行训练和测试, 研究变电站红外图像的目标检测技术。通过深度学习技术判断设备中心点位实现目标分类和回归。实验结果表明, 该方法提高了变电站目标检测方法的识别定位精度, 为变电站设备红外图像智能检测提供了新的思路。

应用于航空的记录系统, 要求具有比地面系统更高的可维护性和可靠性, 体积和功耗也有严格的限制。针对这些要求, 本文提出了基于ATR 加固结构的嵌入式NAND Flash 图像记录系统。系统采用CPCIE 3U 规范设计, 置于1/2 ATR 机箱内, 增强了系统的可靠性和可维护性。通过引入SRIO 高速总线和NAND Flash 存储阵列, 解决了数据的高速实时记录。在此基础上, 详细阐述了系统各板卡的设计。实验结果表明, 该记录系统运行稳定可靠, 记录速度达到912 MB/s, 满足高分辨率航空CCD 相机的记录要求。

在DSP+FPGA的高速图像处理系统中, 针对系统数据量大、运算复杂的特点, 提出了一种基于SRIO协议的DSP与FPGA处理器互连, 并进一步使用FPGA中的MPMC控制器连接DDR2 SDRAM, 实现了图像处理系统内部处理器的共享存储。该方法通过在DSP和FPGA上编程, 实现了SRIO协议中的存储器映射I/O事务(LSU)方式的传输, 处理器之间通过SRIO接口传输的数据速率达到3.125Gb/s。实验结果表明, 该方法有效地实现了处理器之间数据稳定可靠的传输, 使系统内的数据交换灵活快捷, 提高了DSP的协处理能力, 很好地满足了处理系统实时性的需求。

高速接口技术目前采用较多的是PCI Express总线。文章基于工程实现需要, 采用Xilinx的V5系列FPGA中的PCI Express IP核, 完成了基于FPGA的PCI Express接口数据通路的硬件逻辑设计, 编写了WDM框架的驱动程序, 用于PCI Express接口的DMA数据传输控制。最后, 为了测试PCI Express接口数据传输性能, 搭建了图像采集系统X1链路下的实验平台, 经过测试, 传输速度在90~100MB/s。

采用FPGA作为高速串行光纤图像传输系统的核心, 利用Rocket IO串行传输技术, 根据自定义的光纤图像传输协议, 搭建了检测平台;在EDK开发工具下, 通过对FPGA进行SOPC设计, 实现检测平台的软件设计, 并实时输出检测结果。阐述了检测平台的系统总体设计思想, 对检测平台的硬件设计、软件设计、SOPC设计、高速串行光纤图像传输技术进行了详细说明, 并对自定义的光纤图像传输协议、检测实验等进行介绍。经过实验测试结果表明, 检测平台工作在3.125Gb/s的串行传输速率上, 平台运行稳定、可靠;利用该检测平台, 实现了图像经过板件间高速串行传输的检测、经过系统级间串行传输的检测, 以及经过多个串行传输系统后的检测, 达到了检测的目的。

为解决光电经纬仪上高速率、高分辨率实时图像传输及处理瓶颈问题。本文提出了基于光纤传输的实时图像处理平台体系架构思想，设计了以 FPGA+多核 DSP结构的图像处理单元，实现高速实时图像经光纤传输至处理单元。在此基础上，开发了自定义的光纤图像传输协议。利用该协议，使得图像处理系统与各个分系统之间的光纤互联，以及高速实时图像光纤传输至显示子系统，处理子系统和记录子系统。本文阐述了系统总体结构思想，系统硬件原理设计和软件设计，并对其中的图像光纤传输协议设计，多核 DSP处理单元设计等进行详细介绍。搭建了实验测试平台，通过实验平台对系统进行测试和分析。实验结果表明，实时图像在光纤上进行 3.125 Gb/s、在 FPGA与多核 DSP之间进行 3.125 Gb/s速率上传输，系统稳定、可靠、误码率低，且具有处理能力强、抗电磁干扰性能强等优点，并已应用到实际工程项目中。

为提高光电经纬仪上图像传输系统的性能，设计了利用现场可编程门阵列(FPGA)的Rocket IO IP核，完成了Camera link并行接口与光模块串行接口的相互转换。通过自定义的图像传输协议，搭建了图像传输系统与各个分系统的互联平台，实现了高速图像实时传输至机下进行处理、显示和记录，同时在该光纤通道上复合传输相机控制命令和外同步时序。阐述了系统总体结构思想，发送端和接收端的软、硬件设计，介绍了Rocket IO关键属性、数据包收发状态机、图像传输协议等。实验结果表明，系统工作速率达2.5 Gb/s，传输链路稳定、可靠、无误码，突破了传统光纤传输协议的开源局限，用户可直接使用光纤串行数据信息，减少导电环配线量，具有传输带宽高，图像质量好，抗电磁干扰性能强等优点。系统经过测试验证并已应于到工程项目中。

针对高速图像处理的需求，本文设计实现了一种混合结构的CPCIE 交换板。根据高速串行通信的电气特性及CPCIE 系统规范要求，将PCIE 链路信号和高速串行图像信号合成一组，按照CPCIE 交换板信号的拓扑关系，传到各个下游槽位。在标准的CPCIE 机箱中，本系统单板实现了PCI Express 系统扩展功能和高速光纤图像的动态交换，在保证高速系统带宽可用的情况下，提供了串行光纤图像的灵活接入。与以往的系统相比较，该系统外部接线少，系统带宽高，兼容性好。该板已投入工程使用。

在相关跟踪处理器的研制中,利用PCI主设备的直接内存存取(DMA)传输高速图像数据到内存,采用PCI从设备方式将板上的I/O映射为主机I/O,使系统的I/O性能达到16MB/s,满足相关跟踪处理器对I/O性能的要求.