引入辅助任务信息有助于立体匹配模型理解相关知识,但也会增加模型训练的复杂度。为解决模型训练对额外标签数据的依赖问题,提出了一种利用双目图像的自相关性进行多任务学习的立体匹配算法。该算法在多层级渐进细化过程中引入了边缘和特征一致性信息,并采用循环迭代的方式更新视差图。根据双目图像中视差的局部平滑性和左右特征一致性构建了损失函数,在不依赖额外标签数据的情况下就可以引导模型学习边缘和特征一致性信息。提出了一种尺度注意的空间金字塔池化,使模型能够根据局部图像特征来确定不同区域中不同尺度特征的重要性。实验结果表明:辅助任务的引入提高了视差图精度,为视差图的可信区域提供了重要依据,在无监督学习中可用于确定单视角可见区域;在KITTI2015测试集上,所提算法的精度和运行效率均具有一定的竞争力。

基于卷积神经网络的立体匹配算法在精度上取得了较大的提高,但大多数算法仍然无法满足实时性要求。提出一种渐进细化的实时立体匹配算法,在低分辨率层级中初始化视差图,再渐进地恢复视差图的空间分辨率。该算法采用轻量的骨干网络提取多尺度特征,在保证算法实时性的同时,对特征进行反向融合,提高了特征的稳健性。提出一种多分支融合模块对视差图进行渐进细化,对不同区域的多种模式进行自动聚类,再分别预测视差图残差,根据聚类权重融合最终结果,使模型能够更好地处理具有不同特点的区域。在KITTI测试集上,所提算法的运行速度达到20 frame/s,与运行效率相当的DispNetC算法相比,错误率降低了约30%。

对于基于深度学习的立体匹配而言,模型的网络结构对算法精度的影响很大,而算法运行效率也是实际应用中需要考虑的重要因素。提出一种在视差维度上使用稀疏损失体进行立体匹配的方法。采用宽步长平移右视角特征图构建稀疏的三维损失体,使三维卷积模块所需的显存和计算资源均降低数倍。采用多类别输出的方式对匹配损失在视差维度上进行非线性上采样,并结合两种损失函数训练模型,在保证运行效率的同时提高算法精度。在KITTI测试集上,与基准算法相比,所提算法不仅提高了精度,而且运行时间缩短了约40%。

遥感场景类别的语义词向量与图像特征原型的距离结构不一致问题,严重影响遥感场景零样本分类效果。针对该问题,利用不同词向量间一致性,提出一种基于解析字典学习的语义词向量融合方法,以提升遥感场景零样本分类效果。首先,采用解析字典学习方法,提取场景类别的不同词向量的公共稀疏系数,并作为融合后的语义词向量;然后,同样采用解析字典学习方法,将场景类别的图像特征原型嵌入到融合后的词向量空间,与融合后的词向量进行结构对齐,降低距离结构的不一致性;最后,通过联合优化获得未知类的图像特征空间类别原型表示,并采用最近邻分类器完成未知类别遥感场景的分类。在3种遥感场景数据集和多种语义词向量上进行定量和定性实验。实验结果表明,通过词向量融合可以获得与图像特征原型结构更一致的语义词向量,从而显著提升遥感场景零样本分类的准确度。

目标域遥感图像特征分布的变化,导致遥感场景零样本分类性能下降,针对该问题,提出一种基于局部保持的遥感场景零样本分类算法。首先,为减少冗余信息,采用解析字典学习方法,将源域中的场景图像特征和类别语义词向量嵌入到同一稀疏编码空间,并实现两者稀疏系数的强制对齐,以建立图像特征与词向量之间的关系;然后,通过保留图像特征空间中场景图像间的局部近邻关系,增强场景图像对应稀疏系数的鉴别性,以有助于对稀疏系数进行聚类分析;最后,为适应目标域图像特征分布变化,采用k-means算法对目标域场景图像的稀疏系数进行聚类,并以初始中心的类别标签作为对应的聚类簇中场景的类别标签。实验分别采用GoogLeNet和VGGNet图像特征,以数据集UCM作为源域遥感场景集,对目标域场景集RSSCN7进行零样本分类,获得了最高50.67%和53.29%的总体分类准确度,比现有算法各提升了8.06%和9.70%。实验结果表明:该算法能够适应目标域遥感场景图像特征分布的变化,显著提升遥感场景零样本分类效果,具有一定的优越性。

利用不同图像特征之间的互补性,可提升遥感场景零样本分类性能。将图像特征的融合与零样本分类结合,提出一种基于图像特征融合的遥感场景零样本分类算法。采用解析字典学习方法,计算各图像特征的稀疏系数,并串接起来作为融合后图像特征,以减少冗余信息且保留各图像特征自身特点;引入监督信息,提高融合特征的鉴别性;将融合特征与场景类别词向量进行结构对齐,提升对新类别场景的迁移识别效果。在UC-Merced和航拍图像数据集两种遥感场景集上,对相同层次及不同层次的场景图像特征分别进行融合实验。实验结果表明:对于总体分类准确度和运算耗时,所提算法均优于其他零样本分类算法及通用的特征融合算法,证明了方法的有效性。

提出了一种基于共同视域的自监督立体匹配算法,该算法根据视差的左右一致性来确定双目图像的共同可视区域,从而抑制被遮挡区域产生的噪声,为网络模型的学习提供了更加准确的反馈信号。研究结果表明:在没有任何标签数据的前提下,所提算法的预测误差降低了11%~42%,且与有监督立体匹配算法的性能相当。

针对传统飞机目标检测算法和现有机器学习检测算法存在的问题,提出了遥感影像中的一种有效飞机检测概念;在认知模型下使用基于深度学习的全卷积检测和分割网络,设计了一种有效飞机目标检测系统并对其进行了仿真;构建了一种检测认知模型,并设计了各模块的功能。实验结果证明了该系统的有效性,该系统为开展目标智能检测提供了一种全新的思路和方法。

设计了一个浅层卷积神经网络来代替预训练模型中的全连接层, 将预训练网络提取的CNN特征作为图像输入设计好的浅层CNN网络, 对比微调预训练模型的方法, 能够更好地适应航拍图像定位任务。为进一步提高航拍图像的定位准确率, 利用无人机航拍图像时间连续的特点, 通过在CNN的分类阶段加入Bi-LSTM网络, 使网络在分类时能够以多张图像特征作为判断依据。实验表明, 时序图像定位方法定位准确率稳定在0. 89左右, 对比单张图像定位方法准确率提升5%左右。

提出了一种基于稀疏体素有向无环图(SVDAG)的光照计算加速结构。通过自下而上地合并相同节点,将稀疏体素八叉树转化为SVDAG;同时,利用给定节点的遍历路径和子掩码,消除了空间位置的多义性。针对闭合几何体,基于双层深度图算法可自适应合并位于闭合区域的节点,在保证光照计算性能的前提下,进一步减小了存储开销。提出了一种基于时域相关性的SVDAG帧间复用方法,利用动态场景的全部帧构成SVDAG加速结构整体,提高了更新速度。实验结果表明,新算法提高了三维场景的绘制效率,在面对高分辨率的动态场景时,仍能获得较高的帧速率。