针对遥感影像半全局立体匹配(SGM)对噪声敏感及在视差不连续和弱纹理区域产生条纹导致匹配率低的问题,提出一种结合加速鲁棒特征(SURF)的遥感影像SGM算法。首先,用SURF计算遥感影像的特征匹配点和特征点主方向,并用快速最近邻搜索算法剔除错误的匹配点;然后,用Census变换计算两幅遥感影像的匹配代价,用特征点主方向来调整SGM算法在不同聚合路径方向上的路径权重;最后,用改进的加权联合双边滤波(WJBF)方法进行视差精化,以去除视差图中的噪声和条纹。在WorldView、IKONOS、高景一号遥感影像数据集上进行实验,结果表明,所提算法无论在主观视觉还是客观评价指标上都优于对比算法,有效解决了弱纹理和视差不连续区域中的条纹和噪声,提高了立体匹配精度。

基于PatchMatch(同时估计像素点的视差和法向量的3D标签)的方案已经在立体匹配中取得高精度的亚像素视差,但该类方法无法有效解决图像无纹理区域的错误匹配。针对这一问题,对LocalExp(local expansion move)算法进行了改进,并提出一种融合多维信息的自适应像素类别优化的立体匹配算法。该方法设计了一种交叉窗口,在窗口内基于颜色与颜色的自相关信息构建相关权重,并利用约束函数剔除匹配代价中的离群值;在PatchMatch的标签初始化阶段增加约束机制,改进视差标签的建议生成机制,并利用基于局部扩张运动的优化方法求解标签值;利用基于像素类别的填充策略进行视差优化。实验结果表明所提算法能够在Middlebury数据集上取得较低的匹配误差。

针对基于树结构的代价聚合方法中只利用颜色信息选择权值支持区域时,在图像边界区域易产生误匹配的问题,提出了一种基于水平树结构的可变权重代价聚合立体匹配算法。采用水平树代价聚合得到初始视差值,结合初始视差值与颜色信息重构水平树,在更新后的树结构上进行代价聚合,得到最终视差图。在视差后处理阶段,提出了一种改进的非局部视差后处理算法,将不满足左右一致性匹配的像素点引入匹配代价量构造中,提高了最终视差图的匹配精度。在Middlebury数据集的31对图像上进行测试,结果表明,未进行视差后处理时所提算法在未遮挡区域的平均误匹配率为6.96%,代价聚合平均耗时1.52 s。

为改善传统立体匹配视差图中目标边缘的毛刺现象,以及弱纹理和视差不连续区域的“阶梯效应”等,提出了一种结合局部二进制表示和超像素分割的立体匹配方法。首先融合二进制表示的窗口内像素的空间和颜色特征进行代价计算,并以此求得初始视差;然后将简单线性迭代聚类方法分割的结果作为像素的空间和颜色标记,为超像素内的目标边缘和其他像素点选择恰当的稳定点进行视差传播,以达到视差优化时边缘保持和空间平滑的目的。在Middlebury数据集上分别进行代价计算与优化方法的对比实验,结果表明,采用该算法获取的目标边缘的视差更为平滑,在左右视图中的遮挡区和不重叠区域获得的视差也比较准确,有效地降低了非遮挡区、全图、不连续区域的误匹配率。

对基于双目立体视觉的一种三维重建系统进行了改进和扩展。将视差细化处理环节引入现有系统，使原视差及相邻视差的匹配代价拟合为一条二次曲线，并为该曲线重新寻找更加精确的视差。进一步将运动恢复计算环节引入系统，通过估计当前视角的摄像机运动矩阵和以跟踪点和摄像机运动矩阵为参数构造能量函数，对能量函数进行优化来有效缩小误差，恢复出准确的运动矩阵。实验结果表明：新增的视差细化处理环节有效提升了重建点云的精度，使细化前后三维重建结果误差平均减少了16.3%，避免了片状点云现象；新增的运动恢复优化环节，能够精确地恢复摄像机的运动矩阵，优化后三维重建结果平均重投影误差减少了95.5%；重构后不同视角的点云之间不再孤立，重建模型整体拼接自然。