1 引言

某些特定室内场景空间狭小,难以固定放置专业图像采集设备,且存在采集设备移动困难、相机需要预先标定等缺点,但特定室内场景的三维重建却具有重要意义,如博物馆文物的三维数字化^[1]、室内三维场景的在线展示^[2]。通过手机采集图像序列并以5G网络或WiFi的形式发送给上位机处理是一种新型三维重建方案,具有成本低、拍摄灵活和重建周期短等特点,目前有基于光流、基于机器学习和基于特征检测的三维重建算法。其中,基于特征检测的重建算法应用最广泛,但对弱纹理物体表面的重建精度不高^[3]。

人们对三维重建图像中的弱纹理问题进行了大量研究,张一飞等^[4]针对立体匹配中弱纹理区域匹配不准确的问题,提出了一种融合图像分割的匹配算法。徐雪松等^[5]提出了一种利用卷积神经网络(CNN)解决弱纹理或高光区域的立体匹配算法。刘一凡等^[6]提出了一种基于迭代最近点(ICP)与运动恢复结构(SFM)的双目立体视觉三维重建算法,最大限度地克服了两种算法的不足。林义闽等^[7]针对机器人视觉自主导航和避障在弱纹理场景中的问题,提出了基于激光投点器的解决方案。逄晖^[8]提出了一种基于Harris角点检测的弱纹理三维图像检测算法,可提高图像处理的质量。陈加等^[9]详细介绍了深度学习在单张图像物体三维重建中的应用及传统方法的研究现状。王芳等^[10]提出了一种能在缺帧环境下使用的弱纹理图像三维重建算法,可提升算法的图像纹理识别和修复重建能力。

针对传统三维重建算法在室内场景中对拍摄设备要求高、对弱纹理物体三维重建效率低且工作量大和重建时间长的问题,本文提出了一种基于特征提取与CNN的室内场景三维重建算法。将特定室内小场景作为研究对象,通过手机在不同角度拍摄60张图像,实现对室内场景物体的三维重建。

2 特征匹配算法

2.1 图像预处理

由于图像特征匹配算法无法在彩色图像上进行匹配,因此,需对彩色图像进行灰度化处理。室内场景中物体的颜色信息比较丰富,灰度化必然会损失部分彩色信息,如直接灰度化算法会损失一部分图像原有的彩色信息,直方图均衡化算法通过改变图像灰度分布使图像灰度级分布更均匀,从而增强图像的细节信息,但会改变图像亮度。为了更好地保留图像的彩色信息,采用一种融合光照和彩色信息的灰度图像补偿算法对图像进行灰度化^[11]。

2.2 改进的Harris-尺度不变特征变换匹配算法

Harris-尺度不变特征变换(SIFT)算法^[12]的实时性较好,但准确率一般。为了提高算法的准确率,首先用熵值法对提取的特征角点进行提纯;然后将欧氏距离改为马氏距离,用随机抽取一致性算法替换筛选环节的阈值法;最后通过实验验证了本算法在室内场景下的图像匹配准确率。

1) 特征角点提取

首先用Harris算法从预处理的灰度图像中提取特征角点,可表示为

M(x,y)=DetH(x,y)-k·TrH(x,y)2,(1)

式中,(x,y)为像素点坐标,M(x,y)为角点响应函数,H为Hessian矩阵,Tr(H)为矩阵H的迹,Det(H)为矩阵H的行列式值,k为常量,实验取k=0.04,角点响应函数的局部极大值点即为角点。一般来说,图像的熵与图像包含的信息大小成正比例关系。因此,用熵值法^[13]对原Harris-SIFT算法提取出的特征角点进行提纯,即删除熵值小的特征角点,从而提高算法的匹配准确率,同时减少匹配所用的时间,提高算法的实时性。

2) 生成SIFT特征描述子

Harris算法能获得特征角点的位置信息,精确定位所有的特征角点。但SIFT算法对图像进行匹配时,还需获得特征角点的方向信息。求取特征角点的方向信息时,首先要计算出图像像素点的所有梯度方向和模值,可表示为

m(x,y)=L(x+1,y)-L(x,y-1)2+L(x,y+1)-L(x,y-1)212,(2)θ(x,y)=arctanL(x,y+1)-L(x,y-1)/L(x+1,y)-L(x-1,y),(3)

式中,m(x,y)为(x,y)处梯度的模值,θ(x,y)为(x,y)处梯度的方向,L(x,y)为所有尺度的关键点。根据3σ(σ 为尺度空间因子)采样原则,梯度模值用1.5σ的高斯分布加权,将邻域窗口半径设置为3×1.5σ,并通过梯度直方图统计邻域范围内角点的梯度和方向,从而生成所需的128维特征描述子。

3) 特征匹配

用马氏距离替代原始Harris-SIFT算法的欧氏距离,以判定两个特征向量之间的相似性。马氏距离是一种数据的协方差距离,可计算两个未知样本集的相似度,相比欧氏距离,考虑了不同特性之间的联系,且与尺度无关,即独立于测量尺度。两个向量之间的马氏距离可表示为

DXY=(X-Y)TS-1(X-Y),(4)S=EX-E(X)Y-E(Y),(5)

式中,X、Y为两组向量,S为两组向量的协方差矩阵,S^-1为协方差逆矩阵,E为均值。可以发现,相比欧氏距离,马氏距离多了一个协方差逆矩阵,能更准确地衡量距离关系,当协方差矩阵为单位矩阵时则演化为欧氏距离。虽然增加了运算量,但马氏距离排除了量纲的影响,具有尺度无关性;同时也排除了特征向量之间相关性的干扰,匹配精度更高,整体效果优于欧氏距离。为进一步提高算法的匹配准确率,需剔除错误的匹配,因此,将阈值法改进为随机抽样一致性(RANSAC)^[14]算法,可在含有很多外部点的数据中精确估计模型参数。

2.3 室内小场景匹配实验

实验环境:系统为Windows10,软件为Matlab2018b,三维模型通过Meshlab2016展示。实验在同一台PC机下进行,PC机的配置:处理器为英特尔i7-6700HQ,主频为2.6 GHz,内存为8 G,硬盘为500 G固态硬盘,显卡为英伟达GTX960M型号的4G独立显卡。拍摄设备为iPhone6手机,随机从室内场景拍摄的60张图像中选取2张图像进行匹配实验,待匹配图像如图1所示。

图 1. 手机拍摄的待匹配图像

Fig. 1. Image to be matched taken by mobile phone

下载图片 查看所有图片

匹配准确率P可表示为

P=1-NFNT,(6)

式中,N_F为错误匹配点对,N_T为所有的匹配点对。表1为用图像灰度化补偿算法处理后4种匹配算法的实验数据,4种匹配算法的实验结果如图2所示。可以发现,相比其他算法,本算法的性能指标更优。

图 2. 不同算法的匹配结果。(a) Harris算法;(b) SIFT算法;(c) Harris-SIFT算法;(d)本算法

Fig. 2. Matching results of different algorithms. (a) Harris algorithm; (b) SIFT algorithm; (c) Harris-SIFT algorithm; (d) our algorithm

下载图片 查看所有图片

原因是本算法用熵值法筛选Harris-SIFT算法提取的特征角点,减少了后续匹配环节的工作量,并用马氏距离代替欧氏距离。相比原始Harris-SIFT算法,匹配准确率提升了1.25个百分点,所用时间减少了8.38%。

3 室内特定小场景物体的三维重建

3.1 稀疏点云重建

将手机拍摄的60张图像序列用SFM算法对特定场景进行三维重建。首先,用本算法匹配,将包含最多匹配点的图像作为初始图像对,通过计算获得相机的运动信息和场景中物体的结构信息。其次,用三角测量法得到场景的初始稀疏点云,并不断增加新的图像进行迭代。最后,用光束平差(BA)法优化参数,获得稀疏的空间三维点云模型。

3.2 主动选择式图像匹配策略

由于SFM算法需要对所有图像进行两两匹配,实时性较差,为了提高图像的匹配效率,提出了一种用于室内场景的主动选择式图像匹配策略。SFM算法选择初始的2张匹配图像时,会选择匹配特征最多的图像,即拍摄图像位置越近,获得的特征越多。假设拍摄了n张图像,则匹配时选取一定数量的图像,获得足够数量的匹配点进行三维重建,选取的最邻近图像数量为

p=nl,(7)

式中,l为正整数。不同l时的实验结果如图3所示,具体参数如表2所示。可以发现,l越大,匹配次数越少,所用时间也越少。当l=2时,重建后的点云数量没有明显下降;当l=3时,虽然消耗的时间更少,但点云数量有明显下降,稀疏点云的恢复并不理想。因此最终选取l=2,即SFM算法的匹配环节中每张图像使用最邻近的30张图像进行匹配。

图 3. 不同l时的实验图像。(a) l=3;(b) l=2;(c) l=1

Fig. 3. Experimental images at different l. (a) l=3; (b) l=2; (c) l=1

下载图片 查看所有图片

3.3 稠密点云重建

稠密重建(MVS)是一种将SFM稀疏点云稠密化的算法,利用SFM算法输出估计图像序列中像素点的深度值,然后融合深度图获得稠密三维点云。MVS算法将传统立体匹配的两视图扩展到多视图,但对于弱纹理物体表面的三维重建,深度估计误差较大,原因是表面的灰度信息有限。因此,利用基于残差网络(ResNet-50)的全卷积神经网络算法预测图像,通过MVS算法设定阈值,将预测的深度融合到MVS深度图中,解决了弱纹理目标深度图误差较大的问题。

为保证模型收敛,用文献[ 15]提出的全卷积神经网络,即ResNet50深度网络模型预测图像深度。ResNet50在构建深层网络时减弱了退化现象,因此在反卷积层输出后增加了修正线性单元(ReLU),可表示为

XReLU(a)=a,a>00,a≤0。(8)

图4为用于预测深度的全卷积网络结构,为了保证系统的实时性,去掉ResNet50中的平均池化层和全连接层,仅保留卷积层,以提取图像中包含的特征信息,最终获得尺寸为7×7,2048通道的特征图。

图 4. ResNet50的结构

Fig. 4. Structure of the ResNet50

下载图片 查看所有图片

用3种常见的预测评价指标验证全卷积神经网络模型预测深度的有效性,包括均方根误差(X_RMSE)、平均相对误差(Y_REL)和平均log₁₀误差( Zlog10),可表示为

XRMSE=∑i=1N(yi-di)2N,(9)YREL=∑i=1Nyi-diyiN,(10)Zlog10=∑i=1Nlog10yi-log10diN,(11)

式中,y_i为第i个像素点的真实深度,d_i为第i个像素点深度的预测值,N为物体像素点总数。表3为本算法与MVS算法的误差,可以发现,相比MVS算法,本算法在包含弱纹理物体的三维场景重建中,3种误差评价指标均更小。

4 实验结果与分析

实验共获得60张不同角度的图像,部分图像如图5所示,通过60张图像获得的稀疏点云如图6所示。

图 5. 部分实验图像

Fig. 5. Some experimental images

下载图片 查看所有图片

图 6. 稀疏三维点云。(a) SFM算法;(b)改进的SFM算法

Fig. 6. Sparse three-dimensional point cloud. (a) SFM algorithm; (b) improved SFM algorithm

下载图片 查看所有图片

通过SFM算法获得稀疏点云和图像的三维空间位置后,用CNN融合MVS算法,以减少弱纹理物体表征效果差的问题,使场景的点云更稠密,重建效果如图7所示,用泊松表面重建算法得到的重建图像如图8所示。

图 7. 物体的稠密点云。(a) MVS算法;(b)本算法

Fig. 7. Dense point cloud of the object. (a) MVS algorithm; (b) our algorithm

下载图片 查看所有图片

图 8. 泊松表面的三维重建结果。(a)原始算法;(b)改进的算法

Fig. 8. Three-dimensional reconstruction results of the Poisson surface. (a) Original algorithm; (b) improved algorithm

下载图片 查看所有图片

本算法由于提取了更多的稠密点云,泊松表面重建算法最终恢复的场景细节效果更优。2种算法的运行时间、面片数量和结构相似度(SSIM)如表4所示。可以发现,相比原始算法,本算法所用的时间减少了21.07%,获得的点云数量增加了14.66%,场景SSIM提升了52.83%。

5 结论

针对特定室内小场景提出了一种无标定三维重建算法,首先,用手机采集图像序列,解决了拍摄空间受限的问题。然后,通过改进匹配算法和匹配策略,提升了SFM算法的实时性。其次,用全卷积神经网络结构以及多层卷积结构进行特征学习,获得与输入图像尺寸相同的深度图,通过设定阈值将其融入MVS深度图中,解决了弱纹理物体表面的重建难题。最后,用泊松表面重建算法对室内三维场景进行重建。实验结果表明,本算法在特定室内场景下无需标定,且只需使用手机采集图像,对图像序列的数目也没有严格要求,可解决室内小场景下弱纹理物体重建效果不佳的问题。