激光与光电子学进展, 2018, 55 (4): 041005, 网络出版: 2018-09-11   

基于特征点的秦俑断裂面匹配方法 下载: 959次

Fracture Surface Matching Method for Terracotta Based on Feature Points
作者单位
1 咸阳师范学院教育科学学院, 陕西 咸阳 712000
2 西北大学信息科学与技术学院, 陕西 西安 710127
摘要
针对秦俑碎块存在缺损、匹配精度低、速度慢等问题,提出一种基于内部形态描述子(ISS)特征点的碎块断裂面匹配方法。对碎块进行外表面分割,并提取碎块的断裂面;提取断裂面上的ISS特征点,计算特征点的特征序列,并通过特征序列的匹配来实现断裂面的粗匹配;采用一种基于模拟退火的改进迭代最近点算法对断裂面的特征点集进行再次匹配,实现断裂面的细匹配,以达到碎块精确匹配的目的。对4组秦俑碎块进行匹配实验,结果表明,该方法比现有方法具有更高的匹配精度和速度,是一种有效的秦俑碎块匹配方法。
Abstract
Aim

ing at the defects of fragmentation, low matching precision, and slow speed for Terracotta blocks matching, we propose a fracture surface matching method based on intrinsic shape signature (ISS) feature points. Firstly, the outer surfaces of blocks are segmented, and the fracture surfaces are extracted. Secondly, the ISS feature points of fracture surfaces are extracted, the feature sequences of feature points are calculated, and the fracture surfaces are matched based on feature sequences. Finally, an improved iterative closest point algorithm based on simulated annealing is used to match the feature point sets again. Thus, the fine matching of fracture surfaces is completed, and the blocks are matched accurately. We match four groups of Terracotta blocks, and the results show that the proposed method is more accurate and faster than other methods and effective for Terracotta blocks matching.

1 引言

破碎三维刚体的自动拼接复原是计算机视觉中亟待解决的问题,其应用领域涉及文物复原、三维重建以及医学研究等多个方面[1-3]。举世瞩目的陶制文物秦俑在出土时大多已破碎,碎块数量大、结构和形状各异,采用人工方法进行拼接复原是一项周期长且难度大的工作。因此,通过三维扫描设备获取碎块的数字化模型,借助计算机技术辅助秦俑碎块的虚拟拼接成为一个研究热点。

目前,常用的三维刚体碎块的匹配方法主要是基于特征的匹配方法,如曲率[4]和法向[5]特征,它们具有旋转和平移不变性,但是离散曲率对噪声敏感,会带来一定的误差。对于陶器、壁画等薄壁类的文物碎块,轮廓线特征是常用的碎块匹配特征[6-7],但是对于轮廓线不明显的碎块,该特征并不适于匹配。对于具有一定厚度的碎块,如秦俑碎块,其断裂面的轮廓线和区域特征[8-10]均可用于碎块匹配,只要正确提取并匹配了碎块断裂面的轮廓线或特征区域,碎块就匹配好了。上述匹配方法大多要求碎块无缺损,并适当结合颜色或纹理信息以获取较为理想的匹配结果。然而,出土的秦俑大多破损严重,碎块断裂面普遍存在缺损现象,而且由于历史原因和化学反应,碎块的颜色和纹理信息大多已经丢失,因此,上述方法对秦俑碎块进行拼接大多无法取得理想的效果。

针对秦俑碎块存在的外表面颜色和纹理信息缺失、断裂面轮廓线不完整、断裂面部分缺损等问题,本文提出一种基于内部形态描述子(ISS)特征点的秦俑断裂面匹配方法。该方法可以克服基于轮廓线、特征区域等断裂面匹配方法的一些缺点。比如:基于轮廓线的匹配方法对断裂面轮廓线缺失明显的碎块匹配效果不佳,而本文方法不需要考虑断裂面的轮廓线特征,直接提取断裂面上的特征点即可;基于特征区域的断裂面匹配方法,虽然匹配精度较高,但是特征提取阶段非常耗时,不适用于大量碎块的自动匹配拼接,而本文方法的特征点提取算法较为简单,耗时较短,能快速实现大量碎块的匹配问题。

基于特征点的断裂面匹配方法的主要思想为,针对秦俑碎块的三维点云数据模型,将匹配过程分为粗匹配和细匹配两个步骤。在粗匹配阶段,首先提取碎块断裂面的ISS特征点,然后计算特征点的特征序列,并通过特征序列实现断裂面的初始匹配;在细匹配阶段,采用一种基于模拟退火的改进迭代最近点(ICP)算法实现断裂面上ISS特征点集的进一步匹配,从而达到碎块断裂面精确匹配的目的。

2 断裂面粗匹配

在对秦俑碎块断裂面进行粗匹配前,首先对碎块进行外表面分割、断裂面提取等操作[11-12],以获取碎块的断裂面。断裂面的粗匹配包括两个步骤,即提取断裂面的ISS特征点和匹配特征点。

2.1 特征点提取

断裂面特征点的提取采用ISS特征检测算法[13]实现。 设某一断裂面φ的点云模型为P,包含A个点,其上任意一点pi的坐标为(xi,yi,zi),i=0,1,…,A-1,则该断裂面的ISS特征点的提取步骤如下:

1) 对点云P上的任意一点pi,定义一个局部坐标系,并设定其搜索半径为ri

2) 寻找点pi在半径ri范围内的所有点pj,并计算其权值wij,计算式为

wij=1pi-pj,(1)

式中 pi-pj<ri

3) 计算点pi的协方差矩阵cov(pi),计算式为

cov(pi)=pi-pj<riωij(pi-pj)(pi-pj)T/pi-pj<riωij(2)

4) 计算协方差矩阵cov(pi)的特征值{ λi1, λi2, λi3},并将其从大到小排序。

5) 选取满足 λi2/λi1ε1, λi3/λi2ε2的点为ISS特征点,ε1ε2为预先设置的阈值。

2.2 特征点匹配

设点云P的协方差矩阵cov(pi)的最小特征值对应的特征向量为法向量ni。假设两个待匹配的断裂面为φ1φ2,其对应的点云模型分别为PQ,提取的其ISS特征点集分别为XY

对于X中的任一点xi,存在一个曲面z=f(x,y)逼近该点的邻域点云,因此点xi的曲率可以采用该点及其邻域点拟合的局部曲面的曲率来表征。点xi的平均曲率H和高斯曲率K分别为

H=EN-2FM+GL2(EG-F2),(3)K=LN-M2EG-F2,(4)

式中L=fxxn,N=fyyn,M=fxyn,E=fxfx,F=fxfy,G=fyfy,fxfyfxxfyyfxy分别为曲面z的偏微分。

将平均曲率H和高斯曲率K组成特征序列Fxi=(Ki,Hi),再通过特征序列寻找点xiY中的匹配点。搜索特征点集XY的匹配点的具体步骤如下:

1) 求解特征点集XY在每个特征点处的属性序列FxiFyj,i=1,2,…,m1,j=1,2,…,m2,m1m2分别表示特征点集XY中点的数目。

2) 对于特征点集X中的任意点xi对应的属性序列Fxi,计算Y中每个点的属性序列FyjFxi的Tonimoto系数Ti,计算式为

T=C·DC2+D2-C·D,(5)

式中CD分别表示特征点xiyj的属性向量。

3) 寻找Tonimoto系数Ti的最小值,若该值小于某一阈值ε,则提取对应的特征点对作为匹配点对,否则继续X中下一个特征点在Y中的匹配点的搜索,直到X的所有点都在Y上搜索过为止。

4) 提取XY中匹配的点对,并采用四元数法[14]计算点集XY的刚体变换(包括旋转矩阵和平移矢量),完成特征点集XY的匹配,进而实现点云PQ的配准,达到断裂面φ1φ2粗匹配的目的。

3 断裂面的细匹配

基于以上粗配准的结果,采用一种改进的ICP 算法实现碎块断裂面特征点集的细匹配,从而达到碎块精确匹配的目的。

3.1 ICP算法

对于以上提取的ISS特征点集XY,采用ICP算法[15]将其匹配的基本步骤如下:

1) 对于点集Y中的任意一点yj,j=1,2,…,z,从点集X中寻找其欧几里德最近点xi,得到相关点集NY(X)={xi|d(yj,xi)=argminxXd(yj,x)}。

2) 对于点集NY(X)和Y,采用主成分分析法(PCA)计算其旋转矩阵Rk和平移矢量tk,并应用变换(Rk,tk)更新点集Y,计算旋转矩阵R和平移矢量t,计算式为

Y=Rk·Y+tkR=Rk·Rt=Rk·t+tk(6)

重复执行步骤1)和2),直到满足终止条件为止。

虽然ICP算法是一种精度较高的点集匹配算法,但在数据量较大的情况下迭代速度很慢,而且没有考虑匹配中的尺度因素。鉴于此,提出一种基于尺度因子和模拟退火系数的改进ICP算法,以实现ISS特征点集的快速、精确细配准。

3.2 改进的ICP算法

3.2.1 求解刚体变换

特征点集XY的匹配问题,实际上就是寻求一个最佳变换F,使得∑‖X-F(y)‖2尽可能小的过程。当考虑刚体变换中含尺度因素时,点集匹配问题就转换成如下的优化问题:

minQ(s,R,t)=RTR=1det(R)=1x-(sRy+t)2,(7)

式中s是一个尺度因子。

为了简化算法,假设点集XY含相同数目的点B,于是(7)式可简化为

Q(s,R,t)=i=1Bxi-(sRyi+t)2(8)

求解(8)式关于t的偏导数,则有

Q(s,R,t)t=-2*i=1B(xi-sRyi-t)=0(9)

得到平移矢量t的值为

t=x--sRy-,(10)

式中 x-=1Bi=1Bxi, y-=1Bi=1Byi

(8) 式可进一步写为

Q(s,R,t)=i=1Bxi-(sRyi+t)2=i=1B(xi-x-)-sR(yi-y-)2=i=1Bx^i2+s2i=1BRy^i2-2si=1B(x^i,Ry^i)=i=1B(x^Tix^i)+s2i=1By^TiRTRy^i2-2si=1B(x^TiRy^i)(11)

采用矩阵的迹,目标函数(11)式可进一步写为

Q(s,R,t)=tr(X^TX^)+s2·tr(Y^TY^)-2s·tr(X^TY^RT),(12)

式中 x^i=xi-x-, y^i=yi-y-, X^=[ x^1, x^2,…, x^B], Y^=[ y^1, y^2,…, y^B], X^T= x^1Tx^2Tx^BTB×n, Y^T= y^1Ty^2Ty^BTB×n,n表示点集的维数。

c2=tr( X^TX^)+s2·tr( Y^TY^),c2与旋转矩阵R无关。根据迹的性质,(12)式中tr( X^TY^RT)的计算式为

tr(X^TY^RT)=tr(X^TY^)RTT=trR(X^TY^)T=tr(X^TY^)TR(13)

目标函数(12)式可进一步写为

Q(s,R,t)=-c1tr(X^TY^)TR+c2(14)

A= X^TY^,USVT=svd(A),那么最佳旋转矩阵R

R=UCVT,(15)

式中C=d[1,1,…,1,det(UVT)],det(UVT)表示UVT的行列式,svd(A)表示A的奇异值,USVT表示svd(A)的转置。

求解(12)式关于s的偏导数,并令其为0,得到

s=tr(X^TY^RT)tr(Y^TY^)(16)

3.2.2 ICP算法的改进

为了提高点云匹配的精度和速度,将模拟退火算法的思想加入到ICP算法中。定义子集的数目为一个温度参数α,每次迭代α都要进行一次加1操作。改进ICP算法就是基于温度参数α,在两个特征点集上寻找最近点并求解刚体变换的过程。

对于特征点集XY,采用改进ICP算法对其配准的具体步骤描述如下:1) 设置初值,令尺度因子s0=1,旋转矩阵R0=I,平移矢量t0=0,温度参数α=1;2) 采用ICP算法的相关性建立方法,建立子集XαYα的相关性;3) 利用(10)、(15)、(16)式求解刚体变换参数tRs;4) 将刚体变换参数tRs应用到特征点集Y上,实现点集XY的刚体变换;5) 重复步骤1)~4),直到模拟退火因子α的值等于最大值αmax或者达到最大迭代次数为止。

对粗匹配后的特征点集XY,采用以上的改进ICP算法进行再次匹配后,即可实现断裂面的细匹配,从而达到两个碎块最终精确匹配的目的。

4 实验结果与分析

采用西北大学可视化技术研究所提供的4组秦俑碎块完成匹配测试,如图1所示。所有碎块采用三维点云数据模型表示,而且碎块在断裂面上都存在一定程度的缺损。实验的软硬件环境为:采用MATLAB和C++编程,在CPU为Intel core i3 2.27 GHz、内存为2 GB的32位Windows 7操作系统上实现秦俑碎块匹配。采用基于特征点的碎块断裂面匹配方法实现秦俑碎块匹配的基本步骤为:1) 提取断裂面上的ISS特征点,实现碎块的粗匹配,结果如图2所示;2) 采用基于模拟退火的改进ICP算法完成碎块的细匹配,结果如图3所示。

图 1. 秦俑碎块。(a)第1组;(b)第2组;(c)第3组;(d)第4组

Fig. 1. Terracotta blocks. (a) Group 1; (b) group 2; (c) group 3; (d) group 4

下载图片 查看所有图片

图 2. 粗匹配结果。(a)第1组;(b)第2组;(c)第3组;(d)第4组

Fig. 2. Coarse matching results. (a) Group 1; (b) group 2; (c) group 3; (d) group 4

下载图片 查看所有图片

图 3. 细匹配结果。(a)第1组;(b)第2组;(c)第3组;(d)第4组

Fig. 3. Fine matching results. (a) Group 1; (b) group 2; (c) group 3; (d) group 4

下载图片 查看所有图片

图2图3的匹配结果来看,基于特征点的断裂面匹配方法可以在粗匹配阶段将碎块基本对齐,在细匹配阶段可以实现碎块的精确匹配,是一种有效的秦俑碎块匹配方法。

为了验证本文算法在匹配精度和速度方面的性能,对图1所示的4组秦俑碎块的断裂面,分别采用文献[ 16]、[17]和[18]的方法进行匹配。文献[ 16]提出了一种基于卷积神经网络的点集匹配方法,该方法是深度学习在点集匹配中的应用,是近几年的研究热点。采用该方法实现秦俑碎块断裂面的匹配时,首先需要计算断裂面上点云的深度图像,并提取深度图像对的特征差,再将特征差作为神经网络的输入来计算点集匹配参数。文献[ 17]通过提取断裂面的特征区域来实现碎块的匹配,该方法具有较高的匹配精度,能够实现秦俑碎块的精确匹配。在采用文献[ 17]方法对图1所示的秦俑碎块断裂面进行匹配时,细匹配阶段选取的旋转角偏差为Δθxθyθz=10°,动态迭代系数h=3。文献[ 18]提出了一种变尺度的文物碎块断裂面匹配方法,即点集匹配测度函数的尺度参数由大到小逐步变化,该方法具有较强的抗噪性,可以获得较高精度的断裂面粗匹配结果。上述方法及本文方法对4组秦俑碎块进行匹配的匹配误差(RMS)和耗时等参数如表1所示。

表 1. 碎块匹配方法的运行参数

Table 1. Operating parameters of blocks matching methods

BlockPoint number of fracture surfaceMatching methodRMS /mmTime comsuming /s
Group 13501, 3714Method in Ref. [16]0.02976.5
Method in Ref. [17]0.02385.9
Method in Ref. [18]0.02355.2
Proposed method0.02064.6
Group 23712, 3849Method in Ref. [16]0.02956.4
Method in Ref. [17]0.02375.7
Method in Ref. [18]0.02335.1
Proposed method0.02344.5
Group 33177, 3014Method in Ref. [16]0.03106.8
Method in Ref. [17]0.02416.1
Method in Ref. [18]0.02395.9
Proposed method0.02125.7
Group 42543, 2711Method in Ref. [16]0.03046.5
Method in Ref. [17]0.02455.8
Method in Ref. [18]0.02415.1
Proposed method0.02194.6

查看所有表

表1的匹配结果来看,本文方法的匹配精度最高、耗时最短。与文献[ 16]方法相比,匹配精度提高了约20%,耗时降低了约10%;与文献[ 17]方法相比,匹配精度提高了约10%,耗时降低了约30%;与文献[ 18]方法相比,匹配精度提高了约10%,耗时降低了约10%。这是由于:1) 文献[ 16]方法在匹配过程中需要不断地进行迭代,因此耗时较长,而且该方法没有经过初始粗匹配,因此匹配精度不够高;2) 文献[ 17]方法虽然比文献[ 16]具有更高的匹配精度,但是在显著性区域提取阶段的耗时较长,因此匹配速度不够快;3) 文献[ 18]方法的匹配误差跟文献[ 17]方法差不多,该方法同样采用了由粗到细的匹配策略,但是它直接对断裂面的点集进行匹配,无需提取特征,因此耗时较短;4) 本文方法对ISS特征点的提取过程比较简单,匹配过程也较特征区域快,而且匹配中采用了由粗到细的策略,因此具有较高的匹配速度和精度。由此可见,所提出的基于特征点的碎块断裂面匹配算法是一种高精度、快速的秦俑碎块匹配方法。

5 结论

秦俑复原是计算机视觉中一个亟待解决的问题,对我国的考古事业有着重要的参考价值。针对厚度不可忽略的秦俑碎块,提出一种基于ISS特征点的碎块断裂面匹配方法。在粗匹配阶段,通过秦俑碎块断裂面上的ISS特征点的匹配来实现碎块的粗匹配;在细匹配阶段,采用一种基于模拟退火的改进ICP算法实现秦俑碎块的精确匹配。该方法对于存在碎块外表面的颜色和纹理信息缺失、碎块断裂面的轮廓线不完整以及断裂面存在部分缺损等情况,均能取得较为理想的匹配效果。在今后的研究中,应进一步综合考虑风化、二次断裂、受潮和变形等多种因素对秦俑碎块匹配的影响,提出更加高效、精确的碎块匹配方法,以实现秦俑自动虚拟复原。

参考文献

[1] 黄源, 达飞鹏, 陶海跻. 一种基于特征提取的点云自动配准算法[J]. 中国激光, 2015, 42(3): 0308002.

    Huang Y, Da F P, Tao H J. An automatic registration algorithm for point cloud based on feature extraction[J]. Chinese Journal of Lasers, 2015, 42(3): 0308002.

[2] 赵夫群, 周明全. 颅骨点云模型的优化配准[J]. 光学精密工程, 2017, 25(7): 1927-1933.

    Zhao F Q, Zhou M Q. Optimization registration of point cloud model of skull[J]. Optics and Precision Engineering, 2017, 25(7): 1927-1933.

[3] Crookshank M, Beek M, Singh D, et al. Can a semi-automated surface matching and principal axis-based algorithm accurately quantify femoral shaft fracture alignment in six degrees of freedom?[J]. Medical Engineering & Physics, 2013, 35(7): 1028-1036.

[4] 曾繁轩, 李亮, 刁鑫鹏. 基于曲率特征的迭代最近点算法配准研究[J]. 激光与光电子学进展, 2017, 54(1): 011003.

    Zeng F X, Li L, Diao X P. Iterative closest point algorithm registration based on curvature features[J]. Laser & Optoelectronics Progress, 2017, 54(1): 011003.

[5] Miu YW, Xiao CX, Zhou MH. The estimation of principal curvatures and normal in the surface sampling point[C]. The Second National Conference on geometric design and Computing, 2005: 175- 179.

[6] 苏丽, 吴俊杰, 庞迪. 基于改进主动轮廓模型的全景海天线检测[J]. 光学学报, 2016, 36(11): 1115003.

    Su L, Wu J J, Pang D. Panoramic sea-sky-line detection based on improved active contour model[J]. Acta Optica Sinica, 2016, 36(11): 1115003.

[7] ShinH, DoumasC, FunkhouserT, et al. Analyzing fracture patterns in Theran wall paintings[C]. The 11th International Conference on Virtual Reality, Archaeology and Cultural Heritage, 2010: 71- 78.

[8] 王洋, 张琴. 利用傅里叶变换边缘曲线法进行W型轮廓的快速匹配[J]. 计算机科学, 2016, 43(6A): 116-117,138.

    Wang Y, Zhang Q. Using contour edge curve's Fourier transformation method to faster match W-shaped pattern[J]. Computer Science, 2016, 43(6A): 116-117, 138.

[9] 李群辉, 张俊祖, 耿国华, 等. 以轮廓曲线为特征的断裂面匹配[J]. 西安交通大学学报, 2016, 50(9): 105-110.

    Li Q H, Zhang J Z, Geng G H, et al. Fracture surfaces matching based on contour curve[J]. Journal of Xi'an Jiaotong University, 2016, 50(9): 105-110.

[10] Pottmann H, Wallner J, Huang Q X, et al. Integral invariants for robust geometry processing[J]. Computer Aided Geometric Design, 2009, 26(1): 37-60.

[11] LiJ, GengG, LiuL. Virtual merging of fractured fragments based on constraint cluster[C]. Fifth International Conference on Computing, Communications and Networking Technologies (ICCCNT), 2014: 1- 4.

[12] LiQ, ZhouM, GengG. Fractured surfaces matching for reassembling broken solids[C]. Fifth International Symposium on Computational Intelligence and Design, 2012: 511- 514.

[13] 李仁忠, 杨曼, 田瑜, 等. 基于ISS特征点结合改进ICP的点云配准算法[J]. 激光与光电子学进展, 2017, 54(11): 111503.

    Li R Z, Yang M, Tian Y, et al. A point cloud registration method based on the ISS feature point combined with improved ICP algorithm[J]. Laser & Optoelectronics Progress, 2017, 54(11): 111503.

[14] 徐海洋, 孔军, 蒋敏. 基于四元数3D骨骼表示的人体行为识别[J]. 激光与光电子学进展, 2018, 55(2): 021002.

    Xu H Y, Kong J, Jiang M. Human action recognition by representing 3D skeleton as points based on quaternion[J]. Laser & Optoelectronics Progress, 2018, 55(2): 021002.

[15] Besl P J. McKay N D. A method for registration of 3D shapes[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 1992, 14(2): 239-256.

[16] 舒程珣, 何云涛, 孙庆科. 基于卷积神经网络的点云配准方法[J]. 激光与光电子学进展, 2017, 54(3): 031001.

    Shu C X, He Y T, Sun Q K. Point cloud registration based on convolutional neural network[J]. Laser & Optoelectronics Progress, 2017, 54(3): 031001.

[17] 赵夫群, 周明全, 耿国华. 刚体碎块的断裂面匹配[J]. 中国图象图形学报, 2017, 22(1): 86-95.

    Zhao F Q, Zhou M Q, Geng G H. Fracture surface matching method of rigid blocks[J]. Journal of Image and Graphics, 2017, 22(1): 86-95.

[18] 赵夫群, 周明全. 文物点云模型的优化配准算法[J]. 计算机应用研究, 2017, 34(12): 3885-3888.

    Zhao F Q, Zhou M Q. Optimal registration algorithm for point cloud model of cultural relics[J]. Application Research of Computers, 2017, 34(12): 3885-3888.

赵夫群, 耿国华. 基于特征点的秦俑断裂面匹配方法[J]. 激光与光电子学进展, 2018, 55(4): 041005. Fuqun Zhao, Guohua Geng. Fracture Surface Matching Method for Terracotta Based on Feature Points[J]. Laser & Optoelectronics Progress, 2018, 55(4): 041005.

本文已被 3 篇论文引用
被引统计数据来源于中国光学期刊网
引用该论文: TXT   |   EndNote

相关论文

加载中...

关于本站 Cookie 的使用提示

中国光学期刊网使用基于 cookie 的技术来更好地为您提供各项服务,点击此处了解我们的隐私策略。 如您需继续使用本网站,请您授权我们使用本地 cookie 来保存部分信息。
全站搜索
您最值得信赖的光电行业旗舰网络服务平台!