基于相移条纹分析的相位误差补偿技术发展综述(特邀)创刊六十周年特邀
1 引言
随着生产生活的不断发展,高效、高精度获取场景三维数据的需求日益增长。光学三维传感技术作为主流的三维传感技术之一,利用光线的反射、折射或时间延迟等性质来捕捉物体的三维信息,因具有非接触的优点,广泛应用在各个领域,包括智能制造、医疗影像、文物保护、虚拟现实等。
基于条纹投影的结构光三维测量技术,也称为条纹投影轮廓术(FPP)[1-4],由于具有高效、高精度和低成本等特点,一直以来是学术研究和工业应用的热点。一个典型的FPP系统包含投影装置、成像装置及计算单元。投影装置将编码设计过的一幅或多幅条纹图案投影到待测物体的表面,成像装置拍摄经物体表面反射的变形条纹,利用计算单元对变形条纹进行解码,最终得到物体的三维形貌信息。FPP三维重建过程可以大致分为4个步骤:条纹投影和获取、相位计算、相位展开、系统标定。根据相位计算方式的不同,可以将FPP分为相移测量轮廓术(PSP)[5-6]、傅里叶变换轮廓术(FTP)[7]及其他方法。传统的FTP通过向待测物体投影1幅高频条纹,保证受物体信息调制的变形条纹频谱不发生混叠,然后通过滤波操作滤出基频并提取对应相位信息用于重建三维形貌。PSP通过投影多幅条纹(通常至少3幅)对物体信息进行调制,在时域上进行点对点计算实现相位的提取。与FTP相比,PSP无须进行滤波操作,计算简单,对环境光变化和复杂表面三维重建具有更强的鲁棒性,同时其由于点对点的计算方式能更好地处理表面反射率不均的情况。因此,基于PSP的方法越来越多地应用到高精度的三维形貌测量中。
在实际测量场景下,PSP计算的相位会受强度、非线性响应、二值离焦、相移不准、条纹过曝及光照不稳等因素影响引入误差。例如:投影仪的伽马效应会导致计算得到的相位受非线性效应影响;二值离焦技术在提升投影速度的同时也会导致高次谐波的产生和有效测量深度的减小;在测量非朗伯表面时,高反射率区域反射的高光使相机对应像素的信息丢失,难以高精度地三维重建。本文围绕基于PSP的相位误差补偿技术,介绍了PSP的基本原理以及各类相移误差的数学模型;针对各个类型误差,回顾介绍了进行误差避免或补偿的现有方法基本原理、技术路线及研究进展;最后基于笔者自身的研究和思考,给出了该领域所面临的一些问题以及相应看法。
2 相移法基本原理及相位误差
2.1 相移法基本原理
对于传统的N步相移条纹,其在投影端的相移条纹图案可以表示为
式中:(x,y)表示图像坐标系;A和B分别表示条纹的背景光强和调制度;f为条纹频率;δn为理想情况下的相移量;n表示对应相移条纹的序号;N为相移总步数。
如
式中:ϕ反映了物体的相位信息,需要对其进行解调重建最终的三维形貌。根据最小二乘法可以得到相位ϕ,公式为
由于反正切函数计算的值域分布性质,得到的相位ϕ会截断在(-π,π]之间,因此需要对其进行相位展开。运用合适的相位展开算法,可以得到截断相位ϕ对应的展开相位Φ,表达式为
式中:k表示条纹级次。最后利用已标定的系统参数可完成由相位到三维坐标的映射,完成三维重建。
图 1. 基于相移条纹分析的三维成像技术原理
Fig. 1. Schematic of 3D imaging technique based on phase-shift fringe analysis
根据
图 2. 3步相移下受不同噪声源影响的相移条纹及其相位误差。(a)强度噪声;(b)非线性效应;(c)二值离焦;(d)过曝;(e)相移不准;(f)光照不稳
Fig. 2. Phase-shifting fringes and their phase errors affected by different noise sources using 3-step PSP. (a) Intensity noise; (b) nonlinearity effect; (c) binary defocus; (d) overexposure; (e) phase shifting error; (f) illumination fluctuation
2.2 强度噪声
强度噪声是产生相位误差最普遍的因素之一,主要来源于环境光、阴影、投影仪噪声、相机噪声以及投影装置和成像装置的量化误差。如
式中:A0表示理想情况下的背景光强;ΔAn表示随机的强度噪声。将
可以看出,强度噪声导致的相位误差与相移步数、调制度以及随机噪声的大小有关,因此抑制强度噪声可以从这些方面来考虑。
2.3 非线性效应
测量系统成像装置和投影仪装置中存在的非线性效应同样会导致相位误差。通常,工业相机有较好的线性度或者容易进行输入输出响应性标定,而一般商用投影仪为了使图像符合人眼的视觉,会对投影的图像预先进行伽马变换,这也是导致非线性的主要因素。受非线性效应影响的相移条纹如
式中:γ表示伽马因子;B0和Bk分别表示直流分量和k阶高次谐波分量的幅值。注意到这里使用了简单的单参数伽马模型,为了更加精确地描述非线性效应,可以使用双参数、多项式等。非线性效应导致的相位误差[9]为
式中:Gs=Bs/B1是与伽马因子有关的系数,可以表示为
其值随着谐波系数s的增大而显著减小。实际情况下仅须考虑N阶以内的谐波分量,此时相位误差可以进一步简化为
可以看出,伽马效应导致的相位误差是相位ϕ的N次谐波,通常会给测量相位结果引入投影条纹频率N倍的周期分布误差。
2.4 二值离焦
尽管正弦条纹作为最常用的结构光编码图案在各类高精度测量场景中得到广泛采用,但是存在一些缺点[10]:对系统的非线性效应敏感;必须保证相机和投影仪严格时序同步;需要精确控制曝光时间。为了避免上述问题,许多研究者转而使用不受非线性效应影响和不受严格时序同步限制的二值离焦技术[11-12]来获得更好的正弦条纹。目前最常用的投影仪装置,基于数字微透镜阵列(DMD)的数字投影仪,是通过时间积分实现图案投影的,因此1 bit的二值条纹先天避免了投影仪的伽马效应及同步问题,同时由于投影仪仅须对1 bit的条纹进行积分,投影仪速度可以达kHz[13],适合应用在高速测量场景。
为了使二值条纹经过投影仪后产生理想正弦的条纹,需要利用光学系统的离焦效应。离焦效应在数学形式上可以看作是图像与一个高斯分布的点扩散函数(PSF)的卷积,该函数可以表示为
式中:σ是高斯分布的标准差,代表了离焦量的大小。从频域分析来看,离焦相当于滤除了图像的高频部分,因此在实际应用中可以通过适当调节离焦量抑制二值条纹中的高次谐波,从而使二值条纹逼近理想的正弦条纹。如
B0和Bk的含义与
根据
表 1. 相位误差的谐波系数和相移步数的关系
Table 1. Relationship between the harmonic coefficient of phase error and number of phase shifting
|
2.5 过曝
当条纹投影到存在高动态范围(HDR)区域的待测物体上时,例如金属、油污等非朗伯表面,由于普通相机一般只能成像强度范围在0到255的像素,无法准确反映图像中过曝区域对应像素点的灰度值,因此会导致相位计算出现误差。如
也可以表示为与非线性、离焦情况下相移条纹类似的形式,即不同频率谐波之和:
其相位误差表现为
尽管非线性、离焦以及过曝产生的原因不同,但是它们导致的相位误差表现形式十分相似,说明这三类误差的补偿可以采取相似的思路,例如查找表法(LUT)、希尔伯特变换法(HT)等。
2.6 相移不准
相移法能准确恢复相位的前提之一是相移量已知,而实际情况并非总是满足这一条件。在使用机械相移装置时,其中的关键部件压变转换器会出现运动延迟和不等步的运动,导致相移误差。在待测物体运动时,相机视角下成像面的同一点对应记录了物体不同时刻的不同位置信息,使对应像素的相移量出现偏差。相移不准下的相移量可以表示为
式中:εn表示第n幅相移条纹引入的额外相移量,如
可以看出,相移不准导致的相位误差一般表现为投影条纹的2倍频周期分布。
2.7 光照不稳
在实际测量中,受投影装置功率波动和环境光照变化的影响,相移法中背景光强和调制度保持恒定的前提条件并不总能得到满足。如
式中:系数pn表示投影仪导致的光强变化率;qn表示环境导致的光强变化。将
通常pn和qn是随时间变化的,因此相位误差不固定,大致满足投影条纹的1倍频周期分布。
3 相位误差补偿技术发展
从推导的各类相位误差表现形式不难发现,除相移不准外,其他因素导致的相移误差均可以通过增大相移步数来抑制,然而相移步数的增加会降低测量效率,因此现有的相位误差补偿技术主要致力于在有限的投影图案数量下实现高效、鲁棒的三维测量。
如
3.1 强度噪声抑制
N步相移算法得到的展开相位蕴含的相位误差对应标准差[8]可以表示为
由
在提高调制度方面,除了尽可能利用投影仪可用动态范围这一直接方式外,也有一些研究优化投影的相移条纹中有效分量的幅值[16-17]。Wang等[16]将N幅相移条纹的优化看作是在N维编码空间中的布点问题,通过优化得到最大的条纹信噪比(SNR)。Zuo等[17]利用三步相移对3m倍频误差不敏感的特性,通过改变正弦条纹中3倍频分量来增加有效的基频分量幅值,提升条纹的动态范围。另一个思路是对条纹图本身进行去噪处理。Yan等[18]利用一系列包含强度噪声和对应无噪声的条纹图训练卷积神经网络(CNN),训练好的CNN可用来完成由含噪条纹到去噪条纹的映射,相较传统方法,具有更优的去噪性能。
图 4. 强度噪声抑制方法的结果展示。(a)优化条纹SNR[16];(b)改变条纹的谐波分量[17];(c)基于CNN的条纹去噪[18]
Fig. 4. Results of intensity noise suppression methods. (a) Optimizing the SNR of fringe patterns[16]; (b) changing the harmonic component of fringe patterns[17]; (b) fringe denoising using CNN[18]
在增大条纹频率方面,尽管较高的条纹频率可以有效地减少强度噪声带来的影响,但也会增大时间相位展开过程的误差放大倍率,降低相位展开的成功率,因此最大条纹频率应该结合实际的FPP系统和相位展开策略来确定。
关于条纹频率和强度噪声更具体的讨论可以参考Zuo等[19]和Wang等[20]的工作。此外,Lü等[21]采用非高斯相机噪声模型,建立了包含相机强度、条纹强度、相位和三维面形4个阶段和由条纹强度到相位、由相位到三维面形2个转换模型的FPP精度模型链路,根据强度噪声对精度的影响,为FPP系统参数的选择提供了理论基础。
3.2 非线性效应校正
通常,使用更多相移步数的条纹可以有效地抑制多种因素导致的谐波误差[11,22],然而这会牺牲测量速度,限制FPP在高速动态场景上的应用。因此,目前的研究主要以利用有限的投影图案数量来实现高效的非线性效应校正为主,这些方法可以分为主动式和被动式两类[23]。
主动式方法在投影前改变条纹的强度分布,其主要思路是通过标定得到投影仪的响应函数f,再将其反函数f--1应用到原图像中,保证投影后条纹的正弦性。Huang等[24]对投影仪的灰度响应曲线以多项式进行拟合,通过对投影条纹使用该多项式的反函数,实现了灰度曲线的线性补偿。Guo等[25]利用条纹的累计分布函数(CDF)与相位和频率无关这一性质,建立了由CDF到伽马值的查找表。Hoang等[26]通过求解大步数相移条纹相位与实际畸变相位之间的非线性函数来计算出准确的伽马值。Liu等[27]提出一个精确的数学模型来描述相位误差和伽马之间的关系,实际伽马值可以由相位的谐波系数估计得到。Li等[28]进一步提出考虑离焦效应的伽马畸变严格模型,使得预测伽马值在离焦情况下更加精确。Peng等[29]采用三次样条插值取代传统的单参数伽马来更好地拟合投影仪的响应曲线。Yu等[30]利用截断相位的概率密度函数(PDF)曲线与伽马之间的关系,通过仿真模拟建立查找表,最少仅需3幅条纹图案即可查找出准确的伽马值,其流程及实验结果如
图 5. 非线性效应校正方法及其结果展示。(a)基于PDF的主动式方法[30];(b)基于SVR的主动式方法[33];(c)基于希尔伯特变换的被动式方法[9];(d)基于深度学习的被动式方法[34]
Fig. 5. Nonlinear effect correction methods and their results. (a) Active method based on PDF[30]; (b) active method based on SVR[33];(c) passive method based on Hilbert transform[9]; (d) passive method based on deep learning[34]
除了应用投影仪响应曲线的反函数或者进行伽马值预编码外,另一个思路则是条纹的二值离焦技术。尽管二值离焦技术先天避免了投影仪的伽马效应,但是会引入离焦误差及测量景深的限制。
被动式方法通过对拍摄到的条纹图案进行后处理来补偿相位误差。Huang等[35]提出双三步相移算法,用两组初始相位差为π/3的相移条纹计算得到一阶和三阶相位误差相反的相位分布,最后对两组相位进行平均,得到消除非线性误差的最终相位。Zhang等[36]提出了一种对任何相移步数通用的查找表方法,事先对平板的相位误差进行分析构造查找表,测量时通过直接查找对应的相位误差实现非线性误差补偿。Bing等[37]利用非线性相位误差的周期与相移步数周期相同这一性质,提出了一种迭代的相位误差补偿方法。Cai等[9]发现受非线性影响的相移条纹经过希尔伯特变换后其相位误差分布与原始误差分布相反,对两个相位进行平均即可补偿相位误差,其流程及实验结果如
与主动式方法相比,被动式方法通常计算过程复杂,且使用场景有限,当物体处于不同位置或者改变投影仪的焦点时,往往不能有效地抑制非线性引起的相位误差[23]。当系统的非线性响应随时间发生变化时,被动式方法具有更好的鲁棒性[43],其他情况下主动式方法则更加准确高效。
3.3 二值离焦误差补偿
二值离焦技术在带来了速度快、不受非线性影响等优点的同时,会导致条纹对比度下降、测量景深减小、高次谐波误差。目前二值离焦相位误差的补偿技术可以分为基于强度的方法和基于相位的方法,如
基于强度的方法通过改变投影的二值条纹图案强度分布,使其经投影仪的低通滤波效应作用后产生正弦性良好的条纹。早期的研究将脉宽调制技术[44]引入到二值离焦中以消除二值方波中的高次谐波,例如正弦脉宽调制(SPWM)[45-46]、最优脉宽调制(OPWM)[47]等。然而,由于一维调制的固有特性,这些方法不能很好地应用于条纹周期较大以及投影仪接近聚焦的情况。为了解决这些问题,研究者们进一步提出基于二维调制技术的条纹优化方法。其中一些方法利用了数字印刷中的抖动技术来改善条纹质量。Wang等[48]对条纹图像进行Bayer抖动以生成高质量的宽周期条纹,Lohry等[49]结合Floyd-Steinberg(FS)误差扩散算法和遗传算法寻找最适合离焦的扩散核矩阵。You等[50]对FS误差扩散存在的固有偏差进行了理论分析并加以补偿。尽管抖动技术可以快速地消除部分高次谐波,但是受限于固有缺陷,其精度有待提升。
另一个思路是最小化目标二值条纹与理想条纹的强度误差或相位误差。Dai等[51-52]通过逐一改变像素点的0或1灰度值来优化抖动的二值条纹。为了进一步提高优化速度与不同离焦情况下的测量精度,研究者们以像素块的优化取代像素点的优化,结合不同的目标函数和优化策略[53-57],提出了适用范围更广的二值离焦方案。然而,二维调制的优化过程通常十分耗时,在面对不同条纹周期和离焦程度时优化效率较低。Zhu等[58]通过三灰度的OPWM优化策略得到最优的一维强度分布,再通过二值调制策略将其沿另一维度拓展,实现了大条纹周期和不同离焦量下对二值条纹的快速优化,如
图 7. 二值离焦误差补偿方法及其结果展示。(a)改进的OPWM方法[58];(b)使用柱透镜的二值离焦方法[59];(c)基于深度学习的被动离焦方法[64];(d)基于深度学习的离焦误差补偿方法[65]
Fig. 7. Binary defocus error compensation methods and their results. (a) Improved OPWM method[58]; (b) binary defocusing method using cylindrical lens[59]; (c) passive defocusing method based on deep learning[64]; (d) defocus error compensation method based on deep learning[65]
基于相位的方法利用相位分布的特点进行误差补偿。Zhang[66]通过分析发现三步相移的二值离焦条纹误差主要来自于6倍频和12倍频,因此额外增加π/6和π/12的三步相移条纹消除这两个频率的误差。Zheng等[67]通过对三步相移的二值条纹进行希尔伯特变换,并与原相位做平均,消除了5倍频误差。Wang等[68]将双三步相移条纹合并为一个具有三灰度的单张图像,用二维面积调制将其二值化,并使用希尔伯特变换进一步抑制误差。Xu等[69]、Liu等[70]及Zhang等[71]分别建立了绝对相位或相位误差到深度的查找表,通过查找对应值即可还原物体深度信息。Li等[64]将传统离焦技术中在投影端调节光学系统以滤除谐波的办法转移到算法端,利用神经网络对包含多深度、多频率、多物体的样本进行学习,实现了基于二值条纹的大景深测量,其流程及实验结果如
无论是基于强度的方法还是基于相位的方法,目的都是克服传统二值离焦技术的局限性,实现测量景深的增大和测量精度的提高,然而它们的应用场景各不相同,在实际使用时应根据实际需求而定。当需要在不增加投影图案数量的情况下快速获得二值离焦条纹时,可以使用一维调制技术和基于抖动的二维调制技术。当仅考虑离焦后相位的精度时,可以使用相对耗时的、基于优化的二维调制技术和需要对系统进行事先标定的查找表法。当需要实现大景深下的离焦测量时,可以使用基于深度学习的后处理方法或者增加光学元件的方法。更详细的关于一维和二维调制技术的讨论可以看Li等[72]的综述文章。
3.4 高动态范围测量
如
Zhang等[73]提出了一种多重曝光技术,从不同曝光时间下拍摄的多帧条纹图案同名像素点中选择强度值最大且未过曝的像素融合成一张条纹图案,其算法流程及实验结果如
图 9. 高动态范围测量技术及其结果展示。(a)多重曝光技术[73];(b)使用偏振装置进行HDR测量[89];(c)条纹编码辅助HDR测量[99];(d)基于深度学习的HDR测量技术[100]
Fig. 9. HDR measurement methods and their results. (a) Multi-exposure method[73]; (b) HDR measurement using polarization device[89]; (c) HDR measurement based on pattern encoding[99]; (d) HDR measurement method based on deep learning[100]
此外,在系统中引入额外的硬件也可以辅助实现HDR场景的三维测量,例如使用偏振装置[76,87-94]、扫描镜装置[95]或者光度立体技术[96-98]等。Chen等[87]在投影仪和相机前分别放置偏振片,通过调整两个偏振片透射轴的夹角来消除高反射率表面反射的高光。Feng等[76]结合偏振片方法和动态多曝光方法,在消除高光的同时保证了条纹的高对比度。Xiang等[89]在两个投影仪前放置不同透射角的偏振片并投影不同相移的条纹,再通过两个偏振相机拍摄对应条纹,实现了对高反射率物体的单次快速测量,如
基于算法的HDR技术不需要多次调整设备参数或者引入额外的硬件,从算法层面对条纹或相位进行改善,从而提高测量精度。Chen等[101]发现当条纹周期分别为奇数和偶数时,使用特定的相移步数可以从过曝的条纹中精确地恢复相位信息。Jiang等[102]通过额外投影一组反相的条纹,根据过曝情况部分或全部替换原始条纹实现相位误差的补偿。Qi等[103]研究了相移步数和过曝程度对相位误差的影响,并讨论了最优系统参数的选择。He等[99]设计了一种棋盘格状的条纹图案来抑制局部高反射率,并利用棋盘格的交叉信息进行解码,如
为了进一步减少所需的条纹数量,深度学习技术被引入到HDR测量当中。彭广泽等[107]提出一种基于卷积神经网络(CNN)去噪正则化的条纹图高光区域修复算法,仅需要在正常曝光和短曝光条件下获取两帧条纹图即可实现条纹图局部高光区域的快速修复。Zhang等[108]设计了一种CNN结构,将三步相移的HDR条纹图案作为网络输入,实现了低信噪比和过曝情况下相位信息的准确提取。Liu等[109]提出SP-CAN网络用于增强单次曝光采集的条纹图案,与传统图像增强方法相比,有效地保留了边缘和交点附近的相位信息。Yang等[110]利用UNet[111]检测单帧条纹中的欠曝和过曝区域,并通过一个图像增强模块预测对应位置准确的条纹信息。Zhang等[100]采用双流结构的未训练神经网络对低照度下的条纹进行增强,以条纹正弦先验项辅助优化,实现了高反射率表面的相位恢复,同时相比基于监督学习的神经网络,未训练网络的优化对不同条纹频率、测量场景等有更强的泛化性,如
综合来看,基于设备的方法中多重曝光技术以及调整投影光强方法具有很高的精度,无须额外硬件的特点使其容易集成使用到现有的FPP系统当中,然而需要较多数量的条纹图案,测量效率较低,难以适用于在线测量;通过增加硬件可以从原理上避免高反射率区域,但也会带来信噪比降低、系统搭建复杂等缺点。基于算法的方法可以有效减少所需条纹数量,然而其中增加相移条纹或改变图像编码的方式也会在一定程度上降低测量的效率;与深度学习结合的方法具有最高的测量效率,可以实现单帧测量,但是基于监督学习的方法需要大量的数据集用于训练,而基于无监督的方法在优化和推理上较为耗时。更多评论和对比可以参考其他综述文章[112-115]。
3.5 相移误差校正
针对机械相移装置相移不准的问题,可以采用对相移量变化不敏感的算法[116-118]。针对运动导致的相移误差,其解决方法主要可以分为迭代补偿运动误差和频谱分析修正运动误差两类。
在迭代补偿运动误差的方法中,Weise等[119]设计了一种可以从原始三步相移条纹中估计相位误差的算法。Lu等[120-124]通过追踪物体特征点来计算物体在帧间移动的旋转矩阵
图 10. 相移误差校正方法及其结果展示。(a)基于物体追踪的运动误差补偿方法[124];(b)基于4步相移法的运动误差补偿方法[129];(c)基于深度学习的运动误差补偿方法[132];(d)FTP辅助PSP的运动误差补偿方法[133]
Fig. 10. Phase-shifting error correction methods and their results. (a) Motion error compensation method based on object tracking[124]; (b) motion error compensation method based on 4-step PSP[129]; (c) motion error compensation method based on deep learning[132]; (d) FTP-assisted PSP-based motion error compensation method[133]
Li等[132]提出了一种结合深度学习和模拟仿真的运动误差补偿方法,如
FTP仅需单帧条纹重建相位,从源头避免了运动导致的误差,因此许多研究者将其与PSP结合进行相位误差的补偿。Cong等[134]对相移条纹相邻两帧分别使用FTP提取相位,再做差分估计出相移误差。Li等[135]对单帧高频条纹进行FTP变换获取物体相位,再参考一组低频相移条纹得到的相位,生成最终高精度的相位图。Qian等[136]通过检测图像中物体的运动区域,在此区域使用FTP补偿PSP的运动误差,而在静止区域则完全保留PSP的结果。Guo等[133]使用双频复合光栅获取高低频的截断相位,并采用虚拟高频法识别图像中的运动区域,最后融合FTP和PSP得到的相位实现了实时的运动误差消除,如
迭代补偿运动误差的方法大多对运动场景有一定限制,例如假设物体匀速运动、预先已知待测物体的先验分布,因此在非匀速运动或测量场景变化时可能无法有效地补偿运动误差。频谱分析修正运动误差的方法适用场景更加广泛,但受限于FTP方法,在测量复杂面形的物体时精度有待提升。更多评论和对比可以参考相关综述工作[137-138]。
3.6 光照不稳误差校正
尽管提高相移步数或更换更稳定的光源可以降低光照不稳带来的影响,但这会导致测量效率降低或增加硬件成本,使用算法对图像进行后处理的方式则更加高效。Onodera等[139]测量6幅干涉图的待测相位,通过对干涉条纹与包含激光功率变化引起的光强变化的干涉图函数进行最小二乘拟合,给出了误差消除后的相位。Liu等[140]提出了一种迭代算法,用最小二乘法分两步计算相移和波前相位,计算相移时确定波动因子,计算波前相位时对光强波动进行补偿。Lu等[141]利用相位图的直方图对光照波动的误差进行了校正。Chen等[142]建立了随时间变化的不稳定投影光强的数学模型,基于此,提出了实时校正光照不稳导致的相位误差的方法。Zhao等[15]利用深度学习从三步相移中得到准确的相位信息,在不牺牲测量速度的前提下提高了测量精度。部分方法的结果如
图 11. 光照不稳误差校正的结果展示。(a)基于迭代的方法[140];(b)基于相位直方图的方法[141];(c)实时误差校正的方法[142];(d)基于深度学习的方法[15]
Fig. 11. Results of illumination fluctuation error correction methods. (a) Iterative-based method[140]; (b) method based on histogram of phase[141]; (c) real-time error correction method[142]; (d) deep learning-based method[15]
与其他类型误差类似,光照不稳误差的校正方法也朝着高效高精度这一方向发展,然而光照不稳本身的时变特性导致此类方法对环境光、物体表面反射率等较为敏感[142],因此如何实现更加鲁棒的算法仍有待进一步探索。
分别从强度噪声抑制、非线性效应校正、二值离焦误差补偿、高动态范围测量、相移误差校正、光照不稳误差校正6个方面回顾了相位误差补偿技术的技术路线和研究进展。除了这6种常见的误差来源外,其他因素例如像素间的强度扩散[143]、间接照明[144]等也会导致相位误差的产生。限于学识和篇幅,笔者未能对每个方面的所有工作及其研究思路进行一一介绍。总体而言,相位误差补偿是基于条纹投影的结构光三维测量技术中最关键的环节之一,学者们围绕测量的精度、速度、鲁棒性对该方向进行了大量详细而深入的研究,其研究思路纷杂繁复,与光学、一维信号处理、二维图像处理、概率统计、深度学习等领域均有不同程度的结合,使该技术取得了显著的发展。
4 发展趋势和面临的挑战
概述了基于相移条纹分析的相位误差补偿技术,回顾了各类噪声源中由强度噪声、非线性效应、离焦、过曝、相移不准及光照不稳引起的相位误差以及相应补偿方法的研究进展。大量学者对相位误差补偿技术的研究成果使得这项技术在精度、速度和鲁棒性上都有了很大的提升。然而,随着智能制造、虚拟现实以及增强现实等新兴领域的不断发展,该技术所面对的应用场景将不断扩大,所面临的新需求也会不断增长,现有技术在最终期望实现的复杂场景下高效、高精度相位误差补偿上仍面临着一些挑战。基于笔者在此领域多年的研究积累,给出了今后该领域研究方向和重点的一些个人思考和看法。
1)复合型相位误差的补偿方法研究。目前的相位误差补偿技术大多仅考虑单一种类误差来源,然而在实际测量中误差的来源很可能不止一种。尽管现有研究结果已初步有基于深度学习的方法[145]应用在多种误差相耦合的场景当中,但这类方法对数据的依赖性使其难以灵活地适用于其他场景。针对此类问题,可以从变换域分析、相位误差分布相似性等方面入手,对复合型相位误差进行进一步的分析和讨论,以提升FPP在复杂场景下的测量精度。
2)实时三维测量中的相位误差快速补偿方法研究。在虚拟现实、工业检测等场景下,实时、高精度地对待测物体进行三维建模是十分常见而迫切的需求。为了减小测量过程中非线性效应、过曝以及物体帧间运动等因素导致的相位误差,前处理的方式往往需要对系统进行复杂的标定,对不同特性的物体表面难以实现高效、高鲁棒的测量;而后处理的方式通过额外投影条纹辅助误差的补偿,精度提升的同时也降低了测量效率。基于深度学习的方法可以通过构造更大数据集的方式应对不同类型的误差,且仅需要较少数量的条纹图案即可完成高精度的测量,但深度学习方法中复杂的网络结构和庞大的参数量使得其重建速度难以满足实时测量的要求。对于复杂场景下的实时三维测量,如何在保证算法鲁棒性的同时兼具测量速度是一个关键的问题,该问题的解决可以从条纹编码优化、网络模型轻量化等思路进行探究。
3)融合物理模型的深度学习方法用于相位误差补偿研究。近年来,深度学习与FPP相结合已经被用来解决各类相位误差补偿问题[15,107-110,112,131-132,145],这类方法的优势在于端到端的图像处理、无需复杂的数学建模、所需编码图案少。该类技术在提升投影效率、简化处理流程的同时,在其他方面做出了一些牺牲,例如数据依赖性强、推理速度慢、对不同系统参数的泛化性较差等。因此,在今后的研究中,可以结合相位误差补偿技术的物理模型与深度学习的数据映射能力,针对性地设计网络结构、目标函数或数据处理方法,提出基于物理模型和学习数据的协同解决方案,拓展此类方法的适应性,减少数据运算量以实现测量精度的提升。
[1] Gorthi S S, Rastogi P. Fringe projection techniques: whither we are?[J]. Optics and Lasers in Engineering, 2010, 48(2): 133-140.
[2] Salvi J, Fernandez S, Pribanic T, et al. A state of the art in structured light patterns for surface profilometry[J]. Pattern Recognition, 2010, 43(8): 2666-2680.
[3] Geng J. Structured-light 3D surface imaging: a tutorial[J]. Advances in Optics and Photonics, 2011, 3(2): 128-160.
[4] van der Jeught S, Dirckx J J J. Real-time structured light profilometry: a review[J]. Optics and Lasers in Engineering, 2016, 87: 18-31.
[5] Srinivasan V, Liu H C, Halioua M. Automated phase-measuring profilometry of 3-D diffuse objects[J]. Applied Optics, 1984, 23(18): 3105-3108.
[6] Zuo C, Feng S J, Huang L, et al. Phase shifting algorithms for fringe projection profilometry: a review[J]. Optics and Lasers in Engineering, 2018, 109: 23-59.
[7] Su X Y, Chen W J. Fourier transform profilometry: a review[J]. Optics and Lasers in Engineering, 2001, 35(5): 263-284.
[8] Li J L, Hassebrook L G, Guan C. Optimized two-frequency phase-measuring-profilometry light-sensor temporal-noise sensitivity[J]. Journal of the Optical Society of America A, 2003, 20(1): 106-115.
[9] Cai Z W, Liu X L, Jiang H, et al. Flexible phase error compensation based on Hilbert transform in phase shifting profilometry[J]. Optics Express, 2015, 23(19): 25171-25181.
[10] Lei S Y, Zhang S. Digital sinusoidal fringe pattern generation: defocusing binary patterns VS focusing sinusoidal patterns[J]. Optics and Lasers in Engineering, 2010, 48(5): 561-569.
[11] Su X Y, Zhou W S, von Bally G, et al. Automated phase-measuring profilometry using defocused projection of a Ronchi grating[J]. Optics Communications, 1992, 94(6): 561-573.
[12] Lei S Y, Zhang S. Flexible 3-D shape measurement using projector defocusing[J]. Optics Letters, 2009, 34(20): 3080-3082.
[13] Zhang S. High-speed 3D shape measurement with structured light methods: a review[J]. Optics and Lasers in Engineering, 2018, 106: 119-131.
[14] Schwider J, Burow R, Elssner K E, et al. Digital wave-front measuring interferometry: some systematic error sources[J]. Applied Optics, 1983, 22(21): 3421-3432.
[15] Zhao Y, Yu H T, Bai L F, et al. Accurate fringe projection profilometry using instable projection light source[J]. Optics Communications, 2022, 507: 127643.
[16] Wang Y C, Liu K, Lau D L, et al. Maximum SNR pattern strategy for phase shifting methods in structured light illumination[J]. Journal of the Optical Society of America A, 2010, 27(9): 1962-1971.
[17] Zuo C, Chen Q, Gu G H, et al. Optimized three-step phase-shifting profilometry using the third harmonic injection[J]. Optica Applicata, 2013, 43(2): 393-407.
[18] Yan K T, Yu Y J, Huang C T, et al. Fringe pattern denoising based on deep learning[J]. Optics Communications, 2019, 437: 148-152.
[19] Zuo C, Huang L, Zhang M L, et al. Temporal phase unwrapping algorithms for fringe projection profilometry: a comparative review[J]. Optics and Lasers in Engineering, 2016, 85: 84-103.
[20] Wang J H, Yang Y X, Xu P, et al. Noise-induced phase error comparison in multi-frequency phase-shifting profilometry based on few fringes[J]. Optics & Laser Technology, 2023, 159: 109034.
[21] Lü S Z, Qian K M. Modeling the measurement precision of Fringe Projection Profilometry[J]. Light: Science & Applications, 2023, 12: 257.
[22] Stetson K A, Brohinsky W R. Electrooptic holography and its application to hologram interferometry[J]. Applied Optics, 1985, 24(21): 3631-3637.
[23] Zhang S. Comparative study on passive and active projector nonlinear gamma calibration[J]. Applied Optics, 2015, 54(13): 3834-3841.
[24] Huang P S, Zhang C P, Chiang F P. High-speed 3-D shape measurement based on digital fringe projection[J]. Optical Engineering, 2003, 42(1): 163-168.
[25] Guo H W, He H T, Chen M Y. Gamma correction for digital fringe projection profilometry[J]. Applied Optics, 2004, 43(14): 2906-2914.
[26] Hoang T, Pan B, Nguyen D, et al. Generic gamma correction for accuracy enhancement in fringe-projection profilometry[J]. Optics Letters, 2010, 35(12): 1992-1994.
[27] Liu K, Wang Y C, Lau D L, et al. Gamma model and its analysis for phase measuring profilometry[J]. Journal of the Optical Society of America A, 2010, 27(3): 553-562.
[28] Li Z W, Li Y F. Gamma-distorted fringe image modeling and accurate gamma correction for fast phase measuring profilometry[J]. Optics Letters, 2011, 36(2): 154-156.
[29] Peng J Z, Ouyang H K, Yu Q, et al. Phase error correction for fringe projection profilometry by using constrained cubic spline[J]. Advances in Manufacturing, 2014, 2(1): 39-47.
[30] Yu X, Liu Y K, Liu N Y, et al. Flexible gamma calculation algorithm based on probability distribution function in digital fringe projection system[J]. Optics Express, 2019, 27(22): 32047-32057.
[31] Muñoz A, Flores J L, Parra-Escamilla G, et al. Least-squares gamma estimation in fringe projection profilometry[J]. Applied Optics, 2021, 60(5): 1137-1142.
[32] Wang J, Wu Z X, Huang Y Y, et al. A rapid and accurate gamma compensation method based on double response curve fitting for high-quality fringe pattern generation[J]. Optics & Laser Technology, 2023, 160: 109084.
[33] Cai S, Cui J, Li W, et al. Flexible nonlinear error correction method based on support vector regression in fringe projection profilometry[J]. IEEE Transactions on Instrumentation and Measurement, 2023, 72: 5000709.
[34] Yang Y, Hou Q Y, Li Y, et al. Phase error compensation based on Tree-Net using deep learning[J]. Optics and Lasers in Engineering, 2021, 143: 106628.
[35] Huang P S, Hu Q J, Chiang F P. Double three-step phase-shifting algorithm[J]. Applied Optics, 2002, 41(22): 4503-4509.
[36] Zhang S, Yau S T. Generic nonsinusoidal phase error correction for three-dimensional shape measurement using a digital video projector[J]. Applied Optics, 2007, 46(1): 36-43.
[37] Bing P, Qian K M, Lei H, et al. Phase error analysis and compensation for nonsinusoidal waveforms in phase-shifting digital fringe projection profilometry[J]. Optics Letters, 2009, 34(4): 416-418.
[38] Liu Y K, Yu X, Xue J P, et al. A flexible phase error compensation method based on probability distribution functions in phase measuring profilometry[J]. Optics & Laser Technology, 2020, 129: 106267.
[40] Wang Y W, Cai J X, Zhang D S, et al. Nonlinear correction for fringe projection profilometry with shifted-phase histogram equalization[J]. IEEE Transactions on Instrumentation and Measurement, 2022, 71: 5005509.
[41] Song H X, Kong L B. Mask information-based gamma correction in fringe projection profilometry[J]. Optics Express, 2023, 31(12): 19478-19490.
[43] Wang Z Y, Nguyen D A, Barnes J C. Some practical considerations in fringe projection profilometry[J]. Optics and Lasers in Engineering, 2010, 48(2): 218-225.
[44] Agelidis V G, Balouktsis A, Balouktsis I. On applying a minimization technique to the harmonic elimination PWM control: the bipolar waveform[J]. IEEE Power Electronics Letters, 2004, 2(2): 41-44.
[45] Ayubi G A, Ayubi J A, Di Martino J M, et al. Pulse-width modulation in defocused three-dimensional fringe projection[J]. Optics Letters, 2010, 35(21): 3682-3684.
[46] Zuo C, Chen Q, Feng S J, et al. Optimized pulse width modulation pattern strategy for three-dimensional profilometry with projector defocusing[J]. Applied Optics, 2012, 51(19): 4477-4490.
[47] Wang Y J, Zhang S. Optimal pulse width modulation for sinusoidal fringe generation with projector defocusing[J]. Optics Letters, 2010, 35(24): 4121-4123.
[48] Wang Y J, Zhang S. Three-dimensional shape measurement with binary dithered patterns[J]. Applied Optics, 2012, 51(27): 6631-6636.
[49] Lohry W, Zhang S. Genetic method to optimize binary dithering technique for high-quality fringe generation[J]. Optics Letters, 2013, 38(4): 540-542.
[50] You D, You Z S, Zhou P, et al. Theoretical analysis and experimental investigation of the Floyd-Steinberg-based fringe binary method with offset compensation for accurate 3D measurement[J]. Optics Express, 2022, 30(15): 26807-26823.
[51] Dai J F, Zhang S. Phase-optimized dithering technique for high-quality 3D shape measurement[J]. Optics and Lasers in Engineering, 2013, 51(6): 790-795.
[52] Dai J F, Li B W, Zhang S. Intensity-optimized dithering technique for three-dimensional shape measurement with projector defocusing[J]. Optics and Lasers in Engineering, 2014, 53: 79-85.
[53] Dai J F, Li B W, Zhang S. High-quality fringe pattern generation using binary pattern optimization through symmetry and periodicity[J]. Optics and Lasers in Engineering, 2014, 52: 195-200.
[54] Sun J S, Zuo C, Feng S J, et al. Improved intensity-optimized dithering technique for 3D shape measurement[J]. Optics and Lasers in Engineering, 2015, 66: 158-164.
[55] Xu Z X, Chan Y H. Removing harmonic distortion of measurements of a defocusing three-step phase-shifting digital fringe projection system[J]. Optics and Lasers in Engineering, 2017, 90: 139-145.
[56] Lu F, Wu C D, Yang J K. Optimized dithering technique for three-dimensional shape measurement with projector defocusing[J]. Optics Communications, 2019, 430: 246-255.
[57] Zheng Z J, Gao J, Zhuang Y Z, et al. Robust binary fringe generation method with defocus adaptability[J]. Optics Letters, 2022, 47(14): 3483-3486.
[58] Zhu S J, Cao Y P, Zhang Q C, et al. High-efficiency and robust binary fringe optimization for superfast 3D shape measurement[J]. Optics Express, 2022, 30(20): 35539-35553.
[60] 李训仁, 郭文博, 张启灿, 等. DLP投影任意比特数条纹实现三维面形测量[J]. 光学学报, 2023, 43(7): 0712003.
[61] Kamagara A, Wang X Z, Li S K. Optimal defocus selection based on normed Fourier transform for digital fringe pattern profilometry[J]. Applied Optics, 2017, 56(28): 8014-8022.
[62] Wang Y F, Zhao H J, Jiang H Z, et al. Defocusing parameter selection strategies based on PSF measurement for square-binary defocusing fringe projection profilometry[J]. Optics Express, 2018, 26(16): 20351-20367.
[63] 江会交, 尹卓异, 张琴, 等. 基于数字相关的二值条纹投影轮廓术中离焦的定量评估方法[J]. 激光与光电子学进展, 2023, 60(22): 2211002.
[64] Li Y Y, Shen J F, Wu Z J, et al. Passive binary defocusing for large depth 3D measurement based on deep learning[J]. Applied Optics, 2021, 60(24): 7243-7253.
[65] Yu Y, Da F P. Defocused projection model for phase-shifting profilometry with a large depth range[J]. Optics Express, 2021, 29(15): 23597-23610.
[66] Zhang S. High-resolution 3D profilometry with binary phase-shifting methods[J]. Applied Optics, 2011, 50(12): 1753-1757.
[67] Zheng D L, Da F P, Qian K M, et al. Phase error analysis and compensation for phase shifting profilometry with projector defocusing[J]. Applied Optics, 2016, 55(21): 5721-5728.
[68] Wang Y J, Basu S, Li B W. Binarized dual phase-shifting method for high-quality 3D shape measurement[J]. Applied Optics, 2018, 57(23): 6632-6639.
[69] Xu Y, Ekstrand L, Dai J F, et al. Phase error compensation for three-dimensional shape measurement with projector defocusing[J]. Applied Optics, 2011, 50(17): 2572-2581.
[70] Liu Y K, Zhang Q C, Su X Y. 3D shape from phase errors by using binary fringe with multi-step phase-shift technique[J]. Optics and Lasers in Engineering, 2015, 74: 22-27.
[71] Zhang J R, Zhang Y J, Chen B, et al. Full-field phase error analysis and compensation for nonsinusoidal waveforms in phase shifting profilometry with projector defocusing[J]. Optics Communications, 2019, 430: 467-478.
[72] Li B W, Wang Y J, Dai J F, et al. Some recent advances on superfast 3D shape measurement with digital binary defocusing techniques[J]. Optics and Lasers in Engineering, 2014, 54: 236-246.
[73] Zhang S, Yau S T. High dynamic range scanning technique[J]. Optical Engineering, 2009, 48(3): 033604.
[74] Jiang H Z, Zhao H J, Li X D. High dynamic range fringe acquisition: a novel 3-D scanning technique for high-reflective surfaces[J]. Optics and Lasers in Engineering, 2012, 50(10): 1484-1493.
[75] Ekstrand L, Zhang S. Autoexposure for three-dimensional shape measurement using a digital-light-processing projector[J]. Optical Engineering, 2011, 50(12): 123603.
[76] Feng S J, Zhang Y Z, Chen Q, et al. General solution for high dynamic range three-dimensional shape measurement using the fringe projection technique[J]. Optics and Lasers in Engineering, 2014, 59: 56-71.
[77] Rao L, Da F P. High dynamic range 3D shape determination based on automatic exposure selection[J]. Journal of Visual Communication and Image Representation, 2018, 50: 217-226.
[78] Zhang S. Rapid and automatic optimal exposure control for digital fringe projection technique[J]. Optics and Lasers in Engineering, 2020, 128: 106029.
[79] Zhang P, Zhong K, Li Z W, et al. Hybrid-quality-guided phase fusion model for high dynamic range 3D surface measurement by structured light technology[J]. Optics Express, 2022, 30(9): 14600-14614.
[80] Zhu J P, Yang F, Hu J L, et al. High dynamic reflection surface 3D reconstruction with sharing phase demodulation mechanism and multi-indicators guided phase domain fusion[J]. Optics Express, 2023, 31(15): 25318-25338.
[81] WaddingtonC, KofmanJ. Saturation avoidance by adaptive fringe projection in phase-shifting 3D surface-shape measurement[C]∥2010 International Symposium on Optomechatronic Technologies, October 25-27, 2010, Toronto, ON, Canada. New York: IEEE Press, 2011.
[82] Waddington C, Kofman J. Camera-independent saturation avoidance in measuring high-reflectivity-variation surfaces using pixel-wise composed images from projected patterns of different maximum gray level[J]. Optics Communications, 2014, 333: 32-37.
[83] Li D, Kofman J. Adaptive fringe-pattern projection for image saturation avoidance in 3D surface-shape measurement[J]. Optics Express, 2014, 22(8): 9887-9901.
[84] Sheng H, Xu J, Zhang S. Dynamic projection theory for fringe projection profilometry[J]. Applied Optics, 2017, 56(30): 8452-8460.
[86] 李乾, 薛俊鹏, 张启灿, 等. 利用相机响应曲线实现高反光元件三维面形测量[J]. 光学学报, 2022, 42(7): 0712001.
[87] ChenT B, LenschH P A, FuchsC, et al. Polarization and phase-shifting for 3D scanning of translucent objects[C]∥2007 IEEE Conference on Computer Vision and Pattern Recognition, June 17-22, 2007, Minneapolis, MN, USA. New York: IEEE Press, 2007.
[88] Salahieh B, Chen Z Y, Rodriguez J J, et al. Multi-polarization fringe projection imaging for high dynamic range objects[J]. Optics Express, 2014, 22(8): 10064-10071.
[89] Xiang G, Zhu H J, Guo H W. Spatial phase-shifting profilometry by use of polarization for measuring 3D shapes of metal objects[J]. Optics Express, 2021, 29(13): 20981-20994.
[90] Zhu Z M, You D D, Zhou F Q, et al. Rapid 3D reconstruction method based on the polarization-enhanced fringe pattern of an HDR object[J]. Optics Express, 2021, 29(2): 2162-2171.
[91] Zhu Z M, Dong Y W, You D D, et al. Accurate three-dimensional measurement based on polarization-defocused encoded structured light[J]. Measurement, 2022, 205: 112128.
[92] Zhu Z M, Li M C, Zhou F Q, et al. Stable 3D measurement method for high dynamic range surfaces based on fringe projection profilometry[J]. Optics and Lasers in Engineering, 2023, 166: 107542.
[93] Zhu Z M, Qiao S, Zhang J, et al. An efficient polarization code-multiplexed 3-D shape measurement method for high-dynamic range objects[J]. IEEE Transactions on Instrumentation and Measurement, 2023, 72: 5024809.
[94] Zhu Z M, You D D, Zeng X N, et al. 3D reconstruction method based on the multi-polarization superposition coding phase pattern of LRR objects[J]. Optics Express, 2023, 31(20): 32350-32361.
[95] Sun Z, Wang B, Zheng Y B, et al. BRAS: bidirectional reflectance adjustment strategy for 3-D reconstruction of mirror-like surface[J]. IEEE Transactions on Industrial Informatics, 2023, 19(11): 10775-10785.
[96] GoldmanD B, CurlessB, HertzmannA, et al. Shape and spatially-varying BRDFs from photometric stereo[C]∥Tenth IEEE International Conference on Computer Vision, October 17-21, 2005, Beijing, China. New York: IEEE Press, 2005: 341-348.
[97] MengL F, LuL Y, BedardN, et al. Single-shot specular surface reconstruction with gonio-plenoptic imaging[C]∥2015 IEEE International Conference on Computer Vision (ICCV), December 7-13, 2015, Santiago, Chile. New York: IEEE Press, 2016: 3433-3441.
[98] Pei X H, Ren M J, Wang X, et al. Profile measurement of non-Lambertian surfaces by integrating fringe projection profilometry with near-field photometric stereo[J]. Measurement, 2022, 187: 110277.
[99] He Z X, Li P L, Zhao X Y, et al. Chessboard-like high-frequency patterns for 3D measurement of reflective surface[J]. IEEE Transactions on Instrumentation and Measurement, 2021, 70: 5009712.
[100] Zhang J, Luo B, Li F Q, et al. Single-exposure optical measurement of highly reflective surfaces via deep sinusoidal prior for complex equipment production[J]. IEEE Transactions on Industrial Informatics, 2023, 19(2): 2039-2048.
[101] Chen B, Zhang S. High-quality 3D shape measurement using saturated fringe patterns[J]. Optics and Lasers in Engineering, 2016, 87: 83-89.
[102] Jiang C F, Bell T, Zhang S. High dynamic range real-time 3D shape measurement[J]. Optics Express, 2016, 24(7): 7337-7346.
[103] Qi Z S, Wang Z, Huang J H, et al. Error of image saturation in the structured-light method[J]. Applied Optics, 2017, 57(1): A181-A188.
[104] Tan J, Su W Q, He Z S, et al. Generic saturation-induced phase error correction for structured light 3D shape measurement[J]. Optics Letters, 2022, 47(14): 3387-3390.
[105] 姜宏志, 李宇曦, 赵慧洁. 单像素成像在三维测量中的应用[J]. 红外与激光工程, 2020, 49(3): 0303017.
[106] Jiang H Z, Li Y X, Zhao H J, et al. Parallel single-pixel imaging: a general method for direct-global separation and 3D shape reconstruction under strong global illumination[J]. International Journal of Computer Vision, 2021, 129(4): 1060-1086.
[107] 彭广泽, 陈文静. 基于卷积神经网络去噪正则化的条纹图修复[J]. 光学学报, 2020, 40(18): 1810002.
[108] Zhang L, Chen Q, Zuo C, et al. High-speed high dynamic range 3D shape measurement based on deep learning[J]. Optics and Lasers in Engineering, 2020, 134: 106245.
[109] Liu X J, Chen W Y, Madhusudanan H, et al. Optical measurement of highly reflective surfaces from a single exposure[J]. IEEE Transactions on Industrial Informatics, 2021, 17(3): 1882-1891.
[110] Yang G W, Yang M, Zhou N, et al. High dynamic range fringe pattern acquisition based on deep neural network[J]. Optics Communications, 2022, 512: 127765.
[111] RonnebergerO, FischerP, BroxT. U-Net: convolutional networks for biomedical image segmentation[M]∥NavabN, HorneggerJ, WellsW M, et al. Medical image computing and computer-assisted intervention–MICCAI 2015. Lecture notes in computer science. Cham: Springer, 2015, 9351: 234-241.
[112] Zhang P, Kai Z, Li Z, et al. High dynamic range 3D measurement based on structured light: a review[J]. Journal of Advanced Manufacturing Science and Technology, 2021, 1(2): 2021004.
[113] 吴周杰, 张启灿. 基于条纹投影的高速三维形貌测量技术发展综述[J]. 激光与光电子学进展, 2023, 60(8): 0811001.
[114] Feng S J, Zhang L, Zuo C, et al. High dynamic range 3D measurements with fringe projection profilometry: a review[J]. Measurement Science and Technology, 2018, 29(12): 122001.
[115] 张宗华, 于瑾, 高楠, 等. 高反光表面三维形貌测量技术[J]. 红外与激光工程, 2020, 49(3): 0303006.
[116] Cheng Y Y, Wyant J C. Phase shifter calibration in phase-shifting interferometry[J]. Applied Optics, 1985, 24(18): 3049-3052.
[117] Hariharan P, Oreb B F, Eiju T. Digital phase-shifting interferometry: a simple error-compensating phase calculation algorithm[J]. Applied Optics, 1987, 26(13): 2504-2506.
[118] Hao Q, Zhu Q D, Hu Y. Random phase-shifting interferometry without accurately controlling or calibrating the phase shifts[J]. Optics Letters, 2009, 34(8): 1288-1290.
[119] WeiseT, LeibeB, van GoolL. Fast 3D scanning with automatic motion compensation[C]∥2007 IEEE Conference on Computer Vision and Pattern Recognition, June 17-22, 2007, Minneapolis, MN, USA. New York: IEEE Press, 2007.
[120] Lu L, Xi J T, Yu Y G, et al. New approach to improve the accuracy of 3-D shape measurement of moving object using phase shifting profilometry[J]. Optics Express, 2013, 21(25): 30610-30622.
[121] Lu L, Xi J T, Yu Y G, et al. New approach to improve the performance of fringe pattern profilometry using multiple triangular patterns for the measurement of objects in motion[J]. Optical Engineering, 2014, 53(11): 112211.
[122] Lu L, Ding Y, Luan Y S, et al. Automated approach for the surface profile measurement of moving objects based on PSP[J]. Optics Express, 2017, 25(25): 32120-32131.
[123] Lu L, Jia Z Y, Luan Y S, et al. Reconstruction of isolated moving objects with high 3D frame rate based on phase shifting profilometry[J]. Optics Communications, 2019, 438: 61-66.
[124] Lu L, Jia Z Y, Pan W, et al. Automated reconstruction of multiple objects with individual movement based on PSP[J]. Optics Express, 2020, 28(19): 28600-28611.
[125] Feng S J, Zuo C, Tao T Y, et al. Robust dynamic 3-D measurements with motion-compensated phase-shifting profilometry[J]. Optics and Lasers in Engineering, 2018, 103: 127-138.
[126] Liu Z P, Zibley P C, Zhang S. Motion-induced error compensation for phase shifting profilometry[J]. Optics Express, 2018, 26(10): 12632-12637.
[127] Liu X R, Tao T Y, Wan Y Y, et al. Real-time motion-induced-error compensation in 3D surface-shape measurement[J]. Optics Express, 2019, 27(18): 25265-25279.
[128] Wang Y, Liu Z, Jiang C, et al. Motion induced phase error reduction using a Hilbert transform[J]. Optics Express, 2018, 26(26): 34224-34235.
[129] Guo W B, Wu Z J, Zhang Q C, et al. Real-time motion-induced error compensation for 4-step phase-shifting profilometry[J]. Optics Express, 2021, 29(15): 23822-23834.
[130] Wu G X, Yang T, Liu F, et al. Suppressing motion-induced phase error by using equal-step phase-shifting algorithms in fringe projection profilometry[J]. Optics Express, 2022, 30(11): 17980-17998.
[131] Tan J, Su W Q, He Z S, et al. Deep learning-based method for non-uniform motion-induced error reduction in dynamic microscopic 3D shape measurement[J]. Optics Express, 2022, 30(14): 24245-24260.
[132] Li Y Y, Guo W B, Shen J F, et al. Motion-induced phase error compensation using three-stream neural networks[J]. Applied Sciences, 2022, 12(16): 8114.
[133] Guo W B, Wu Z J, Li Y Y, et al. Real-time 3D shape measurement with dual-frequency composite grating and motion-induced error reduction[J]. Optics Express, 2020, 28(18): 26882-26897.
[134] Cong P Y, Xiong Z W, Zhang Y Y, et al. Accurate dynamic 3D sensing with Fourier-assisted phase shifting[J]. IEEE Journal of Selected Topics in Signal Processing, 2015, 9(3): 396-408.
[135] Li B W, Liu Z P, Zhang S. Motion-induced error reduction by combining Fourier transform profilometry with phase-shifting profilometry[J]. Optics Express, 2016, 24(20): 23289-23303.
[136] Qian J M, Tao T Y, Feng S J, et al. Motion-artifact-free dynamic 3D shape measurement with hybrid Fourier-transform phase-shifting profilometry[J]. Optics Express, 2019, 27(3): 2713-2731.
[137] Lu L, Suresh V, Zheng Y, et al. Motion induced error reduction methods for phase shifting profilometry: a review[J]. Optics and Lasers in Engineering, 2021, 141: 106573.
[138] 郭文博, 张启灿, 吴周杰. 基于相移条纹分析的实时三维成像技术发展综述[J]. 激光与光电子学进展, 2021, 58(8): 0800001.
[139] Onodera R, Ishii Y. Phase-extraction analysis of laser-diode phase-shifting interferometry that is insensitive to changes in laser power[J]. Journal of the Optical Society of America A, 1996, 13(1): 139-146.
[140] Liu Q, Wang Y, He J G, et al. Phase shift extraction and wavefront retrieval from interferograms with background and contrast fluctuations[J]. Journal of Optics, 2015, 17(2): 025704.
[141] Lu Y Y, Zhang R H, Guo H W. Correction of illumination fluctuations in phase-shifting technique by use of fringe histograms[J]. Applied Optics, 2015, 55(1): 184-197.
[142] Chen C, Wan Y Y, Cao Y P. Instability of projection light source and real-time phase error correction method for phase-shifting profilometry[J]. Optics Express, 2018, 26(4): 4258-4270.
[144] Chen Y C, Gai S Y, Da F P. Error model and two-phase correction method for indirect illumination[J]. IEEE Transactions on Instrumentation and Measurement, 2023, 72: 5009609.
Article Outline
李乐阳, 吴周杰, 张启灿. 基于相移条纹分析的相位误差补偿技术发展综述(特邀)[J]. 激光与光电子学进展, 2024, 61(2): 0211008. Yueyang Li, Zhoujie Wu, Qican Zhang. Phase Error Compensation Technique Based on Phase-Shifting Fringe Analysis: A Review (Invited)[J]. Laser & Optoelectronics Progress, 2024, 61(2): 0211008.