激光与光电子学进展, 2024, 61 (4): 0400004, 网络出版: 2024-02-22  

基于视觉的光学三维重建技术及其在农作物信息感知中的应用

Vision-Based Optical 3D Reconstruction and the Application in Crop Information Perception
作者单位
浙江农林大学光机电工程学院,浙江 杭州 311300
摘要
基于视觉的光学三维重建技术得益于对场景干预少、获取信息丰富等优点,在探测范围有限、非接触的场合得到了广泛应用。首先,主要介绍了基于主动视觉下的结构光法、莫尔法、飞行时间法、激光扫描法和基于被动视觉下的立体视觉法、运动恢复结构法,并分析了这些技术的优缺点;其次,总结并讨论了光学三维重建技术在农作物信息感知研究中的应用现状;最后,对光学三维重建的未来研究进行了展望。
Abstract
Vision-based optical 3D reconstruction method has found wide applications in situations where the detection range is limited, and non-contact methods are preferred, as they offer rich information with minimal scene intervention. This study aims to introduce various methods used for 3D reconstruction, including laser scanning, structured light, moire method, time of flight based on active vision, stereo vision, and structure from motion based on passive vision. In addition, extensive comparisons of these methods are analyzed in detail. Next, the application of optical 3D reconstruction technology in crop information perception research is summarized and discussed. Finally, the study offers future perspectives on optical 3D reconstruction.

1 引言

经过数十年的快速发展,三维重建技术取得了许多成果。三维重建是一种从一幅或多幅图像中提取目标对象三维形状信息的高通量表型技术1。基于视觉的光学三维重建技术得益于其对场景干预少、获取信息丰富等优点,受到广大学者的关注。该技术利用相机等光学仪器采集场景的二维图像,再通过相关技术获得场景的深度信息,然后利用三角分割、贪婪算法等重建出场景的轮廓信息,进而实现场景的三维重建。基于视觉的光学三维重建技术具有人工干预少、速度快、精度高、实时性好等优点,能广泛地应用于人工智能、人机交互、工业检测、医学和农业等领域2-4

由于对农作物三维形态分析需求的增加,三维成像技术在农作物信息感知中的应用日益普及。计算机技术与农业知识的逐步结合使得对农作物形态结构和生理功能的研究已经跨入数字化、可视化的阶段5-6。本文围绕基于视觉的光学三维重建技术及其在农作物信息感知的具体应用展开论述。

2 基于视觉的光学三维重建技术

光学三维重建技术,根据成像模式可分为主动式三维重建和被动式三维重建两种。两者区别在于是否引入专门的光源进行照射:前者需要向场景中投射结构光源,再通过采集和计算光源在场景中被调制的投影信息进行三维重建;而后者则利用自然光照明下采集的光场图像进行三维重建7

2.1 主动式三维重建技术

基于主动视觉的光学三维重建技术主要包括结构光法、莫尔干涉法、飞行时间法、激光扫描法等,其基本原理如图1所示。上述重建方法使用的系统通常由发送和接收两个部分组成:发送装置向场景发送特定信号;接收装置采集受场景影响的反射信号8-10。主动式三维重建的重建精度受仪器的影响较大,但特定仪器的价格非常昂贵,且只适合特定的场景,对于普通的重建应用性价比不高。

图 1. 4种主动式三维重建技术的原理图。(a)结构光法;(b)阴影莫尔法;(c)飞行时间法;(d)激光扫描法

Fig. 1. Schematics of four active 3D reconstruction techniques. (a) Structured light; (b) shadow moire; (c) time of flight; (d) laser scanning

下载图片 查看所有图片

2.1.1 结构光

结构光三维重建技术因其非接触、速度快、精度高、鲁棒性好等优点,在工业制造、质量检测、生物医学、计算机视觉等领域应用广泛,已经成为学术界的研究重点11-13。结构光系统由相机和投影仪组成,如图1(a)所示。投影仪将结构光投影到物体表面,相机从另一个角度捕捉反射信号。由于物体的几何形状,捕获的结构光将被调制,通过分析变形图形和投影图形的差异可以重建物体三维轮廓14-15

结构光法主要分为散斑结构光投影法和条纹投影轮廓术16。散斑结构光投影法将散斑图案投影到物体表面后,利用相机采集受物体调制的散斑图案并进行极线校正和相关匹配,再根据三角测量原理得到物体三维轮廓。散斑结构光投影法只需投影单帧散斑图案,投影效率高,但匹配结果和重建精度受物体表面反射率、相机分辨率、畸变等因素影响,对投影设备有较高要求。根据相位的解调方法,可将条纹投影轮廓术分为傅里叶变换轮廓术(FTP)7和相移测量轮廓术(PSP)17。FTP可以通过一个正弦条纹图来重建物体,首先通过傅里叶变换和滤波将期望的相位分量从背景中分离出来,然后通过傅里叶逆变换得到相位值。FTP只使用一种条纹图,适用于动态对象的重建。然而,考虑到过滤器通常很难清晰地分离组件,FTP的鲁棒性仍然有限。相比之下,采用多重正弦条纹图的PSP可以解决这种限制。PSP至少需要将3个正弦条纹图案与相移投射到物体表面,在计算相位值时,去掉了背景光和反射率,可实现鲁棒的相位反演,从而实现精确的三维形状测量。

散斑结构光投影法相比于条纹投影轮廓术,无需精确的相移要求与价格昂贵的投影设备,仅需成本低廉的散斑模板就可以获得优异的重建效果,但重建精度不高,往往不能满足工业级质量检测的高精度要求。

2.1.2 莫尔法

莫尔法具有精度高、结构简单的特点,是一种高效的非接触测量方法。根据光路排布的不同,莫尔法可分为投影莫尔法和阴影莫尔法。莫尔条纹是由两个空间频率相近的周期性光栅图形叠加而形成的光学条纹。投影莫尔法将莫尔条纹投影到被测物体上,相位被物体高度调制后形成变形光栅,再采用相移技术求解相位变化,从而得到物体的深度信息,最后实现物体的重建,与结构光一样都是用相位映射高度,但投影图案的原理不同;阴影莫尔法将光栅置于靠近物体的地方,透过光栅观察其在物体上的阴影与光栅线的干涉,再使用相移技术来重建物体的三维形状18,其原理如图1(b)所示。

2002年,杨晓苹等19在传统阴影莫尔法的基础上加入了一种制造工艺简单、成本低的双光栅结构,改进方法能在一个相位周期内重建物体且具有不低于传统莫尔法的重建精度。2018年,杜虎兵等20在不增加实验装置复杂性的基础上,提出一种随机相移阴影莫尔三维重建技术。实验装置结构参数的标定采用立体视觉的方法,为了简化阴影莫尔技术的测量过程,运用3帧随机相移算法计算相位。该方法不仅可以有效降低相移器的应用要求,而且在解调相位时不受背景光的影响。

2.1.3 飞行时间法

飞行时间(TOF)是主动式测量技术的一种,基本原理是通过测量发射光的传播时间来提供距离信息21,其原理如图1(c)所示。发射器向物体发射脉冲光,当遇到物体时发生反射,最终脉冲光被接收器接收。因为光和声音在空气中的传播速度是不变的,所以可以通过计算发射和接收的时间差来获得物体的深度信息22-23

TOF相机可以直接获得场景的深度信息,从而获得场景的三维点云,比传统的二维测距仪有优势。2014年,微软公司推出了基于TOF原理获取深度信息的Kinect 2.0传感器。2019年,李占利等24提出一种具有高精度的实时误差补偿算法,在有效距离内降低了传感器的平面度误差、平均误差和单帧补偿时间。

2.1.4 激光扫描法

激光扫描法是20世纪90年代中期出现的,是GPS定位系统之后测绘技术领域又一种突破性的测量方法25,其原理如图1(d)所示。激光扫描法利用激光测距仪来测量场景。通过激光测距仪发射和接收信号的时间差确定物体离激光测距仪的距离,从而获得物体的形状26。与单点测量技术相比,激光扫描技术不再局限于点测量,实现了面测量。激光扫描技术因其自动化程度高、测量速度快、数据精度高等技术优势在建筑行业、古迹保护、土木工程领域、室内设计、灾害评估、滑坡体的监测、数字化城市等领域得到了广泛应用。

2.2 被动式三维重建技术

基于被动视觉的光学三维重建技术包括立体视觉法、运动恢复结构法等,其基本原理如图2所示。被动视觉法通过一台或多台相机采集图像序列,再对有用信息进行逆向建模,最后重建物体的三维模型。被动视觉法具有成本较低、操作简单、实时性较高、对光照要求较低,以及对场景要求低等优点,但重建精度不是很高。

图 2. 两种被动式三维重建技术的原理图。(a)立体视觉法;(b)运动恢复结构法

Fig. 2. Schematics of two passive 3D reconstruction techniques. (a) Stereo vision; (b) structure from motion

下载图片 查看所有图片

2.2.1 立体视觉法

立体视觉是一种模拟人类视觉原理的被动深度感知方法27-28。人类视觉具有从二维图像中还原出真实场景并进行识别分析的功能。立体视觉系统的原理如图2(a)所示,用两个或多个相机获取多幅不同角度的图像,如P点在左相机坐标系Ol-xlylzl和右相机坐标系Or-xryrzr的成像位置分别为(UlVl)、(UrVr),再根据立体视差得到该点的深度信息,最后对该场景进行模型重建29-30。一个完整的双目立体视觉系统通常由图像获取及处理、摄像机标定及校正、立体匹配、场景重建等几个部分组成31-32。立体视觉系统结构简单、易于实现,但在实际应用时易受环境影响,在立体匹配时会造成视觉信息不足等问题,导致匹配出错33

2.2.2 运动恢复结构法

运动恢复结构法(SFM)的基本原理是通过一个移动相机拍摄得到的一系列二维图像求解相机姿态和场景结构,进而恢复场景的三维信息34。SFM的基本原理如图2(b)所示。M点运动后经旋转矩阵R和平移矩阵t变换,从运动前相机坐标系C-xyz中的m变换到运动后相机坐标系C'-x'y'z'm'Rt的求解过程就是SFM的基本原理。在利用此方法进行三维重建时,常用最小二乘法解决由噪声点干扰产生的累计误差。光束平差法(BA)本质上是一种非线性最小二乘优化方法,该方法的原理是使反投影像点(三维点经估计透视投影矩阵反投影回图像上后得到的点)到真实像点的距离最小。距离越小,估计透视投影矩阵和三维点坐标的误差越小。单目相机缺少尺度信息,重建结果只能确定未知的比例因子,无法获取准确的场景结构。2019年,陈朋等35在基于深度学习的SFM中引入惯性传感单元的观测数据,在频域中获取单目相机的尺度因子,解决了单目相机缺少尺度信息的问题。根据原理的不同,可以将SFM方法大致分为增量式、全局式与混合式等3类36

增量式SFM37的原理如下:首先对相机获得的多幅图进行特征点检测和匹配,求解出相机参数并恢复场景部分三维点;其次对初始化生成的相机位姿和3D点集进行BA优化。随后,不断添加新图像并求解相机位姿和特征点三角定位,为增加算法的鲁棒性,每添加新图像并重建完成后都需要进行BA优化,直到添加完所有图像,实现整个场景重建。全局式SFM38首先使用旋转一致性求解相机全局旋转,再计算相机的位移,最后通过BA提升重建质量。将增量式SFM和全局式SFM叠加就是混合式SFM,其原理是分别利用全局式SFM和增量式SFM求得相机外参和相机位置,再利用三角定位恢复场景三维信息,最后对重建模型进行BA优化。

增量式SFM相比其他两种方法使用更为普遍,但具有累计误差大、优化过程计算量大、对初始化敏感等缺陷。全局式SFM虽然克服了增量式SFM误差大和重建效率低的缺陷,但在处理特征和匹配噪声较大的数据时受影响较大,且混合式SFM在求解位移矩阵时易出现误差39

由于科学技术的迅速发展,上述重建技术取得了不同程度的进步,国内外的学者开始关注三维重建的效果、可靠性以及实时性等方面,相信今后三维重建技术的发展会越来越好。表1对上述基于视觉的光学三维重建技术进行了对比与分析。

表 1. 基于视觉的光学三维重建技术的对比分析

Table 1. Comparison and analysis of 3D reconstruction based on vision

Reconstruction technologyAdvantageDisadvantage
Laser scanning25-26High reconstruction precision, low requirement for target scenes, simple and intuitive operation, high degree of automation, and can be used for complex object reconstructionHuge amount of point cloud data, not easy to process, and high cost of equipment
Structured light11-17Non-destructive, high reconstruction accuracy, simple operation, and high robustnessSlow reconstruction speed, not suitable for outdoor scenes
Moire method18-20Simple structure, low image requirements, and low power consumptionLow effectiveness, poor interference resistance, poor reconstruction, and complex process
Time of flight21-24Simple data processing, fast response, and direct extraction of geometric informationLower reconstruction accuracy
Stereo vision27-33The system hardware structure is simple and easy to implementHigh calculation volume and low interference resistance
The structure from motion34-39Higher practical value, higher robustness, lower requirements for images, more images, and higher reconstruction accuracyLarger calculations and longer reconstruction time

查看所有表

3 视觉三维重建技术在农作物智能感知中的应用

计算机三维重建技术在农业上的应用是目前国内外的一个热门研究课题,具有广泛的前景40。农业生产是人类文明出现以来最重要的人类活动,不仅为人类提供绵绵不断的食物,同时还为许多工业生产提供了丰富的原材料41-42。将三维重建技术与生物技术、测量检测技术等相结合,可在农业领域应用于表型测量、生长监测、缺陷检测、产量预测及育种等方面,提高作物产量。

3.1 植物表型

植物表型是对植物性状(包括生长、形态、生理和产量)的定量评估。在植物育种和生长监测中,植物结构参数的准确快速测量至关重要。作物三维形态结构是进行精准植物表型的前提。然而,传统的人工检测植物表型信息的方法虽然相对精确,但人力成本高、效率低、不利于自动化,且人工检测还存在时效差、主观性强等缺点43

2016年,Zhang等44将多视点立体视觉与运动结构算法相结合,开发了一种高效的多摄像机摄影(MCP)系统。通过对苗圃红辣椒6个变量的测量,考察了4种镜头在4个不同位置拍摄照片的三维模型的精度。实验结果验证了该方法在精细植物模型重建和植物参数精确估计方面的实用性。2019年,Martinez-Guanter等45选定3种不同作物(玉米、甜菜和向日葵)比较了基于SFM与基于RGB的Kinect v2传感器的三维重建效果,实验结果表明,两种方法都具有较好的效果,在室内和室外场景有巨大的应用潜力。2020年,梁秀英等46提出一种基于运动恢复结构的户外玉米植株三维重建方法,并准确无损提取了株高、茎粗、叶面积、叶片数、叶夹角等11个性状参数。该方法适用于作物表型户外测量,为表型研究提供了一种新的作物表型户外测量方法。2022年,Li等47通过RGB摄像机和视频帧提取方法获取多视图图像序列,然后利用SFM算法对玉米进行基于结构的三维重建,测得的玉米株高、叶长、相对叶面积和叶宽与相应的人工测量值高度相关,决定系数(R2)分别为0.991、0.989、0.926和0.963。

3.2 精准育种

植物育种是提高产量和植物适应性的一条极其重要的遗传改良途径。遗传改良需要仔细测量植物表型或性状特征。表型分析涉及植物育种的两个主要目标:1)用于早期识别决定产量潜力、抗逆性和作物质量的性状;2)用来确定作物基因和环境之间的相互作用。但表型分析被广泛认为是劳动密集型的,成本高昂,导致作物育种中出现所谓的“表型瓶颈”48。植物的三维重建为植物结构数字化提供了一种高效、准确的方法。通过分析不同生长环境下基因型和表型之间的关系,可以更快地培育出高产、耐逆的植物,对满足全球日益增长的粮食和能源需要至关重要。

2018年,Hui等49基于MVS方法进行三维重建,从二维和三维量化层面评估植物种群的冠层结构,并将其应用于育种和田间管理的三维表型分析。2019年,Ma等50提出了一种在三维空间中计算玉米冠层表型性状的方法,精确测量了盆栽玉米冠状的株高、茎粗和冠层宽度,为进一步研究其他作物的表型特征和品种培育提供了技术支持。但自然环境中的光照不可控,田间背景复杂多变,导致获得的图像质量较差。2019年,Ge等51提出了一种基于双目立体视觉和高斯混合模型的自然环境下西兰花幼苗识别方法,为自然环境下的作物识别提供了一种低成本、实时、高精度的解决方案。2020年,Wu等52开发了一种便携式、低成本的单株玉米苗表型分析平台(MVS-Pheno),可在户外田间条件下精确测量玉米苗的株高、叶宽和叶面积值,指导植物育种中芽结构的优化,并有助于分析作物栽培环境下的形态差异。2022年,Yang等53提出了一种幼苗点云自主对齐方法,可以实现批量幼苗的低成本、快速三维重建,且高度具有较高的准确性(R2>0.985)。

3.3 生长监测

在现代农业中,植物生长监测对于提高作物效率和减少损失至关重要,其中,物理结构参数是植物生长状况监测的重要指标。对植物表型的分析可用于评估植物的个体和集体健康情况。视觉三维重建方法为植物结构参数的提取提供了一种无损高效的技术。利用三维重建技术实现植物三维形态结构建模及生长过程的可视化表达,可以方便地获取植物的生长发育状态等相关信息,是数字植物研究的热点和难点,对植物表型特征的提取、植株的三维可视化等研究方向具有重要意义54-55

2018年,Hu等56提出了一种基于Kinect的叶菜类蔬菜生长无损自动测量系统,该系统可测量关键生长参数,包括相对/绝对高度、总/投影叶面积和体积,所有测量数据都显示出良好的拟合优度(R2:0.9457~0.9914)。2020年,Paturkar等57提出了一种基于运动结构算法的单手机摄像头高效无损三维重建植物系统,在室外条件下对辣椒植株的生长进行了监测,计算值与手动测量值之间的R2大于0.98。与最先进的系统相比,该系统具有在室外条件下精确、无损地监测植物生长的潜力。2022年,Li等58提出了一种基于深度学习的植物生长数字孪生系统单视角叶片重建方法。该方法主要融合了ResNet和可微渲染的优点,可进一步增强特征提取能力和重建精度,允许使用单一视图对不同形状的植物叶子进行3D重建。

3.4 检测分级及产量预测

将农产品按形状分类并确定其大小和体积,是满足市场质量标准和增加市场价值的基本要求。农产品检测与分级过程费时费力,而机械传感器由于皮带质量和冲击测量可能会损坏农产品,并且由于振动而难以校准,因此无损检测方法对于产量估计和分级非常重要。对农产品表面进行三维重建,可以无损获取其表面特征信息,从而快速地评估其品质状态,有效提高品质检测分级的自动化和数字化水平。

2018年,Lu等59提出了一种结合相位分析的新型结构照明反射成像(SIRI)系统重建水果表面轮廓。测试结果表明,表面凹度(即茎/花萼区域)可以很容易地从相位差图像和重建的高度剖面图中区分出碰伤缺陷。2020年,Cai等60基于单目摄像机和线激光构建了马铃薯表型测定扫描装置,精确测量了马铃薯的体积并估算质量,测量体积的平均相对误差为-0.08%,估计质量的平均相对误差为0.48%,可用于马铃薯分级和产量预测。2021年,Ma等61提出了一种基于双目立体视觉的苹果表型参数快速估计方法,测量了体积、高度、直径和果形指数,各参数的线性回归拟合系数R2均大于0.90。其中,体积拟合得最好,R2为0.97,根据中国“鲜苹果”国家标准,平均误差在允许误差范围内,可以作为水果分类的依据。

除上述应用外,三维重建技术还可以与虚拟现实结合,通过实时大规模非结构化农业环境重建和虚拟环境同步创建,将物理世界和虚拟世界连接起来应用于农业机器人在田间和果园环境的作业。表2总结了三维重建技术在农作物信息感知的应用。从表2可以看出,农作物重建对象复杂多样化,作物的重建难度较大,未来研究向成本低、精度高、速度快方向发展。

表 2. 三维重建在农作物信息感知的应用总结

Table 2. Summary of 3D reconstruction in crop information perception

Reconstruction technologyObjectParameterPurposeApplication scenariosReference
Stereo vision, structure from motionPotted plantsHeight, size of canopy and diameter of trunkGrowth monitoringIndoor62
Laser scanningCanopy of maizePlant height, stem thickness and canopy widthBreedingOutdoor50
Time-of-flightLeafy vegetablesHeight, leaf area, volumeGrowth monitoringIndoor56
Stereo visionSunflower, corn and cotton plantsHeight, leaf area, biomassGrowth monitoringOutdoor63
Structure from motionCorn, sugar beets and sunflowersHeight, leaf area and dry biomassGrowth monitoringIndoor45
Laser scanningPotatoesVolumeProduction forecast60
Multiple view stereoCorn seedlingsPlant height, leaf width and leaf areaBreedingOutdoor52
Structure from motionPepper plantsNumber of leaves, plant height and leaf areaGrowth monitoringOutdoor57
Stereo visionAppleVolume, height, diameterTesting and gradingIndoor64
Laser scanning, multiple view stereoCorn plantsPhenotype measurementIndoor65
Multiple view stereo, structure from motionTomato plantsLeaf area, main stem height and convex hull parametersPhenotype measurementIndoor66
stereo visionBroccoli seedlingsBreedingOutdoor51

查看所有表

4 总结与展望

本综述从工作原理、技术特点、应用场景等方面对视觉三维重建主流技术进行了总结与分析,主要包括基于视觉的主动式技术(结构光法、飞行时间法、莫尔法、激光扫描法)以及基于视觉的被动式技术(立体视觉法、运动恢复结构技术),回顾了三维重建技术在农作物信息感知领域的应用,如植物表型精确测量、生长规律分析、产量预测等。视觉三维重建技术的发展极大地促进了植物三维结构的精准建模研究,但由于植物生长的复杂性和随机性,其三维模型的构建仍然面临诸多挑战,也对三维重建技术提出了更高的要求。

今后的视觉三维重建技术研究中,以下4个方面值得关注:传统的三维重建技术大部分的重建对象都是刚性物体,针对非刚性物体和动态物体的研究较少;视觉三维重建技术对光线的要求较高,抗干扰性不强,对外部环境要求较高;视觉三维重建技术应用场景非常广泛,但主要还是以室内小规模重建为主,对室外大规模重建的研究相对较少;视觉三维重建技术研究已从传统的工业领域快速发到医学、农业等领域。

由于三维重建技术各有优缺点,离实际应用还有一段距离,各种问题亟待解决,未来将有越来越多的研究人员进入该领域并积极推动其发展。

参考文献

[1] Hartley Z K J, Jackson A S, Pound M, et al. GANana: unsupervised domain adaptation for volumetric regression of fruit[J]. Plant Phenomics, 2021, 2021: 9874597.

[2] 王荣超, 张力, 张涛, 等. 基于视觉的三维重建技术分析及其军事应用研究[J]. 信息与电脑(理论版), 2021, 33(16): 13-16.

    Wang R C, Zhang L, Zhang T, et al. Application research of vision-based 3D reconstruction technology in military field[J]. China Computer & Communication, 2021, 33(16): 13-16.

[3] 王思启, 张家强, 李丽圆, 李潇雁, 陈凡胜. MVSNet在空间目标三维重建中的应用[J]. 中国激光, 2022, 49(23): 2310003.

    Wang Siqi, Zhang Jiaqiang, Li Liyuan, Li Xiaoyan, Chen Fansheng. Application of MVSNet in 3D reconstruction of space objects[J]. Chinese Journal of Lasers, 2022, 49(23): 2310003.

[4] 郑太雄, 黄帅, 李永福, 等. 基于视觉的三维重建关键技术研究综述[J]. 自动化学报, 2020, 46(4): 631-652.

    Zheng T X, Huang S, Li Y F, et al. Key techniques for vision based 3D reconstruction: a review[J]. Acta Automatica Sinica, 2020, 46(4): 631-652.

[5] Bao Y, Tang L, Srinivasan S, et al. Field-based architectural traits characterisation of maize plant using time-of-flight 3D imaging[J]. Biosystems Engineering, 2019, 178: 86-101.

[6] Fahlgren N, Gehan M A, LightsBaxter I., camera, action. high-throughput plant phenotyping is ready for a close-up[J]. Current Opinion in Plant Biology, 2015, 24: 93-99.

[7] Teng J J, Hu C Y, Huang H H, et al. Single-shot 3D tracking based on polarization multiplexed Fourier-phase camera[J]. Photonics Research, 2021, 9(10): 1924-1930.

[8] 陈佳佳. 基于光栅投影的金属实体三维重建技术[D]. 广州: 华南理工大学, 2011: 15-17.

    ChenJ J. 3D reconstruction technology of the metal object based on fringe projection[D]. Guangzhou: South China University of Technology, 2011: 15-17.

[9] 陈荣, 许宏丽, 杨东学, 等. 一种基于空间编码结构光的稠密三维重建算法[J]. 西安电子科技大学学报, 2021, 48(6): 123-130.

    Chen R, Xu H L, Yang D X, et al. Dense three-dimensional reconstruction algorithm based on spatially encoded structured light[J]. Journal of Xidian University, 2021, 48(6): 123-130.

[10] 邓仕超, 陈艺海, 黄扬, 等. 基于结构光三维重建系统的改进相位研究[J]. 组合机床与自动化加工技术, 2021(11): 31-34, 38.

    Deng S C, Chen Y H, Huang Y, et al. Research on improved phase based on structured light 3D reconstruction system[J]. Modular Machine Tool & Automatic Manufacturing Technique, 2021(11): 31-34, 38.

[11] 薛峰, 陈龙, 张峰峰. 基于结构光的强反射表面三维重建方法研究[J]. 哈尔滨理工大学学报, 2021, 26(5): 18-24.

    Xue F, Chen L, Zhang F F. Research on 3D reconstruction of strongly reflected surface based on structured light[J]. Journal of Harbin University of Science and Technology, 2021, 26(5): 18-24.

[12] 周佩, 朱江平, 孔令寅, 等. 基于旋转散斑结构光投影的三维人脸采集[J]. 激光与光电子学进展, 2021, 58(4): 0415019.

    Zhou P, Zhu J P, Kong L Y, et al. Three-dimension face acquisition with rotating speckle structured light projection[J]. Laser & Optoelectronics Progress, 2021, 58(4): 0415019.

[13] 左超, 张晓磊, 胡岩, 等. 3D真的来了吗?: 三维结构光传感器漫谈[J]. 红外与激光工程, 2020, 49(3): 0303001.

    Zuo C, Zhang X L, Hu Y, et al. Has 3D finally come of age?: an introduction to 3D structured-light sensor[J]. Infrared and Laser Engineering, 2020, 49(3): 0303001.

[14] 刘飞, 罗惠方, 江翰立, 等. 改进的三频三步相移结构光三维重建方法[J]. 红外与激光工程, 2022, 51(4): 20210179.

    Liu F, Luo H F, Jiang H L, et al. Modified three-dimensional reconstruction based on three-frequency three-step phase shifting algorithm[J]. Infrared and Laser Engineering, 2022, 51(4): 20210179.

[15] 刘飞, 闫明宇, 李轩, 等. 基于漫反射光偏振特性的三维成像技术研究进展[J]. 激光与光电子学进展, 2021, 58(18): 1811015.

    Liu F, Yan M Y, Li X, et al. Advances in diffused polarization-based three-dimensional imaging technology[J]. Laser & Optoelectronics Progress, 2021, 58(18): 1811015.

[16] Liu J H, Wang Y Z. 3D surface reconstruction of small height object based on thin structured light scanning[J]. Micron, 2021, 143: 103022.

[17] Yang S C, Huang H L, Wu G X, et al. High-speed three-dimensional shape measurement with inner shifting-phase fringe projection profilometry[J]. Chinese Optics Letters, 2022, 20(11): 112601.

[18] Savarese S, Andreetto M, Rushmeier H, et al. 3D reconstruction by shadow carving: theory and practical evaluation[J]. International Journal of Computer Vision, 2007, 71(3): 305-336.

[19] 杨晓苹, 王莱, 翟宏琛. 基于双光栅结构的阴影莫尔法三维形貌测量[J]. 光电子·激光, 2002, 13(11): 1155-1158.

    Yang X P, Wang L, Zhai H C. A shadow Moire system based on two Ronchi gratings structure for the measurement of 3D profile[J]. Journal of Optoelectronics·Laser, 2002, 13(11): 1155-1158.

[20] 杜虎兵, 张少锋, 宇建红, 等. 随机相移阴影莫尔法研究[J]. 光学学报, 2018, 38(8): 0815010.

    Du H B, Zhang S F, Yu J H, et al. Research on random phase shifting shadow Moiré technique[J]. Acta Optica Sinica, 2018, 38(8): 0815010.

[21] DorringtonA A, KellyC B D, McclureS H, et al. Advantages of 3D time-of-flight range imaging cameras in machine vision applications[C]∥In Proceeding of the 16th Electronics New Zealand Conference (ENZCon), November 18-20, 2009, Dunedin, New Zealand. Dunedin: University of Otago, 2009: 95-99.

[22] Druml N, Ehrenhoefer C, Bell W, et al. A fast and flexible HW/SW co-processing framework for time-of-flight 3D imaging[J]. Microelectronics Reliability, 2018, 81: 64-76.

[23] GanapathiV, PlagemannC, KollerD, et al. Real time motion capture using a single time-of-flight camera[C]∥2010 IEEE Computer Society Conference on Computer Vision and Pattern Recognition, June 13-18, 2010, San Francisco, CA, USA. New York: IEEE Press, 2010: 755-762.

[24] 李占利, 周康, 牟琦, 等. TOF相机实时高精度深度误差补偿方法[J]. 红外与激光工程, 2019, 48(12): 1213004.

    Li Z L, Zhou K, Mu Q, et al. TOF camera real-time high precision depth error compensation method[J]. Infrared and Laser Engineering, 2019, 48(12): 1213004.

[25] 娄吕. 三维激光扫描点云数据精简算法研究[D]. 昆明: 昆明理工大学, 2017: 20-24.

    LouL. Research on data reduction algorithm of three-dimensional laser scanning point cloud[D]. Kunming: Kunming University of Science and Technology, 2017: 20-24.

[26] Disney M. Terrestrial LiDAR: a three-dimensional revolution in how we look at trees[J]. The New Phytologist, 2019, 222(4): 1736-1741.

[27] Mozerov M G, van de Weijer J. Accurate stereo matching by two-step energy minimization[J]. IEEE Transactions on Image Processing, 2015, 24(3): 1153-1163.

[28] Navarro J, Buades A. Semi-dense and robust image registration by shift adapted weighted aggregation and variational completion[J]. Image and Vision Computing, 2019, 89: 258-275.

[29] Niu Z G, Li L J, Wang T. 3D reconstruction based on binocular stereo vision of robot[J]. Advanced Materials Research, 2011, 338: 645-648.

[30] 毛佳红, 娄小平, 李伟仙, 等. 基于线结构光的双目三维体积测量系统[J]. 光学技术, 2016, 42(1): 10-15.

    Mao J H, Lou X P, Li W X, et al. Binocular 3D volume measurement system based on line-structured light[J]. Optical Technique, 2016, 42(1): 10-15.

[31] 张如如, 葛广英, 申哲, 等. 基于双目立体视觉的三维重建方法[J]. 扬州大学学报(自然科学版), 2018, 21(3): 5-10.

    Zhang R R, Ge G Y, Shen Z, et al. 3D reconstruction based on binocular stereo vision[J]. Journal of Yangzhou University (Natural Science Edition), 2018, 21(3): 5-10.

[32] Gao Z R, Su Y, Zhang Q C. Single-event-camera-based 3D trajectory measurement method for high-speed moving targets[J]. Chinese Optics Letters, 2022, 20(6): 061101.

[33] 殷悦, 张慧春, 郑加强. 基于双目立体视觉的植物三维重建系统[J]. 中国农机化学报, 2021, 42(3): 129-135.

    Yin Y, Zhang H C, Zheng J Q. Three dimensional reconstruction system of plant based on binocular stereo vision[J]. Journal of Chinese Agricultural Mechanization, 2021, 42(3): 129-135.

[34] 刘青松, 谢晓方, 张烜喆, 等. 聚焦型光场相机等效多相机模型及其运动恢复结构应用[J]. 光学学报, 2021, 41(3): 0315001.

    Liu Q S, Xie X F, Zhang X Z, et al. Equivalent multi-camera model of focused plenoptic camera and its application in structure from motion[J]. Acta Optica Sinica, 2021, 41(3): 0315001.

[35] 陈朋, 任金金, 王海霞, 等. 基于深度学习的真实尺度运动恢复结构方法[J]. 光电工程, 2019, 46(12): 190006.

    Chen P, Ren J J, Wang H X, et al. Equal-scale structure from motion method based on deep learning[J]. Opto-Electronic Engineering, 2019, 46(12): 190006.

[36] 韩超. 基于无人机航拍图像的三维重建SfM算法研究[D]. 呼和浩特: 内蒙古工业大学, 2019: 16-18.

    HanC. SfM algorithm of 3D reconstruction from UAV aerial images[D]. Hohhot: Inner Mongolia University of Tehchnology, 2019: 16-18.

[37] WuC C. Towards linear-time incremental structure from motion[C]∥2013 International Conference on 3D Vision-3DV, June 29-July 1, 2013, Seattle, WA, USA. New York: IEEE Press, 2013: 127-134.

[38] Cui H N, Shen S H, Gao W, et al. Efficient large-scale structure from motion by fusing auxiliary imaging information[J]. IEEE Transactions on Image Processing, 2015, 24(11): 3561-3573.

[39] 王巧丽, 徐增波, 张玲. 基于运动恢复结构三维重建的应用与研究进展[J]. 毛纺科技, 2021, 49(7): 95-98.

    Wang Q L, Xu Z B, Zhang L. Application and research development of 3D reconstruction based on structure from motion[J]. Wool Textile Journal, 2021, 49(7): 95-98.

[40] 韩东, 杨贵军, 杨浩, 等. 基于立体视觉的玉米雄穗三维信息提取[J]. 农业工程学报, 2018, 34(11): 166-173.

    Han D, Yang G J, Yang H, et al. Three dimensional information extraction from maize tassel based on stereoscopic vision[J]. Transactions of the Chinese Society of Agricultural Engineering, 2018, 34(11): 166-173.

[41] 杨茂林, 郑俊丽, 余丽萍, 等. 植物生长LED用Sr2MgAl22O36∶Mn4+荧光玻璃的制备与发光性质[J]. 发光学报, 2021, 42(5): 717-723.

    Yang M L, Zheng J L, Yu L P, et al. Preparation and luminescent properties of Sr2MgAl22O36∶Mn4+ phosphor-in-glass for plant growth LED[J]. Chinese Journal of Luminescence, 2021, 42(5): 717-723.

[42] 李亚东, 许晓凯, 李唯, 等. 荧光碳点调控植物光合作用研究进展[J]. 发光学报, 2021, 42(8): 1172-1181.

    Li Y D, Xu X K, Li W, et al. Progress of carbon dots regulating plant photosynthesis[J]. Chinese Journal of Luminescence, 2021, 42(8): 1172-1181.

[43] 周静静. 基于多视角图像的玉米植株三维重建技术研究[D]. 上海: 上海海洋大学, 2019: 23-17.

    ZhouJ J. Research on 3D reconstruction technology of maize plants based on multi-view images[D]. Shanghai: Shanghai Ocean University, 2019: 23-17.

[44] Zhang Y, Teng P, Shimizu Y, et al. Estimating 3D leaf and stem shape of nursery paprika plants by a novel multi-camera photography system[J]. Sensors, 2016, 16(6): 874.

[45] Martinez-Guanter J, Ribeiro Á, Peteinatos G G, et al. Low-cost three-dimensional modeling of crop plants[J]. Sensors, 2019, 19(13): 2883.

[46] 梁秀英, 周风燃, 陈欢, 等. 基于运动恢复结构的玉米植株三维重建与性状提取[J]. 农业机械学报, 2020, 51(6): 209-219.

    Liang X Y, Zhou F R, Chen H, et al. Three-dimensional maize plants reconstruction and traits extraction based on structure from motion[J]. Transactions of the Chinese Society for Agricultural Machinery, 2020, 51(6): 209-219.

[47] Li Y C, Liu J Y, Zhang B, et al. Three-dimensional reconstruction and phenotype measurement of maize seedlings based on multi-view image sequences[J]. Frontiers in Plant Science, 2022, 13: 974339.

[48] Schöler F, Steinhage V. Automated 3D reconstruction of grape cluster architecture from sensor data for efficient phenotyping[J]. Computers and Electronics in Agriculture, 2015, 114: 163-177.

[49] Hui F, Zhu J Y, Hu P C, et al. Image-based dynamic quantification and high-accuracy 3D evaluation of canopy structure of plant populations[J]. Annals of Botany, 2018, 121(5): 1079-1088.

[50] Ma X D, Zhu K X, Guan H O, et al. Calculation method for phenotypic traits based on the 3D reconstruction of maize canopies[J]. Sensors, 2019, 19(5): 1201.

[51] Ge L Z, Yang Z L, Sun Z, et al. A method for broccoli seedling recognition in natural environment based on binocular stereo vision and Gaussian mixture model[J]. Sensors, 2019, 19(5): 1132.

[52] Wu S, Wen W L, Wang Y J, et al. MVS-pheno: a portable and low-cost phenotyping platform for maize shoots using multiview stereo 3D reconstruction[J]. Plant Phenomics, 2020, 2020: 1848437.

[53] Yang T T, Ye J H, Zhou S Y, et al. 3D reconstruction method for tree seedlings based on point cloud self-registration[J]. Computers and Electronics in Agriculture, 2022, 200: 107210.

[54] 杨会君, 王瑞萍, 王增莹, 等. 基于多视角图像的作物果实三维表型重建[J]. 南京师大学报(自然科学版), 2021, 44(2): 92-103.

    Yang H J, Wang R P, Wang Z Y, et al. Three-dimensional phenotypic reconstruction of crop fruit based on multi-view image[J]. Journal of Nanjing Normal University (Natural Science Edition), 2021, 44(2): 92-103.

[55] 张越, 翟福琪, 蔡孙宝, 等. 基于点云数据的植物叶片特征提取及三维重建[J]. 中国测试, 2021, 47(8): 6-12.

    Zhang Y, Zhai F Q, Cai S B, et al. Feature extraction and 3D reconstruction of plant leaf based on point cloud data[J]. China Measurement & Test, 2021, 47(8): 6-12.

[56] Hu Y, Wang L, Xiang L R, et al. Automatic non-destructive growth measurement of leafy vegetables based on kinect[J]. Sensors, 2018, 18(3): 806.

[57] Paturkar A, Gupta G S, Bailey D. Non-destructive and cost-effective 3D plant growth monitoring system in outdoor conditions[J]. Multimedia Tools and Applications, 2020, 79(47): 34955-34971.

[58] Li W, Zhu D L, Wang Q. A single view leaf reconstruction method based on the fusion of ResNet and differentiable render in plant growth digital twin system[J]. Computers and Electronics in Agriculture, 2022, 193: 106712.

[59] Lu Y Z, Lu R F. Structured-illumination reflectance imaging coupled with phase analysis techniques for surface profiling of apples[J]. Journal of Food Engineering, 2018, 232: 11-20.

[60] Cai Z Y, Jin C Q, Xu J, et al. Measurement of potato volume with laser triangulation and three-dimensional reconstruction[J]. IEEE Access, 2020, 8: 176565-176574.

[61] Ma H, Zhu X, Ji J T, et al. Rapid estimation of apple phenotypic parameters based on 3D reconstruction[J]. International Journal of Agricultural and Biological Engineering, 2021, 14(5): 180-188.

[62] Peng Y P, Yang M B, Zhao G P, et al. Binocular-vision-based structure from motion for 3-D reconstruction of plants[J]. IEEE Geoscience and Remote Sensing Letters, 2022, 19: 1-5.

[63] Lati R N, Filin S, Eizenberg H. Estimating plant growth parameters using an energy minimization-based stereovision model[J]. Computers and Electronics in Agriculture, 2013, 98: 260-271.

[64] Chen Y, Zhang B H, Zhou J, et al. Real-time 3D unstructured environment reconstruction utilizing VR and Kinect-based immersive teleoperation for agricultural field robots[J]. Computers and Electronics in Agriculture, 2020, 175: 105579.

[65] Wang Y J, Wen W L, Wu S, et al. Maize plant phenotyping: comparing 3D laser scanning, multi-view stereo reconstruction, and 3D digitizing estimates[J]. Remote Sensing, 2018, 11(1): 63.

[66] Rose J C, Paulus S, Kuhlmann H. Accuracy analysis of a multi-view stereo approach for phenotyping of tomato plants at the organ level[J]. Sensors, 2015, 15(5): 9651-9665.

俞盛旗, 胡栋, 刘威. 基于视觉的光学三维重建技术及其在农作物信息感知中的应用[J]. 激光与光电子学进展, 2024, 61(4): 0400004. Shengqi Yu, Dong Hu, Wei Liu. Vision-Based Optical 3D Reconstruction and the Application in Crop Information Perception[J]. Laser & Optoelectronics Progress, 2024, 61(4): 0400004.

引用该论文: TXT   |   EndNote

相关论文

加载中...

关于本站 Cookie 的使用提示

中国光学期刊网使用基于 cookie 的技术来更好地为您提供各项服务,点击此处了解我们的隐私策略。 如您需继续使用本网站,请您授权我们使用本地 cookie 来保存部分信息。
全站搜索
您最值得信赖的光电行业旗舰网络服务平台!