金子蘅 1,2,3徐可 1,2,3张宁远 1,2,3邓潇 1,2,3[ ... ]冯世杰 1,2,3,*
1 南京理工大学电子工程与光电技术学院智能计算成像实验室，江苏 南京 210094
2 南京理工大学智能计算成像研究院，江苏 南京 210019
3 南京理工大学江苏省光谱成像与智能感知重点实验室，江苏 南京 210094
近年来，深度学习技术广泛应用于计算光学三维成像的研究中。在条纹投影轮廓术中，通过训练深度学习网络，可从单幅条纹图像中恢复高精度的相位信息。然而，为了训练神经网络模型，通常需要耗费大量的时间成本和人力成本来采集训练数据集。为了解决该问题：首先，建立数字孪生条纹投影系统，并利用域随机化技术对虚拟照明光栅进行增强，使用计算机进行虚拟扫描，生成大量仿真光栅条纹图像；其次，利用仿真光栅图像对U-Net神经网络进行预训练；最后，引入迁移学习，采用少量真实光栅条纹图像对神经网络进行参数微调。由于U-Net的结构特殊性，提出并分析了“从左至右”“从上至下”“全局微调”等3种U-Net神经网络微调策略。实验结果表明，采用“从上至下”策略微调U-Net“瓶颈”网络模块的方法可获得最佳的迁移学习结果，神经网络的相位预测精度可得到显著提升。相比于使用大量真实数据进行训练，所述方法仅利用20%的数据就可训练神经网络获得高精度的相位重建结果。
计算成像 条纹投影 深度学习 迁移学习 条纹分析 激光与光电子学进展
2024, 61(2): 0211024
许新傲 1,2,3李艺璇 1,2,3钱佳铭 1,2,3冯世杰 1,2,3左超 1,2,3,*
1 南京理工大学 电子工程与光电技术学院 智能计算成像实验室（SCILab），江苏 南京 210094
2 南京理工大学 智能计算成像研究院（SCIRI），江苏 南京 210019
3 江苏省光谱成像与智能感知重点实验室，江苏 南京 210094
三维形貌测量在先进制造、航空航天、生物医学等领域发挥着重要的应用。凭借高精度、全视场、非接触等优点，条纹投影轮廓术是目前使用最广泛的一种光学三维测量手段。为了获得物体全局三维信息，通常需要将待测物置于转台之上，通过不断地扫描和拼接来获得物体的全局信息。然而，传统的扫描和拼接是以离线的方式进行的，导致整个三维模型的重建速度缓慢。现有的实时点云配准方法虽然能够有效提高点云扫描与拼接的速度，但实时点云拼接的精度依然受待测物的运动状态影响。本文针对上述问题进行优化改进，提出一种基于全局优化的实时高精度模型重建方法。首先，介绍了一种由粗配准到精配准的快速点云配准算法并提出了基于点云法向量约束的点云初始化算法，能够提升粗配准过程中点云初始位姿计算的稳定性与精度。其次，在精配准阶段引入了图优化算法以获得全局点云位姿的最优解，进一步提升了全局点云配准的精度。实验结果表明，所提方法相比于现有实时模型重建方法，能够实现更高精度且稳定的全局点云配准。特别地，针对动态场景中由于抖动等因素引起的被测物体速度突变等情况，本方法依然能够鲁棒地完成三维模型重建，全方位模型重建的精度达84 μm。
条纹投影轮廓术 图优化 实时 三维重建 点云配准 fringe projection profilometry graph optimization real-time 3D reconstruction point cloud registration 尹维 1,2,3†李明雨 1,2,3†胡岩 1,2,3冯世杰 1,2,3[ ... ]左超 1,2,3,*
1 南京理工大学电子工程与光电技术学院智能计算成像实验室（SCILab），江苏 南京 210094
2 南京理工大学江苏省光谱成像与智能感知重点实验室，江苏 南京 210094
3 南京理工大学智能计算成像研究院（SCIRI），江苏 南京 210019
4 苏州亚博汉智能科技有限公司（Abham），江苏 苏州 215000
散斑投影轮廓术通过投影单幅随机散斑图案编码场景的深度信息，利用散斑匹配技术建立立体图像间的全局对应关系，从而实现单帧3D重建。但由于被测物体表面的复杂反射特性和双相机间存在的视角差异，投影单幅散斑图案无法为整个测量空间中每个像素编码全局唯一的特征，由此带来的误匹配问题导致测量精度较低，难以满足一些工业场景的高精度测量需求。提出一种基于垂直腔面发射激光器（VCSEL）投影阵列的散斑结构光三维成像技术及其传感器设计方法，所研制的三维结构光传感器集成了3个小型化散斑投影模组，投影一组空间位置不同的散斑图案，对被测场景的深度信息进行高效时空编码。提出一种由粗到精的时空散斑相关算法，以提升测量精度，重建复杂物体的精细轮廓。通过精度分析、三维模型扫描、小目标金属零件检测、复杂场景测量等实验证明，所提三维结构光传感器实现了远距离、大视场的高精度三维测量，可潜在应用于零件分拣、机器人码垛等工业场景。
三维成像 立体视觉 光学成像 散斑投影 激光与光电子学进展
2023, 60(8): 0811014
1 南京理工大学 电子工程与光电技术学院 智能计算成像实验室 (SCILab)，江苏 南京 210094
2 南京理工大学 江苏省光谱成像与智能感知重点实验室，江苏 南京 210094
针对传统的单幅散斑图像匹配算法测量精度低且无法测量复杂面型物体等问题，提出了一种基于深度学习的散斑投影轮廓术，即通过深度学习的方法实现散斑图像的逐像素匹配。设计利用孪生卷积神经网络结构，将目标散斑图像和参考散斑图像以图像块的形式输入神经网络。通过卷积层运算提取散斑图像块的特征信息，进而将子网络得到的特征信息融合为两个图像块之间的匹配系数，以获得散斑图像的视差数据，并最终可将视差数据转化为物体的三维信息。实验结果表明，该方法可以通过单幅散斑图像实现精度约为290 μm的三维轮廓测量。
散斑投影 深度学习 三维测量 孪生网络 speckle projection deep learning 3D measurement siamese network 红外与激光工程
2020, 49(6): 20200011
南京理工大学 电子工程与光电技术学院，江苏 南京 210094
条纹投影（结构光）三维成像是一种广泛使用的三维成像手段。近年来，集成式的三维传感器发展迅速，特别是基于结构光原理的三维传感器件已逐渐成为高端智能手机必不可少的一个重要传感单元。然而随着应用需求的不断增多，人们对条纹投影三维成像这项技术的效率、精度、稳定性等方面的要求也越来越高。同时近年来，深度学习技术的飞速发展已经为光学成像技术的发展开启了一扇新的大门，并且从这扇大门中人们注意到伴随着人工智能概念的引入，条纹投影技术的发展也正在经历着新的突破。首先简要介绍了条纹投影三维成像的基本理论。随后举例分析通过运用深度学习技术，起初基于物理模型的条纹投影技术也可成为一种在“数据”驱动下实现的技术，而且在这种情况下，它展现出了超越传统算法的潜力。最后从神经网络模型、训练数据、训练方法等方面，讨论该领域面临的挑战与未来的研究方向。
条纹投影 三维成像 深度学习 相位恢复 fringe projection 3D imaging deep learning phase retrieval 红外与激光工程
2020, 49(3): 0303018
1 南京理工大学电子工程与光电技术学院,智能计算成像实验室(SCILab), 江苏 南京 210094
2 南京理工大学江苏省光谱成像与智能感知重点实验室, 江苏 南京 210094
近年来,光学成像技术已经由传统的强度、彩色成像发展进入计算光学成像时代。计算光学成像基于几何光学、波动光学等理论对场景目标经光学系统成像再到探测器采样这一完整图像生成过程建立精确的正向数学模型,再求解该正向成像模型所对应的“逆问题”,以计算重构的方式来获得场景目标的高质量图像或者传统技术无法直接获得的相位、光谱、偏振、光场、相干度、折射率、三维形貌等高维度物理信息。然而,计算成像系统的实际成像性能也同样极大程度地受限于“正向数学模型的准确性”以及“逆向重构算法的可靠性”,实际成像物理过程的不可预见性与高维病态逆问题求解的复杂性已成为这一领域进一步发展的瓶颈问题。近年来,人工智能与深度学习技术的飞跃式发展为计算光学成像技术开启了一扇全新的大门。不同于传统计算成像方法所依赖的物理驱动,深度学习下的计算成像是一类由数据驱动的方法,它不但解决了许多过去计算成像领域难以解决的难题,还在信息获取能力、成像的功能、核心性能指标(如成像空间分辨率、时间分辨率、灵敏度等)上都获得了显著提升。基于此,首先概括性介绍深度学习技术在计算光学成像领域的研究进展与最新成果,然后分析了当前深度学习技术在计算光学成像领域面临的主要问题与挑战,最后展望了该领域未来的发展方向与可能的研究方向。
成像系统 计算成像 深度学习 光学成像 光信息处理
