南京航空航天大学电子信息工程学院,江苏 南京 211106
随着传感器技术的不断发展,三维点云被广泛应用于自动驾驶、机器人、遥感、文物修复、增强现实、虚拟现实等领域的视觉任务中。然而,直接应用收集到的海量原始点云数据得到的效果不佳,因此,基于深度学习的点云处理方法受到了越来越多的关注和研究。本文综述了近6年来基于深度学习的三维点云处理方法的研究进展。首先给出了三维点云的基本概念和获取方式,简述了4种点云处理任务;然后针对点云去噪和滤波、点云压缩、点云超分辨率以及点云修复-补全-重建任务,重点阐述了相应的深度学习方法的原理,并分析了其优缺点;随后介绍了22种点云数据集和4类评价指标,同时给出了性能对比结果;最后探讨了点云处理方法目前存在的问题,并对未来的研究趋势进行了展望。
深度学习 三维点云处理 点云去噪 点云压缩 点云修复
运动模糊图像点扩散函数(PSF)的精确估算是模糊图像复原的关键。为了提高PSF参数估计的准确性,消除频谱图中央亮线对模糊角度估计的干扰,提出一种运用窗函数来提高PSF参数估计精度的方法。对运动模糊图像进行二维离散傅里叶变换和对数运算,计算图像的功率频谱图,对频谱图像添加窗函数Hanning,对处理后的图像进行中值滤波平滑处理和二值变换处理,再结合形态学算法和Canny算子边缘检测对频谱图进行优化,最后通过Radon变换,得到模糊方向。根据模糊方向结果,在模糊角度方向上对运动模糊图像的频谱图进行Radon变换,分析负峰值之间的距离,得到暗条纹间距,根据暗条纹间距与模糊长度之间的关系,求出模糊长度,从而完成两个点扩散函数参数的估算。结果显示,与现有算法相比,所提算法提高了参数估计的精度,复原时产生的振铃和伪影现象减少,充分利用图像信息的同时操作简便。
窗函数 运动模糊图像 图像复原 点扩散函数 参数估计 激光与光电子学进展
2024, 61(4): 0437007
1 西安工业大学光电工程学院,陕西 西安 710021
2 西安应用光学研究所,陕西 西安 710065
针对空间相机轻量化、小型化要求,采用一体式环形孔径透镜。由于基底单一和结构紧凑,系统存在色差和球差,引入衍射光学元件和偶次非球面校正像差,而单层衍射光学元件在宽波段存在衍射效率下降等问题,设计了一种端到端式光学-数字联合成像系统,对影响衍射效率主要级次的点扩散函数进行一致性优化,构建出空间不变的点扩散函数模型,为后续图像复原建立复原函数模型,实现退化图像的复原。最终光学-数字联合成像系统工作波段确定为0.45~1 μm,焦距为185 mm,视场为5°,F数为4,遮拦比为0.35,系统总长为67.8 mm。
光学设计 环形孔径 单层衍射光学元件 端到端设计 图像复原 激光与光电子学进展
2024, 61(4): 0411006
天津大学精密仪器与光电子工程学院光电信息技术教育部重点实验室,天津 300072
提出一种基于计算成像理论的端到端衍射元件设计方法,通过全局性优化方案将光学设计和图像复原作为整体,从而降低前端光学系统的成像质量要求,并利用图像复原算法去除残余像差以简化系统。所提设计方法涵盖光场传播、探测器去噪和图像后处理等关键环节的模型建立与联合优化。该设计方案可用于景深延展的轻薄型衍射元件的设计,且所适用的大景深的简单光学系统具有较高的成像质量。
成像系统 端到端 景深延展 图像复原 衍射元件
光学 精密工程
2023, 31(19): 2867
Author Affiliations
Abstract
1 Zhejiang University, School of Physics, Zhejiang Province Key Laboratory of Quantum Technology and Device, Hangzhou, China
2 Zhejiang University, Center for Data Science, Hangzhou, China
Holographic imaging poses significant challenges when facing real-time disturbances introduced by dynamic environments. The existing deep-learning methods for holographic imaging often depend solely on the specific condition based on the given data distributions, thus hindering their generalization across multiple scenes. One critical problem is how to guarantee the alignment between any given downstream tasks and pretrained models. We analyze the physical mechanism of image degradation caused by turbulence and innovatively propose a swin transformer-based method, termed train-with-coherence-swin (TWC-Swin) transformer, which uses spatial coherence (SC) as an adaptable physical prior information to precisely align image restoration tasks in the arbitrary turbulent scene. The light-processing system (LPR) we designed enables manipulation of SC and simulation of any turbulence. Qualitative and quantitative evaluations demonstrate that the TWC-Swin method presents superiority over traditional convolution frameworks and realizes image restoration under various turbulences, which suggests its robustness, powerful generalization capabilities, and adaptability to unknown environments. Our research reveals the significance of physical prior information in the optical intersection and provides an effective solution for model-to-tasks alignment schemes, which will help to unlock the full potential of deep learning for all-weather optical imaging across terrestrial, marine, and aerial domains.
spatial coherence holographic imaging turbulence image restoration deep learning Advanced Photonics
2023, 5(6): 066003
1 山东省水利勘测设计院有限公司,山东 济南 250013
2 河海大学信息科学与工程学院,江苏 常州 213022
3 山东省水利勘测设计院有限公司济南市数字孪生与智慧水利重点实验室,山东 济南 250013
水下结构状态视觉检测过程中,观测相机镜头易受到水体中枯叶、藻类等悬浮杂质遮挡,导致水下结构表观影像信息丢失,影响检测效果。针对该问题,利用水下视频序列中的帧内空间信息与帧间运动信息,提出一种悬浮杂质遮挡消除方法。根据相邻帧间的光流场分布信息,提出位移补偿策略,消除相机移动导致的帧间背景偏移;结合悬浮杂质成像特性,建立动态视觉感知模型,在对齐后的相邻帧基础上,实现不同形态悬浮杂质的准确检测;构建一种混合引导修复模型,确立帧间最优互补信息,还原悬浮杂质遮挡区域。在构建的真实与合成数据集上的测试结果表明,本文方法能够准确检测并消除悬浮杂质的遮挡,处理后的图像质量在多项指标上均得到明显提升。
水下图像复原 悬浮杂质遮挡消除 位移补偿 动态视觉感知 混合引导模型 光学学报
2023, 43(24): 2401012
中国矿业大学(北京)地球科学与测绘工程学院, 北京 100083
Landsat卫星影像已经成为世界范围内长时间序列生态监测研究中最广泛使用的数据源。 在大中尺度区域的遥感应用研究中, 因季节、 光照、 气候等条件以及卫星重返周期和传感器的不同, 多景遥感影像拼接、 镶嵌后会存在斑块效应和色调不均匀现象。 在遥感云计算技术高速发展的今天, 探索快速且高效地基于云平台的Landsat色差条带修复方法具有重要意义。 提出了一种在Google Earth Engine(GEE)云平台上实现的基于随机森林算法的直方图影像均质化方法, 将1986年—2020年山西省Landsat Top of Atmosphere(TOA)和Surface Reflectance(SR)(Landsat 5 TM/7 ETM+/8 OLI)反演后的归一化植被指数影像NDVI作为研究数据, 以MOD13Q1(250 m分辨率)、 MOD13A1(500 m分辨率)和MOD13A2(1 km分辨率)MODIS数据集作为2000年后的验证数据, 分别对比影像修复前后的1986年—2020年山西省NDVI影像。 研究结果表明: (1)在35年的逐年影像分析中有20年的影像存在条带色差问题。 以1994年为例, 修复后的Landsat TOA和Landsat SR影像与修复前相比, 影像修复区的NDVI平均值分别增加了32.6%和29.03%, 剖面分析显示拟合度分别增加了0.162 3和0.118 0; (2)1986年—2020年一元线性回归趋势性分析结果表明, 修复后影像的拟合度更高, 长时序分析后逐年影像的波动幅度更小。 其中, Landsat TOA和SR影像修复后的斜率分别下降了0.006 2和0.006 7, R2分别提高了0.024 8和0.008 4; (3)对Landsat和MODIS影像进行Pearson相关性分析发现, 修复后的Landsat SR和TOA图像的相关系数平均提高了0.049和0.061(p<0.05), 其中, 修复后的Landsat SR和TOA影像与MOD13Q1、 MOD13A1、 MOD13A2影像相关系数分别提高了0.050、 0.047、 0.049和0.066、 0.060和0.059; (4)2000年—2020年Landsat和MODIS影像的时序分析结果显示, 修复后的Landsat影像整体趋势与MODIS影像更趋近, 修复后的Landsat TOA和SR影像的拟合度分别提升了0.058 6和0.031 9。 所提出的基于GEE云平台随机森林算法的快速影像修复方法, 实现了对长时间序列遥感影像NDVI反演结果的精确评估, 应用本方法可快速、 高效地解决影像镶嵌所造成的色差斑块和条带效应。
生态监测 影像拼接 影像修复 随机森林 直方图匹配 Ecological monitoring Google Earth Engine Google Earth Engine Image mosaic Image restoration Random forest Histogram matching 光谱学与光谱分析
2023, 43(11): 3483
由龋病、牙周炎等疾病导致的牙齿缺失在我国十分常见, 临床上主要采用口腔修复进行治疗。氧化锆凭借优异的力学性能、良好的生物相容性和好的美学表现成为齿科修复领域的理想修复材料。传统的计算机辅助设计(CAD)/计算机辅助制造(CAM)减材制造虽然加工精度高, 边缘适合性好, 但是存在材料浪费、刀具磨损和咬合面窝沟处制作精度不足等缺点。增材制造(3D打印)作为快速成型技术的典型代表, 满足构建精准、个性化和复杂结构全瓷冠的基本要求, 有望成为全瓷冠制备的潜在候选技术。本文综述了近年来国内外各研究团队在氧化锆全瓷冠光固化3D打印及应用的进展, 对陶瓷浆料组成、打印过程支撑结构设计、打印参数优化、后处理工艺路线以及打印后产品性能的评价进行综述与分析, 并辅以大量实例进行说明; 最后指出氧化锆全瓷冠光固化3D打印领域未来将面临的挑战, 并给出一定指导意见。
口腔修复 全瓷冠 氧化锆 增材制造(3D打印) 光固化 浆料 力学性能 oral restoration all-ceramic crown zirconia additive manufacturing (3D printing) stereolithography slurry mechanical property