陈琪 1,2秦芝宝 1,2蔡晓誉 1,2李世杰 1,2[ ... ]邰永航 1,2,*
作者单位
摘要
1 云南师范大学物理与电子信息学院,云南 昆明 650500
2 云南省光电信息技术重点实验室,云南 昆明 650500
构建了一种基于自监督的框架,该框架从单目立体内窥镜视频中提取多视图图像,利用图像中的底层三维(3D)信息构建对象的几何约束,实现软组织结构的准确重建。基于分割任意场景模型对内窥镜下的动态手术器械、静态腹腔场景及可形变软组织结构进行分割解耦。该框架利用简单的神经网络多层感知机来表示动态神经辐射场(NeRF)中运动手术器械和形变软组织结构,基于偏斜熵损失对手术场景中的手术器械、腔体场景和软组织结构进行正确分离。在通过使用单目立体内窥镜捕获机器人手术模拟器场景的数据集上,将所提方法的结果与其他方法进行定量定性比较。结果表明本文方法在处理腹腔体场景、软组织结构重建、手术器械的分割解耦,以及来自多视点的3D信息和运动对象的图像分割等方面显著优于当前的方法。
视觉光学 神经辐射场 软组织三维重建 分割任意场景模型 分割解耦 
光学学报
2024, 44(7): 0733001
作者单位
摘要
1 贵州大学现代制造技术教育部重点实验室,贵州 贵阳 550025
2 重庆机电职业技术大学信息工程学院,重庆 402760
相比传统的三维重建方法,神经辐射场(NeRF)在隐式三维重建方面显示出了优异的性能,然而简单的多层感知机(MLP)模型在采样过程中缺乏局部信息,产生细节模糊的三维重建场景。为解决这一问题,提出一种基于MLP的多特征联合学习方法。首先,在NeRF嵌入层和采样层之间构造多特征联合学习(MFJL)模块,有效解码输入的多视图编码数据,补充MLP模型缺失的局部特征信息。然后,在NeRF采样层和推理层之间建立门控通道变换多层感知机(GCT-MLP)模块,学习高阶特征交互关系,并控制反馈给MLP层的信息流,实现对歧义特征的选择。实验结果表明:所提基于改进MLP的神经辐射场可以避免三维重建中的视图模糊和混叠现象;在Real Forward-Facing数据集部分场景上的平均峰值信噪比(PSNR)、结构相似度(SSIM)、学习感知图像块相似度(LPIPS)分别为28.08 dB、0.887、0.061;在Realistic Synthetic 360°数据集部分场景上的PSNR、SSIM、LPIPS分别为32.75 dB、0.960、0.026;在DTU数据集部分场景上的PSNR、SSIM、LPIPS分别为25.96 dB、0.807、0.208;与NeRF相比,具有更好的视图重建性能,并且在主观视觉效果上得到更加清晰的图像和细节纹理特征。
神经辐射场 多层感知机 联合学习 三维重建 
激光与光电子学进展
2024, 61(4): 0415004
作者单位
摘要
北京信息科技大学应用数学研究所,北京 100101
由于数据通量限制,光场数据采集存在空间-角度分辨率折中,无法达到诸多应用场景对精细三维重建的要求。本文使用双平面参数化光场数据训练神经辐射场,由神经辐射场生成光场视点平面上新的视点图像,进而实现光场角度域超分辨。由于神经辐射场能够对光场场景进行隐式表达,为高分辨率的四维光场拟合出准确的隐式函数,并将输入变量通过位置编码映射到该变量的傅里叶特征。因此该方法可以准确表达具有复杂不利条件的光场场景,并且能够有效地解决场景高频纹理信息较难拟合的问题。本文通过超分辨光场的角度域信息突破空间-角度分辨率折中、带宽积的限制,在实验中将角度分辨率从5×5提升到9×9,并且峰值信噪比(PSNR)平均提升了13.8%,结构相似度(SSIM)平均提升了9.19%。该研究结果可为后续的光场计算成像工作提供参考。
成像系统 光场 神经辐射场 角度域超分辨 体渲染 
光学学报
2023, 43(14): 1411001

关于本站 Cookie 的使用提示

中国光学期刊网使用基于 cookie 的技术来更好地为您提供各项服务,点击此处了解我们的隐私策略。 如您需继续使用本网站,请您授权我们使用本地 cookie 来保存部分信息。
全站搜索
您最值得信赖的光电行业旗舰网络服务平台!