1 宁波大学 信息科学与工程学院,浙江宁波352
2 宁波大学 科学技术学院 信息工程学院,浙江宁波3151
沉浸式的虚拟现实体验中视觉诱发晕动症(Visually Induced Motion Sickness, VIMS)是影响虚拟现实系统发展与应用的一个重要问题。现有的基于视觉内容的评价方案大多考虑的要素不够全面,对运动信息的提取较为简单,且少有考虑时域上的突变对晕动症的影响。针对上述问题,提出了虚拟现实中视觉诱发晕动症时空多特征评价模型;基于立体全景视频中空域、时域信息来设计视觉诱发晕动症评价模型,采用更符合人眼感知的加权运动特征,并考虑了立体全景视频时域的突变信息设计了特征提取方式。所提出模型分为预处理模块、特征提取模块及时域聚合与回归模块。预处理模块用于视口提取和光流图、视差图、显著图的估计。特征提取模块包含前背景加权运动特征提取、基于变换域的视差特征提取、空间特征提取及时域突变特征提取。时域聚合后通过支持向量回归得到VIMS评价分数。实验结果表明,该模型在立体全景视频数据库SPVCD上的预测结果与平均主观意见分的皮尔逊线性相关系数为0.821、斯皮尔曼相关系数为0.790、均方根误差为0.489。该模型取得了优良的预测性能,验证了所提出特征提取模块的有效性。
虚拟现实 立体全景视频 晕动症 运动感知 突变特征 virtual reality stereoscopic panoramic video motion sickness motion perception abrupt change feature
1 长春理工大学光电工程学院,吉林 长春 130022
2 长春理工大学电子信息工程学院,吉林 长春 130022
火炮整体性能评价体系中,身管缠角是至关重要的指标之一,现有缠角测量方法存在系统复杂、测量精度不高的问题,本文提出一种基于全景成像的膛线自动跟踪身管缠角测量方法。利用全景成像技术获取身管内膛全景图像,在极坐标系下推导内膛全景环形图像增强映射函数;通过建立环形模板匹配模型跟踪沿身管方向预设的阴阳膛线的边缘,完成膛线旋转角的粗定位;根据周期阴阳膛线图像对比度设计目标函数,优化目标函数完成膛线旋转角的精定位,结合身管轴向距离解算身管缠角。真实身管缠角测量实验结果表明,所提方法测量精度优于1′,能够满足实际缠角测量中的应用需求。
缠角测量 全景成像 火炮身管 膛线跟踪 光学学报
2023, 43(22): 2212002
在利用相机对物体进行感知的过程中,标定相机与外界参考系之间的位姿是测量中至关重要的一环,能否精准确定二者之间的外参决定着最终三维信息质量的好坏。然而在传统的测量系统当中,测量物体尺寸受限于针孔相机视场的大小。相比较而言,全方位相机具有视场广、成像质量高等优点,常配合旋转系统进行全景图像生成,也可配合激光雷达点云生成场景全景模型,为目前大场景测量的主流方向。就目前存在于相机与旋转系统之间外参标定的复杂问题,文中提出了一种针对全方位相机与旋转轴之间的标定方法。该方法通过使用全方位相机,对两个二维码棋盘格进行旋转拍摄,同时通过理论推导建立起可靠的数学模型作为原理支撑,并利用光束法平差,对基于解析法获得的初步结果进行再次优化,从而获得更精确的外参估计。该方法对设备安装精度要求不高,只需在相机视场范围内,考虑标定板与全方位相机之间的摆放位置即可。实验结果表明,该方法经过优化后的平均重投影误差可控制在0.15 pixel以下,满足实验测量要求,并在不同场景下展现了良好的应用效果。
光学测量 全方位相机 转轴 位姿标定 全景测量 optical measurement omnidirectional camera rotation axis pose calibration panoramic survey 红外与激光工程
2023, 52(8): 20230425
1 浙江大学 光电科学与工程学院, 浙江 杭州 310027
2 之江实验室 类人感知研究中心, 浙江 杭州 311100
全景内窥成像技术可有效减小体内器官的观察盲区,具有缩短手术时间、降低术中出血风险、改善手术预后、缩短术后恢复时间等多种优点,在微创手术和术前检查中有重要应用价值,是近年来的研究热点。本文从原理和产品应用两个方面对全景内窥成像技术进行了梳理。首先,综述了基于二维和三维成像的各种全景内窥成像技术,阐述了它们各自的实现方式,并分析了其关键指标和性能。其次,对比分析了由全景内窥成像技术衍生出来的胶囊内窥镜、全景结直肠镜等多种不同类型的产品,并展望了全景内窥成像技术的发展趋势和应用前景。
内窥镜 全景成像 3D重建 图像拼接 endoscope panoramic imaging 3D reconstruction image stitching
1 长春理工大学 光电工程学院,吉林 长春 130022
2 中国移动通信集团吉林有限公司长春分公司,吉林 长春 130022
设计了一款能实现全天候清晰成像的全景监控摄像光学系统。采用全景环带结构形式,该结构分为摄像头部单元和中继透镜单元两部分,摄像头部单元完成全视场目标搜索,中继透镜单元将头部单元所成的中间虚像进行二次成像会聚到探测器上。设计时采用多重结构优化方式,实现可见光及近红外双波段成像。该光学系统视场为360°×(40°~100°),焦距为?2.75 mm,F数为3.28。设计结果表明:系统的MTF(modulation transfer function)值在全视场处接近衍射极限,各个视场的弥散斑半径均小于所选CCD像元尺寸,畸变小于2 %,且日夜离焦量小于0.002 mm,该设计结果可满足全天候全景监控需求。
全景环带镜头 宽波段 大视场 光学系统设计 panoramic annular lens wide band large field of view optical system design
1 中国科学院长春光学精密机械与物理研究所精密仪器与装备研发中心,吉林 长春 130033
2 中国科学院长春光学精密机械与物理研究所工程科研管理处,吉林 长春 130033
针对主流配准方法被用于周扫型光电预警系统的全景图像拼接适用性有限的问题,提出一种基于三维球面模型的全景视频实时拼接方法。首先,基于周扫型光电预警系统的工作模式进行三维空间的全景重建并构建三维球面模型;通过建模的方式对不同俯仰、方位角度下探测器采集图像的像素点空间位置进行定位。然后,基于三维球面模型搜索不同俯仰角度下重叠视场在三维空间内的最佳配准线,并推导出预警图像重叠区域的配准公式。最后,通过逐行的加权融合算法和图像矫直方式实现全景图像无缝拼接。与主流的5种配准方法进行对比,实验结果表明:该方法切实可行,具有较好的全景拼接效果,有效弥补主流配准方法的不足,即使对天空等特征不明显区域的全景拼接也具有较好的适用性与实时性,全面保证了全景视频成像的连续性与稳定性,对光电预警系统全景拼接任务具有重要的应用价值。
图像处理 全景拼接 三维球面模型 图像配准 光电预警系统 光学学报
2023, 43(10): 1010002
1 海南省生物医学工程重点实验室, 海南大学 生物医学工程学院, 海南 海口 570100
2 海南大学 计算机科学与技术学院, 海南 海口 570100
数字病理凭借其便捷的存储、管理、浏览、传输等特点,为远程病理会诊及联合会诊带来了新契机。然而,显微镜的视场有限,在保证分辨率的前提下,无法兼顾全景成像。全景数字病理的提出弥补了这一缺陷,其在保证分辨率的同时可兼顾全景成像。但单张切片仅能实现单靶点检测,而疾病诊断需同时观测多个靶点的表达情况。近年来,多靶点全景数字病理技术发展迅速,因其在药物研发、临床科研以及基础科研等领域有巨大的应用潜力而广受关注。该系统凭借视场大、颜色多、通量高的特点,可在短时间内原位检测整张组织切片上的多种生物标记物的表达情况,借以识别组织上每个细胞表型、丰度、状态及其相互关系。本文首先梳理了数字病理、全景数字病理以及多靶点全景数字病理的发展过程,并简要介绍发展过程中技术的更新迭代,以及发展多靶点全景数字病理的重要性。然后,分别从生物样本准备、多色光学成像以及图像处理3个部分重点介绍多靶点全景数字病理。接下来,阐述了多靶点全景数字病理在肿瘤微环境与肿瘤分子分型等生物医学领域的应用情况。最后,对多靶点全景数字病理的技术优势、目前面临的挑战及其未来的发展趋势进行了总结。
多靶点全景数字病理 生物标记物 多色成像 图像处理 multi-target panoramic digital pathology biomarkers multi-color imaging image processing
1 湖北工业大学现代制造质量工程重点实验室, 湖北武汉 430068
2 华中科技大学数字制造装备与技术国家重点实验室, 湖北武汉 430068
对于背景变换和抖动分量比较小的视频序列, 传统稳像算法不能直接适用, 本文提出一种基于 Harris图像拼接的全景稳像算法。首先采用 Prewitt算子提取出图像的边缘信息, 在此基础上进行分区的 Harris特征点检测; 然后结合 NCC(normalized cross correlation)算法与 RANSAC(random sample consensus)算法实现图像间的特征点精确匹配, 接着利用加权平均融合的方法进行图像融合; 最后对融合后的全景图像进行剪裁, 完成图像补偿, 输出稳定的视频序列。实验结果表明: 改进的 Harris算法提高了算法效率以及正确特征点数量, 并且本文稳像算法实时性较好, 能够有效消除视频抖动并输出稳定的视频序列。
图像拼接 全景稳像算法 Harris特征点检测 图像补偿 image stitching panoramic image stabilization algorithm Harris feature point detection image compensation