苏州科技大学电子与信息工程学院，江苏 苏州 215009
视觉诱导晕动症是虚拟现实技术应用中较为严重的问题，沉浸在虚拟现实环境中的使用者普遍会存在头晕、恶心等症状。立体影像采集失真导致人眼感知的虚拟空间畸变，可能是诱发和增强视觉诱导晕动症的重要因素之一。为了研究立体影像采集失真对视觉诱导晕动症的影响，基于立体影像采集理论构建了虚拟空间畸变模型，针对具有三种焦距参数的镜头获取不同等级的立体空间畸变影像。通过视觉感知实验，对不同空间畸变下的视觉诱导晕动症进行主观和客观的评价。结果表明，当立体影像采集的相机视场角与人眼视场角不匹配时，立体影像失真对视觉诱导晕动症有显著性影响，立体影像采集失真会导致更为强烈的视觉诱导晕动症状。首次用系统性实验的方法验证采集参数与感知参数不匹配导致的虚拟空间畸变增强了视觉诱导晕动症的结论，研究结果对提出切实可行的缓解方法有重要意义。
视觉感知 虚拟现实 视觉诱导晕动症 立体影像采集 立体影像失真 激光与光电子学进展
2024, 61(4): 0409001
1 山东省水利勘测设计院有限公司，山东 济南 250013
2 河海大学信息科学与工程学院，江苏 常州 213022
3 山东省水利勘测设计院有限公司济南市数字孪生与智慧水利重点实验室，山东 济南 250013
水下结构状态视觉检测过程中，观测相机镜头易受到水体中枯叶、藻类等悬浮杂质遮挡，导致水下结构表观影像信息丢失，影响检测效果。针对该问题，利用水下视频序列中的帧内空间信息与帧间运动信息，提出一种悬浮杂质遮挡消除方法。根据相邻帧间的光流场分布信息，提出位移补偿策略，消除相机移动导致的帧间背景偏移；结合悬浮杂质成像特性，建立动态视觉感知模型，在对齐后的相邻帧基础上，实现不同形态悬浮杂质的准确检测；构建一种混合引导修复模型，确立帧间最优互补信息，还原悬浮杂质遮挡区域。在构建的真实与合成数据集上的测试结果表明，本文方法能够准确检测并消除悬浮杂质的遮挡，处理后的图像质量在多项指标上均得到明显提升。
水下图像复原 悬浮杂质遮挡消除 位移补偿 动态视觉感知 混合引导模型 光学学报
2023, 43(24): 2401012
苏州科技大学电子与信息工程学院，江苏 苏州 215009
作为前景广阔的高动态对比度显示系统，基于Mini-LED背光的液晶显示受到越来越多的关注。由于背光分区和液晶漏光问题，Mini-LED背光LCD中出现光晕效应，降低了图像质量。为了准确再现不同参数下的光晕效应，建立了精确的Mini-LED背光LCD显示系统光学模型。基于该模型设计了系统的视觉感知实验，研究不同Mini-LED背光分块大小、不同LCD对比度以及不同背光调制算法下，人眼对光晕效应的感知效果。实验结果表明，Mini-LED背光分块大小和调制算法对光晕效应有显著性影响，而LCD对比度对光晕效应感知无显著性影响。随着Mini-LED背光分块大小的增大，光晕效应显著增强。背光分块视角在0.5°及以上时，受测者能够较容易地感知到光晕效应。同时，主观实验结果和客观评价结果具有较高线性相关性。研究结果可为Mini-LED背光LCD显示系统的设计提供理论参考。
成像系统 Mini-LED背光 局部调光 光晕效应 视觉感知 激光与光电子学进展
2023, 60(12): 1211004
长春理工大学计算机科学技术学院，吉林 长春 130022
针对立体图像的多维影响因素和预测结果准确性不足的问题，提出一种基于卷积神经网络-支持向量回归（CNN-SVR）的立体图像视觉感知客观评价模型。该模型将基于颜色的平面显著图和基于差异的视差图相结合，对其进行阈值分割，得到视觉感知潜在显著不适区域；然后进行特征提取，分别提取对比度、颜色、结构复杂度等全局特征和视差、纹理、空间频率等局部特征；最后采用将CNN和SVR相结合的方式构建多特征视觉感知客观评价模型，得到最终的客观预测值。实验结果表明，所提方法的Pearson相关系数高于0.87，Spearman相关系数高于0.83。与现有其他方法相比，在公开数据集上所提客观评价模型更优，预测结果与人们主观评价结果具有更高的一致性。
立体图像 视觉感知 特征提取 卷积神经网络 支持向量回归 客观评价模型 激光与光电子学进展
2023, 60(8): 0811027
1 湖南大学电气与信息工程学院，湖南 长沙 410082
2 浙江同济科技职业学院，浙江 杭州 311231
工件识别在柔性化机器人自动喷涂生产线中至关重要，它是机器人切换喷涂轨迹的重要依据。然而，实际应用中，由于喷涂工件尺寸和种类的多样性、表面的弱纹理性、多视异构件及相似件等情况的存在，准确且高效识别喷涂工件充满挑战性。为此，提出了一种二维（2D）实例分割与三维特征一致性配对的识别方法，即利用基于小样本训练的Mask R-CNN深度模型对2D工件分割及识别的快速性，再结合fast point feature histogram（FPFH）点云特征对局部细节的强区分性，实现对多视异构件及相似件由粗到精的准确识别。在精识别阶段，提出了一种基于FPFH特征配对的识别方法。该方法以intrinsic shape signature为工件的关键点，以FPFH为矢量特征，通过线性相关度配对FPFH特征，再以拓扑结构及空间变换关系的一致性为约束验证特征的匹配率，以此作为工件识别的评价标准。实验中，采用34种类别1500多个工件进行测试，所提方法的识别率高达99.26%，单工件识别耗时低于1500 ms。
机器视觉 三维视觉感知 工件识别 Mask R-CNN fast point feature histogram特征配对 激光与光电子学进展
2022, 59(14): 1415016
国防科技大学智能科学学院，湖南 长沙 410000
深度神经网络极大地推动了视觉感知与自然语言处理任务的发展，但当前大多数深度模型执行的是静态推理图，即网络结构（深度）在推理阶段固定不变。这种静态推理模式使模型无法根据输入样本的特性（如复杂度）自适应地调节深度，无法平衡模型推理效率和预测精度。因此以深度自适应神经网络为代表的动态神经网络近年来引起了广泛的关注，该类神经网络能够根据输入样本的复杂度自动地调节推理深度。从三个角度对现有工作进行系统性的归纳总结：深度自适应网络的结构设计；样本复杂度估计方法的研究；深度自适应神经网络的训练方法。最后讨论了该方向未来有价值的问题。
动态神经网络 深度神经网络 深度自适应 样本复杂度 视觉感知 激光与光电子学进展
2022, 59(14): 1415008
1 苏州科技大学 电子与信息工程学院, 江苏 苏州 215009
2 苏州市立医院泌尿外科, 江苏 苏州 215002
三维医用电子内窥镜已经广泛应用于各类医学诊断、微创手术以及医学培训。三维内窥镜可视化过程中的立体空间几何畸变将直接影响医护人员对于病灶相对大小和距离的视觉感知精确度, 同时也可能成为三维内窥镜使用过程中影响视觉舒适度的重要因素之一。现有研究往往仅关注立体影像获取过程中平面图像的畸变及其矫正, 而忽略了可视化过程中显示系统不匹配及人眼对三维影像的感知特性造成的立体空间几何畸变。本文通过对三维医用电子内窥镜影像获取、显示及感知过程的分析, 建立了三维医用电子内窥镜可视化模型。理想的三维内窥镜影像感知是真实世界空间在各个维度等比例放大的虚拟空间立体感知, 三维内窥镜的参数与可视化过程的参数必须匹配才能达到理想的无畸变各维度等放大率效果, 最终实现精确的视觉感知以及良好的使用舒适度。研究内容有望为三维影像获取与可视化在医疗领域更为精确和舒适的应用提供理论参考。
三维医用电子内窥镜 可视化 几何畸变 视觉感知 视觉舒适度 three-dimensional medical electronic endoscope visualization geometric distortions visual perception visual comfort
