Author Affiliations
Abstract
1 State Key Laboratory of Extreme Photonics and Instrumentation, College of Optical Science and Engineering, Zhejiang University, Hangzhou, China
2 Zhejiang Lab, Hangzhou, China
3 Ningbo Innovation Center, Zhejiang University, Ningbo, China
Structure illumination microscopy (SIM) imposes no special requirements on the fluorescent dyes used for sample labeling, yielding resolution exceeding twice the optical diffraction limit with low phototoxicity, which is therefore very favorable for dynamic observation of live samples. However, the traditional SIM algorithm is prone to artifacts due to the high signal-to-noise ratio (SNR) requirement, and existing deep-learning SIM algorithms still have the potential to improve imaging speed. Here, we introduce a deep-learning-based video-level and high-fidelity super-resolution SIM reconstruction method, termed video-level deep-learning SIM (VDL-SIM), which has an imaging speed of up to 47 frame/s, providing a favorable observing experience for users. In addition, VDL-SIM can robustly reconstruct sample details under a low-light dose, which greatly reduces the damage to the sample during imaging. Compared with existing SIM algorithms, VDL-SIM has faster imaging speed than existing deep-learning algorithms, and higher imaging fidelity at low SNR, which is more obvious for traditional algorithms. These characteristics enable VDL-SIM to be a useful video-level super-resolution imaging alternative to conventional methods in challenging imaging conditions.
deep learning structure illumination microscopy video-level imaging super-resolution imaging Advanced Imaging
2024, 1(1): 011001
1 宁波大学 信息科学与工程学院，浙江宁波352
2 宁波大学 科学技术学院 信息工程学院，浙江宁波3151
沉浸式的虚拟现实体验中视觉诱发晕动症（Visually Induced Motion Sickness， VIMS）是影响虚拟现实系统发展与应用的一个重要问题。现有的基于视觉内容的评价方案大多考虑的要素不够全面，对运动信息的提取较为简单，且少有考虑时域上的突变对晕动症的影响。针对上述问题，提出了虚拟现实中视觉诱发晕动症时空多特征评价模型；基于立体全景视频中空域、时域信息来设计视觉诱发晕动症评价模型，采用更符合人眼感知的加权运动特征，并考虑了立体全景视频时域的突变信息设计了特征提取方式。所提出模型分为预处理模块、特征提取模块及时域聚合与回归模块。预处理模块用于视口提取和光流图、视差图、显著图的估计。特征提取模块包含前背景加权运动特征提取、基于变换域的视差特征提取、空间特征提取及时域突变特征提取。时域聚合后通过支持向量回归得到VIMS评价分数。实验结果表明，该模型在立体全景视频数据库SPVCD上的预测结果与平均主观意见分的皮尔逊线性相关系数为0.821、斯皮尔曼相关系数为0.790、均方根误差为0.489。该模型取得了优良的预测性能，验证了所提出特征提取模块的有效性。
虚拟现实 立体全景视频 晕动症 运动感知 突变特征 virtual reality stereoscopic panoramic video motion sickness motion perception abrupt change feature
1 电子科技大学 信息与通信工程学院，成都 611731
2 飞腾信息技术有限公司，天津 300450
针对目前无线通信课程内容侧重讲述基本理论推导，相关实验多关注模块功能仿真，缺乏系统性和真实场景的问题，提出了以GNURadio软件和通用软件无线电外设（USRP）硬件平台为基础的正交频分复用（OFDM）无线通信系统实验。该实验内容包括掌握OFDM的基本原理、搭建OFDM收发系统、分析相关通信性能和完成硬件系统，最后在实际无线通信场景中完成测试，实现实时视频传输。通过软件系统和硬件平台的协同，学生能充分了解无线通信的基本原理、各通信模块的使用、无线通信系统的架构以及相关的性能分析方法，完成从理论基础到工程应用、从模块验证到系统实现、从理想环境仿真到实际场景测试的跨越，从而全面提升工程素养。
GNURadio 通用软件无线电外设 正交频分复用 无线通信 视频传输 GNURadio USRP OFDM wireless communications video transmission
天津大学电气自动化与信息工程学院，天津 300072
现如今，短视频事件检测展现出广阔的应用前景。现有的事件检测研究普遍缺乏对关键帧重要性程度的考虑，且多是针对事件的显性语义进行学习，忽略了潜在语义及其相关性的学习在短视频事件检测中的作用。针对上述问题，提出了一种基于深度动态语义关联的短视频事件检测方法。首先，设计了帧重要性评估模块来获得具有区分度的帧重要性分数，其内嵌的变分自编码器和生成对抗网络联合结构可以最大程度地强化帧重要性信息；其次，设计了帧间自注意力增强模块，进一步协同帧间的重要性分数与其特征内在关联性的学习；最后，设计了动态图卷积下的隐藏属性关联学习模块来学习复杂事件的隐藏属性及事件之间的关联性，最终获得具有潜在语义信息感知的短视频检测系统并将其用于最终的短视频事件检测。在公开数据集和新构建数据集上进行了实验，实验结果表明了所提方法的有效性。
短视频 语义关联 特征表示 图卷积 激光与光电子学进展
2024, 61(4): 0437002
苏州科技大学电子与信息工程学院，江苏 苏州 215009
视觉诱导晕动症是虚拟现实技术应用中较为严重的问题，沉浸在虚拟现实环境中的使用者普遍会存在头晕、恶心等症状。立体影像采集失真导致人眼感知的虚拟空间畸变，可能是诱发和增强视觉诱导晕动症的重要因素之一。为了研究立体影像采集失真对视觉诱导晕动症的影响，基于立体影像采集理论构建了虚拟空间畸变模型，针对具有三种焦距参数的镜头获取不同等级的立体空间畸变影像。通过视觉感知实验，对不同空间畸变下的视觉诱导晕动症进行主观和客观的评价。结果表明，当立体影像采集的相机视场角与人眼视场角不匹配时，立体影像失真对视觉诱导晕动症有显著性影响，立体影像采集失真会导致更为强烈的视觉诱导晕动症状。首次用系统性实验的方法验证采集参数与感知参数不匹配导致的虚拟空间畸变增强了视觉诱导晕动症的结论，研究结果对提出切实可行的缓解方法有重要意义。
视觉感知 虚拟现实 视觉诱导晕动症 立体影像采集 立体影像失真 激光与光电子学进展
2024, 61(4): 0409001
光学 精密工程
2023, 31(19): 2884
1 西安工业大学 光电工程学院，陕西 西安 710021
2 西安工业大学 计算机科学与工程学院，陕西 西安 710021
为了解决单色视频和彩色视频的全自动高精度配准问题，设计了针对视频配准的首帧及后续帧配准方法，在保证配准速度的同时提高了配准精度。对于首帧，首先在尺度不变特征变换（SIFT）基础上，基于双摄像头的特点进行了改进，进而对单色视频和彩色视频进行了粗配准，增加了粗配准矩阵的获取稳定性和精确性；随后根据粗配准矩阵系数，使用尺度金字塔模式对单色视频和彩色视频的配准矩阵进行了配准修正。对于视频中的后续帧，采用具有步长金字塔的平移修正方法，对首帧中得到的修正配准矩阵进行再利用，并通过平移修正方法弥补了由不确定时差波动和相机摆动带来的平移误差，最终提高了单色视频和彩色视频的配准效率和配准精确度。实验结果表明，对于640×480大小的单色视频和彩色视频，本文算法相比传统SIFT算法将首帧配准均方根误差减少了0.79%，首帧标记点误差由约为1像素缩小到不可察，且连续视频帧的平均配准时间为0.357 s，同时仍然保持标记点误差不可察，较好地满足了单色视频和彩色视频配准的全自动、精度高、速度快、鲁棒性强等要求。
计算机视觉 视频配准 时空相似性 高精度修正 computer vision video alignment spatio-temporal similarity high-precision correction
Author Affiliations
Abstract
1 State Key Laboratory of Magnetic Resonance and Atomic and Molecular Physics, Innovation Academy for Precision Measurement Science and Technology, Chinese Academy of Sciences, Wuhan, Hubei, P. R. China
2 Wuhan National Laboratory for Optoelectronics, Huazhong University of Science and Technology, Wuhan, Hubei, P. R. China
3 University of Chinese Academy of Sciences, Beijing, P. R. China
Interactions between the central nervous system (CNS) and autonomic nervous system (ANS) play a crucial role in modulating perception, cognition, and emotion production. Previous studies on CNS–ANS interactions, or heart–brain coupling, have often used heart rate variability (HRV) metrics derived from electrocardiography (ECG) recordings as empirical measurements of sympathetic and parasympathetic activities. Functional near-infrared spectroscopy (fNIRS) is a functional brain imaging modality that is increasingly used in brain and cognition studies. The fNIRS signals contain frequency bands representing both neural activity oscillations and heartbeat rhythms. Therefore, fNIRS data acquired in neuroimaging studies can potentially provide a single-modality approach to measure task-induced responses in the brain and ANS synchronously, allowing analysis of CNS–ANS interactions. In this proof-of-concept study, fNIRS was used to record hemodynamic changes from the foreheads of 20 university students as they each played a round of multiplayer online battle arena (MOBA) game. From the fNIRS recordings, neural and heartbeat frequency bands were extracted to assess prefrontal activities and short-term pulse rate variability (PRV), an approximation for short-term HRV, respectively. Under the experimental conditions used, fNIRS-derived PRV metrics showed good correlations with ECG-derived HRV golden standards, in terms of absolute measurements and video game playing (VGP)-related changes. It was also observed that, similar to previous studies on physical activity and exercise, the PRV metrics closely related to parasympathetic activities recovered slower than the PRV indicators of sympathetic activities after VGP. It is concluded that it is feasible to use fNIRS to monitor concurrent brain and ANS activations during online VGP, facilitating the understanding of VGP-related heart–brain coupling.
Journal of Innovative Optical Health Sciences
2023, 16(6): 2340005
北京理工大学 集成电路与电子学院, 北京 100081
为了提升行人重识别算法的检索准确率, 提出了基于软掩膜前景分割和多信息融合重排序的行人重识别算法。通过基于U-Net的软掩膜前景分割算法去除图像背景信息, 同时减缓图像分割边界的突变, 以保留图像中行人的关键信息; 通过基于孪生深度网络的多信息融合重排序算法融合行人图像的多种信息, 提升检索结果质量。实验结果表明, 提出的两种方法是对行人重识别算法流程的有效补充, 可作为提升准确率的有效方法应用于多数现有行人重识别算法中。
行人重识别 视频监控 前景分割 重排序 person re-identification video surveillance foreground segmentation re-ranking
西安科技大学安全科学与工程学院，陕西 西安 710054
铁路已成为我国交通运输的大动脉，地理条件的多样性使得铁路隧道分布较多。针对铁路隧道的结构安全监测方式诸多，然而传统的监测方式均存在一定的局限性。基于当前研究热点——光学传感，将精度优良、经济可行性较高的光学视频位移计和光纤布拉格光栅传感技术有机结合，应用于运营期铁路隧道的安全监测。通过分析静态、通车等情况下的监测数据，结合仿真模型，初步探讨光学传感应用于运营期铁路隧道监测的可行性，旨在为相关工程技术研究提供参考和借鉴。
光学传感 光学视频位移 光纤光栅传感 隧道监测 仿真模型 激光与光电子学进展
2023, 60(23): 2312006
