为应对特殊条件下不便于实地进行移动式操作的问题，设计了一套基于混合现实的可移动机械臂操作控制系统。该系统分为人机交互、机械驱动、虚拟现实等3个模块：人机交互模块通过摄像头识别操作者肢体手势动作并发布相应操作指令；机械驱动模块解析由人机交互模块发布的操作指令后完成相应动作并反馈设备工作状态；虚拟现实模块接收机械驱动模块反馈信息后将设备运行情况在构建好的虚拟场景中还原，实现对设备运行情况的实时监控。在可移动机械臂平台上的测试结果表明，操作者通过所提系统可以实现对可移动机械臂的远程精准控制与实时监控，系统响应速度能够达到60~100 ms/frame。
机器视觉 混合现实 Unity3D 机械臂 动作捕捉 激光与光电子学进展
2024, 61(4): 0415002
1 福州大学 物理与信息工程学院, 福建 福州 350108
2 晋江市博感电子科技有限公司, 福建 晋江 362200
视频修复旨在填补视频中的缺失区域, 由于很难精确保持修复内容的时空一致性, 故视频修复仍具有挑战性。针对现有视频修复中存在的修复结果语义信息不连续, 出现视频模糊和时间伪影, 以及网络设计越来越复杂, 网络整体速度变慢的问题, 本文提出了一种基于残差网络的卷积注意力网络(RCAN)用以视频修复。通过将自注意力机制和全局注意力机制引入进残差网络, 增强网络对所有输入帧的时空特征的学习能力, 并采用时空对抗损失函数进行优化, 提高视频修复的质量。同时网络还能够高度自由地定义层数和参数量, 提高网络的实际应用能力。实验结果表明, 该网络在DAVIS和YouTube-VOS数据集上取得了PSNR为30.68 dB, SSIM为0.961, FID为0.113的平均修复结果, 基本符合实际场景对模型的修复质量要求, 为视频修复提供了一种新思路。
深度学习 视频修复 自注意力机制 残差网络 生成对抗网络 deep learning video inpainting self-attention mechanism residual networks generative adversarial networks
