为应对特殊条件下不便于实地进行移动式操作的问题，设计了一套基于混合现实的可移动机械臂操作控制系统。该系统分为人机交互、机械驱动、虚拟现实等3个模块：人机交互模块通过摄像头识别操作者肢体手势动作并发布相应操作指令；机械驱动模块解析由人机交互模块发布的操作指令后完成相应动作并反馈设备工作状态；虚拟现实模块接收机械驱动模块反馈信息后将设备运行情况在构建好的虚拟场景中还原，实现对设备运行情况的实时监控。在可移动机械臂平台上的测试结果表明，操作者通过所提系统可以实现对可移动机械臂的远程精准控制与实时监控，系统响应速度能够达到60~100 ms/frame。
机器视觉 混合现实 Unity3D 机械臂 动作捕捉 激光与光电子学进展
2024, 61(4): 0415002
医学光电科学与技术教育部重点实验室, 福建省光子技术重点实验室, 福建师范大学激光与光电子技术研究所, 福建师范大学, 福建 福州 350007
虚拟现实(VR)与其所衍生的增强现实(AR)和混合现实(MR)能把携带三维信息的虚拟场景与真实世界相互叠加,极大地提升用户感官世界的直观性、精准性、实时性。该技术的推广与应用,将会给医学领域带来变革式发展。本文剖析VR/AR/MR的概念并简述其发展历程,分别对虚拟现实和增强现实在医学领域的应用进行阐述,并通过微软产品HoloLens的特点分析基于混合现实的解决方案在医学领域的优势。最后对VR/AR/MR目前在医学领域所存在的不足进行归纳,并对未来的发展趋势进行展望。
医用光学 虚拟现实 增强现实 混合现实 医疗教学 手术导航 激光与光电子学进展
2020, 57(1): 010006
