为应对特殊条件下不便于实地进行移动式操作的问题，设计了一套基于混合现实的可移动机械臂操作控制系统。该系统分为人机交互、机械驱动、虚拟现实等3个模块：人机交互模块通过摄像头识别操作者肢体手势动作并发布相应操作指令；机械驱动模块解析由人机交互模块发布的操作指令后完成相应动作并反馈设备工作状态；虚拟现实模块接收机械驱动模块反馈信息后将设备运行情况在构建好的虚拟场景中还原，实现对设备运行情况的实时监控。在可移动机械臂平台上的测试结果表明，操作者通过所提系统可以实现对可移动机械臂的远程精准控制与实时监控，系统响应速度能够达到60~100 ms/frame。
机器视觉 混合现实 Unity3D 机械臂 动作捕捉 激光与光电子学进展
2024, 61(4): 0415002
