卡内基梅隆大学机器人研究所（Carnegie Mellon University’s Robotics Institute）的研究人员已经开发出一种使用视频分析技术实时了解多人面部表情和手部位置等身体姿势和动作的方法。该新方法是由一个用于行为捕捉的多视角系统完成的，被命名为“Panoptic Studio”，它由嵌有500台摄像机的两层圆顶组成。

使用计算机实时跟踪彼此接触的多个人是十分困难的。研究小组采用自底向上方法的设计方法，首先将场景中的所有身体部位如手臂，腿部，脸部等进行定位，然后将这些部位与具体的人体相关联。

手部检测可能是一个更大的挑战，因为相机不太可能同时看到手的所有部分。研究人员Hanbyul Joo表示，即使在一张图像中仅看到手的一部分，通常在不同的角度的另一个图像中，能将手的图像补充完整。这就是研究人员利用多相机系统Panoptic Studio的原因。

卡内基梅隆大学的研究人员已经开发了检测多人的身体姿势，包括面部表情和手部位置的方法。这使得计算机不仅可以识别人的身体，而且能够对其定位并检测它们的移动。图片来源：卡内基梅隆大学。

Joo说：“一个相机就能为一个人的手标记500个位置。但是因为手太小，大多数相机无法进行标记，但是我们使用了31台高清摄像机，构建出一个庞大的数据库。”

Yaser Sheikh教授称，用于跟踪二维人体形态和运动的新方法可以为人机交互开辟新的方式，例如通过手势与计算机通信。

检测人与人之间肢体语言的交流将使得能够机器人在社交场合中服务。一辆自动驾驶汽车能够对一名行人即将进入街道的肢体动作进行预警。用计算机检测人的行为也不失为一种行为诊断和医学康复的新方法。

在体育运动分析中，实时姿态检测将使计算机不仅能够跟踪现场的每一位运动员在场上的位置，而且还要知道玩家的手臂、腿部和头部等的具体位置。

Panoptic Studio目前正在通过联合训练来提高对人类躯干、面部和手部的检测能力。随着研究工作从二维模型进展到三维模型，设备自动检测图像的能力将至关重要。

为了鼓励更多的研究人员参与研究和应用，该团队已经公开了用于多人检测和手势识别的计算机代码。Sheikh表示，目前有包括汽车公司在内的20多个商业团体表达了对该技术许可的兴趣。

Sheikh表示，当美国国家科学基金会支持建立Panoptic Studio时，没有人清楚它会带来什么影响。

他补充称：“由于10年前美国国家科学基金会（NSF）的授权，现在我们能够突破许多技术障碍，同时我们也共享了Panoptic Studio的代码和捕获的数据。”

多人检测和手势识别方法的研究将在2017年7月21日至26日在美国夏威夷火奴鲁鲁举行的2017年计算机视觉与模式识别会议上进行展示。

来源： https://www.photonics.com/Article.aspx?AID=62240

本文受译者委托，享有该文的专有出版权，其他出版单位或网站如需转载，请与本站联系，联系email：mail@opticsjournal.net。否则，本站将保留进一步采取法律手段的权利。