1 平板显示技术国家地方联合工程实验室, 福州大学物理与信息工程学院, 福建 福州 350108
2 晋江市博感电子科技有限公司, 福建 晋江362200
针对传统的手部跟踪算法存在实时性差、识别精度低、易受环境影响等问题, 提出了一种基于神经网络与卡尔曼滤波的手部实时追踪方法。该方法首先通过神经网络对视频中出现的检测目标 进行定位, 接着用卡尔曼滤波对目标运动进行估计, 将估计的结果与下一帧图像中检测到的目标进行比对; 然后对检测到的目标进行跟踪, 将手部运动的轨迹实时显示。实验结果表明, 该方法能够 对多个手部目标实时进行追踪, 并在手部运动过程中出现交叉和形变的情况下还能保持跟踪, 其平均处理帧数为21.212 f/s, 追踪正确率为94.88%,基本满足手部跟踪的稳定可靠、高实时性、高鲁 棒性等要求。
手部跟踪 神经网络 卡尔曼滤波 跟踪器 hand tracking neural network Kalman filter tracker
驾驶舱内飞行员工作量的计算需要飞行员的动作数量、动作时间等动作信息。目前, 关于动作识别的研究一般都是对特定动作, 如走、跳等的识别, 无法应用于驾驶舱内的飞行员。同时, 由于飞行员操作基本由手来完成, 因此对飞行员的动作识别基本可以认为是对手部动作的识别。据此提出一种基于深度图的飞行员动作识别方法, 该方法先通过对飞行员手部进行跟踪, 再通过基于动作段的方法确定飞行员动作。此外还提出一种触发方法, 以实现系统对动作的自动识别。实验结果显示, 所提方法的动作识别率约为94. 06%, 表明该方法能够有效地识别飞行员动作。
驾驶舱 飞行员 手部跟踪 动作识别 深度图 cockpit pilot hand tracking action identification depth image
