针对当前手势识别算法易受光线变化、复杂场景等干扰, 从而导致手势识别准确性下降的问题, 定义了一种体感控制与深度相机的手势识别算法。所提出的手势识别方法结合了体感控制(Leap Motion)传感器和Kinect深度传感器, 可以有效提高手势识别精度与鲁棒性。通过体感控制传感器提取指尖与手的质心距离、指尖与手掌平面的高度、指尖与手掌中心的角度, 以及指尖在手参照系统中的3D位置; 通过Kinect深度传感器来提取手指样本与手部中心的距离、手部轮廓的局部曲率、手部形状的连通区域以及距离特征之间的相似性; 为了结合两种不同传感器数据的互补信息, 摒弃冗余, 通过采集的指尖3D位置, 找到旋转平移参数, 以最小化所有采集帧中指尖点的平均投影误差来定义一种联合校准方法, 确定体感控制传感器和Kinect深度传感器的外部参数, 完成两种传感器坐标转换; 采用支持向量机(SVM)进行分类学习, 完成手势识别任务。实验表明: 相对于已有的手势识别算法, 所提算法不仅在Jochen.Triesch手势数据库中具有更高的平均识别率, 约为97%, 而且在不同光线、不同肤色和背景的复杂环境下, 其同样具有更高的准确率与稳健性。

针对目前大多数控制方式都是局限于特定的控制场景，控制功能单一，不具备普适性、便捷性，且成功率与准确率较低的问题，提出了 2类基本的指令算法模型：连续型指令、布尔型指令算法模型。将各种不同场景下一个复杂的控制任务，通过功能分解、指令提取、模型匹配 3个步骤分解为上述 2类指令算法模型。模型以手部三维坐标点和手部姿态作为输入条件，实现状态跳转和指令输出。经过实际工作和对比得到，提出的手势控制策略可在多种情况下实现，且提出的算法具有较高的成功率、准确率和较好的鲁棒性、便捷性、普适性。