针对传统卷积神经网络(CNN)中仅有对单手手势语义进行识别的算法和深度学习手势识别算法中CNN的收敛性差和识别精度低的问题,提出了一种基于两个分类器的自适应单双手手势识别算法以对单手和双手进行识别。该算法的核心是联合两个分类器进行单双手手势识别。首先,采用手数分类器对手势进行分割分组预测,将手势识别转化成部分手势图像识别;其次,采用自适应增强卷积神经网络(AE-CNN)进行手势识别,利用自适应模块分析出现识别误差的原因和反馈模式;最后,在迭代次数和识别结果的基础上进行参数更新。实验结果表明,手数分类器进行手势预测分组的正确概率为98.82%,AE-CNN的收敛性优于CNN和CNN+Dropout,对单手手势的识别率高达97.87%,对基于LSP数据集自建的9类单手手势和10类双手手势的整体模型识别率为97.10%,对复杂背景和不同光照强度下手势的平均识别率为94.00%,并且具有一定的鲁棒性。