光电编码器检测系统的误差主要受基准光电编码器测角误差、数据采集误差、检测系统同轴误差影响。其中，基准光电编码器的测角误差可进行补偿。因此设计了一种基于极度梯度提升树（extreme gradient boosting，XGBoost）机器学习的算法用来补偿基准光电编码器的误差。经该算法补偿后，静态精度提高了35倍，标准差由3.62″减小至0.13″，最大误差值由5.53″降低至0.39″。与传统的误差反传（back progagation，BP）神经网络算法以及径向基函数（radial basis function，RBF）神经网络算法补偿效果相比，XGBoost的补偿效果更优。XGBoost机器学习算法有效降低了基准光电编码器的测量误差，提高了光电编码器检测系统的检测精度。