为了解决光电编码器误差检测精度低、光机结构复杂、检测周期长等问题，利用自准直仪与多面棱体的光学小角度测量原理及转角互逆双轴转台的连续误差检测方法，建立了光学连续闭环光电编码器误差检测系统；采用多体系统理论与相对位姿矩阵变换方法，建立了双轴转台全误差模型，分析了固定误差和可变误差对系统的影响；利用标定自准直仪与23面棱体对检测系统进行了校准，并利用高精度光电编码器与系统进行了精度对比验证。结果表明：检测系统的双轴回转精度满足数值仿真计算要求，系统精度可达0.38″，测量不确定度为0.2″（k=2），系统检测精度与实际编码器出厂时标定的准确度基本一致，验证了光学连续闭环光电编码器误差检测系统实现高精度和全圆周连续误差检测的可行性。