针对高阶正交幅度调制和大线宽相干光正交频分复用(CO-OFDM)系统,提出了一种基于广义回归神经网络(GRNN)的非线性均衡算法。将接收端进行相位噪声恢复之后的批量数据作为训练数据样本,通过训练学习得到GRNN的唯一参数平滑因子,然后对测试数据进行非线性均衡。对传输速率为50 Gb/s,传输距离为100 km的CO-OFDM系统进行了仿真验证。仿真结果表明,在大线宽和高阶调制下,GRNN非线性均衡算法对系统非线性损伤的补偿效果优于相应反向传播神经网络(BPNN)非线性均衡算法,且其训练运行时间远小于BPNN。GRNN非线性均衡算法能极大促进CO-OFDM系统在中长距离光纤传输中的应用。