采用光学相位共轭（OPC）法补偿相干光通信系统中的非线性损伤是当前光通信领域的研究热点之一。为了进一步提升OPC抑制光纤非线性的能力，针对掺铒光纤放大器的色散管理光传输链路，提出了一种优化共轭信号功率及共轭信号累积色散的两阶优化方法。理论分析表明，功率优化带来的性能增益仅与光纤的色散-衰减系数比有关。因此，以超大有效面积光纤和反色散光纤（SLA-IDF）及标准单模光纤和色散补偿光纤（SSMF-DCF）两种色散管理链路为例，对理论分析结论进行验证。数值模拟结果表明：9信道的偏振复用四相相移键控信号经过1920 km（24×80 km）的传输后，对于SLA-IDF链路，优化光强和色散后系统的最优信噪比（SNR）分别提升了3.8 dB和1.0 dB；对于SSMF-DCF链路，优化光强和色散后系统的最优SNR分别提升了0.4 dB和1.6 dB。

对于完全补偿了信号-信号间非线性相互作用的相干光纤传输系统，系统的通信性能主要受到非线性信号-噪声间相互作用(NSNI)的限制。提出了全阶NSNI的理论模型，以速率为256 Gb/s、调制格式为基于偏振复用的16阶正交振幅调制(16QAM)信号的奈奎斯特光传输系统为例，对全阶NSNI模型进行了验证。实验结果表明：仅考虑一阶和二阶NSNI效应会高估系统的通信性能，全阶NSNI模型则能较准确地反映NSNI效应对系统的影响。