针对光纤传输系统中多重物理损伤效应严重影响传输性能的情况，为保障高速光传输网络的正常运行，对传输信号进行光性能监测是必不可少的。提出一种基于卷积神经网络（CNN）的多任务光性能监测研究方案，将强度轮廓与强度波动特征作为CNN模型输入，对传输信号调制格式与光信噪比（OSNR）进行联合监测。研究结果表明，所有调制格式（28-GBaud PDM-QPSK/-8QAM/-16QAM/-32QAM/-64QAM）均可在20% 前向纠错（FEC）阈值条件（误码率为2.4×10^-2）所对应的OSNR下实现100%的识别精度。此外，当强度轮廓特征、强度波动特征和两种特征联合作为神经网络模型输入时，OSNR监测的平均绝对误差分别为0.282 dB、0.245 dB、0.165 dB，均方根误差分别为0.352 dB、0.311 dB、0.218 dB。随后，进一步研究了残余色散度对所提方案监测性能的影响。

为应对概率整形场景下相干光通信系统中的偏振解复用问题,提出了一种基于独立成分分析和极大似然估计的偏振解复用算法。由于各个信号之间相互独立,因此可以对信号采用独立成分分析的手段进行偏振解复用。通过基于最大似然估计的迭代更新寻找最佳的分离矩阵,即偏振解复用矩阵。对所提算法在不同信噪比下的性能及整形强度的容忍度进行了仿真分析。结果表明,所提算法能够应对不同的概率整形强度,在较大的信噪比范围内均能完成良好的偏振解复用。相较于用于标准信号的恒模算法,所提算法并不会受到整形强度的影响,并且随着整形强度的增加,系统的性能有所提升。

大波特率、高阶调制格式信号的广泛应用使相干光通信系统对收发机中存在的硬件损伤更加敏感,因此迫切需要相应的损伤估计方法。提出了一种新的基于数字信号处理的收发机损伤联合估计方案,该方案可同时监测因光发射机和光接收机硬件不完美引起的光信号同相/正交(IQ)分量幅度、相位不平衡和时钟偏移。该方案首先使用Godard定时误差检测器和施密特正交化法估计并补偿了接收机损伤;接着使用最大似然的独立成分分析法和级联的判决引导最小均方(DDLMS)算法分别实现了对发射机损伤不敏感的偏振解复用和载波相位恢复;最后从DDLMS的抽头系数中估计出发射机损伤。得益于对发射端IQ不敏感的偏振解复用和载波相位恢复,该方案实现了宽范围的损伤监测。仿真结果表明,与传统数字信号处理方案相比,所提方案对发射端幅度、相位不平衡的估计范围分别提升了约100%和33%。

针对强度调制/直接探测（IM/DD）系统，采用一种改进型光分路器结合数字信号处理（DSP）算法，实现了一种简单有效的偏振解复用方法。仿真结果表明，在2×40 Gb/s的偏振复用强度调制/直接探测(PDM-IM/DD)系统中，该方法能够较好地分离两路偏振复用信号，并且算法收敛迅速，与传统IM/DD系统相比，误码率为10-4时对应的功率灵敏度仅为-2.3 dBm。

利用光纤偏振分束器和3 dB耦合器搭建偏振分集90°光学混频器,采用单端接收实现了偏振分集的相干接收机。实现了10 Gb/s偏振复用差分相移键控(DPSK)光信号,经过280 km普通单模光纤(SSMF)和掺铒光纤放大器(EDFA)传输后的数字相干接收,测量无误码。研究了数字相干光接收中的各种信号处理算法。采用数字信号处理算法完成载波相位估计,数字滤波器补偿光纤色散,恒模算法进行自适应数字偏振解复用等。研究了90°光学混频器的非理想正交特性,运用统计方法补偿了光学混频器偏离90°的误差,此算法和信号格式以及光纤色散等因素无关。使用恒模算法实现数字偏振解复用,该算法收敛时间小于0.5 μs。