针对空间激光通信中无线光信号传输过程的串扰以及噪声问题, 提出一种结合恒模算法(CMA)和最小均方(LMS)算法的两级级联变步长自适应均衡算法——CMA-LMS均衡算法, 使步长因子的大小在一定范围与理论呈非线性关系。利用理论数据和步长因子的乘积对算法变量进行更新, 实现信道的非线性自适应均衡。实验结果表明: CMA-LMS均衡算法能够提高系统的性能; 在16阶正交幅度调制(16QAM)下, CMA-LMS均衡算法能够有效抑制系统的噪声和串扰问题。

为了提高光通信系统传输容量，提出了一个新型12信道波分-模分-偏振混合复用系统，将波分复用器与模分复用器组合放置，使系统可以适应波分模分混合复用。12个信道的信号通过少模光纤传输，结合恒模算法对输出信号解复用。应用VPI transmission Maker仿真平台，分析了波长间隔、发射机输出功率和激光器线宽对系统性能的影响。仿真结果表明:在信噪比为20 dB，发射机输出功率为0 dBm时，利用2波长6模式，每个模式携带25 Gb/s的数据，在误码率为10-4量级下，实现了25×2×6 Gb/s 偏振复用二进制正交振幅调制(PDM-4QAM)信号10 km无中继传输。

在超高速相干光通信中，对偏振解复用损伤和偏振模色散的补偿一般采用恒模算法（constant modulus algorithm, CMA）。标准的CMA算法具有自适应动态均衡的功能，加权信号根据输入信号进行不断更新，是一种目前流行的盲均衡算法。通常在CMA算法中，步长系数的取值严重影响着算法收敛、误差矢量幅度（error vector magnitude, EVM）和误码率（bit error ratio, BER）性能评价。提出了一种优化的CMA算法，具有两步步长系数，可标记误差矢量函数曲线稳定时的区间。经过计算验证表明，优化的CMA算法具有不同程度的解调性能改善，能够降低X、Y偏振态的EVM，具备较好的应用性。

模分复用系统中的模式耦合和差分模式群时延对信号传输的影响, 需在接收端进行均衡补偿以实现信号可靠传输。与时域均衡相比, 频域均衡可有效降低DSP复杂度。基于频域盲均衡算法FD-CMA(frequency-domain constant modulus algorithm)和FD-MMA(frequency-domain multimodulus algorithm)在2×56 Gb/s 16 QAM模分复用系统中进行仿真对比。结果表明, 从星座图和误码性能角度来讲, FD-MMA对非常数模信号的均衡性能优于FD-CMA。在误比特率为10-3处, FD-MMA较FD-CMA有2.8 dB光信噪比的提升。

利用基于多输入多输出算法的无约束频域均衡(FDE)对6×6模分复用(MDM)系统进行解复用, 以消除模式耦合和差分模时延等损伤对信号的影响。分别用无约束频域最小均方(FD-LMS)算法和无约束频域恒模算法(FD-CMA)对MDM系统进行解复用, 验证了无约束FDE的解复用效果; 并将无约束FD-LMS算法及FD-CMA的均衡性能分别与有约束FD-LMS算法及FD-CMA进行对比。仿真结果显示, 无约束FDE的解复用性能与有约束FDE相近, 但其在计算复杂度方面优势明显。

针对单模光纤的容量极限问题，利用少模光纤实现了4×100 Gbit/s的双偏振正交相移键控交叉复用的长距离准单模双向传输，达到了1700 km的传输距离。对系统中多径干扰(MPI)和二次瑞利散射(DRS)分别进行了研究。利用301个抽头的恒模算法有效补偿了长距离传输过程中的MPI损伤，使系统的传输性能提高了约1 dB。使用波形整形器有效抑制了DRS导致的信号质量劣化。结果表明，这些处理方法可将系统的传输距离从1400 km延长到1700 km。

针对长距离相干光纤通信系统，提出了一种超大色散(CD)监测范围的两级自适应高精度色散估计算法。该算法利用信号功率自相关波形(ACSPW)函数作为粗估计，再使用恒模误差函数（CMA）中心值搜索，得到精确色散值。仿真结果表明，新算法色散估计误差小于35 ps/nm，比传统ACSPW算法精度提高将近4倍；在参考误码率为10-2时，对比传统ACSPW算法，提出的算法功率罚改善8 dB。

建立了针对大气湍流时变信道的盲均衡系统模型.基于无线光副载波四相相移键控调制, 在不同光强起伏方差下分析了两种自适应盲均衡算法的收敛性、稳定性和均方误差, 对比了均衡前后星座图改善效果.结果表明：随着湍流强度的增加, 变步长恒模算法较固定步长恒模算法收敛快、均方误差小, 但其稳定性差, 且比例因子逐渐减小算法才能收敛.探测器接收的信号经过两种盲均衡器后星座图聚敛性均得到有效改善.在相同信噪比下湍流信道与高斯信道相比, 湍流信道算法迭代步长因子和比例因子取值较小才可收敛, 均方误差大.两种盲均衡算法可有效改善湍流信道下星座图聚敛性, 对提高无线光接收端星座图检测率具有一定的意义.

对于高速光通信系统中的相干检测来说，盲均衡是一项常用的恢复传输符号的技术。目前应用最广泛的盲均衡算法是恒模算法，但是一方面它不能兼顾收敛速度和收敛精度，另一方面在偏分复用系统中很容易陷入奇异性。因此提出了一种改进型的恒模算法自适应步长恒模算法，并在112 Gb/s偏分复用16进制正交幅度调制系统中对提出的算法进行了测试。与传统的恒模算法相比，改进后的算法收敛速度仅为恒模算法的1/20；收敛稳定后误差函数的方差比恒模算法降低了0.7 dB；对偏分复用系统中的奇异性有很好的抵抗能力；在不考虑奇异性问题时，光信噪比代价与恒模算法相比降低了1.5 dB。

利用光纤偏振分束器和3 dB耦合器搭建偏振分集90°光学混频器,采用单端接收实现了偏振分集的相干接收机。实现了10 Gb/s偏振复用差分相移键控(DPSK)光信号,经过280 km普通单模光纤(SSMF)和掺铒光纤放大器(EDFA)传输后的数字相干接收,测量无误码。研究了数字相干光接收中的各种信号处理算法。采用数字信号处理算法完成载波相位估计,数字滤波器补偿光纤色散,恒模算法进行自适应数字偏振解复用等。研究了90°光学混频器的非理想正交特性,运用统计方法补偿了光学混频器偏离90°的误差,此算法和信号格式以及光纤色散等因素无关。使用恒模算法实现数字偏振解复用,该算法收敛时间小于0.5 μs。