针对模分复用系统中由于模式耦合引入的信道串扰（XT）的问题，提出一种基于信号相关峰提取的XT相关比测量方法，并将XT相关系数应用于多进多出恒模盲均衡算法（CPR-MIMO-CMA）中以提升信道均衡效果。搭建了少模光纤传输的实验平台，利用CPR-MIMO-CMA对接收端数据进行处理，研究结果表明，在满足前向纠错（FEC）为3.8×10^-3的门限下，所提出的CPR-MIMO-CMA在LP01、LP11、LP21三模信道中比传统CMA分别具有1.3 dB、0.9 dB、1.0 dB的性能增益，并且3个模式下的平均收敛时间减少约50%。

研究了少模光参量放大器（FMOPA）的串扰特性，详细描述了发生在少模光纤模式内和模式间的四波混频及其相位匹配条件。给出了少模光纤中与时间无关的非线性薛定谔传输方程，利用数值求解方法描述了FMOPA的模间串扰，并推导出相应的半解析解。首先，设计了一种新的光纤结构，能在C波段（1530~1565 nm）以20 nm带宽传输五个模式。然后，用COMSOL仿真软件获得不同模式的模场分布，并用Matlab软件计算了这些模式间的传播常数与非线性系数。最后，通过合理调整每个模式的传输功率，在150 m长的光纤上使不同模式间的最大差分增益减小到0.7 dB。实验结果表明，半解析解与数值求解方法得到的串扰结果一致性较高。

提出了一种可以传输16个轨道角动量模式的光纤, 采用纤芯和环之间高掺杂(n=0.256)的缓变折射率环形光纤结构。通过有限元分析法进行仿真分析, 结果表明, 该光纤可以将简并模之间的有效折射率差提高到6.656×10-3, 减小了模式之间的耦合。同时, 由于光纤折射率的缓慢变化, 理论上模式纯度可达到100%, 从而能够有效地减小模间串扰。