针对模式相关损耗(MDL)较大时最小均方误差(MMSE)算法无法有效实现模分复用系统(MDM)解复用的问题,提出了一种基于串行干扰消除(SIC)的MMSE解复用方法,以实现近似最大似然(ML)检测的性能。该方法通过消除大功率信号对其他各路信号的干扰达到补偿MDL的目的,再利用MMSE算法恢复源信号。对6×6的MDM系统进行了解复用,仿真结果显示,相比于MMSE算法,所提方法在不同耦合强度、有/无MDL下都能有效改善系统性能,且计算复杂度与MMSE算法的近似相同。当光纤传输距离为1200 km、差分模群时延(DMGD)为9 ps/km、耦合强度为-5 dB时,相较于MMSE算法,SIC-MMSE算法的光信噪比改善了3 dB。