为了解决强度调制-直接检测正交频分复用（IM-DD OFDM）光通信系统中由光纤色散和非线性效应导致的传输性能下降的问题，提出利用正交偏振泵浦非简并四波混频（NFWM）产生的无波长偏移光学相位共轭（OPC）波对系统中的信号损伤进行光域补偿。首先在理论上推导了利用正交偏振泵浦NFWM生成OPC波的原理，基于上述原理，设计了无波长偏移OPC实现方式，在正交偏振态上得到与原信号波长完全一致的OPC波。然后对影响生成OPC波功率的因素进行了具体分析。最后依据优化参数设置，进行仿真验证，结果表明所提系统能够以114.375 Gbit/s的传输速率在长度为240 km的标准单模光纤链路中传输。

为提升基于带限光电器件及直接调制激光器(DML)的强度调制直接检测(IMDD)系统性能，解决传统均衡器计算复杂度过高的问题，提出深度神经网络(DNN)均衡器简化方案。首先，利用自适应动量估计(Adam)算法更新DNN的权重系数，优化了传统梯度下降算法的迭代速度和收敛性能；然后，在此基础上引入丢弃层和剪切操作以降低DNN的高计算复杂度，减少网络结构的冗余连接，并避免过拟合现象的产生。最后，在80 Gb/s带限DML-IMDD仿真系统中验证了DNN均衡器简化方案的有效性和可行性。

硅基调制器具有体积小、功耗低、易集成等优势，但相较于铌酸锂调制器，线性度通常较差，从而限制了其在光载无线等通信系统中的性能。提出一种增强型最大比例混合接收机（EMRC-Rx），用以补偿硅基调制器对无源光接入网络带来的性能下降缺点。EMRC-Rx综合利用直接检测机（DD-Rx）和轻相干检测机（Lite CO-Rx）的优势，借助两种接收方式的最大信噪比占比，可以显著提升接收机的灵敏度，进而解决硅基调制器低线性度导致的系统性能下降问题。实验结果表明，当误码率高于KP4-FEC阈值1.0×10^-4时，相较于DD-Rx和Lite CO-Rx，EMRC-Rx的接收灵敏度分别提升5.5 dB和8.8 dB，误差矢量幅度（EVM）分别提升32.5%和41.1%，系统性能明显得到改善。通过进一步与铌酸锂调制器进行对比发现，相比采用铌酸锂调制器的Lite CO-Rx和DD-Rx，基于硅基调制器的EMRC-Rx的接收灵敏度分别提升3.5 dB和7.9 dB，且可取得与铌酸锂调制器中MRC-Rx接近的系统性能，验证了EMRC-Rx对硅基调制器低线性度带入的性能劣化的补偿效果。本工作对在5G时代利用硅基调制器构建高可靠、低成本的光子集成接入网具有指导意义。

为了解决传输高阶正交幅度调制（QAM）信号时的非线性损伤问题，提出了一种基于Delta-Sigma调制（DSM）的高阶QAM传输系统。通过采用1-bit量化的DSM，成功将携带有高阶QAM的离散多音调制（DMT）信号量化编码为开关键控（OOK）信号，实现了高阶QAM信号在O波段强度调制/直接检测（IM/DD）系统中的传输。由于DSM拥有较高的量化信噪比，系统最高支持满足软判决2.4×10^-2阈值的4096QAM信号的传输。特别地，通过采用预均衡技术，成功实现了50/100 Gbaud DSM信号分别在O波段的50/15 km的传输。实验演示了高速DSM信号在O波段的传输系统，为高阶QAM信号在IM/DD链路的传输提供了解决方案，同时也为未来基于DSM技术的高速移动前传方案设计提供了参考。

为了实现直接检测（DD）光正交频分复用（OOFDM）系统安全可靠通信，在发送端利用混沌加密技术来提高DD-OOFDM系统的安全性，在接收端采用Kramers-Kronig（KK）接收机来解决OFDM信号子载波拍频干扰的问题。利用混沌加密前后的图像像素值分布对系统的安全性进行分析验证。此外，分析了KK接收机的结构和其实现的条件，仿真测试了基于混沌加密和KK接收机的DD-OOFDM系统的误码率性能。

光纤中线性偏振模式的选择是影响模分复用系统传输质量的关键因素。为此首先设计了基于模分与波分混合复用的直接检测光纤传输系统；其次, 基于光纤中线性偏振模式理论, 利用Optisystem15.0软件仿真研究LP01、LP11、LP02、LP12、LP215个模式在该光纤传输系统中的传输特性；然后, 将LP01、LP11、LP02、LP12四模式复用, 仿真得到了折射率渐变多模光纤纤芯半径在19~25 μm范围内变化时, 各通道Q因子均在7以上的纤芯半径最优化值为21~22 μm, 且此最优值不随传输距离而变化；最后, 在八通道混合复用系统中采用直接检测方式实现了误码率在10-9以下的2.0 km短距离传输。

在无线信道系统中, 同址干扰会导致接收机的接收灵敏度下降。基于微波光子技术, 根据强度调制直接检测(IMDD)光链路的非线性特性, 提出了一种射频同址干扰抑制方法。首先, 建立了IMDD光链路输出功率的数学模型, 并用数学方程描述干扰信号和有用信号的输出功率大小, 通过令干扰信号输出为零时求得方程的解, 获得干扰抑制的条件。然后, 通过Matlab定量计算得到链路中干扰信号和有用信号的输出功率随输入干扰信号功率变化的曲线, 得出干扰抑制的功率输出点, 并分析了半波电压大小对干扰抑制的影响。实验结果表明: 该方法的抑制比可达到-64.5 dB, 且有用信号的输出功率只损失6.4 dBm, 具有优异的干扰信号抑制能力。

色散导致的信号相位变化经平方律检测后转化为非线性损伤, 限制了C波段强度调制直接检测(IMDD)光系统性能。传统Volterra非线性均衡器(VNLE)可以补偿此类非线性损伤, 但实现复杂度极高, 不适合低成本、短距离传输系统。Neighbor-grouped Volterra非线性均衡器(NG-VNLE)通过简并具有相同系数的Volterra项从而大幅降低了实现复杂度, 但简并操作也使得Volterra非线性项之间的差异被忽略, 均衡性能有所下降。提出了一种用于IMDD光系统的低复杂度非线性均衡器, 通过引入基于绝对值的非线性项, 补偿了被忽略的Volterra项之间的差异; 基于直调激光器(DML)的IMDD光系统的107 Gb/s四电平脉冲幅度调制(PAM4) C波段传输, 测试了新提出的非线性均衡器性能, 实验结果表明其性能与传统VNLE相近, 且实现复杂度降低了28%。