针对现有光空间调制传输速率和频谱效率低的问题，提出了一种超奈奎斯特速率光空间脉冲位置调制（OSPPM-FTN）方案。推导了Gamma-Gamma湍流信道下该方案最大似然检测时的平均误码率上界，并与已有光空间脉冲位置调制（OSPPM）系统进行了性能对比。在此基础上，针对OSPPM-FTN发送信号的特点，提出了一种多分类神经网络（MNN）信号译码器，以大幅降低计算复杂度。最后，采用蒙特卡罗方法进行了仿真。结果表明，随着加速因子的减小，所提系统的频谱效率和传输速率有明显提升，其代价是信噪比（SNR）损失。当加速因子为0.9时，相比于传统（4，4，4）-OSPPM，所提系统的频谱效率和传输速率分别提升了17%和5.5%，SNR损失仅为1 dB。同时，采用MNN译码器可逼近最大似然最优译码性能并降低其计算复杂度，当探测器数目为8和16时，计算复杂度分别降低了69.75%和89.95%。

为了利用模分复用（MDM）和超奈奎斯特（FTN）传输技术提高无源光网络（PON）的传输容量和频谱效率，同时也为了保证系统具有良好的误码率性能，本文提出了基于矩阵分解预编码和MIMO预均衡器的联合损伤补偿方法，用于消除超奈奎斯特模分复用无源光网络（FTN-MDM-PON）中存在的MDM信道损伤和FTN传输损伤。对于矩阵分解预编码技术，本文采用奇异值分解（SVD）预编码、带功率预分配的奇异值分解（SVD PA）预编码和Cholesky分解（Chol）预编码方式，分别将它们与MIMO预均衡器结合后对比三种联合方案降低FTN-MDM-PON系统误码率的效果。仿真实验结果表明：采用SVD PA预编码、Chol预编码与MIMO预均衡器结合的联合损伤补偿方法时，FTN-MDM-PON系统中的4个线偏振（LP）模式的FTN信号经过5 km少模光纤（FMF）传输后，接收端误码率能够低于7%硬判决-前向纠错（HD-FEC）门限3.8×10^-3。其中，Chol预编码与MIMO预均衡器结合的联合补偿方案降低误码率的效果最优，相比于表现较优的SVD PA预编码结合MIMO预均衡器方案，接收光灵敏度提升了1 dB~3 dB。

提出一种基于训练序列相位差+调频Z变换（CZT）的两级频偏估计算法。该方案采用设计的时域训练序列块并结合块内和块间多次平均平滑噪声影响，以较低开销实现频偏的稳定粗估计，并进一步基于第一级频偏粗估计设定第二级CZT估计范围，以较低计算复杂度完成最终高精度频偏估计。三载波128 GBaud 偏振复用十六进制正交幅度调制（PM-16QAM）超奈奎斯特（FTN）波分复用（WDM）系统的仿真结果表明，加速因子为0.95、0.90、0.85时，所提算法训练开销仅为1.56%，即可实现-8~8 GHz范围内的稳定频偏估计，残余频偏分别为2、2.5、3 MHz左右。与估计精度基本相当的传统盲四次方FFT频偏估计算法相比，所提算法的总体计算复杂度显著降低，约为传统算法的8%。

针对超奈奎斯特系统引入的码间干扰使载波相位估计难度增大的问题，提出了一种二阶电域导频辅助载波相位估计方案，将导频辅助相位噪声补偿模块与基于Viterbi的最大似然相位估计模块级联，牺牲约1.7% 的带宽开销，可以有效克服超奈奎斯特系统引入的码间干扰，对激光器线宽导致的相位噪声进行准确估计。在调制格式为16进制正交幅度调制的超奈奎斯特系统中，经仿真验证可知：该算法在加速因子不超过Mazo极限时可以有效跟踪相位噪声；在加速因子低至0.833、误码率为2×10^-2、光信噪比代价为1 dB的条件下，该算法能容忍的最大线宽乘积为5×10^-4；相较于一阶导频辅助载波相位恢复算法，该算法具有更大的线宽容忍度，所需的光信噪比也更小。

为进一步提高大气光通信系统的速率和可靠性, 提出一种采用反向传播(BP)神经网络辅助检测方案以改善脉冲位置调制(PPM)和正交相移键控(QPSK)混合调制的超奈奎斯特(FTN)大气光通信系统误码率。对BP神经网络进行离线训练来提取信道特征, 从而改善了系统在时变大气信道下的误码性能。仿真结果表明: 与最大似然检测相比, 在加速因子为0.8, 误码率为10-3, 滚降因子分别为0.6和0.7时, 该方法的系统误码性能可依次提高2.0 dB和1.5 dB; 在加速因子为0.8, 误码率为10-4, 滚降因子分别为0.8和1时, 系统误码性能可依次提高2.0 dB和1.8 dB。

脉冲位置调制（PPM）具有简单、抗干扰能力强等优点，但存在频带利用率不高的缺点。为了提高系统的频带利用率和传输速率，设计了一种相移键控（PSK）与PPM相结合的混合调制超奈奎斯特（PSK-PPM-FTN）速率大气光通信方案。推导了该方案在Gamma-Gamma分布大气信道下的误码率（BER）公式，并分析了BER与传输距离、波长以及时间加速因子τ之间的关系。蒙特卡罗仿真结果表明：将高阶PPM与多进制PSK相结合，能在τ≥0.8的水平通信链路中以较小的BER为代价传输更多的信息；当τ=0.8时，正交相移键控-4阶脉冲位置调制-超奈奎斯特速率（QPSK-PPM4-FTN）传输的信息量相较于QPSK提高了1.5倍，系统带宽利用率相较于PPM4提高了150%。

为了进一步提高大气光通信系统的传输速率,设计了一种采用4阶脉冲幅度调制的超奈奎斯特(4PAM-FTN)速率大气光传输系统。推导了该系统在对数正态分布衰落信道中的理论误码率公式。分析了传输距离、波长对系统误码性能的影响,以及加速因子与传输速率之间的关系。蒙特卡罗仿真结果表明:误码率与传输距离成正比,与加速因子、光波长成反比。在加速因子为0.9时,系统可以在误码性能几乎不变的情况下获得6.1%的传输速率增益;当加速因子为0.83时,可以获得16.7%的传输速率增益。

超奈奎斯特(FTN)传输技术可有效提高无线光通信系统的传输速率,但其引入的码间干扰会极大影响系统的可靠性。针对此问题,设计了一种基于逐点消除的自适应预均衡算法。推导了4阶脉冲幅度调制下该算法的理论误码率和计算复杂度。仿真结果表明,该算法可以消除由FTN成型带来的码间干扰,其性能几乎等同于正交传输系统。系统的计算复杂度则随着加速因子的减小而增加,当加速因子小于0.4时,计算复杂度会出现快速上升。

利用超奈奎斯特传输技术可进一步提升现有大气光通信系统的传输速率,但是大气湍流的存在会严重影响系统的性能。针对这一问题,推导了Gamma-Gamma大气湍流信道中超奈奎斯特大气光通信系统的平均误码率和平均容量表达式。讨论了湍流强度、传输距离、加速因子等参数对系统性能的影响。蒙特卡罗仿真结果表明,超奈奎斯特传输技术可有效提高系统的平均容量,同时传输距离的增加和加速因子的减小对系统误码率及平均容量的影响较明显。在加速因子为0.75、信噪比为18 dB、弱湍流条件下,采用超奈奎斯特传输技术后系统的平均容量优于未引入该技术的系统的31%。