为提高光纤无线电（RoF）系统的传输性能，提出了一种基于概率-几何混合整形的圆形正交振幅调制（PS-GS-Cir-MQAM）矢量太赫兹信号传输方案。在Matlab和VPI环境下联合仿真分析了130 GHz波段PS-GS-Cir-MQAM信号在强度调制器（IM）和同相/正交（I/Q）调制器级联的RoF系统中信号的传输性能，并比较分析了信号的误码性能在不同整形方法后的改善效果。结果表明，提出的PS-GS-Cir-MQAM太赫兹信号的误码性能均优于其他三种整形格式。其中PS-GS-Cir-32QAM信号的误码性能提升效果最为明显，相比其他三种整形格式，分别提升了0.88、1.40、2.48 dB的信号功率增益。尤其是在克服光器件和光纤的非线性效应方面，PS-GS-Cir-MQAM的矢量太赫兹信号具有更大的传输优势。

灵活光发射机可根据不同应用场景需求软定义信号的调制格式，从而进一步优化光信号的传输性能。本文提出了一种基于双平行马赫-曾德尔调制器（MZM）和单MZM级联的灵活高阶正交幅度调制（QAM）光发射机方案，理论分析了圆形16QAM、4幅4相16QAM、圆形32QAM以及4幅8相32QAM光信号产生与自适应切换的原理与方法。在虚路径标识符（VPI）仿真环境下，分别验证了上述4种信号在5 Gbaud和10 Gbaud调制速率下的产生和传输性能。结果表明，通过灵活配置发射机的驱动信号（二进制或四进制）与直流偏置电压，可实现8/16/32QAM信号间的自由切换，同时，生成的上述4种信号经一定长度单模光纤传输后具有良好的信噪比。

为解决未知概率整形因子信号的自适应相位恢复问题,提出了一种基于K-means聚类的自适应相位恢复算法。通过理论分析与数值仿真,验证了基于K-means聚类进行星座点模值半径重定位的可行性,将K-means聚类与前馈式载波相位恢复算法相结合,解决了概率整形信号经归一化处理后存在的星座点相对放大的问题,实现了未知概率整形因子信号相位的自适应恢复。对该算法在不同光信噪比、不同激光器线宽下的16正交幅度调制(QAM)与64QAM信号进行了分析,结果表明所提算法不仅可用于未知概率整形因子下信号的相位恢复,还可用于均匀QAM信号的相位恢复。所提算法在星座点模值的重新定位中考虑了噪声的影响,在相同的测试相位数量下可以实现更高精度的相位补偿,对于均匀QAM信号的光信噪比容忍度提升了约1 dB。