为提高光纤无线电（RoF）系统的传输性能，提出了一种基于概率-几何混合整形的圆形正交振幅调制（PS-GS-Cir-MQAM）矢量太赫兹信号传输方案。在Matlab和VPI环境下联合仿真分析了130 GHz波段PS-GS-Cir-MQAM信号在强度调制器（IM）和同相/正交（I/Q）调制器级联的RoF系统中信号的传输性能，并比较分析了信号的误码性能在不同整形方法后的改善效果。结果表明，提出的PS-GS-Cir-MQAM太赫兹信号的误码性能均优于其他三种整形格式。其中PS-GS-Cir-32QAM信号的误码性能提升效果最为明显，相比其他三种整形格式，分别提升了0.88、1.40、2.48 dB的信号功率增益。尤其是在克服光器件和光纤的非线性效应方面，PS-GS-Cir-MQAM的矢量太赫兹信号具有更大的传输优势。

灵活光发射机可根据不同应用场景需求软定义信号的调制格式，从而进一步优化光信号的传输性能。本文提出了一种基于双平行马赫-曾德尔调制器（MZM）和单MZM级联的灵活高阶正交幅度调制（QAM）光发射机方案，理论分析了圆形16QAM、4幅4相16QAM、圆形32QAM以及4幅8相32QAM光信号产生与自适应切换的原理与方法。在虚路径标识符（VPI）仿真环境下，分别验证了上述4种信号在5 Gbaud和10 Gbaud调制速率下的产生和传输性能。结果表明，通过灵活配置发射机的驱动信号（二进制或四进制）与直流偏置电压，可实现8/16/32QAM信号间的自由切换，同时，生成的上述4种信号经一定长度单模光纤传输后具有良好的信噪比。