为提高光纤无线电（RoF）系统的传输性能，提出了一种基于概率-几何混合整形的圆形正交振幅调制（PS-GS-Cir-MQAM）矢量太赫兹信号传输方案。在Matlab和VPI环境下联合仿真分析了130 GHz波段PS-GS-Cir-MQAM信号在强度调制器（IM）和同相/正交（I/Q）调制器级联的RoF系统中信号的传输性能，并比较分析了信号的误码性能在不同整形方法后的改善效果。结果表明，提出的PS-GS-Cir-MQAM太赫兹信号的误码性能均优于其他三种整形格式。其中PS-GS-Cir-32QAM信号的误码性能提升效果最为明显，相比其他三种整形格式，分别提升了0.88、1.40、2.48 dB的信号功率增益。尤其是在克服光器件和光纤的非线性效应方面，PS-GS-Cir-MQAM的矢量太赫兹信号具有更大的传输优势。