为了缩小矩形正交幅度调制（QAM）方式和香农极限的差距，探究高斯信道下的星座整形性能，设计一种应用于卫星间激光通信的几何整形与概率整形相结合的方案。将星座点的判决范围视为圆形，从图形的紧密排列角度出发提出几何整形的思路，再利用编码映射技术使各个星座点概率分布符合麦克斯韦-玻尔兹曼分布。几何整形与概率整形相结合可以进行非常规星座点数的星座设计。在功率限制的前提下，进行了信息熵为3和星座点数为8~13、信息熵为4和星座点数为16~23的仿真和相干光通信系统实验。在仿真理论中，误码率约为5×10^-3时，相比常规8QAM和16QAM，矩形QAM分别取得了约1 dB和1.3 dB的增益。同时还进行了8点和16点的几何整形的仿真和实验，相较于矩形QAM，分别有约0.1 dB 和0.22 dB的性能提升。

为提高光纤无线电（RoF）系统的传输性能，提出了一种基于概率-几何混合整形的圆形正交振幅调制（PS-GS-Cir-MQAM）矢量太赫兹信号传输方案。在Matlab和VPI环境下联合仿真分析了130 GHz波段PS-GS-Cir-MQAM信号在强度调制器（IM）和同相/正交（I/Q）调制器级联的RoF系统中信号的传输性能，并比较分析了信号的误码性能在不同整形方法后的改善效果。结果表明，提出的PS-GS-Cir-MQAM太赫兹信号的误码性能均优于其他三种整形格式。其中PS-GS-Cir-32QAM信号的误码性能提升效果最为明显，相比其他三种整形格式，分别提升了0.88、1.40、2.48 dB的信号功率增益。尤其是在克服光器件和光纤的非线性效应方面，PS-GS-Cir-MQAM的矢量太赫兹信号具有更大的传输优势。