为适应空间激光通信组网技术，多体制复用的通信方式应运而生。发送端采用强度调制器兼容实现了开/关键控（OOK）和二进制相移键控（BPSK）调制，接收端通过内差探测方式兼容实现了这两种调制信号的解调。在实际工程应用中，激光通信系统中散粒噪声、电子器件热噪声不可避免地会影响通信性能，在此基础上，进一步分析了强度调制器偏压点误差量与光学滤波器带宽大小对于非相干OOK和相干BPSK通信信噪比的影响。仿真结果表明：光学滤波器带宽对非相干OOK通信性能影响较大，接收光功率-46 dBm时，1 nm滤波带宽的非相干OOK信噪比开销约1.26；接收光功率-50 dBm以下时，20 nm滤波带宽的相干BPSK信噪比开销小于0.02。非相干OOK无编码通信灵敏度在1.25 Gbit/s速率时需满足-46 dBm@10^-6，光滤波带宽应不大于0.8 nm，强度调制器偏压误差应控制在半波电压的1%以内。在消共模噪声和优化光滤波带宽条件下，1.25 Gbit/s速率的BPSK无编码通信灵敏度满足-55 dBm@10^-6。

为了减小大气湍流引起的星地激光通信系统的性能衰落,采用基于光纤相干合束的多孔径接收方案。针对典型的星地相干激光通信模型,给出了通信系统的灵敏度和误码率随多孔径接收对湍流效应的补偿效果变化的数值仿真结果。同时基于已有的光纤合束方法搭建了一套4孔径接收的相干合束光通信接收装置,测试了2个和4个孔径下系统的锁相带宽。利用旋转相位屏模拟了不同Greenwood频率的大气湍流对光束波前的影响,保证了各路接收光强的不相干性。在此基础上,给出了相干合束前后光纤中的光强相对起伏方差。结果表明该系统能在弱湍流环境中有效地抑制光强闪烁。

针对星地相干激光通信，研究了自适应光学的系统带宽对通信性能的影响。对于特定校正阶数的自适应光学系统，得到了系统需求的控制带宽，并对比了同步轨道(GEO)卫星对地链路和低地轨道(LEO)卫星对地链路。结果显示低轨卫星链路所需的控制带宽远大于同步卫星链路，原因来自于低轨卫星和地面站的高速相对运动产生的垂直链路风速，同时低轨卫星对地链路对自适应光学的带宽需求和天顶角是成反比关系的。分析了低轨卫星对地相干激光通信链路混频效率和自适应系统带宽以及校正阶数的关系，结果表明，200 Hz的闭环带宽完全可以满足需求，当达到100 Hz带宽之后，增加变形镜单元数对混频效率的提升更为有效。

基于模场匹配原理，分析了耦合效率与抖动幅度、艾里斑半径和单模光纤模场半径比值的关系。为了减小随机角抖动对耦合效率的影响，提出了基于激光章动的空间光到单模光纤的自动耦合方案，利用数据采集卡算出脱靶量并输出补偿电压。分析了算法精度的影响因素、激光章动信号频率与抖动频率的关系，用Matlab仿真及实验验证了算法的可行性。实验得到脱靶量角度精度约为3 μrad，结合空间激光通信系统验证了系统的可行性。没有扰动时系统的耦合效率为67%；引入扰动并用控制系统进行扰动补偿后，系统的耦合效率提高了6.5%，响应速度为40 Hz。耦合系统结构简单，控制算法精度高，控制器信号处理速度快，对空间光到单模光纤的耦合具有重要意义。

光学锁相环(OPLL)是相干激光通信系统中的重要组成部分。设计了科斯塔斯数字光学锁相系统，用于星间相干通信中零差接收和多普勒频移跟踪。锁相系统采用可编程逻辑门阵列(FPGA)作为主控单元，本振激光器(LO)采用调制边带注入锁定的可调谐激光器，中心波长为1550 nm，具有窄线宽和快速调谐的优点。与传统锁相环相比，系统具有更快的频率捕获速度，具有更高的稳定性。实验中，能够实现140 MHz 频差范围内的快速锁定，保持锁定时间大于1 h，并能够对20 MHz/s多普勒频移跟踪，为后续星间相干通信实验提供支持。