为了满足空间光学系统结构紧凑、尺寸小型化和高分辨率的要求，提出了一种紧凑型离轴三反无焦系统初始结构的设计方法，应用Zernike多项式自由曲面对初始结构进行优化，分别完成了红外波段φ600 mm包络、入瞳口径为350 mm、压缩比为7倍的光阑离轴和视场离轴三反无焦光学系统的设计。设计结果表明两种光学系统各视场波像差均小于0.1 λ（λ=3.7 μm）。公差分析表明光阑离轴三反无焦系统波像差小于0.08 λ的概率达到90%以上，视场离轴三反无焦系统波像差小于0.07 λ的概率达到90%以上，说明了设计的有效性。同时将光阑离轴和视场离轴两种方式的光学系统进行对比，视场离轴三反无焦系统可以使结构更紧凑，波像差更小，分辨率更高。本文提出的无焦系统初始结构的设计方法满足结构紧凑、高分辨率的实际应用需求。

根据非球面离轴两反光学系统的结构特征，利用初级像差理论对其成像特性进行分析，结合不同非球面的面形特征，推导了离轴系统像差的矢量表达式，利用赛德尔系数将系统的初级波像差进行展开，并具体计算了不同非球面面形组合下的系统像差值。确定了离轴两反结构的评价指标后，对不同面形组合的成像质量进行了比较。利用定量比较结果对最优面形选择方法进行分析，结果表明：相比其他镜面组合方式，离轴双抛物面系统的球差、彗差、像散均为0，波前RMS远优于λ/14(λ=0.587 6 μm)，斯托列尔比大于0.8。根据计算结果可知，离轴双抛物面系统结构不仅具有更强的多种初级像差的抑制能力，而且还能有效压缩系统的体积。

为了提高空间激光通信系统的工作范围，简化光学系统的结构，提出了基于离轴自由曲面的大视场两镜无焦光学天线的设计形式。该光学天线采用无焦结构，无需再使用准直透镜元件，可以极大地简化系统结构，克服了传统聚焦光学天线体积过大、大功率光源情况下焦点处功率密度过高等问题。首先，基于三级像差理论，推导了两镜无焦系统的消像差公式，并对求解结果进行了分析总结。然后，根据求解结果和实际需求设计了一款无焦光学天线，该系统的有效通光口径为100 mm，放大倍率为5倍，波段为500~1 100 nm，全视场角为0.6°，主镜为凹抛物面的一部分，次镜采用XY多项式表征的自由曲面，并用MATLAB 对次镜自由曲面面形进行了仿真。结果表明，光学系统全视场的波像差优于λ/14（λ=500 nm），斯托列尔比大于0.8，系统能量集中度较高，像质接近衍射极限，光学视场相对于传统二次曲面系统增加了26.7%。因此，该种天线结构在激光通信领域具有较强的实用性和很好的发展前景。