应用Lukosz预校正模型算法可以校正波前畸变的低阶像差，缩小迭代算法的搜寻范围；应用自适应余弦衰减的随机并行梯度下降(AcSPGD)算法可以补偿波前畸变的高阶像差，提升迭代算法的校正精度。本文提出了一种基于预校正模型和AcSPGD算法的混合模型算法，并将其应用于无波前传感自适应光学系统中校正湍流大气产生的畸变波前，最后搭建实验光路验证了算法的有效性。结果表明，混合模型算法的校正速率是常用的随机并行梯度下降(SPGD)算法的3倍，且校正精度比传统的Lukosz模型算法更高，应用于无波前传感自适应光学系统中有效减小了光场波前的相位起伏，提高了远场光斑斯特列尔比(SR)，使自由空间光通信(FSO)系统的通信性能得到有效提升。

为了降低大气湍流对自由空间光通信系统传输性能的影响，建立了一套自适应光学校正系统来校正高阶像差。对该系统的混频效率，误码率和迭代次数等参数进行研究。首先，将图像的Zernike系数划分为8个大类，256个小类，通过CNN模型预测输入光斑的大类。对于每一小类的像差，取每一阶系数范围的中点作为标准点形成一个标准Zernike系数向量，按照其对应的标准电压作为初始校正电压进行校正。实验结果表明：随机并行梯度下降算法使混频效率达到0.80、0.85和0.9需要的迭代次数分别为110次、161次和280次；在使混频效率达到相同值的前提下，CNN-SPGD（Convolutional Neural Networks-Stochastic Parallelism Gradient Descent）算法所需的迭代次数分别为4次、37次和141次。而在相同的迭代次数下，CNN-SPGD算法在系统中的混频效率更高，误码率更低。CNN-SPGD算法与SPGD算法相比，像差校正速度更快。该CNN-SPGD算法可以大幅度减少传统自适应光学系统的迭代次数，满足激光通信的各种需求。

近年来自适应光学（AO）系统向着小型化和低成本化趋势发展，无波前探测自适应光学（WFSless AO）系统由于结构简单、应用范围广，成为目前相关领域的研究热点。硬件环境确定后，系统控制算法决定了WFSless AO系统的校正效果和系统收敛速度。新兴的深度学习及人工神经网络为WFSless AO系统控制算法注入了新的活力，进一步推动了WFSless AO系统的理论发展与应用发展。在回顾前期WFSless AO系统控制算法的基础上，全面介绍了近年来卷积神经网络（CNN）、长短期记忆神经网络（LSTM）、深度强化学习在WFSless AO系统控制中的应用，并对WFSless AO系统中各种深度学习模型的特点进行了总结。概述了WFSless AO技术在天文观测、显微成像、眼底成像、激光通信等领域的应用。

利用波前传感器对光束进行净化的自适应光学系统是目前提高光束质量的常用技术，但在实际应用中，该技术需要波前传感器，系统复杂，体积庞大，同时需要较高性能信标源。为解决上述问题，提出了一种基于变形镜本征模式和远场光斑特征分析的无波前自适应光学系统，用于校正激光器输出的方形光束。将变形镜影响函数进行本征模式分解，并用远场光斑的均方半径作为评价函数，建立了畸变波前的模式系数与评价函数之间的关系，通过测量评价函数获得模式系数用于求解校正电压，实现波前共轭校正。仿真校正和实验验证结果表明，该方法可以有效实现静态像差校正，提高远场光斑的能量集中度。