随着低空空域环境的日益复杂, 执行任务的无人飞行器间发生冲突的概率不断增加。针对传统强化学习算法SAC,DDPG在解决有限空域内多无人飞行器间的避碰问题上存在收敛速度慢、收敛不稳定等缺陷, 提出了一种基于PPO2算法的多智能体强化学习(MARL)方法。首先,将多无人飞行器飞行决策问题描述为马尔可夫决策过程; 其次,设计状态空间与奖励函数, 通过最大化累计奖赏来优化策略, 使整体训练更加稳定、收敛更快; 最后,基于深度学习TensorFlow框架和强化学习Gym环境搭建飞行模拟场景, 进行仿真实验。实验结果表明,所提方法相较于基于SAC和DDPG算法的方法, 避碰成功率分别提高约37.74和49.15个百分点, 能够更好地解决多无人飞行器间的避碰问题, 在收敛速度和收敛稳定性方面更优。

设计了一种5G电力虚拟专网和数字孪生相结合的系统架构，并考虑了终端数字孪生时同步的构建方法，提出了一种分层多智能强化学习算法。该算法决定分配给电力用户终端的资源和数字孪生体的放置，上层通过深度Q网络实现切片通信资源的分配，下层通过多智能体深度强化学习实现电力用户终端的数字孪生体放置。实验结果表明，所提出的分层多智能体算法在电力用户终端数字孪生体的同步强度上能获得较好的系统收益。

束流轨道优化是短波长自由电子激光调试放大过程的关键环节。在实际实验中，需要花费大量的时间来调整参数，以校正轨道。为简化该多参数调优过程，研究了基于深度强化学习的自动优化技术，在仿真环境中使用SAC、TD3和DDPG算法调整多个校正磁铁，以优化自由电子激光的输出功率。为模拟实际实验中非理想的轨道状态，在第一节波荡器入口处设置一磁铁以偏转束流轨道。随后利用深度强化学习算法自动调节后续7个磁铁以校正轨道。结果表明，通过引入偏差将输出功率降低一个数量级后，基于最大熵原理的SAC算法将功率恢复到初始值的98.7%，优于TD3与DDPG算法。此外，SAC算法表现出更强的鲁棒性，有望后续应用在我国X射线自由电子激光装置中实现自动调束。

面对复杂的三维环境, 传统的路径规划算法计算复杂度极度增加, 失去了原有的效果。深度强化学习可以不依赖于精确的环境模型, 其总体效率远高于传统算法。针对三维环境下的AUV路径规划问题, 在建立避碰探测模型和gym仿真环境的基础上, 改进网络结构的PPO算法设计及模型训练。通过仿真实验, 验证了算法的准确率与有效性。

针对无人机编队控制中无人机智能化程度不足、缺乏自主学习能力等问题, 基于深度强化学习中DDQN算法设计无人机编队控制器, 该控制器可同时控制速度与航向通道, 使僚机能够自学习跟踪长机并保持编队, 提高无人机智能化程度。为验证设计控制器的有效性, 通过仿真将设计的DDQN控制器与传统PID控制器进行对比。对比结果表明, 该控制器可有效形成无人机编队并满足编队要求, 对无人机编队智能化控制进行了有效探索。

针对传统数据中心电互连网络在应对业务动态流量时存在适应性差的问题, 文章提出并验证了一种可以根据网络流量波动进行网络拓扑自优化重构的机制。文章所提机制通过网络仿真系统与深度强化学习模型的迭代交互, 实现了对拓扑结构与业务流量分布关系的持续训练, 进而在实际系统中, 深度强化学习模型, 根据软件定义网络控制器实时收集的业务流量分布信息, 实现了网络拓扑的自动优化重构, 进而提升了网络性能。实验结果表明, 针对给定的流量强度, 采用深度强化学习进行训练后的模型可以一步输出优化的网络拓扑结构, 降低了平均网络延迟和丢包率。

为了解决运营商共享网络资源带来的资源分配问题, 提出了一种基于深度强化学习(DRL)的在线带宽资源分配算法。该算法将多租户无源光网络(PON)系统映射到DRL模型中, DRL代理通过与环境交互, 为各个待处理的带宽请求和当前剩余带宽做决策, 并不断更新策略参数直至模型收敛, 从而完成算法优化。搭建了仿真系统, 对该算法进行了可行性验证, 仿真结果表明所提的算法可以有效提高带宽资源利用率。

在大力发展智能电网的背景下, 支撑电网运转的电力光通信网规模日趋庞大, 其承载的业务更加多样化。然而电力光通信网的业务路由规划主要以最短路径算法为主, 导致电力光通信网存在业务重要度分布不均衡, 从而导致网络局部风险过高的问题。针对上述现状, 文章采用深度强化学习技术, 以网络业务风险均衡为目标, 提出了基于强化学习的电力光通信网风险均衡路由算法。该算法考虑业务重要度分布情况、链路容量和链路光信噪比, 实现了电力光通信网风险均衡化。文章选取某省电力通信子网验证方案的有效性, 研究结果表明, 该方法能够有效地降低电力光通信网风险均衡度, 为电网的安全运行提供有力保障。