基于深度强化学习的连续状态空间无人机隐蔽接敌问题, 提出了基于马尔可夫决策过程的隐蔽接敌双深度Q网络(DDQN)方法。利用DDQN生成目标值函数的方法解决了传统DQN的过拟合问题; 采用按优先级随机抽样的方法获取训练样本, 加速了神经网络的训练速度; 设定贪婪系数按照指数下降的方法, 解决了传统强化学习的“探索利用窘境”; 在势函数奖赏函数设计中引入角度因子, 使其更加符合实际作战情况。仿真实验结果表明, DDQN具有较好的收敛性, 能有效生成隐蔽接敌策略。
隐蔽接敌策略 空战决策 马尔可夫决策过程 双神经网络结构 DDQN算法 stealthy engagement maneuvering strategy air combat decision-making Markov decision process double neural network structure DDQN algorithm
1 南京航空航天大学, a.自动化学院
2 b.江苏省物联网与控制技术重点实验室, 南京 210016
针对经典基于避碰、速度一致和聚集(SAC)原则的多智能体系统运动控制算法边界振荡和无法实现分群运动的问题, 提出一种注意力跟随机制与改进拟态物理法(F-IAP)相结合的运动控制算法。算法将经典SAC算法的速度一致区和聚集区相融合, 根据距离与速度调节引力系数来改变拟态物理力的作用, 解决了SAC算法边界振荡问题, 实现了多智能体系统的聚集运动、速度一致以及障碍环境下的群体避障。根据神经科学中生物注意力的特点, 选择直接感知到环境刺激的智能体作为跟随对象, 并与IAP算法相结合, 实现多目标环境中多智能体系统分群运动。最后通过仿真验证算法的可行性与性能的优越性。
多智能体 注意力跟随机制 拟态物理法 分群 运动控制 multi-agent attention-following mechanism artificial physics fission motion control
针对人体健康数据收集需要多参量且柔性安全的传感器，提出利用基于光纤布喇格光栅(FBG)的柔性传感器，对人体温度、压力和运动状态进行检测。理论分析了温度和压力对FBG反射波长漂移量的影响，以及压力对光纤光功率的影响，建立了温度传感模型、压力传感模型和人体运动模型。基于柔性基底的传感器在温度传感和压力传感方面的性能都得到了不同程度的提升。最后通过实验验证了柔性基底光栅传感器对人体温度、压力以及运动状态的监测性能。
光纤布喇格光栅 聚合物 温度 压力 运动状态 fiber Bragg grating polymer temperature pressure motion state
为实现对消化道微型诊疗装置在人体内的实时定位与跟踪,建立了一种基于三轴磁传感器阵列的磁目标实时定位跟踪系统。该系统使用磁偶极子模型作为永磁体的磁场分布模型,用4×4的三轴磁传感器阵列检测固定在电子胶囊中的永磁体产生的磁场,通过控制电路和USB接口适配器,将检测出的磁场信号传入计算机,使用非线性最优化方法由磁场信号解出电子胶囊的位置和姿态信息,最后由定位软件实时显示定位结果并保存数据。实验结果表明,该系统对于距离传感器阵列平面150 mm的电子胶囊,平均定位精度＜7 mm,平均定向精度＜6°;同时,该系统能够对距离传感器阵列平面60~220 mm的模拟肠道内运动的电子胶囊实现实时跟踪;并且该系统对人体、织物、塑料等非磁性介质不敏感,基本上能够满足消化道微型诊疗装置在人体内的实时定位与连续跟踪的要求。
定位 实时跟踪 磁传感器 磁场检测 微型诊疗装置 localization real time tracking magnetic sensor magnetic measurement micro diagnosis and treatment device
