基于LSTM及DQN的多用户联合抗干扰决策算法

针对无线网络环境中多用户之间冲突及干扰影响问题,本文利用马尔可夫框架进行建模分析,提出了一种多用户联合抗干扰决策算法(MJADA).该算法融合长短期记忆库(Long Short Term Memory,LSTM)和深度Q网络(Deep Q Network,DQN),目标是生成一个用户之间无需交换信息的多用户抗干扰频谱决策策略.MJADA不仅在动作状态空间巨大的多用户场景下能够实现有效的收敛,而且在不同的干扰场景下都能够更好的减少冲突以及规避干扰.仿真结果表明,在扫频干扰下,MJADA算法的抗干扰性能比随机策略高出约72.3％,比独立DQN算法提升33.7％.     

主动队列管理中PI与PID算法的仿真研究

主动队列管理机制是一个非常活跃的研究领域.在Hollot论文里用线性控制理论模型化TCP的基础上,采用NS仿真平台设置网络仿真场景,对主动队列管理机制中的PI和PID这两种典型算法进行了仿真研究.还介绍了NS模拟器的结构和利用模拟器进行网络仿真的一般步骤.文中的仿真实验设置了不同的实验条件,采用了异质流来模拟真实的网络场景,验证和比较了PI及PID控制算法在主动队列管理机制中的性能.通过NS-2模拟器模拟表明,PID算法的快速性优于PI算法,而PI算法的鲁棒性则比PID更好.     

基于深度递归强化学习的无人自主驾驶策略研究

提出了一种基于递深度递归强化学习的自动驾驶策略模型学习方法,并在TORCS虚拟驾驶引擎进行仿真验真。针对Actor-Critic框架过估计和更新缓慢的问题,结合clipped double DQN,通过取最小估计值的方法缓解过估计的情况。为了获取多时刻状态输入以帮助智能体更好的决策,结合递归神经网络,设计出包含LSTM结构的Actor策略网络的Critic评价网络。在TORCS平台仿真实验表明,所提算法相对与传统DDPG算法能有效提高训练效率。     

基于神经网络算法的智能抗干扰系统设计

为了实现在复杂电磁环境中进行高效可靠的数据传输,达到实时抵抗干扰、提升通信系统频谱利用率的目的,对非连续正交频分复用技术、变换域通信系统、扩频技术以及神经网络算法进行了研究,首次将人工智能算法应用于切换通信波形以抵抗不同类型的干扰,以此为基础设计了一种基于径向基神经网络算法的智能抗干扰系统。对三种抗干扰模式分别进行了原理介绍及仿真,验证了其各自的抗干扰能力,以及通过切换波形提升频谱利用率的可行性,并对整个智能抗干扰系统进行了仿真,经分析该系统基本满足应对突发干扰情况下的波形选择要求,与传统通信系统相比,能够适用于更多通信场景。     

融合认知行为模型的深度强化学习框架及算法

面对高维连续状态空间或稀疏奖励等复杂任务时,仅依靠深度强化学习算法从零学习最优策略十分困难,如何将已有知识表示为人与学习型智能体之间相互可理解的形式,并有效地加速策略收敛仍是一个难题.对此,提出一种融合认知行为模型的深度强化学习框架,将领域内先验知识建模为基于信念-愿望-意图(belief- desire-intention, BDI)的认知行为模型,用于引导智能体策略学习.基于此框架,分别提出融合认知行为模型的深度Q学习算法和近端策略优化算法,并定量化设计认知行为模型对智能体策略更新的引导方式.最后,通过典型gym环境和空战机动决策对抗环境,验证所提出算法可以高效利用认知行为模型加速策略学习,有效缓解状态空间巨大和环境奖励稀疏的影响.     

采用干扰–观测器控制的移动智能体系统之一致性(英文)

本文研究了具有非线性耦合与外部干扰的移动多智能体系统的一致性问题.假设系统不存在外部干扰的情况,设计了一个牵引控制使得移动智能体系统达到一个期望值.假设系统存在一个外部干扰,应用干扰–观测器控制,使得系统中的所有智能体可以渐近达到一致.通过分析具有固定拓扑和时变拓扑的移动多智能体动态系统,得到了许多基于抗干扰观测器的系统收敛性条件.最后应用仿真实例说明了结论的有效性.     

基于多智能体协同的无人机簇群多域节能抗干扰通信

随着无人机网络向着集群化方向发展,无人机簇群通信面临恶意干扰电磁环境下频谱和能量资源不足以及环境部分可观测等问题.针对联合频谱域和功率域的无人机簇群抗干扰问题,以最小化长期传输能量损耗和跳频开销为优化目标,通过建立分布式部分可观测马尔可夫决策过程模型,构建基于多智能体协同的无人机簇群节能抗干扰通信框架.具体地,各簇头无人机作为智能体,利用长短时记忆神经网络的信息长期记忆优势,结合双深度Q学习方法,采用多智能体框架完成分布式训练,最终实现仅需各簇群本地观测信息即可完成协同多域节能抗干扰通信分布式决策.仿真结果表明,本文所提算法可适应部分可观测且未知动态变化的无人机簇群传输环境和干扰环境,相较于基准算法能更有效地降低长期传输能量损耗和跳频开销,且同时提升数据传输成功率.     

基于双深度Q网络的智能决策系统研究

目前智能决策系统中的经典算法智能化程度较低,而更为先进的强化学习算法应用于复杂决策任务又会导致存储上的维度灾难问题。针对该问题,提出了一种基于双深度Q网络的智能决策算法,改进了目标Q值计算方法,并将动作选择和策略评估分开进行,从而获得更加稳定有效的策略。智能体对输入状态进行训练,输出一个较优的动作来驱动智能体行为,包括环境感知、动作感知及任务协同等,继而在复杂度较高的决策环境中顺利完成给定任务。基于Unity3D游戏引擎开发了虚拟智能对抗演练的验证系统,对演练实时状态和智能体训练结果进行可视化,验证了双深度Q网络模型的正确性和稳定性,有效解决了强化学习算法存在的灾难问题。该智能决策算法有望在策略游戏、对抗演练、任务方案评估等领域发挥作用。     

具有反馈控制的多自主体系统迭代学习输出一致性

为改进多自主体系统的学习过程并提高系统对外部干扰的鲁棒性,提出一种具有反馈控制的迭代学习一致性控制算法。首先,自主体之间通过共享控制输入信息以改进其学习过程,并且当系统外部存在非迭代重复干扰时,通过设计反馈控制器以提高系统的鲁棒性;然后,使用压缩映射的方法对系统一致性进行分析,并严格推导出算法的收敛条件;最后,通过仿真实验验证了算法的正确性和有效性,改进后的算法与P型算法相比有更高的收敛速度,且在存在外部干扰时有更平滑的收敛曲线。     

基于对手动作预测的智能博弈对抗算法

智能博弈对抗场景中，多智能体强化学习算法存在“非平稳性”问题，智能体的策略不仅取决于环境，还受到环境中对手（其他智能体）的影响。根据对手与环境的交互信息，预测其策略和意图，并以此调整智能体自身策略是缓解上述问题的有效方式。提出一种基于对手动作预测的智能博弈对抗算法，对环境中的对手进行隐式建模。该算法通过监督学习获得对手的策略特征，并将其与智能体的强化学习模型融合，缓解对手对学习稳定性的影响。在1v1足球环境中的仿真实验表明，提出的算法能够有效预测对手的动作，加快学习收敛速度，提升智能体的对抗水平。     

基于移动代理的卫星网路由性能研究

通过仿真方法分析代理系统中影响基于移动代理卫星网路由算法性能的关键因素,给出了拟仿真的路由算法及其NS2仿真方案,详细阐述了使用Grasshopper、JADE和Linux、运行于局域网环境、支持代理的卫星网仿真平台构建方案,包括仿真平台的系统结构、卫星节点功能实体、路由代理交互接口、星际链路仿真模块等。通过与NS2中的仿真结果对比,得出了高链路时延下的移动代理迁移效率是影响路由算法性能的关键因素,并通过代理系统间横向比较,给出了路由算法开发以及仿真平台构建过程中代理系统的选择建议。     

基于深度强化学习的移动机器人导航策略研究

针对移动机器人在复杂动态变化的环境下导航的局限性,采用了一种将深度学习和强化学习结合起来的深度强化学习方法。研究以在OpenCV平台下搭建的仿真环境的图像作为输入数据,输入至TensorFlow创建的卷积神经网络模型中处理,提取其中的机器人的动作状态信息,结合强化学习的决策能力求出最佳导航策略。仿真实验结果表明：在经过深度强化学习的方法训练后,移动机器人在环境发生了部分场景变化时,依然能够实现随机起点到随机终点的高效准确的导航。     

面向无人艇的T-DQN智能避障算法研究

无人艇(Unmanned surface vehicle, USV)作为一种具有广泛应用前景的无人系统, 其自主决策能力尤为关键. 由于水面运动环境较为开阔, 传统避障决策算法难以在量化规则下自主规划最优路线, 而一般强化学习方法在大范围复杂环境下难以快速收敛. 针对这些问题, 提出一种基于阈值的深度Q网络避障算法(Threshold deep Q network, T-DQN), 在深度Q网络(Deep Q network, DQN)基础上增加长短期记忆网络(Long short-term memory, LSTM)来保存训练信息, 并设定经验回放池阈值加速算法的收敛. 通过在不同尺度的栅格环境中进行实验仿真, 实验结果表明, T-DQN算法能快速地收敛到最优路径, 其整体收敛步数相比Q-learning算法和DQN算法, 分别减少69.1%和24.8%, 引入的阈值筛选机制使整体收敛步数降低41.1%. 在Unity 3D强化学习仿真平台, 验证了复杂地图场景下的避障任务完成情况, 实验结果表明, 该算法能实现无人艇的精细化避障和智能安全行驶.     

基于多智能体深度强化学习的船舶协同避碰策略

船舶避碰是智能航行中首要解决的问题,多船会遇局面下,只有相互协作,共同规划避碰策略,才能有效降低碰撞风险.为使船舶智能避碰策略具有协同性、安全性和实用性,提出一种基于多智能体深度强化学习的船舶协同避碰决策方法.首先,研究船舶会遇局面辨识方法,设计满足《国际海上避碰规则》的多船避碰策略.其次,研究多船舶智能体合作方式,构建多船舶智能体协同避碰决策模型:利用注意力推理方法提取有助于避碰决策的关键数据;设计记忆驱动的经验学习方法,有效积累交互经验;引入噪音网络和多头注意力机制,增强船舶智能体决策探索能力.最后,分别在实验地图与真实海图上,对多船会遇场景进行仿真实验.结果表明,在协同性和安全性方面,相较于多个对比方法,所提出的避碰策略均能获得具有竞争力的结果,且满足实用性要求,从而为提高船舶智能航行水平和保障航行安全提供一种新的解决方案.     

Path Planning for Intelligent Robots Based on Deep Q-learning With Experience Replay and Heuristic Knowledge

Path planning and obstacle avoidance are two challenging problems in the study of intelligent robots. In this paper, we develop a new method to alleviate these problems based on deep Q-learning with experience replay and heuristic knowledge. In this method, a neural network has been used to resolve the “curse of dimensionality” issue of the Q-table in reinforcement learning. When a robot is walking in an unknown environment, it collects experience data which is used for training a neural network; such a process is called experience replay. Heuristic knowledge helps the robot avoid blind exploration and provides more effective data for training the neural network. The simulation results show that in comparison with the existing methods, our method can converge to an optimal action strategy with less time and can explore a path in an unknown environment with fewer steps and larger average reward.      

Q-学习及其在智能机器人局部路径规划中的应用研究

强化学习一词来自于行为心理学,这门学科把行为学习看成反复试验的过程,从而把环境状态映射成相应的动作．在设计智能机器人过程中,如何来实现行为主义的思想、在与环境的交互中学习行为动作？ 文中把机器人在未知环境中为躲避障碍所采取的动作看作一种行为,采用强化学习方法来实现智能机器人避碰行为学习．Ｑ－学习算法是类似于动态规划的一种强化学习方法,文中在介绍了Ｑ－学习的基本算法之后,提出了具有竞争思想和自组织机制的Ｑ－学习神经网络学习算法;然后研究了该算法在智能机器人局部路径规划中的应用,在文中的最后给出了详细的仿真结果     

基于神经网络的进化机器人组合行为方法研究

为了克服传统机器人设计方法存在的局限性,提高机器人的自适应能力,采用神经网络方法实现了进化机器人避碰、趋近及其组合行为学习,首先,提出了新的机器人模拟环境和机器人模型,结合了采用神经网络实现进化学习系统的方法。其次,对具有进化学习机制的机器人基本行为和组合行为学习系统进行了仿真,并通过仿真证明了新模型不要求环境知识的完备性,机器人具有环境自适应学习能力,还具有结构简洁、易扩展等特点,最后,对仿真结果进行分析与讨论,并提出了进一步研究方向。     

基于T-S模糊神经网络的智能轮椅避障控制策略

针对传统智能轮椅避障策略的路径规划效率差、功耗高等缺点,提出一种基于模糊神经网络的环境深度分区控制策略;利用红外、超声波和激光传感器的测量信息将待识别环境分为3个不同的深度区间,同时,利用T-S模糊神经网路算法融合异质传感器的测量信息,然后设计模糊控制规则,实现智能轮椅避障动作;最后建立智能轮椅的运动学模型和测量模型,并进行Simulink仿真测试;经仿真可知,该方法控制可靠,可快速无碰撞地通过障碍区,并能减少功耗,提高续航能力。