基于多智能体协同的无人机簇群多域节能抗干扰通信

随着无人机网络向着集群化方向发展,无人机簇群通信面临恶意干扰电磁环境下频谱和能量资源不足以及环境部分可观测等问题.针对联合频谱域和功率域的无人机簇群抗干扰问题,以最小化长期传输能量损耗和跳频开销为优化目标,通过建立分布式部分可观测马尔可夫决策过程模型,构建基于多智能体协同的无人机簇群节能抗干扰通信框架.具体地,各簇头无人机作为智能体,利用长短时记忆神经网络的信息长期记忆优势,结合双深度Q学习方法,采用多智能体框架完成分布式训练,最终实现仅需各簇群本地观测信息即可完成协同多域节能抗干扰通信分布式决策.仿真结果表明,本文所提算法可适应部分可观测且未知动态变化的无人机簇群传输环境和干扰环境,相较于基准算法能更有效地降低长期传输能量损耗和跳频开销,且同时提升数据传输成功率.     

多智能体同时到达多目标点的协同强化学习算法

针对动态未知环境下多智能体多目标协同问题,为实现在动态未知环境下多个智能体能够同时到达所有目标点,设计函数式奖励函数,对强化学习算法进行改进.智能体与环境交互,不断重复"探索-学习-决策"过程,在与环境的交互中积累经验并优化策略,在未预先分配目标点的情况下,智能体通过协同决策,能够避开环境中的静态障碍物和动态障碍物,同时到达所有目标点.仿真结果表明,该算法相比现有多智能体协同方法的学习速度平均提高约42.86％,同时智能体能够获得更多的奖励,可以做到自主决策自主分配目标,并且实现同时到达所有目标点的目标.     

多智能体协同任务分配问题研究综述

研究了给定通信基础设施和可用计算资源情况下,多智能体系统协同任务分配问题中集中式、分布式和分散式系统结构运用的适应条件及异步、同步交互方式在不同结构中的应用;分析了分布式或分散式的任务规划中诸如决策一致性策略和一致性算法等必须考虑的问题及其面临的挑战;最后,探讨了多智能体协同任务分配问题分布式和集中式的求解算法。     

部分可观测下基于RGMAAC算法的多智能体协同

多智能体深度强化学习(MADRL)将深度强化学习的思想和算法应用到多智能体系统的学习和控制中,是开发具有群智能体的多智能体系统的重要方法.现有的MADRL研究主要基于环境完全可观测或通信资源不受限的假设展开算法设计,然而部分可观测性是多智能体系统实际应用中客观存在的问题,例如智能体的观测范围通常是有限的,可观测的范围外不包括完整的环境信息,从而对多智能体间协同造成困难.鉴于此,针对实际场景中的部分可观测问题,基于集中式训练分布式执行的范式,将深度强化学习算法Actor-Critic扩展到多智能体系统,并增加智能体间的通信信道和门控机制,提出recurrent gated multi-agent Actor-Critic算法(RGMAAC).智能体可以基于历史动作观测记忆序列进行高效的通信交流,最终利用局部观测、历史观测记忆序列以及通过通信信道显式地由其他智能体共享的观察进行行为决策;同时,基于多智能体粒子环境设计多智能体同步且快速到达目标点任务,并分别设计2种奖励值函数和任务场景.实验结果表明,当任务场景中明确出现部分可观测问题时,RGMAAC算法训练后的智能体具有很好的表现,在稳定性...     

数字孪生驱动下微电网多智能体协调控制优化

传统微电网系统设备分时控制能力差,存在协同控制不足的问题。对此,提出采用思维进化算法优化多智能体控制系统。首先基于“源-网-荷-储”概念提出微电网多智能体模型,并优化目标环保成本与运维成本;然后在数据分析的基础上,通过历史光伏发电功率数据与当日气象数据,构建分布式“源”功率预测模型;最后采用思维进化算法对智能体种群调度策略的适应值进行趋同异化优化,迭代出最优种群调度策略。功率预测仿真结果表明,在类簇为3时,模型具有最高的预测精确性,较传统预测方法精度提升了5.6%;控制策略仿真结果表明,MEA算法的微电网协调控制决策优化后,提高多智能体协同控制能力,降低了环保成本与运维成本。     

基于规划识别的多智能体协作研究及应用

多智能体系统是规划识别的一个有效应用平台，提出一种基于规划识别多智能体协作算法，对对抗环境和非对抗环境中的基于规划识别的多智能体协作算法进行了分析，实现了对队友和对手行为目的的认识和建模，减少了协作主体间需要通信的时间厦难度。该协作算法应用到多智能体的有效测试平台机器人足球赛中，试验结果证明，该算法在通信受限、信息受限或信息延时的系统中可有效预测队友和对手的行为，从而实现智能体间的协作。     

基于MADDPG的散装物料输送多智能体协同控制

为提升带式输送系统的智能化决策,提高生产效率,降低能耗,应用多智能体深度确定性策略梯度(MADDPG)算法,构建多输送机智能体协同控制系统。系统采用集中式结构控制多输送机,由输送机运行能耗模型,结合MADDPG算法结构,构建多智能体协同控制模型。通过训练模型,寻优输送机运行速度与煤流量最佳匹配关系,得出节能最优速度控制策略。与深度确定性策略梯度(DDPG)算法进行实验对比。结果表明,提出的多输送机智能体算法模型学习效率高,收敛速度快,具有较强的稳定性。     

复杂约束条件下异构多智能体联盟任务分配

分布式任务决策是提高多智能体系统自主性的关键.以异构多智能体协同执行复杂任务为背景,首先建立了一种考虑任务载荷资源约束、任务耦合关系约束及执行窗口约束等条件的异构多智能体分布式联盟任务分配模型;其次,对一致性包算法(CBBA)进行了扩展,提出了基于改进冲突消解原则的一致性联盟算法(CBCA),以实现异构多智能体协同无冲突任务分配,并进一步证明了在一定条件下CBCA算法收敛于改进顺序贪婪算法(ISGA).最后通过数值仿真,验证了CBCA算法求解复杂约束条件下异构多智能体联盟任务分配问题的可行性和快速性.     

多智能体协同选择的智能导购模型

基于多智能体协同选择提出了一种导购选择模型,该模型可识别其他可信买方智能体("值得信赖的朋友"),并将它们关于卖方的信息结合自身关于卖方的信息综合起来协同选择质高价低的卖方,从而实现高质量的导购性能。构建了一个存在多种类型的买方和卖方的购物模拟环境,并进行了多组实验。实验结果表明,该模型可以准确地识别可信买方智能体,并可在复杂的购物环境中高效地选择出优质卖方。此外,实验结果还表明,有了该模型,单个买方智能体选择优质卖方的能力要明显高于无多智能体协同选择情况下单个买方智能体的选择能力。     

基于对手动作预测的智能博弈对抗算法

智能博弈对抗场景中，多智能体强化学习算法存在“非平稳性”问题，智能体的策略不仅取决于环境，还受到环境中对手（其他智能体）的影响。根据对手与环境的交互信息，预测其策略和意图，并以此调整智能体自身策略是缓解上述问题的有效方式。提出一种基于对手动作预测的智能博弈对抗算法，对环境中的对手进行隐式建模。该算法通过监督学习获得对手的策略特征，并将其与智能体的强化学习模型融合，缓解对手对学习稳定性的影响。在1v1足球环境中的仿真实验表明，提出的算法能够有效预测对手的动作，加快学习收敛速度，提升智能体的对抗水平。     

概率驱动的动态多目标多智能体协同调度进化优化

在多智能体系统中,协作任务往往动态变化,且存在多个冲突的优化目标,因此动态多目标多智能体协同调度问题已经成为亟须解决的关键问题之一。针对动态环境下多智能体协同调度需求,提出了概率驱动的动态预测策略,旨在有效利用历史环境概率分布,预测决策解在新环境的概率分布,从而生成新的多智能体调度方案,实现调度算法在动态环境下的快速响应。具体来讲,设计了基于元素的概率分布表达,以表示解的构成元素在动态环境的适应性,并根据优化算法迭代最优解逐步更新概率分布以趋近实际分布;构建了基于融合的概率分布预测机制,考虑到环境变化的连续性和相关性,当环境变化时,通过融合历史概率分布预测新环境的概率分布,为新环境优化提供先验知识;提出了基于启发式的新解采样机制,结合概率分布和启发式信息,生成解方案以更新过时种群。将概率驱动的动态预测策略嵌入新型的多目标进化算法,获得概率驱动的动态多目标进化算法。在10个动态多目标多智能体协同调度问题实例上,实验结果表明,所提算法在解最优性和多样性上显著优于已有多目标进化算法,所提的概率驱动的动态预测策略能够提高多目标进化算法对动态环境的适应能力。     

基于Agent的协同计划辅助决策系统研究

该文以红蓝双方海上编队对抗为背景,以建立和修改海上多兵种协同攻击计划方案为系统总任务,基于数据库、模型库、知识库、方案库,建立相应的数据管理机制,并将面向分布式人工智能理论技术应用到海上多兵种协同作战计划智能辅助决策系统设计实现中,提出了协同作战智能体单元的概念,给出了该MAS系统的管理结构及智能体的组成,以及各自的功能分类,构建了系统的构成框架,总结了基于Agent技术的辅助决策系统的特点,并与普通的辅助决策系统进行了比较。     

基于多阶段强化学习的多智能体协作决策

为了解决多智能体协同训练过程中的团队奖励稀疏导致样本效率低下、无法进行有效探索以及对参数敏感的问题,本研究在MAPPO算法的基础上引入了分阶段的思想,提出了基于多阶段强化学习的多智能体协同算法MSMAC。该算法将训练划分为2个阶段：一是构建基于进化策略优化的单智能体策略网络,二是对多智能体策略网络进行协同训练。在多智能体粒子环境下的实验结果表明,基于多阶段的强化学习算法不仅提升了协作性能,而且提高了样本的训练效率和模型的收敛速度。     

采用MSBN多智能体协同推理的智能农业车辆环境识别

为了解决智能农业车辆对所处复杂农田环境的识别信度定量分析困难的问题,提出了基于多连片贝叶斯网(MSBN)多智能体协同推理的目标识别算法.该方法把多智能体图像采集系统的局部信息表征在MSBN模型中,在观测不完备条件下,虽然单个智能体仅拥有目标的局部观测信息,但利用重叠子域信息的更新可以进行子网间消息的传播.利用MSBN局部推理和子网间信度通信的全局推理对多源信息进行融合,以提高识别性能.实验结果表明,与传统神经网络或BN方法相比,基于MSBN目标识别算法有效地对多源信息进行了补充,可以提高农业车辆在复杂环境进行识别的准确性.     

基于Agent的分布式软件部署系统框架的研究

针对分布式环境中的多模块软件的部署需求,提出了基于Agent的分布式软件部署的系统框架.在该框架下,对分布式软件参数描述语言进行定义和对分布式系统中的多节点机器的信息进行建模,提出可配置的分布式软件部署的决策算法,并在多Agent通信机制下对软件部署过程进行协同决策,实现了分布式软件的智能部署.     

基于MASAC的无人机集群对抗博弈方法

随着无人机智能化水平的提高和集群控制技术的发展,无人机集群对抗智能决策方法将成为未来无人机作战的关键技术.无人机集群对抗学习环境具有维度高、非线性、信息有缺失、动作空间连续等复杂特点.近年来,以深度学习和强化学习为代表的人工智能技术取得了很大突破,深度强化学习在解决复杂环境下智能决策问题方面展现出了不俗能力.本文受多智能体集中式训练–分布式执行框架和最大化策略熵思想的启发,提出一种基于非完全信息的多智能体柔性行动器–评判器(multi-agent soft actor-critic, MASAC)深度强化学习方法,建立基于多智能体深度强化学习的无人机集群对抗博弈模型,构建连续空间多无人机作战环境,对红蓝双方无人机集群的非对称性对抗进行仿真实验,实验结果表明MASAC优于现有流行的多智能体深度强化学习方法,能使博弈双方收敛到收益更高的博弈均衡点.进一步对MASAC的收敛情况进行实验和分析,结果显示MASAC具有良好的收敛性和稳定性,能够保证MASAC在无人机集群对抗智能决策方面的实用性.     

基于独立学习的多智能体协作决策

联合学习模式是实现多智能体协作决策的有效方法 ,但是当智能体信息不完备时 ,这一方法难以适用。为此 ,在智能体独立学习的基础上提出一种多智能体协作决策方法。以网格对策为例 ,仿真证明了这一方法的有效性     

舰载机保障作业人机协同决策方法

舰载机保障作业是航空母舰航空保障系统的重要组成部分,其调度效率不仅影响舰载机出动架次率,而且严重制约航空母舰作战效能发挥.在多舰载机保障的动态甲板作业环境下,安全高效地为舰载机分配保障资源,最大限度地减少舰载机因资源分配冲突产生的时间开销,是提高舰载机保障作业调度效率的关键途经.现有基于启发式、机器学习等方法舰载机保障作业调度策略,存在计算量大、鲁棒性差、训练效率低等问题.为此,本文将舰载机保障作业调度问题建模为分布式多智能体协同控制的顺序决策问题,构建了一种新颖的基于人机协同的多智能体作业调度决策框架HCMTPF(human-machine collaborative multi-agent task planning framework),有效地提高了保障作业调度决策模型的学习效率.在此基础上,提出了一种基于人类行为可信度的自适应作业分配方法,进一步提高了智能体自主探索能力和人类指导经验利用率.经大量仿真实验验证,本文提出的舰载机保障作业人机协同决策方法比其他方法在计算性能和学习效率方面具有明显优势.     

基于博弈论的多智能体协同控制算法

为实现交通的畅通,将博弈论引入到交通控制系统中。由于当前路口交通状况只受到来自邻居路口的车辆的影响,提出了基于多智能体的分布式协同控制框架,路口智能体与邻居通过协同博弈选出最优策略进行交通控制。描述了基于博弈论的协同控制算法,并通过仿真验证了该算法能够有效的适应交通流,实现交通控制。     

面向资源分配问题的Q-CF多智能体强化学习

多智能体强化学习算法在用于复杂的分布式系统时存在着状态空间大、学习效率低等问题.针对网络环境中的资源分配问题对多智能体强化学习算法进行了研究,将Q-学习算法和链式反馈(chain feedback,CF)学习算法相结合,提出了Q-CF多智能体强化学习算法,利用一种称为信息链式反馈的机制实现了多智能体之间的高效协同.仿真...