基于HTN的供应链优化策略

HTN(Hierarchical Task Network，层次任务网络)具有任务描述和分解、任务分派、任务完成的能力以及约束机制和冲突解决机制，可以高效地对复杂问题进行规划。文章就HTN在供应链优化中的应用进行了初步地探讨，结合多代理系统，针对供应链库存管理业务提出其任务网络模型，指出任务分解方法及共约束关系和任务在代理间的分派关系，并给出应用实例。     

基于自适应分解的多任务协作型昂贵多目标优化算法

现实世界的工程优化问题通常需要同时优化多个冲突的目标,且这些目标函数的评估由于依赖仿真、物理实验而十分昂贵,这类问题被称为昂贵多目标优化问题.使用机器学习方法建立代理模型用于估计候选解的目标函数值是求解此类问题的一种有效手段.高斯代理模型适用于训练样本数较少的中小规模问题,且能提供评估的不确定性,因此常作为代理模型被应用于昂贵优化.分解是处理多目标优化问题的一种有效手段.一个多目标优化问题可被分解为多个单目标优化子问题,且多个子问题可被进一步划分为代理模型学习的一个目标任务.现有基于分解的昂贵多目标优化算法大多将固定数量的子问题静态地划分到同一任务,从而构造多个固定任务并对其建立多任务高斯代理模型进行求解.这未能充分利用数据的相关信息动态反映出任务间的相关性,限制了多任务高斯过程模型的预测精度以及优化算法的最终性能.为此,本文提出了一种自适应多任务多种群协作搜索算法(AMMCS).AMMCS使用相似性指标实时度量已评估的解集,获得子问题间的相关性,从而自适应地划分任务,提升多任务模型的预测质量.此外,AMMCS使用一个解集(种群)优化一个任务,并通过多种群的协作搜索实现多任务高斯模型的批量优化,提高了采样效率,提升了算法的收敛效率.通过AMMCS与六个代理辅助进化算法进行多组实验对比和分析,显示了AMMCS具有良好的性能.我们同时也设计实验验证了算法中自适应分解以及多种群协作搜索的有效性.     

基于多代理的网格服务模型的研究与应用

开放网格服务体系结构(OGSA)的出现使得原来的网格资源管理模式不能够满足要求,本文引入代理技术,详细地介绍了多代理技术,代理交互等概念,改善了OGSA模型中Web服务层,将多代理技术应用于网格服务体系结构,根据堆优先权算法,设计出多过程算法提高了服务效率,并设计出基于多代理的公安局网格服务管理模型系统.     

基于多代理的数据库并行事务处理模型

为了优化一般数据库管理系统的事务处理能力,提出了一种数据库事务并行处理算法。基于多代理技术,建立了一种数据库并行事务处理模型,该模型可以自动识别数据库事务的类别并分配相应的事务代理。通过多代理工具Jade实现了该模型中如事务类型的判别、事务代理的分配、代理的事务处理、结果的返回等基本功能。仿真实验结果表明,对比于传统的单任务事务处理方式,该模型是一种提高数据库事务处理能力的有效方案。     

火电厂Multiagent控制系统中的优化任务分解Agents

提出了一个火电厂多代理控制系统（MACS），并洋细介绍了其中优化任务分解代理子系统（OTDAS）的目标、决策和运行，OTDAS通过一个优化代理和一个分解代理对火电厂多代理控制系统的任务进行了优化分解。优化代理的决策采用了遗传算法（GA），OTDAS的运行结果表明GA是Agent决策的有效工具。     

基于合作博弈的移动代理网管任务协作模型

为提高网络管理任务性能,需要研究在复杂网管任务下多移动代理协作问题 .由于传统代理协作模型(如合同网协议)并不适合大规模网络中复杂任务的代理协作,不能保证协作模型中个体代理性能的稳定 .为此合作博弈理论成为移动代理的网管任务协作问题的重要途径,在该协作模型中,单个功能代理被视为具有自主意识的主体,它具有自身的效用函数评估个体的性能 .将代理协作问题转化成为凸联盟博弈模型并利用Shapley值作为协作模型中任务分配合理性的评判标准,并基于上述理论模型,提出3阶段的任务协作算法 .     

基于任务分解与强化学习的多平台协同火力分配方法

为了有效求解多平台协同火力分配问题,根据“分而治之”的思想,基于任务分解策略将复杂的决策任务分解为子目标平台选择和子平台火力分配两个阶段,通过融合启发式算法和强化学习模型,提出一种新的强化学习求解方法(HARL),并以多平台联合火力打击为作战背景进行实验仿真.子目标平台选择层根据当前状态,基于强化学习策略选择攻击当前子目标最适合的火力平台;而子平台火力分配层则使用启发式算法为执行攻击任务的平台规划最优的火力分配方案.实验结果表明,融合启发式算法和强化学习的HARL方法相比于传统的强化学习算法武器消耗量减少15%以上,相比于经典的启发式算法求解时效性提升20%以上,表明该研究成果可为未来求解复杂作战决策问题提供有力的技术支持.     

火电厂多代理控制系统

针对火电厂非线性、多变量和多控制目标的特点,设计了一个火电厂多代理控制系统(PPMACS).在PP MACS中,前馈控制代理(FFCAs)采用神经模糊系统进行决策,反馈控制代理(FBCAs)采用基于遗传算法的模糊系统进行决策.优化任务分解代理(OTDAs)通过一个优化代理和一个分解代理来进行多目标优化分解PPMACS的任务.协调代理根据运行条件协调PPMACS的各个代理.仿真结果显示了火电厂多代理控制系统能够实现火电单元机组的多目标运行和大范围负荷跟踪.神经网络、模糊逻辑和遗传算法是PPMACS中的智能代理进行决策的有效工具.     

自适应分区多代理模型交互式遗传算法

为提高交互式遗传算法的性能.提出一种自适应分区多代理模型交互式遗传算法.该算法基于关键维分割进化初期的搜索空间,同时基于进化进程、逼近精度以及用户评价敏感度,自适应地分割进化中后期的搜索空间.在子空间上,采用多类代理模型学习用户对进化个体评价,并用于评价后续进化的部分或全部个体.将该算法应用于服装进化设计系统,实验结果表明,算法在种群多样性、减轻用户疲劳及用户对优化结果满意度等方面均具有优越性.     

基于多代理的数据库多副本事务处理模型研究

针对数据库多副本提出了一种数据库事务并行处理算法。基于多代理技术,建立一种数据库多副本并行事务处理模型,该模型可以自动识别数据库事务的类别并分配相应的事务代理并对超过瞬时处理能力的事物进行拥塞控制,能提高数据库事务处理能力。     

Hierarchical multi-agent reinforcement learning

In this paper, we investigate the use of hierarchical reinforcement learning (HRL) to speed up the acquisition of cooperative multi-agent tasks. We introduce a hierarchical multi-agent reinforcement learning (RL) framework, and propose a hierarchical multi-agent RL algorithm called Cooperative HRL. In this framework, agents are cooperative and homogeneous (use the same task decomposition). Learning is decentralized, with each agent learning three interrelated skills: how to perform each individual subtask, the order in which to carry them out, and how to coordinate with other agents. We define cooperative subtasks to be those subtasks in which coordination among agents significantly improves the performance of the overall task. Those levels of the hierarchy which include cooperative subtasks are called cooperation levels. A fundamental property of the proposed approach is that it allows agents to learn coordination faster by sharing information at the level of cooperative subtasks, rather than attempting to learn coordination at the level of primitive actions. We study the empirical performance of the Cooperative HRL algorithm using two testbeds: a simulated two-robot trash collection task, and a larger four-agent automated guided vehicle (AGV) scheduling problem. We compare the performance and speed of Cooperative HRL with other learning algorithms, as well as several well-known industrial AGV heuristics. We also address the issue of rational communication behavior among autonomous agents in this paper. The goal is for agents to learn both action and communication policies that together optimize the task given a communication cost. We extend the multi-agent HRL framework to include communication decisions and propose a cooperative multi-agent HRL algorithm called COM-Cooperative HRL. In this algorithm, we add a communication level to the hierarchical decomposition of the problem below each cooperation level. Before an agent makes a decision at a cooperative subtask, it decides if it is worthwhile to perform a communication action. A communication action has a certain cost and provides the agent with the actions selected by the other agents at a cooperation level. We demonstrate the efficiency of the COM-Cooperative HRL algorithm as well as the relation between the communication cost and the learned communication policy using a multi-agent taxi problem.     

Cooperative Multi-Agent Learning: The State of the Art

Cooperative multi-agent systems (MAS) are ones in which several agents attempt, through their interaction, to jointly solve tasks or to maximize utility. Due to the interactions among the agents, multi-agent problem complexity can rise rapidly with the number of agents or their behavioral sophistication. The challenge this presents to the task of programming solutions to MAS problems has spawned increasing interest in machine learning techniques to automate the search and optimization process. We provide a broad survey of the cooperative multi-agent learning literature. Previous surveys of this area have largely focused on issues common to specific subareas (for example, reinforcement learning, RL or robotics). In this survey we attempt to draw from multi-agent learning work in a spectrum of areas, including RL, evolutionary computation, game theory, complex systems, agent modeling, and robotics. We find that this broad view leads to a division of the work into two categories, each with its own special issues: applying a single learner to discover joint solutions to multi-agent problems (team learning), or using multiple simultaneous learners, often one per agent (concurrent learning). Additionally, we discuss direct and indirect communication in connection with learning, plus open issues in task decomposition, scalability, and adaptive dynamics. We conclude with a presentation of multi-agent learning problem domains, and a list of multi-agent learning resources.     

初始误差修正的多智能体一致性迭代学习控制

研究了重复运行的分布式多智能体系统在有限时间内的一致性问题。针对具有固定拓扑结构的多智能体系统,在期望轨迹对应的初始状态未知,且系统存在干扰的情况下,引入虚拟领导者技术,提出了一种同时对各智能体的输入和初始状态误差进行迭代修正的分布式学习控制算法。收敛性分析表明,该算法能够消除由于各智能体初始状态和期望轨迹对应的初始状态不同而引起的各智能体输出不能完全跟踪期望轨迹的状况,实现系统在有限时间内的完全跟踪;仿真结果也证明了算法的有效性。     

网络管理中多agent的半在线调度算法

多agent调度算法在基于多agent的网络管理中对任务执行效率起着至关重要的作用.现有的多agent调度算法由于缺乏考虑任务间的依赖关系,使得面对复杂任务系统时会产生大量的网络负载和等待时间.为此,在建立一个适合网络管理任务特点的多agent调度框架的基础上,提出了一种基于任务依赖关系的多agent半在线调度算法.理论分析和测试结果表明,这种半在线调度算法优于已有的全在线调度算法,其性能更接近离线最优调度算法,从而为网络管理任务中多agent的动态调度提供了一种新的途径.     

Distributed Optimal Co-multi-microgrids Energy Management for Energy Internet

Unlike conventional power systems, the upcoming energy internet (EI) emphasizes comprehensive utilization of energy in the whole power system by coordinating multi-microgrids, which also brings new challenge for the energy management. To address this issue, this paper proposes a novel consensus-based distributed approach based on multi-agent framework to solve the energy management problem of the energy internet, which only requires local information exchange among neighboring agents. Correspondingly, two consensus algorithms are presented, one of which drives the incremental cost of each distributed generator (DG) converge to the state of the leader agent-energy router, and the other one is used to estimate the global power mismatch, which is a first-order average consensus algorithm modified by a correction term. In addition, in order to meet the supply-demand balance, an effective control strategy for the energy router is proposed to accurately calculate the power exchange between the microgrid and the main grid. Finally, simulation results within a 7-bus test system are provided to illustrate the effectiveness of the proposed approach.      

混合分布式任务分配机制在足球机器人系统中的应用研究

在分析各种多智能体任务分配机制的优缺点的基础上,结合基于市场法的任务分配机制和基于规则的任务分配机制,提出了一种混合分布式的多机器人任务分配机制用于足球机器人系统的角色分配。该角色分配算法在动态地分配角色的同时能够有效地避免角色的非期望震荡。仿真和实际比赛均验证了该算法的有效性。     

多智能体分层协作规划及在RoboCup中的应用

为了更好地解决一类通讯受限环境中多智能体任务协作规划问题,提出了基于MAXQ-OP的多智能体在线规划方法,并在RoboCup仿真2D足球比赛的人墙站位和多球员传球问题中对算法进行了实验.实验结果表明,这个方法使智能体在需要协作配合的环境中的表现比传统方法有了明显提升.     

基于影响度及状态预测的多agent协作算法

针对灾难环境中多agent协作问题进行了研究，提出了一种基于影响度与状态预测的多agent协作算法。首先该算法根据协作任务对信息的需求，使用影响度函数对agent感知到的信息进行处理；其次利用预测算法对任务的后续状态和agent的行为进行预测并根据预测结果制定协作策略；最后执行协作任务的agent根据动作效果和触发条件动态调整协作策略。为了验证算法的有效性，在Unity3D中搭建仿真平台，对比不同协作算法的收敛率、救援人数和整体得分，结果表明该算法的收敛速度快、救援人数多和整体得分最优，可以效地指导agent间的协作，能给实际救援协作策略的制定提供理论支持。     

多主体目标优化的动态合作博弈方法*

通过多目标优化和动态合作博弈理论,定义了联盟中多主体目标优化问题,提出了能够适应动态环境的基于合作博弈的多主体目标优化模型。该模型的组成一方面能够利用主体的协作能力,另一方面又能够充分考虑动态联盟的特征,适合大规模网络中多主体协作,避免模型中主体理性和团体理性的冲突。基于所提出的多主体目标优化模型,设计了一种联盟效用分配算法。仿真实验表明,联盟效用分配算法能够使多主体根据最优共识原则,分配各方的合作效用,从而达到多赢的帕累托最优局面。     

基于协作协进化的多智能体机器人协作研究

协作问题一直是自主多智能体机器人系统研究的关键问题之一。基于多智能体机器人系统的CCP协作协议所生成的各智能体机器人的任务序列依赖于目标的初始顺序,因此难以得到最优解。文章提出了利用协作协进化来实现多智能体机器人之间协作的一种机制。该方法采用基于协作种群的技术来生成多智能体机器人任务执行序列,在给定的任务分解产生的所有可能解中寻找最优解,并通过交换局部知识和并行决策等手段来优化系统的性能。利用该机制,对3个智能体协作搬运8个物体进行计算机模拟,结果表明,该机制在优化任务执行序列方面作用明显,从而能有效提高多智能体机器人系统的性能。