基于Multi-agent直流电机控制系统研究

提出一种由交互Agent、管理Agent和执行Agent等多个Agent构成的直流电机控制系统基本框架，为电机控制提供一些新思路、新方法。仿真实验表明：将Agent应用于控制系统，可以提高系统的性能、适应性和柔性，应用范围也可以扩大。     

多Agent系统中Agent的协作机理与模式

借鉴人类社会学，分析了多Agent系统中Agent之间的协作机理，提出了多Agent系统中Agent进行协作的4种模式——对话模式、会议模式、协同模式和层次模式。使用结构化方法描述了4种协作模式的协作过程，给出了对话模式的形式化描述，为设计具有分布式协作问题求解能力的多Agent系统提供了理论框架。     

基于协作Agent的智能决策支持系统研究

针对传统智能决策支持系统缺乏可重构性和协调性等弱点,提出一种基于多Agent的智能决策支持系统结构．通过引入人工智能中的Agent技术构建决策支持系统,采用拥有不同功能的智能体Agent实现了决策支持系统的各智能部件．利用Agent技术对系统进行了结构设计和运行设计,提出以协作Agent为核心的新的系统结构,较好地实现了多Agent之间的协作和交互,为解决多Agent系统中Agent之间的协作难题提供了一种新的思路．     

异构Agent协作的研究进展

首先在介绍多Agent协作的研究背景以及国内外研究现状的基础上,对多Agent理论及其协作机制分别进行了分类和总结;然后,在研究多Agent协作框架的基础上,分析了当前最具代表性的几种多Agent协作模型,如黑板模型、合同网模型、熟人模型、关系网模型以及承诺模型,阐述各模型特点并在动态性、异构性、灵活性和反应性等方面进行比较,突出承诺模型与其它协作模型相比的优势;最后,介绍了异构Agent协作模型在智能足球机器人、协同决策以及虚拟训练等领域的具体应用. 在Agent协作模型的比较与具体应用中,突出了承诺模型在异构Agent协作过程中所展现的较好的动态性、灵活性和反应性等特征,并提出了在开放环境下,当前Agent承诺模型在动态生成承诺协议方面的不足与改进方向.     

计算机支持的协同计划冲突消解问题研究

冲突消解是计算机支持的协同计划(CSCP)机制中的关键和核心之一．本文分析了CSCP领域冲突特点，提出了一种基于约束条件的冲突消解模型．同时，研究了利用面向对象的冲突消解专家系统方法实现冲突消解的原型系统．     

多Agent协作机制下的分层式网络管理系统框架设计

为解决传统的基于移动Agent的简单网络管理协议(SNMP)网管系统存在的系统效率低、响应时间长、代理协作性差和可扩展性差的缺陷,设计了一种基于多Agent协作的分层式网络管理框架．该框架包括网络管理站层、多移动Agent协作层、SNMP Agent协作层和网元层共4层．在第2层中,建立了一种多Agent中间层策略和多移动Agent协作策略,将SNMP Agent作为驻留代理,利用多个移动Agent并行协作来智能的完成网管数据的采集．在第3层中,针对AgentX框架的不足,实现了一种基于SNMP协议的主/子代理协作机制．该机制将SNMP Agent从任务上划分为主代理和子代理,主子代理之间协作采用SNMP．仿真实验表明,与传统的基于移动Agent及AgentX的SNMP网管模型相比,此框架能使系统带宽降低26.9％,响应时间缩短29.5％,因此更适合应用于大型分布式网络中．     

基于三维基因调控网络的智能机器人群体聚合与控制方法

针对传统的基因调控网络模型会导致机器人群体聚合形态在三维空间中不具备泛化性的问题,提出一种基于三维基因调控网络的智能机器人群体聚合与控制方法,并针对集群围捕任务测试了该方法在三维空间复杂场景下的表现. 在此基础上使用V-rep平台来模拟真实场景,验证了在加入物理特性后该模型的效能. 仿真结果表明,该方法在复杂场景下具有良好的表现.     

一种用于软件工程协作的多Agent体系结构

阐述了支持协作软件工程CSE的一种解决方案.对支持CSE的传统处理结构进行了阐述,指出了这种结构存在的缺点,提出了克服这种缺点的用于CSE的多Agent体系结构,在该体系结构中将计算机支持的协同工作CSCW和SPT融为一体.在这种多Agent体系结构中引入了协作Agent、调解Agent、协商Agent、通讯Agent、监视Agent以及Agent交互的场所Agora,在Agora的管理中引入了白板的概念,使Agent查找信息更容易.     

多Agent系统中信任预测的SRL模型

针对多Agent系统(MAS)中信任关系管理的需求,将Sarsa 强化学习(SRL)理论应用于构建MAS中基于Agent行为的信任关系预测模型. 首先根据Agent之间交互的时间顺序,构建了基于时间戳的行为状态空间结构,然后应用SRL理论,建立了基于直接可信度和反馈可信度相融合的总体信任关系预测模型. 新模型充分利用SRL理论较强的动态适应能力,解决了传统预测模型对环境的动态变化适应能力不足的问题. 累计误差方面的实验结果表明,与已有模型相比,新模型能显著提高信任决策的准确性.     

支持群体协作的工作流引擎设计

工作流技术作为一项业务过程管理与集成的核心技术越来越受到重视.本文提出了支持群体协作的、具有自治协作能力的"协作体",并研究和设计了基于协作体的工作流引擎.通过多工作流引擎控制和管理不同的协作体任务的执行,协同推进工作流实例的执行,解决了在分布式环境下工作流对群体工作支持不足的问题.     

基于强化学习的多智能体协作实现

基于马尔科夫过程的强化学习作为一种在线学习方式,能够很好地应用于单智能体环境中.但是由于强化学习理论的限制,在多智能体系统中马尔科夫过程模型不再适用,因此强化学习不能直接用于多智能体的协作学习问题.本文提出了多智能体协作的两层强化学习方法.该方法主要通过在单个智能体中构筑两层强化学习单元来实现.第一层强化学习单元负责学习智能体的联合任务协作策略,第二层强化学习单元负责学习在本智能体看来是最有效的行动策略.所提出的方法应用于3个智能体协作抬起圆形物体的计算机模拟中,结果表明所提出的方法比采用传统强化学习方法的智能体协作得更好.     

Vehicle conflict resolution algorithm at non-signalized crossing based on inter-vehicle communication

A vehicle conflict detection and resolution method is proposed based on the concept of vehicle infrastructure integration ( Ⅶ) system to prevent vehicle accident beforehand at blind crossing. After analyzing traffic conflict characteristics and vehicle collision scenarios at intersection,a vehicle dynamics model and an intervehicle communication method are discussed. In the inter-vehicle communication environment,the relative relationship between two encountered vehicles are designed. Then vehicle conflict detection and resolution algorithms under two conflict scenarios are put forward to represent the conflict-free movements of vehicles with adjusting vehicle velocity at crossing. Finally,simulation studies are carried out and the results prove that the proposed algorithms are effective for vehicle conflict resolution at blind crossing.     

复合熟人模型——一种多Agent合作组织方法

为了有效地组织Agent间合作与通信,提高多Agent系统求解效率,借鉴现实社会中熟人之间的关系特点,提出了复合熟人模型。从分析Agent间的关系入手,定义了对合作求解具有重要影响的三类熟人关系,并给出了对熟人的综合评价体系。还给出了基于上述复合熟人模型的多Agent合作求解过程。实验结果在一定程度上证明了这种合作组织方法的有效性。     

Multi-agent reinforcement learning with cooperation based on eligibility traces

The application of reinforcement learning is widely used by multi-agent systems in recent years. An agent uses a multi-agent system to cooperate with other agents to accomplish the given task, and one agent‘s behavior usually affects the others‘ behaviors. In traditional reinforcement learning, one agent takes the others location, so it is difficult to consider the others‘ behavior, which decreases the learning efficiency. This paper proposes multi-agent reinforcement learning with cooperation based on eligibility traces, i.e. one agent estimates the other agent‘s behavior with the other agent‘s eligibility traces. The results of this simulation prove the validity of the proposed learning method.     

基于相关度的同步协同设计冲突消解策略

为解决同步协同设计技术所面临的设计资源冲突,提出了一种基于相关度的标准满意度冲突消解策略.在分析设计决策冲突产生原因的基础上,以学科领域相关度为依据,针对同步协同过程中的设计权限,应用标准满意度的评价方法,建立了冲突消解策略模型,来提高协同设计的效率和实时性.在多学科领域协同设计过程中得到了应用,并分析了该冲突消解策略的优越性.     

未知环境中基于免疫网络的多机器人自主协作

为了实现机器人全自主的协同作业，利用单个agent的智能性以及免疫系统良好的工作机理，将人
工免疫系统与agent技术相结合，提出一种免疫agent模型（IAN）.在模型中机器人和环境被分别认为是
抗体和抗原,并且基于此模型设计了一种可应用于未知环境中的多机器人自主协作方法，多个异质机器人
自主协作完成在未知环境中的多个任务.算法中根据抗体和抗原、抗体和抗体之间的相互作用，系统自主
选择合适的抗体消灭抗原，同时充分考虑异质机器人的差异性和独特性.在仿真实验中，多个能力不同的
机器人通过协作将几个原先未知的箱子顺利地推到了目标点，实现了未知环境中的自主协作.     

权值法冲突解决策略的研究及其在保护动作行为分析中的应用

将基于权值法的冲突解决策略,应用于专家系统的推理机设计,提高推理机的效率及结果的可靠性。首先按模型诊断的原理求解并获取冲突集,随后按照不确定性推理的理念,将冲突集中对应的专家系统规则库的每一条规则赋予权值,按照权值大小的不同对冲突集中规则的优先级进行排序,从而确定该冲突集的启用规则。将此冲突解决策略,应用于专家系统的正向推理过程,同时结合继电保护的动作情况原理,实现专家系统推理机的优化与改进。     

基于半马尔可夫对策的多机器人分层强化学习

在多智能体分层强化学习研究成果的基础上,考虑多机器人系统经常面临的通信困难问题(如水下环境),提出一种基于半马尔可夫对策的多机器人分层强化学习方法,通过引入对策论方法解决通信困难情况下多机器人学习问题。仿真实验结果表明了该方法的有效性。     

一种基于人-机在线协作的学习控制策略

通过引入人的介入机制和向人学习机制,提出一种人与机器在线协作的学习控制策略.控制系统包含常规控制器和向人学习控制器两部分.人只有在有需要时才介入控制,处理常规控制器难以处理的问题;同时,向人学习控制器通过在线学习人处理问题的技能来调整其控制机理.通过人与两个控制器的在线协作和协调,达到改善学习控制性能的目的.向人学习机制采用局部性神经网络--小脑模型关节控制器(CMAC)来实现.该策略在对倒立摆的学习控制研究中得到验证.     

一类基于概率优先经验回放机制的分布式多智能体软行动-评论者算法

针对实际多智能体系统对交互经验的庞大需求,在单智能体领域分布式架构的基础上,提出概率经验优先回放机制与分布式架构并行的多智能体软行动-评论者算法(multi-agent soft Actor-Critic with probabilistic prioritized experience replay based on a distributed paradigm,DPER-MASAC). 该算法中的行动者以并行与环境交互的方式收集经验数据,为突破单纯最近经验在多智能体高吞吐量情况下被高概率抽取的局限性,提出更为普适的改进的基于优先级的概率方式对经验数据进行抽样利用的模式,并对智能体的网络参数进行更新. 为验证算法的效率,设计了难度递增的2类合作和竞争关系共存的捕食者-猎物任务场景,将DPER-MASAC与多智能体软行动-评论者算法(multi-agent soft Actor-Critic,MASAC)和带有优先经验回放机制的多智能体软行动-评论者算法(multi-agent soft Actor-Critic with prioritized experience replay,PER-MASAC)2种基线算法进行对比实验. 结果表明,采用DPER-MASAC训练的捕食者团队其决策水平在最终性能和任务成功率2个维度上均有明显提升.