基于换位思考模型的多智能体协作研究及在RoboCup中的应用

机器人世界杯(RoboCup)是一个典型的多智能体系统.为了提高多智能体协作的效率,提出一种新的基于换位思考模型的多智能体协作研究方法.首先,教练智能体获取仿真比赛环境中球员智能体的无噪音信息,对所有队友智能体建模;然后,应用高斯分布计算队友智能体的当前行为模式,并把当前模式反馈给仿真环境;最后,球员智能体根据换位思考模型计算得到的模式做出相应决策.该模型已经应用于HfutEngine2D仿真球队中,在RoboCup仿真比赛中获得2007年中国公开赛亚军,2008年机器人世界杯第7的好成绩.     

多智能体移动机器人物体收集系统

多移动机器人合作物体收集系统是一个复杂的分布式动态系统,传感器和执行 机构空间分布的特点,以及各个机器人之间、机器人与环境之间复杂的相互作用,使它难以 用集中控制的方式设计整个控制系统．本文详细分析了该任务的特点,指出它特别适合采用 多智能体方法进行系统的实现,并在多智能体方法指导下,深入探讨了系统的整体结构和各 部分的功能,并基于OAA结构加以实现．     

一种新的多智能体系统结构及其在RoboCup中的应用

针对机器人足球仿真比赛,提出了一种新的多智能体系统结构,它包括基于行为的双层动态智能体结构和决策算法以及基于角色的动态多智能体协作模型．论文首次提出了自信函数这个概念,并运用此概念来平衡决策算法和多智能体之间的协作．该结构应用于中南大学云麓仿真球队中,在中国机器人足球RoboCup仿真组比赛中取得了较好的成绩．     

基于足球机器人决策系统的协作模型

运用多智能体系统的思想,提出了一种多智能体协作控制模型,通过对多智能体的规划提高了足球机器人系统决策系统的连贯性,系统利用改进的黑板结构有效地解决了角色分配及通信问题。通过实例分析了模型及其策略在系统协作控制方面的实用性。     

一种基于改进冲突搜索的多机器人路径规划算法

针对智能仓储环境下多载位自主移动机器人集群拣选-配送路径规划问题,提出一种改进型基于冲突搜索的多智能体路径规划算法.在模型方面,采用多载位机器人替代KIVA机器人,建立以最小化拣选-配送时间以及无效路径比为目标的数学规划模型.在算法方面,首先,提出一种基于优先级规则的多智能体冲突消解加速策略;然后,设计基于动态规划的单机器人拣选序列优化算法;最后,设计考虑转向惩罚的增强A*算法搜索机器人最优路径.实验结果表明:所提出模型与KIVA系统相比有较大优越性;所提出算法能够有效缩短拣选-配送时间、减少无效路径时间.     

基于Agent的遥操作机器人控制器研究

研究网络环境下基于Agent的遥操作机器人控制器结构，提出了人／智能体／机器人（M／AR）模型，探讨了基于Agent的机器人控制器的体系 和功能，介绍了采用任务规划和反应式行为的复合机器人控制系统，对意外事件的处理和运动轨迹的规划实验表明，这种遥操作机器人控制器能提高系统的实时性，可靠性和对环境的适应性。     

多智能体团队合作在机器人足球赛中的应用

Robocup机器人足球比赛是近年来人工智能和机器人学迅速发展的一个重要的研究领域,通过这个平台,可以来评价各种理论和算法。但由于机器人足球比赛系统固有的动态性、不确定性及实时性,这就要求整个智能体团队的合作结构能够应付这种复杂环境。针对这点,文中探讨了一种基于阵型和角色的方法来实现多智能体的团队合作,通过应用到客户端程序上所取得的良好效果,证明此方法对于多智能体的团队合作是有效的。     

多智能体组织结构在并行工程中的应用

本文提出了用多智能体的组织结构来描工行工程环境下的企业组织方式和决策行为，并提出了一种适合的多智能体系统结构和一种通用的和智能体内部结构。     

多智能体团队合作在机器人足球赛中的应用

Robocup机器人足球比赛是近年来人工智能和机器人学迅速发展的一个重要的研究领域,通过这个平台,可以来评价各种理论和算法.但由于机器人足球比赛系统固有的动态性、不确定性及实时性,这就要求整个智能体团队的合作结构能够应付这种复杂环境.针对这点,文中探讨了一种基于阵型和角色的方法来实现多智能体的团队合作,通过应用到客户端程序上所取得的良好效果,证明此方法对于多智能体的团队合作是有效的.     

基于行为预测的多智能体协作模型

智能体的行为预测是多智能体系统中的一个具有挑战性的问题。机器人足球是一个典型的多智能体系统,论文对多智能体系统中的行为预测进行了研究,概述了RoboCup中几种典型的智能体行为预测方法和协作模型,在此基础上采用基于行为的混合预测方法,建立了一种基于行为预测的多智能体协作模型。该协作模型已应用于CSU_YunLu2003仿真球队中,在RoboCup仿真比赛中证明了该协作模型的有效性。     

一种基于强化学习的学习Agent

强化学习通过感知环境状态和从环境中获得不确定奖赏值来学习动态系统的最优行为策略,是构造智能Agent的核心技术之一,在面向Agent的开发环境AODE中扩充BDI模型,引入策略和能力心智成分,采用强化学习技术实现策略构造函数,从而提出一种基于强化学习技术的学习Agent,研究AODE中自适应Agent物结构和运行方式,使智能Agent具有动态环境的在线学习能力,有效期能够有效地满足Agent各种心智要求。     

Argumentative Agent Deliberation, Roles and Context

This paper presents an argumentation based framework to support an agent's deliberation process for drawing conclusions under a given policy. The argumentative policy of the agent is able to take into account the roles agents can have within a context pertaining to an environment of interaction. The framework uses roles and context to define policy preferences at different levels of deliberation allowing a modular representation of the agent's knowledge that avoids the need for explicit qualification of the agent's decision rules. We also employ a simple form of abduction to deal with the incompleteness and evolving nature of the agent's knowledge of the external environment and illustrate how an agent's self deliberation can affect the mode of interaction between agents. The high degree of modularity of the framework gives it a simple computational model in which the agent's deliberation can be naturally implemented.     

基于本体的MAS黑板模型研究

探讨了基于本体的多智能代理黑板知识库系统(OMSBS)的体系结构及OMABS中Agent的模型、组织和交互方式。提出了一种描述混合知识类型的本体知识表达模型。本体在OMSBS中作为领域知识智能代理的知识库，是知识共享和智能代理之间通讯的基础，设计了一类调度智能代理以控制知识源智能代理的行为。OMSBS可以表达混合类型知识及其推理过程，具有良好的适应性和扩展性，呈现出开放结构。     

Architectural foundations for real-time performance in intelligent agents

Intelligent agents perform multiple concurrent taks requiring both knowledge-based reasoning and interaction with dynamic entities in the environment, under real-time constraints. Because an agent's opportunities to perceive, reason about, and act upon the environment typically exceed its computational resources, it must determine which operations to perform and when to perform them so as to achieve its most important objectives in a timely manner. Accordingly, we view the problem of real-time performance as a problem in intelligent real-time control. We propose and define several important control requirements and present an agent architecture that is designed to address those requirements. The proposed architecture is a blackboard architecture, whose key features include: distribution of perception, action, and cognition among parallel processes, limited-capacity I/O buffers with best-first retrieval and worst-first overflow, dynamic control planning, dynamic focus of attention, and a satisficing execution cycle. Together, these features allow an intelligent agent to trade quality for speed of response under dynamic goals, resource limitations, and peformance constraints. We illustrate application of the proposed architecture in the Guardian system for surgical intensive care monitoring and contrast it with alternative agent architectures.This research was supported by DARPA contract N00039-83-C-0136, NIH contract 5P41-RR-00785, EPRI contract RP2614-48, and AFOSR contract F49620-89-C-0103DEF, and by gifts from Rockwell International, Inc. and FMC Corporation, Inc. The Guardian system is being developed in collaboration with Adam Seiver, Rich Washington, David Ash, Rattikorn Hewett, Anne Collinot, Luc Boureau, Angel Vina, Ida Sim, and Michael Falk. The paper's treatment of real-time requirements reflects discussions with colleagues involved in the AFOSR Program on Intelligent Real-Time Problem Solving Systems-especially Stan Rosenschein, Lee Erman, and Yoav Shoham. The paper also benefited from constructive criticism by several anonymous reviewers. Thanks to Ed Feigenbaum for sponsoring the work at the Knowledge Systems Laboratory.     

基于租用的移动Agent生命周期管理策略

将实际生活中的租用机制引入到移动Agent生命周期管理之中,使得移动Agent和其运行环境之间形成一种租用关系,从而在不改变移动Agent自身行为特性的情况下,使得移动Agent系统可以通过有限的租用期限柔性地管理移动Agent生命周期。这种机制使得运行在开放环境下的移动Agent系统具有自愈合、自管理的特点,并在一定程度上增强了移动Agent系统的容错性和安全性。文中利用UML描述了租用模型与相关实现技术,并给出了基于租用的移动Agent生命周期管理的算法。最后通过应用实例证明了此方法是通用的与可行的。     

基于混合Agent的实时分布监控系统软件设计方法

给出了以审慎Agent和反应Agent模型为基础的混合Agent模型,并对模型的有关概念进行了说明.在混合Agent模型框架下,提出了实时分布系统软件设计方法,主要内容包括采用UML并且充分考虑系统的动态和静态特征的本体设计过程,基于本体的交互协议Petri网形式化描述以及行为规范分类和设计.通过设置反映内存保证混合Agent对事件实时响应,而审慎Agent部分的存在使基于Agent的精神状态和输入事件的推理成为可能.     

A hybrid multi-agent system architecture for enterprise integration using computer networks

The manufacturing industries are now experiencing fierce pressure of competition from every corner on this planet. In addition, the advancement in computer networks and information technologies has been gradually reshaping the manufacturing companies by shifting from the industrial age to the information era. Due to these elevated competitiveness and advanced computer technology, a number of new manufacturing and management strategies (e.g., CE or CIM) have emerged for the innovation of manufacturing enterprises. Although they have different definitions and scopes, there are several common issues: inter-enterprise functions integration; inter-enterprise resources integration; and collaboration. This paper proposes a new multi-agent system (MAS) architecture to support the inter-enterprise functions/resources integration and collaboration over the networked environment, including the hybrid agent architecture and hybrid network architecture. In contrast to the existing agent architectures, the proposed agent architecture enables agents to exhibit the hybrid (continuous and discrete) behavior and interactions. In addition, our network architecture is more suitable for building the large-scale distributed manufacturing systems that are prone to dynamic random changes of their environment. Based on the proposed MAS architecture, a collaborative product development environment is implemented as a starting point, and a multidisciplinary team-oriented design problem is illustrated to provide the vision of the proposed MAS architecture.     

多Agent对抗环境下联盟形成的信任模型

提出了一种用于多Agent对抗环境下联盟形成的信任模型CORE,模型从能力和名誉两个方面来描述Agent的信任度,用能力向量空间中的距离公式来度量Agent胜任具体任务的能力大小,用隶属度函数来描述Agent的名誉。任务开始时,模型按信任度大小选取合适的Agent形成联盟,任务中Agent能力动态增长,名誉动态变化,任务结束后,模型根据联盟中Agent的表现情况计算新的信任度,作为下一个任务来临时联盟形成的依据。最后,在NetLogo平台上模拟实现了该模型。     

基于模型的强化学习在无人机路径规划中的应用

针对当前强化学习算法在无人机升空平台路径规划任务中样本效率低、算法鲁棒性较差的问题,提出一种基于模型的内在奖励强化学习算法。采用并行架构将数据收集操作和策略更新操作完全解耦,提升算法学习效率,并运用内在奖励的方法提高智能体对环境的探索效率,避免收敛到次优策略。在策略学习过程中,智能体针对模拟环境的动态模型进行学习,从而在有限步内更好地预测状态、奖励等信息。在此基础上,通过结合有限步的规划计算以及神经网络的预测,提升价值函数的预测精准度,以利用较少的经验数据完成智能体的训练。实验结果表明,相比同样架构的无模型强化学习算法,该算法达到相同训练水平所需的经验数据量减少近600幕数据,样本效率和算法鲁棒性都有大幅提升,相比传统的非强化学习启发类算法,分数提升接近8 000分,与MVE等主流的基于模型的强化学习算法相比,平均分数可以提升接近2 000分,且在样本效率和稳定性上都有明显提高。