基于换位思考模型的多智能体协作研究及在RoboCup中的应用

机器人世界杯(RoboCup)是一个典型的多智能体系统.为了提高多智能体协作的效率,提出一种新的基于换位思考模型的多智能体协作研究方法.首先,教练智能体获取仿真比赛环境中球员智能体的无噪音信息,对所有队友智能体建模;然后,应用高斯分布计算队友智能体的当前行为模式,并把当前模式反馈给仿真环境;最后,球员智能体根据换位思考模型计算得到的模式做出相应决策.该模型已经应用于HfutEngine2D仿真球队中,在RoboCup仿真比赛中获得2007年中国公开赛亚军,2008年机器人世界杯第7的好成绩.     

Multi-Agent层次协作模型在RoboCup中的应用

RoboCup是多Agent系统研究的一个很好的平台。建立一支成功的机器人足球队需要很多领域的知识，合理的模型结构和Agent之间的协调与协作是RoboCup比赛中赢球的关键所在，协调与协作是多Agent系统研究的重要课题。针对RoboCup仿真比赛的多智能体协作问题，分析了目前在RoboCup中的几个典型多智能体协作模型，提出一种三层的Multi—Agent层次协作模型，它包括全局层、局部层和个体层。并通过实验证明该模型是合理的、有效的。     

Multi-Agent层次协作模型在RoboCup中的应用

RoboCup是多Agent系统研究的一个很好的平台。建立一支成功的机器人足球队需要很多领域的知识,合理的模型结构和Agent之间的协调与协作是RoboCup比赛中赢球的关键所在,协调与协作是多Agent系统研究的重要课题。针对RoboCup仿真比赛的多智能体协作问题,分析了目前在RoboCup中的几个典型多智能体协作模型,提出一种三层的Multi-Agent层次协作模型,它包括全局层、局部层和个体层。并通过实验证明该模型是合理的、有效的。     

RoboCup仿真比赛中的Multi-Agent层次协作模型

本文针对RoboCup仿真比赛的多智能体协作问题，分析了目前在RoboCup中的几个典型多智能体协作模型，提出一种三层的Multi—Agent层次协作模型，它包括全局层、局部层和个体层。实战证明该模型是合理的、有效的。     

一种新的多智能体系统结构及其在RoboCup中的应用

针对机器人足球仿真比赛,提出了一种新的多智能体系统结构,它包括基于行为的双层动态智能体结构和决策算法以及基于角色的动态多智能体协作模型．论文首次提出了自信函数这个概念,并运用此概念来平衡决策算法和多智能体之间的协作．该结构应用于中南大学云麓仿真球队中,在中国机器人足球RoboCup仿真组比赛中取得了较好的成绩．     

RoboCup中阵型策略的实现

机器人足球仿真比赛是检验各种多智能体系统理论的标准平台,在这个极为复杂的多智能体环境中,多个智能体需要通过协作完成共同目标,而协作可通过共享阵型获得.阵型是多智能体协作行为所要求的,它使多个智能体以有序、智能的方式进行协作.为适应RoboCup实时动态环境下多智能体间的协作需求,文中以阵型为研究对象,提出基于不同阵型转换和基于单一阵型调整的阵型策略并将其应用到机器人足球仿真比赛中,仿真结果表明结合应用这两种阵型策略提高了仿真球队的协作攻防效果.     

一种基于对手行为预测的多智能体合作研究

在动态对抗性环境下竞争的多智能体系统里,能够对对手行为进行及时而准确的预测,从而采取相应对策,是战胜对手的必要条件。本文提出了一种预测对手行为的新方法,并在此基础上实现了多智能体的合作。最后以RoboCup仿真比赛作为实验平台证明了该方法的可行性和有效性。     

激励学习在RoboCup截球技术中的研究

机器人足球比赛是一个有意义而且复杂的新兴的人工智能研究领域,它是一个典型的多智能体系统。RoboCup是一个通用的实验平台,在该平台上可以评价各种理论和算法。本文采基于Q算法的激励学习研究了机器人的截球技术,将其应用在RoboCup仿真平台上,智能体经过多次的学习之后,实验表明截球技术取得了理想的效果。     

多智能体分层协作规划及在RoboCup中的应用

为了更好地解决一类通讯受限环境中多智能体任务协作规划问题,提出了基于MAXQ-OP的多智能体在线规划方法,并在RoboCup仿真2D足球比赛的人墙站位和多球员传球问题中对算法进行了实验.实验结果表明,这个方法使智能体在需要协作配合的环境中的表现比传统方法有了明显提升.     

基于规划识别的多智能体协作研究及应用

多智能体系统是规划识别的一个有效应用平台，提出一种基于规划识别多智能体协作算法，对对抗环境和非对抗环境中的基于规划识别的多智能体协作算法进行了分析，实现了对队友和对手行为目的的认识和建模，减少了协作主体间需要通信的时间厦难度。该协作算法应用到多智能体的有效测试平台机器人足球赛中，试验结果证明，该算法在通信受限、信息受限或信息延时的系统中可有效预测队友和对手的行为，从而实现智能体间的协作。     

非通讯多Agent协作在RoboCup中的应用

智能体的行为预测是多智能体系统中的一个具有挑战性的问题。根据多agent系统(MAS)中的研究,为了提高进攻的速度,文中将一种新的合作策略引入到机器人足球中。首先,介绍了MAS的特点。同时,引入了一种agent削减算法来进行行为决策。进一步,调整了涉及到的agent的数目,在非通讯情况下实现了球员之间的协作。以后工作的重点是增加对对手的建模,以期提高进攻的成功率。     

基于领域知识的多智能体分层协作规划方法

针对复杂动态RoboCup仿真环境下的多智能体协作问题,提出一种使用领域知识的多智能体分层协作规划方法。在根据系统提供的环境状态信息建立智能体初始行为规划的基础上,通过逐步填入智能体的状态和行为特征属性知识,分析行动实现的效果,对初始规划行动进行调整,为智能体制定协调一致的行为规划序列,并获得相应的协作策略信息,使其在实际对抗比赛中能针对当前环境快速做出决策,实现通信受限的情况下多智能体的协作。     

仿真机器人足球学习方法研究综述

仿真机器人足球赛是近几年在国际上迅速开展起来的高技术对抗活动,虽然历史不长,但由于它集高新技术、娱乐比赛于一体,所以引起了人们的广泛关注和极大兴趣。作为多智能体系统研究的重要手段,许多研究者从不同的侧面对该项技术进行了研究并取得了一定的成果。对仿真机器人足球系统的研究,目前包括系统组织结构设计、多智能体结构及协调机制研究、智能体技能学习和对手模型预测等内容。该文从多智能体学习和协作的角度对有关机器人足球的学习方法进行了介绍和评述。     

基于个性的MAS默契合作模型

MAS(MultiAgentSystem)技术是解决复杂、动态、分布式智能应用问题的重要技术。个性表现为Agent的行为能力,是MAS系统实现一个基础。合作方式把各个Agent联系在一起,是MAS形成的关键技术。RoboCup仿真比赛提供了一个测试各种MAS理论的平台。本文基于Agent个性提出了一种MAS合作机制——默契,并在RoboCup中进行了仿真实验,实验结果表明该方法比能力对等的合作策略更能体现MAS的自适应性。     

增强Q学习在非确定马尔可夫系统寻优问题中的应用

增强学习属于机器学习的一种,它通过与环境的交互获得策略的改进,其在线学习和自适应学习的特点使其成为解决策略寻优问题有力的工具。多智能体系统是人工智能领域的一个研究热点,对于多智能体学习技术的研究需要建立在系统环境模型的基础之上,由于多个智能体的存在,智能体之间的相互影响使得多智能体系统高度复杂,多智能体系统环境属于非确定马尔可夫模型,因此直接把基于马尔可夫模型的增强学习技术引入多智能体系统是不合适的。论文基于智能体间独立的学习机制,提出了一种改进的多智能体Q学习算法,使其适用于非确定马尔可夫环境,并对该学习技术在多智能体系统RoboCup中的应用进行了研究,实验证明了该学习技术的有效性与泛化能力,最后简要给出了多智能体增强学习研究的方向及进一步的工作。     

机器学习在RoboCup中的应用研究

RoboCup is a particularly good domain for studying multi-agent systems.A wide variety of MAS issues can be studied in robotic soccer,in which the theory,algorithm and architecture of agent system can be evaluated.Because of the inherent complexity of MAS,there are many interests in using machine learning techniques to handle it.This paper investigates and discusses the machine-learning techniques used in RoboCup.The background is firstly presented and the application of machine learning in RoboCup is lately demonstrated with some top simulation teams.The machine-learning system in NDSocTeam is also introduced.Finally some open issues in this field are pointed out.     

基于角色的多Agent系统软件设计方法

角色是面向agent软件开发方法研究中的一个重要抽象概念。论文认为角色是连接多agent系统微观模型与宏观模型的桥梁,角色与agent之间的动态性有利于刻画多agent系统的结构和行为模型。论文研究角色和agent之间的动态绑定思想和机制,讨论基于角色的多agent建模方法RoMAS,并以RoboCup仿真比赛为案例验证该方法的有效性。     

一种新的多智能体Q学习算法

针对非确定马尔可夫环境下的多智能体系统,提出了一种新的多智能体Q学习算法.算法中通过对联合动作的统计来学习其它智能体的行为策略,并利用智能体策略向量的全概率分布保证了对联合最优动作的选择. 同时对算法的收敛性和学习性能进行了分析.该算法在多智能体系统RoboCup中的应用进一步表明了算法的有效性与泛化能力.