RoboCup中阵型策略的实现

机器人足球仿真比赛是检验各种多智能体系统理论的标准平台,在这个极为复杂的多智能体环境中,多个智能体需要通过协作完成共同目标,而协作可通过共享阵型获得.阵型是多智能体协作行为所要求的,它使多个智能体以有序、智能的方式进行协作.为适应RoboCup实时动态环境下多智能体间的协作需求,文中以阵型为研究对象,提出基于不同阵型转换和基于单一阵型调整的阵型策略并将其应用到机器人足球仿真比赛中,仿真结果表明结合应用这两种阵型策略提高了仿真球队的协作攻防效果.     

共享经验分布式Q-学习模型在RoboCup中的应用

RoboCup仿真比赛平台提供了一个完全分布式控制、实时异步多智能体的环境,从而为多智能体的智能控制和人工智能理论的研究提供了绝佳的实验平台。文中提出了一种基于共享经验策略的分布式Q-学习模型,应用于RoboCup仿真实验中,取得了较好的效果。     

基于蒙特卡洛树搜索的仿真足球防守策略研究

针对Robocup仿真足球比赛中本位点区域化跑位的局限性,在三角剖分的阵型设计基础上将蒙特卡洛树搜索算法引入2D仿真中,将球员智能体在球场上的状态定义为博弈树节点,将双方球员的动作选择视为节点间的状态转移,对于球队的防守任务建立蒙特卡洛树模型。利用极坐标方式对球场进行区域分割,结合Q学习与蒙特卡洛树搜索中的信心上限树算法(Upper Confidence Bound Apply to Tree of Monte Carlo)进行球队训练,将训练结果的动作评估值用于优化比赛代码,使得球队的防守能力得到了较大程度的提升。     

SBD策略在多智能体协作中的应用研究

多智能体系统是分布式人工智能的主要学科之一。该文针对多智能体协作问题，提出了SBE)策略，并将其成功地应用于RoboCup仿真球队。SBD策略能够有效地瓦解对手有组织的协作，对于提高球队的整体对抗能力起到了明显作用。采用SBD策略的中南大学云麓队(CSU-Yunlu)，在2003年中国机器人大赛RoboCup仿真组比赛中荣获二等奖。     

基于速度选择的RoboCup传球策略

在RoboCup足球2D仿真比赛中,智能体的主要行为有传球、带球、射门、截球等等。而传球策略在其中起着至关重要的作用,它牵涉到多智能体的协作问题。本文中提出的基于速度选择的RoboCup传球策略大大地提高了传球的成功率和准确率,节省了球员体力。     

RoboCup中的带球路径策略

为提高RoboCup仿真比赛中智能体带球的成功率,设计了带球路径策略。通过细胞自动机建立了比赛环境演化模型,能够对智能体带球路径的搜索空间进行分析规划,在此基础上设计了智能体带球的路径搜索策略。测试结果说明该策略能保证智能体在复杂实时的环境下进行有效的带球。     

基于组合神经网络的智能足球机器人系统角色分配知识库的设计

针对当前角色分配实时决策效率不高,难以学习以往角色分配优秀策略等问题,本文提出构建基于组合神经网络的角色分配知识库模型。所构建的知识库由多个组合神经网络模型组成并采用模块化管理,具有可更新性和可扩展性。利用神经网络的自组织和学习能力,该知识库可学习角色分配经验策略,用于实时角色分配方案推理。最后,以RoboCup中型组比赛为例,验证构建组合神经网络知识库的可行性及知识库的在线决策能力。     

基于换位思考模型的多智能体协作研究及在RoboCup中的应用

机器人世界杯(RoboCup)是一个典型的多智能体系统.为了提高多智能体协作的效率,提出一种新的基于换位思考模型的多智能体协作研究方法.首先,教练智能体获取仿真比赛环境中球员智能体的无噪音信息,对所有队友智能体建模;然后,应用高斯分布计算队友智能体的当前行为模式,并把当前模式反馈给仿真环境;最后,球员智能体根据换位思考模型计算得到的模式做出相应决策.该模型已经应用于HfutEngine2D仿真球队中,在RoboCup仿真比赛中获得2007年中国公开赛亚军,2008年机器人世界杯第7的好成绩.     

RoboCup中传球策略的研究与实现

该文针对RoboCup仿真2D球队设计中的11个智能体相互间的合作和协调问题,结合整体的规划决策与每个智能体的动作模块的关系,根据BP神经网络的传球速度,提出了基于角色、基于区域及其基于概率判断的传球策略,并指出了三者之间的协调性,用于建立场上关键信息元素和决策之间有效的关系。     

多智能体分层协作规划及在RoboCup中的应用

为了更好地解决一类通讯受限环境中多智能体任务协作规划问题,提出了基于MAXQ-OP的多智能体在线规划方法,并在RoboCup仿真2D足球比赛的人墙站位和多球员传球问题中对算法进行了实验.实验结果表明,这个方法使智能体在需要协作配合的环境中的表现比传统方法有了明显提升.     

增强Q学习在非确定马尔可夫系统寻优问题中的应用

增强学习属于机器学习的一种,它通过与环境的交互获得策略的改进,其在线学习和自适应学习的特点使其成为解决策略寻优问题有力的工具。多智能体系统是人工智能领域的一个研究热点,对于多智能体学习技术的研究需要建立在系统环境模型的基础之上,由于多个智能体的存在,智能体之间的相互影响使得多智能体系统高度复杂,多智能体系统环境属于非确定马尔可夫模型,因此直接把基于马尔可夫模型的增强学习技术引入多智能体系统是不合适的。论文基于智能体间独立的学习机制,提出了一种改进的多智能体Q学习算法,使其适用于非确定马尔可夫环境,并对该学习技术在多智能体系统RoboCup中的应用进行了研究,实验证明了该学习技术的有效性与泛化能力,最后简要给出了多智能体增强学习研究的方向及进一步的工作。     

机器人足球仿真教练模型研究

RoboCup仿真比赛已经在国际上开展几年了,近来在国内也得到了迅速的发展,它通过提供了一个标准问题来促进人工智能和智能机器人的研究。文中以RoboCup仿真比赛为背景,首先讨论了教练模型,包括教练的角色意义和相应的权限,而后针对教练设计中涵盖的几个问题,如对手建模、规划识别、离线训练,分别给出了较好的解决方案。最后从在线教练工作过程的角度总结了有关教练技术的具体应用,并对教练的设计前景提出了一些看法。对于建立和设计仿真教练,进行多智能体系统的合作协调研究具有重要意义。     

RoboCup中基于动作序列模型的动作决策

RoboCup机器人足球比赛是当前人工智能领域的一个研究热点,其目的在于为多智能体系统提供一个标准的研究平台.为了让RoboCup仿真比赛中球员智能体实时地作出合理的动作决策,提出一种基于动作序列模型的决策机制,通过对球员智能体的动作空间分解、建立动作序列并对动作序列进行评价,而让智能体选择出当前最优的动作执行.仿真结果表明应用这种决策机制提高了智能体对环境的适应性.     

Q学习在RoboCup前场进攻动作决策中的应用

RoboCup是世界上规模最大的机器人足球大赛,包括软件仿真与硬件实体两类项目的比赛。RoboCup仿真2D作为软件仿真项目的重要组成部分,成为研究人工智能和多Agent智能体协作的优秀实验平台。将Q学习应用到RoboCup仿真2D比赛的前场进攻动作决策中,通过引入区域划分,基于区域划分的奖惩函数和对真人足球赛中动作决策的模拟,在经过大量周期的学习训练后,使Agent能够进行自主动作决策,从而加强了多Agent的前场进攻实力。     

RoboCup仿真比赛中球员技能的设计

在RoboCup仿真比赛中,每一个球员都是一个智能体,而球队的强与弱很大程度上体现了球员智能体技能动作设计的优与劣。高层的战术策略可以分解成一系列的技能动作,球队11个智能体之间的合作与协调也是通过调用一些基本的技能动作来实现的。介绍了球员智能体一些技能动作的设计方法和设计思路,在线调试中这些基本技能能够完成预期的动作,并具有很好的实时性。     

一种新的多智能体Q学习算法

针对非确定马尔可夫环境下的多智能体系统,提出了一种新的多智能体Q学习算法.算法中通过对联合动作的统计来学习其它智能体的行为策略,并利用智能体策略向量的全概率分布保证了对联合最优动作的选择. 同时对算法的收敛性和学习性能进行了分析.该算法在多智能体系统RoboCup中的应用进一步表明了算法的有效性与泛化能力.     

基于对手动作预测的智能博弈对抗算法

智能博弈对抗场景中，多智能体强化学习算法存在“非平稳性”问题，智能体的策略不仅取决于环境，还受到环境中对手（其他智能体）的影响。根据对手与环境的交互信息，预测其策略和意图，并以此调整智能体自身策略是缓解上述问题的有效方式。提出一种基于对手动作预测的智能博弈对抗算法，对环境中的对手进行隐式建模。该算法通过监督学习获得对手的策略特征，并将其与智能体的强化学习模型融合，缓解对手对学习稳定性的影响。在1v1足球环境中的仿真实验表明，提出的算法能够有效预测对手的动作，加快学习收敛速度，提升智能体的对抗水平。     

BP神经网络在机器人足球比赛系统中的应用

足球机器人的决策系统是一个多智能体协调控制系统,控制机器人运动需对机器人未来的方位进行实时预测。为了解决RoboCup小型组比赛系统的延迟和准确定位问题,将BP神经网络应用于决策系统的局势预测中。建立了基于BP神经网络的线性预测模型,确定了神经网络的拓扑结构,并将训练好的网络应用于现有比赛系统,预测机器人的就位效率、协调及配合能力,进行仿真实验。实验证明,方法对机器人的位置、方向等预测比较准确,证明了预测算法的可行性和优越性。     

基于内省推理的多agent在线学习方法

多agent环境下agent的最优策略取决于其它agent的策略,这使得学习目标不易被清晰定义.基于客观观察行为建模的方法并不能很好体现智能体的个体理性.本文提出基于内省推理方法的多智能体环境下智能体高效在线学习方法,将基于对手模型的客观观察行为与基于换位思考推理的主观意图推测结合起来,智能体通过内省推理能够更多地得到对手的信息.针对经典协调博弈进行仿真实验,结果表明能取得较好的协调性能.     

场景感知的分布式多智能体目标搜索方法

在视觉语义导航任务中,智能体通过视觉信息,寻找并导航到给定对象类别的目标处。然而,大部分现有的研究都是使用基于学习的框架来完成任务,这些研究在现实世界中应用的训练成本非常高,可移植性很低,并且它们只适用于单智能体,效率低下、容错能力差。为解决上述问题,本文提出一种基于场景感知的分布式多目标优化蒙特卡洛树搜索模型,该模型中多智能体实时在线规划并且不需要预先训练,利用场景感知先验知识结合观测信息实时对环境进行估计,并且利用改进的蒙特卡洛树搜索进行路径规划以此搜索目标。在Mtterport3D数据集中进行的实验表明,该模型在效率方面比单智能体有着显著的提高。