基于Q学习的Agent智能防守策略研究与应用

模拟机器人足球比赛(Robot World Cup,RoboCup)作为多Agent系统的一个通用的实验平台,通过它可以来评价各种理论、算法和框架等,已经成为人工智能的研究热点.针对RoboCup仿真中的守门员防守问题,基于Q学习算法,描述了在特定场景中应用Q学习训练守门员的方法和过程.在RobCup中验证了该算法,实现了守门员防守策略的优化.     

RoboCup智能系统设计中的守门策略

在RoboCup智能系统中守门员是一个特殊的智能体,其中的扑救动作也较为特殊.一个扑救动作之后要过一定的周期才能进行下一个扑救动作,因此在算法中考虑到扑救命令的成功率,能够扩大守门员的防守范围.     

基于Markov对策的强化学习及其在RoboCup中的应用

论文研究了Markov对策模型作为学习框架的强化学习,提出了针对RoboCup仿真球队决策问题这一类复杂问题的学习模型和具体算法。在实验中,成功实现了守门员决策,并取得了良好的效果,证明了算法的可行性和有效性。     

基于改进的Q学习的RoboCup传球策略研究

模拟机器人足球比赛(Robot World Cup,RoboCup)作为多Agent系统的一个理想的实验平台,已经成为人工智能的研究热点。传统的Q学习已被有效地应用于处理RoboCup中传球策略问题,但是它仅能简单地离散化连续的状态、动作空间。提出将神经网络应用于Q学习,系统只需学习部分状态-动作的Q值即可获得近似连续的Q值,就可以有效地提高泛化能力。然后将改进的Q学习应用于优化传球策略,最后在RobCup中实现测试了该算法,实验结果表明改进的Q学习在RoboCup传球策略中的应用,可以有效提高传球的成功率。     

基于改进的Q学习的RoboCup传球策略研究

模拟机器人足球比赛(Robot World Cup,RobdCup)作为多Agent系统的一个理想的实验平台,已经成为人工智能的研究热点.传统的Q学习已被有效地应用于处理RoboCup中传球策略问题,但是它仅能简单地离散化连续的状态、动作空间.提出将神经网络应用于Q学习,系统只需学习部分状态一动作的Q值即可获得近似连续的Q值,就可以有效地提高泛化能力.然后将改进的Q学习应用于优化传球策略,最后在RobCup中实现测试了该算法,实验结果表明改进的Q学习在RoboCup传球策略中的应用,可以有效提高传球的成功率.     

中型组机器人站位防守的研究

防守是足球比赛策略中的根本。本文首先分析了机器人防守策略中预测式防守算法、角平分线站位法、中线站位法等策略中针对单个守门员防守站位策略的不足,提出多个机器人联合站位防守的策略,以提高整体的防守能力和稳定性。     

基于分区的机器人仿真足球赛5v5防守控制策略的设计

机器人仿真足球是当前机器人研究中的一个热点,涉及机器人学、人工智能、智能控制、计算机视觉等多个领域。为了提高机器人仿真足球5vs5比赛中的守门效率,通过分析研究以往3、5、18、12等常用分区防守控制策略,针对存在的问题和不足,提出了实用性更强、效率更高的7分区守门员防守控制策略,2010中国机器人足球大赛暨RoboCup公开赛中对该策略进行了验证,取得了较好的效果。     

激励学习在RoboCup截球技术中的研究

机器人足球比赛是一个有意义而且复杂的新兴的人工智能研究领域,它是一个典型的多智能体系统。RoboCup是一个通用的实验平台,在该平台上可以评价各种理论和算法。本文采基于Q算法的激励学习研究了机器人的截球技术,将其应用在RoboCup仿真平台上,智能体经过多次的学习之后,实验表明截球技术取得了理想的效果。     

RoboCup中基于神经网络的阵型策略在线学习

在RoboCup仿真2D系统中,智能体很难在实时动态不确定的环境中做出正确的决策,因此研究学习不可预测的对手阵型策略跑位是迫切需要的。本文在RoboCup仿真2D项目程序设计中提出利用神经网络权值直接确定法在线学习对手阵型策略,并设计学习对手阵型策略的神经网络模型,最后利用在线教练实时训练神经网络的模型。实验结果建立学习对手阵型的神经网络模型,并把训练好的模型加入防守策略中,有效提高了智能体的防守能力,增强了球队的整体技能。     

Q学习算法在RoboCup带球中的应用

机器人世界杯足球锦标赛(RoboCup)是全球影响力最大的机器人足球比赛之一,而仿真组比赛是其重要的组成部分。鉴于带球技术在仿真组比赛中的重要性,我们将Q学习算法应用于带球技术训练中,使智能体本身具有学习和适应能力,能够自己从环境中获取知识。本文描述了应用Q学习算法在特定场景中进行1vs.1带球技术训练的方法和实验过程,并将训练方法应用于实际球队的训练之中进行了验证。     

基于动态目标驱动的RoboCup进攻策略的研究

模拟机器人足球比赛（Robot World Cup,RoboCup）作为多Agent系统的一个理想的实验平台,已经成为人工智能的研究热点。为了解决传统进攻策略中进攻重点难以确定的问题,基于动态目标驱动模型,深入研究了中路进攻策略,提出了动态评估传球时机的评价函数,经过RobCup实验平台的仿真测试分析,表明在比赛环境多变的情况下,该策略仍能提高进攻效率。     

Heterogeneous Robots Allocation and Selection in Robocup Environment

I. INTRODUCTION RoboCup is an international joint project to promote artificial intelligence (AI), robotics, and related fields [1]. It is an attempt to foster AI and intelligent robotics research by providing a standard problem for which a wide range of technologies can be integrated and examined. The RoboCup Soccer Server version 7 introduced the concept of heterogeneous players. A heterogeneous player is a robot who has different capabilities to other players. Soccer Server define…     

SBD策略在多智能体协作中的应用研究

多智能体系统是分布式人工智能的主要学科之一。该文针对多智能体协作问题，提出了SBE)策略，并将其成功地应用于RoboCup仿真球队。SBD策略能够有效地瓦解对手有组织的协作，对于提高球队的整体对抗能力起到了明显作用。采用SBD策略的中南大学云麓队(CSU-Yunlu)，在2003年中国机器人大赛RoboCup仿真组比赛中荣获二等奖。     

RoboCup: robot world cup

RoboCup is an attempt to foster intelligent robotics research by providing a standard problem where a wide range of technologies can be integrated and examined. The First Robot World Cup Soccer Games and Conferences (RoboCup-97) was held during IJCAI-97, Nagoya, with over 40 teams participating from throughout the world. RoboCup soccer is a task for a team of fast-moving robots in a dynamic, noisy environment. In order for a robot team to actually perform a soccer game, various technologies must be incorporated including: design principles of autonomous agents, multi-agent collaboration, strategy acquisition, real-time reasoning, robotics, and sensor-fusion. This article describes technical challenges involved in RoboCup, its official rules, a report of RoboCup-97, and future perspectives     

RoboCup机器人足球仿真比赛开发设计

机器人世界杯足球锦标赛(TheRobotWorldCup),简称RoboCup,通过提供一个标准任务来促进分布式人工智能、智能机器人技术及其相关领域的研究与发展。该文在介绍RoboCup仿真环境的基础上,系统完整地介绍了客户端程序的开发设计流程,阐述了其中涉及到的一些主要问题和算法,最后简要综述目前国际上的典型高层算法结构。     

RoboCup: Today and tomorrow—What we have learned

RoboCup is an increasingly successful attempt to promote the full integration of AI and robotics research. The most prominent feature of RoboCup is that it provides the researchers with the opportunity to demonstrate their research results as a form of competition in a dynamically changing hostile environment, defined as the international standard game definition, which the gamut of intelligent robotics research issues are naturally involved. This article describes what we have learned from the past RoboCup activities, mainly the first and the second RoboCups, and overviews the future perspectives of RoboCup in the next century. First, the issue on what and why RoboCup is addressed, and a wide range of research issues are explained. Next, the current leagues are introduced and the research achievements are reviewed from a viewpoint of system architecture. Some of these achievements are included in this special issue. Finally, prospects for future activities are discussed.     

基于神经网络和遗传算法的RoboCup截球策略

机器人足球(RoboCup)比赛已经成为当前人工智能研究的热点之一,作为多Agent系统的一个理想的试验平台,它涉及到了多个技术领域。论文应用神经网络技术和遗传算法解决Robocup仿真组比赛的截球问题,对截球技术进行了有效优化。将这种策略与传统的基于逻辑准则的策略进行了比较。分析表明基于神经网络和遗传算法的优化截球策略在很多情况下会做出更好的决定。