强化学习研究综述

在未知环境中,关于agent的学习行为是一个既充满挑战又有趣的问题,强化学习通过试探与环境交互获得策略的改进,其学习和在线学习的特点使其成为机器学习研究的一个重要分支。介绍了强化学习在理论、算法和应用研究三个方面最新的研究成果,首先介绍了强化学习的环境模型和其基本要素;其次介绍了强化学习算法的收敛性和泛化有关的理论研究问题;然后结合最近几年的研究成果,综述了折扣型回报指标和平均回报指标强化学习算法;最后列举了强化学习在非线性控制、机器人控制、人工智能问题求解、多agent 系统问题等若干领域的成功应用和未来的发展方向。     

强化学习研究综述

摘要强化学习通过试错与环境交互获得策略的改进,其自学习和在线学习的特点使其成为 机器学习研究的一个重要分支.该文首先介绍强化学习的原理和结构;其次构造一个二维分类 图,分别在马尔可夫环境和非马尔可夫环境下讨论最优搜索型和经验强化型两类算法;然后结 合近年来的研究综述了强化学习技术的核心问题,包括部分感知、函数估计、多agent强化学 习,以及偏差技术;最后还简要介绍强化学习的应用情况和未来的发展方向.     

强化学习中异构反馈信号的分析与集成

探讨了在高度危险行业的游戏式专业救援培训系统中,视觉与听觉信号能否协同作用以提高人们的记忆和推理能力问题;运用半马尔科夫博弈模型(semi-Markov game,SMG)提出了合作型多agent分层强化学习框架和算法,构建了由视觉处理agent、听觉处理agent以及人类agent组成的异构异质多agent系统;指出分析和归纳视觉听觉相干反馈信号的性质和特点是非常具有挑战性的任务,其决定了强化学习中异构信号的集成方法和途径。在此基础上,提出了将异构反馈信号进行集成的偏信息学习算法,大大缩小了状态搜索空间,缓解了强化学习固有的"维数灾难"问题;根据心理治疗的"系统脱敏"原理,设计了"情绪-个性-刺激-调节"(mood-personality-stimulus-regulation,MPSR)模型和恐怖场景个性化呈现算法(personalized rendering algorithm for terrorist scene,PRATS),用于提升救援队员的心理承受能力,并通过实验验证了算法的有效性。     

单agent强化学习与多agent强化学习比较研究

学习、交互及其结合是建立健壮、自治agent的关键必需能力。强化学习是agent学习的重要部分,agent强化学习包括单agent强化学习和多agent强化学习。文章对单agent强化学习与多agent强化学习进行了比较研究,从基本概念、环境框架、学习目标、学习算法等方面进行了对比分析,指出了它们的区别和联系,并讨论了它们所面临的一些开放性的问题。     

面向普适计算的多Agent协同设计系统模型

根据普适计算的特点,提出了一种多agent协同设计系统框架模型.考虑到普适计算环境下移动设备的交互和多通道的信息集成,该模型在已有多agent协同设计系统的框架模型上增加了相应的agent,并且在设计agent的结构中包含了通道识别、上下文生成及多通道信息整合模块,以处理多通道的信息.详细介绍了在该agent模型中基于设计上下文的知识表示、搜索和更新式学习算法,以及协同设计系统中多agent知识共享的方法.该研究对于普适计算在设计领域中的应用有重要的意义.     

多智能体分层强化学习综述

作为机器学习和人工智能领域的一个重要分支,多智能体分层强化学习以一种通用的形式将多智能体的协作能力与强化学习的决策能力相结合,并通过将复杂的强化学习问题分解成若干个子问题并分别解决,可以有效解决空间维数灾难问题。这也使得多智能体分层强化学习成为解决大规模复杂背景下智能决策问题的一种潜在途径。首先对多智能体分层强化学习中涉及的主要技术进行阐述,包括强化学习、半马尔可夫决策过程和多智能体强化学习;然后基于分层的角度,对基于选项、基于分层抽象机、基于值函数分解和基于端到端等4种多智能体分层强化学习方法的算法原理和研究现状进行了综述;最后介绍了多智能体分层强化学习在机器人控制、博弈决策以及任务规划等领域的应用现状。     

用于辩证分析的多方对话协议

在基于辩论的多agent系统研究中,agent之间的对话博弈一般是双方的,然而现实中的辩论却常常涉及到多方参与者,如何实现多agent系统的多方对话博弈是当前的研究热点之一。用于多方论据博弈的辩证分析模型(DAM-MAG)是一种借鉴中国武术擂台比武思想,将多方对话博弈转化为若干个双方对话博弈的理论模型。DAM-MAG的难点在于多方对话博弈协议的设计和实现。为此,基于该理论模型提出了一种多方对话博弈协议。该协议提供了通过双方对话博弈来解决多方对话博弈问题的方法,为解决多agent系统的多方对话博弈提供了新的途径。     

利用聚类分析法改进的多Agent协作强化学习方法

针对多agent系统强化学习中,状态空间和动作空间随着agent个数的增加成指数倍增长,进而导致维数灾难、学习速度慢和收敛性差的问题,提出了一种新型的混合强化学习方法,用于改进传统的多agent协作强化学习;该算法基于Friend-or-Foe Q-学习,事先采用聚类分析法对状态空间和动作空间进行预处理,降低空间维数后再进行强化学习,这就避免了同等状态环境下的重复劳动和对动作集的盲目搜索,理论上大大提高了agent的学习速度和算法的收敛性;文章首先进行改进算法的思想概述,然后给出了改进算法的学习框架和算法的一般描述。     

人工情感及其应用

自然系统中,情感影响人的行为.目前,人工情感在拟人agent的研究得到了越来越多的重视.为此,本文从工程角度综述了人工情感研究的基本问题,简要介绍了几类情感模型,并着重讨论了基于人工情感的agent体系结构的典型应用.人工情感的研究不仅体现在情感辨识、情感表达等人机交互方面,同时情感的作用机理也影响到智能agent的控制体系结构和算法设计.基于人工情感的体系结构具有混合分层的特点,强调情感和其他过程的联系以增强agent在与动态环境交互中的自适应能力.在这个结构中人工情感的核心作用主要体现在两个方面:首先,人工情感是联系agent的内部状态和外部环境的基础,情感状态影响到agent信息处理的整个过程,包括紧急情况下的快速响应和规划任务时的复杂推理.其次,人工情感作为内部驱动机制对学习过程十分重要,人工情感作为强化刺激促使agent创建更复杂的行为功能.在设计中引入人工情感,对agent实现智能化和个性化至关重要.     

AODE中的多agent协商与学习

AODE是我们研制的一个面向agent的智能系统开发环境,本文以AODE为平台研究了多agent环境下的协商与学习本文利用协商-协商过程-协商线程的概念建立了多边-多问题协商模型MMN,该协商模型支持多agent环境中的多种协商形式及agent在协商过程中的学习,系统中的学习agent采用状态概率聚类空间上的多agent强化学习算法.该算法通过使用状态聚类方法减少Q值表存储所需空间,降低了经典Q-学习算法由于使用Q值表导致的对系统计算资源的要求,且该算法仍然可以保证收敛到最优解.     

基于随机博弈的Agent协同强化学习方法

本文针对一类追求系统得益最大化的协作团队的学习问题，基于随机博弈的思想，提出了一种新的多Agent协同强化学习方法。协作团队中的每个Agent通过观察协作相识者的历史行为，依照随机博弈模型预测其行为策略，进而得出最优的联合行为策略。     

基于模糊推理的多智能体强化学习

以电子市场智能定价问题为研究背景,提出基于模糊推理的多智能体强化学习算法(FI-MARL).在马尔科夫博弈学习框架下,将领域知识初始化为一个模糊规则集合,智能体基于模糊规则选择动作,并采用强化学习来强化模糊规则.该方法有效融合应用背景的领域知识,充分利用样本信息并降低学习空间维数,从而增强在线学习性能.在电子市场定价的...     

多Agent系统中强化学习的研究现状和发展趋势

本文对有关强化学习及其在多Agent系统中的应用等方面的研究现状、关键技术、问题和发展趋势进行了综述和讨论，试图给出强化学习目前研究的重点和发展方向。主要内容包括：(1)强化学习的框架结构；(2)几个有代表性的强化学习方法；(3)多Agent系统中强化学习的应用和问题。最后讨论了多Agent系统中应用强化学习所面临的挑战。     

多智能体深度强化学习的若干关键科学问题

强化学习作为一种用于解决无模型序列决策问题的方法已经有数十年的历史, 但强化学习方法在处理高维变量问题时常常会面临巨大挑战. 近年来, 深度学习迅猛发展, 使得强化学习方法为复杂高维的多智能体系统提供优化的决策策略、在充满挑战的环境中高效执行目标任务成为可能. 本文综述了强化学习和深度强化学习方法的原理, 提出学习系统的闭环控制框架, 分析了多智能体深度强化学习中存在的若干重要问题和解决方法, 包括多智能体强化学习的算法结构、环境非静态和部分可观性等问题, 对所调查方法的优缺点和相关应用进行分析和讨论. 最后提供多智能体深度强化学习未来的研究方向, 为开发更强大、更易应用的多智能体强化学习控制系统提供一些思路.     

Key Technologies of Confrontational Intelligent Decision Support for Multi-Agent Systems

This paper firstly studies intelligent learning techniques based on reinforcement learning theory. It proposes an improved multi-agent cooperative learning method that can be shared through continuous learning and the strategies of individual agents to achieve the integration of multi-agent strategy and learning in order to improve the capabilities of intelligent multi-agent systems. Secondly, according to the analysis of data mining and AHP theory, a new concept is proposed to build a data mining model (based on intelligent learning) that has been named ‘ACMC’ (AHP Construct Mining Component); designed ACMC strategy evaluation and assistant decision-making based on multiagent systems, to achieve a strategic assessment of the current situation and reach a final decision. Finally, after research on Intelligent Decision Technology based on game theory, aspects of game theory are employed to deal with the real demand of confrontational environments.     

Exploring selfish reinforcement learning in repeated games with stochastic rewards

In this paper we introduce a new multi-agent reinforcement learning algorithm, called exploring selfish reinforcement learning (ESRL). ESRL allows agents to reach optimal solutions in repeated non-zero sum games with stochastic rewards, by using coordinated exploration. First, two ESRL algorithms for respectively common interest and conflicting interest games are presented. Both ESRL algorithms are based on the same idea, i.e. an agent explores by temporarily excluding some of the local actions from its private action space, to give the team of agents the opportunity to look for better solutions in a reduced joint action space. In a latter stage these two algorithms are transformed into one generic algorithm which does not assume that the type of the game is known in advance. ESRL is able to find the Pareto optimal solution in common interest games without communication. In conflicting interest games ESRL only needs limited communication to learn a fair periodical policy, resulting in a good overall policy. Important to know is that ESRL agents are independent in the sense that they only use their own action choices and rewards to base their decisions on, that ESRL agents are flexible in learning different solution concepts and they can handle both stochastic, possible delayed rewards and asynchronous action selection. A real-life experiment, i.e. adaptive load-balancing of parallel applications is added.     

基于组合训练的规则嵌入多智能体强化学习方法

多智能体强化学习方法在仿真模拟、游戏对抗、推荐系统等许多方面取得了突出的进展。然而,现实世界的复杂问题使得强化学习方法存在无效探索多、训练速度慢、学习能力难以持续提升等问题。该研究嵌入规则的多智能体强化学习技术,提出基于组合训练的规则与学习结合的方式,分别设计融合规则的多智能体强化学习模型与规则选择模型,通过组合训练将两者有机结合,能够根据当前态势决定使用强化学习决策还是使用规则决策,有效解决在学习中使用哪些规则以及规则使用时机的问题。依托中国电子科技集团发布的多智能体对抗平台,对提出的方法进行实验分析和验证。通过与内置对手对抗,嵌入规则的方法经过约1.4万局训练就收敛到60%的胜率,而没有嵌入规则的算法需要约1.7万局的时候收敛到50%的胜率,结果表明嵌入规则的方法能够有效提升学习的收敛速度和最终效果。     

A two-layered multi-agent reinforcement learning model and algorithm

Multi-agent reinforcement learning technologies are mainly investigated from two perspectives of the concurrence and the game theory. The former chiefly applies to cooperative multi-agent systems, while the latter usually applies to coordinated multi-agent systems. However, there exist such problems as the credit assignment and the multiple Nash equilibriums for agents with them. In this paper, we propose a new multi-agent reinforcement learning model and algorithm LMRL from a layer perspective. LMRL model is composed of an off-line training layer that employs a single agent reinforcement learning technology to acquire stationary strategy knowledge and an online interaction layer that employs a multi-agent reinforcement learning technology and the strategy knowledge that can be revised dynamically to interact with the environment. An agent with LMRL can improve its generalization capability, adaptability and coordination ability. Experiments show that the performance of LMRL can be better than those of a single agent reinforcement learning and Nash-Q.     

多智能体深度强化学习研究综述

多智能体深度强化学习是机器学习领域的一个新兴的研究热点和应用方向,涵盖众多算法、规则、框架,并广泛应用于自动驾驶、能源分配、编队控制、航迹规划、路由规划、社会难题等现实领域,具有极高的研究价值和意义。对多智能体深度强化学习的基本理论、发展历程进行简要的概念介绍;按照无关联型、通信规则型、互相合作型和建模学习型4种分类方式阐述了现有的经典算法;对多智能体深度强化学习算法的实际应用进行了综述,并简单罗列了多智能体深度强化学习的现有测试平台;总结了多智能体深度强化学习在理论、算法和应用方面面临的挑战和未来的发展方向。