强化学习理论、算法及应用

强化学习（ｒｅｉｎｆｏｒｃｅｍｅｎｔ ｌｅａｒｎｉｎｇ）一词来自于行为心理学,这一理论把行为学习看成是反复试验的过程,从而把环境状态映射成相应的动作。首先全面地介绍了强化学习理论的主要算法,即瞬时差分法、Ｑ－学习算法及自适应启发评价算法;然后介绍了强化学习的应用情况;最后讨论了强化学习目前所要研究的问题。     

一种基于Agent团队的强化学习模型与应用研究

多Ａｇｅｎｔ学习是近年来受到较多关注的研究方向,以单Ａｇｅｎｔ强化Ｑ－ｌｅａｒｎｉｎｇ算法为基础,提出了一种基于Ａｇｅｎｔ团队的强化学习模,这个模型的最大特点是引入主导Ａｇｅｎｔ作为团队学习的主角,并通过主导Ａｇｅｎｔ的角色变换实现整个团队的学习。结合仿真机器人足球领域,设计了具体的应用模型,在几个方面对Ｑ－ｌｅａｒｎｉｎｇ进行扩充,并进行了实验,在仿真机器人足球领域的成功应用表明了这个模型的有效     

Q-学习及其在智能机器人局部路径规划中的应用研究

强化学习一词来自于行为心理学,这门学科把行为学习看成反复试验的过程,从而把环境状态映射成相应的动作．在设计智能机器人过程中,如何来实现行为主义的思想、在与环境的交互中学习行为动作？ 文中把机器人在未知环境中为躲避障碍所采取的动作看作一种行为,采用强化学习方法来实现智能机器人避碰行为学习．Ｑ－学习算法是类似于动态规划的一种强化学习方法,文中在介绍了Ｑ－学习的基本算法之后,提出了具有竞争思想和自组织机制的Ｑ－学习神经网络学习算法;然后研究了该算法在智能机器人局部路径规划中的应用,在文中的最后给出了详细的仿真结果     

示例学习中的一类新算法

在示例学习这一机器学习的分支领域中有两类非常重要的算法,其中一个是以ＩＤ３为代表算法,其知识表示是用决策树。在是ＡＱ算法,其知识表示是产生式规则。ＩＤ３的优点是匹配速度快,但其规则数目太多,ＡＱ虽然能生成数目相对ＩＤ３不十分多的产生式规则,钵民ＩＤ３相比却慢得多,因此就示例学习这一领域提出了一种新的算法ＨＰ,这一算法是基于ｎ维欧几里空间中的超平面提出的,对一个正例集和一个反例集,这一算法的规则只有     

网络FQ系统的设计

文中就网络ＦＱ系统的设计提出了三种相应的算法。利用多队列轮转算法实现了ＦＱ系统的公平性；利用动态队列长度算法实现了ＦＱ系统的可靠性；利用动态响应时间模糊算法实现了ＦＱ系统的稳定性。     

矢量量化的误差竞争学习算法

提出了误差竞争学习（Ｄｉｓｔｏｒｔｉｏｎ ｃｏｐｍｐｅｔｉｔｉｖｅ ｌｅａｒｎｉｎｇ,ＤＣＬ）算法。该算法基于Ｇｅｒｓｈｏ的矢量量化误差渐近理论的等误差原则,即当码本数趋于无穷大时,各区域子误差相等,使用这个原则作为最优码书设计的一个必要条件,并结合传统最优码书设计的两个必要条件,然后根据这３个必要条件：（１）最近邻规则;（２）中心准则;（３）各区域了误差近似相等设计最优码书,而在算法的实现中引入     

Q—学习及其在智能机器人局部路径规划中的应用研究

强化学习－词来自于行为心理学,这门学科把行为学习看成反复试验的过程,从而把环境状态映射成相应的动作。在设计智能机器人过程中,如何来实现行为主义的思想、在与环境的交互中学习行为动作？文中把机器人在未知环境中为躲避障碍所采取的动作看作一种行为,有杉强化学习方法来实现智能机器人避碰行为学习。Ｑ－学习算法是类似于动态规划的一种强化学习方法,文中在介绍了Ｑ－学习的基本算法之后,提出了具有竞争思想和自组织机制     

数字图象m-QAM传输的研究

介绍了适用于高速数字ＨＤＴＶ传输的ｍ－ＱＡＭ方式，给出了６４ＱＡＭ格雷码的编、解码逻辑及格雷码星座。分析了ｍ－ＱＡＭ特性并对其传输性能进行了计算机模拟。     

抽象算法C—T—ABS和ABSTRACT的理论推导与等价性证明

ＡＢＳＴＲＡＣＴ，Ｃ－Ｔ－ＡＢＳ是把λ表达式转换成ＳＫＩ表达式的抽象算法，是函数式语言实现的理论基础。本文从λ演算，ＳＫＩ演算的基本理论出发，对这两个算法进行了理论推导及功能的等价证明。展示了对一输入，Ｃ－Ｔ－ＡＢＳ能生成较优化的代码，并对它们生成代码的长度及归约效率进行了比较。     

一个基于QSIM算法的定性仿真系统GQSS

定性仿真是目前人工智能、仿真技术等领域一个新颖的研究方向，文中重点介绍了作者研制折一个基于ＱＳＩＭ算法的实验性通用型定性仿真系统ＧＱＳＳ，并且在该系统中初步改进了ＱＳＩＭ算法。     

Backward Q-learning: The combination of Sarsa algorithm and Q-learning

Reinforcement learning (RL) has been applied to many fields and applications, but there are still some dilemmas between exploration and exploitation strategy for action selection policy. The well-known areas of reinforcement learning are the Q-learning and the Sarsa algorithms, but they possess different characteristics. Generally speaking, the Sarsa algorithm has faster convergence characteristics, while the Q-learning algorithm has a better final performance. However, Sarsa algorithm is easily stuck in the local minimum and Q-learning needs longer time to learn. Most literatures investigated the action selection policy. Instead of studying an action selection strategy, this paper focuses on how to combine Q-learning with the Sarsa algorithm, and presents a new method, called backward Q-learning, which can be implemented in the Sarsa algorithm and Q-learning. The backward Q-learning algorithm directly tunes the Q-values, and then the Q-values will indirectly affect the action selection policy. Therefore, the proposed RL algorithms can enhance learning speed and improve final performance. Finally, three experimental results including cliff walk, mountain car, and cart–pole balancing control system are utilized to verify the feasibility and effectiveness of the proposed scheme. All the simulations illustrate that the backward Q-learning based RL algorithm outperforms the well-known Q-learning and the Sarsa algorithm.     

基于联合强化学习的RoboCup-2D传球策略

在传统Q学习算法基础上引入多智能体系统,提出了多智能体联合Q学习算法。该算法是在同一评价函数下进行多智能体的学习,并且学习过程考虑了参与协作的所有智能体的学习结果。在RoboCup-2D足球仿真比赛中通过引入球场状态分解法减少了状态分量,采用联合学习得到的最优状态作为多智能体协作的最优动作组,有效解决了仿真中各智能体之间的传球策略及其协作问题,仿真和实验结果证明了算法的有效性和可靠性。     

微网控制系统中多AgentQ学习算法的研究

本文首先介绍了微网控制系统的多Agent结构以及各Agent的工作流程,然后提出了应用于微网控制系统的多Agent结构的协作学习算法,该算法在Q学习算法的基础上进行了改进,使之适用于混合环境中。最后将IEEE9节点系统作为微网模拟系统并在其中进行了仿真,结果显示该算法可以在微网功率发生波动时快速地使功率恢复到稳定状态。     

学习过程中共享经验的Q学习算法的研究

主要以提高多智能体系统中Q学习算法的学习效率为研究目标,以追捕问题为研究平台,提出了一种基于共享经验的Q学习算法。该算法模拟人类的团队学习行为,各个智能体拥有共同的最终目标,即围捕猎物,同时每个智能体通过协商获得自己的阶段目标。在学习过程中把学习分为阶段性学习,每学习一个阶段,就进行一次阶段性总结,分享彼此好的学习经验,以便于下一阶段的学习。这样以学习快的、好的带动慢的、差的,进而提升总体的学习性能。仿真实验证明,在学习过程中共享经验的Q学习算法能够提高学习系统的性能,高效地收敛于最优策略。     

求解多目标流水车间调度Pareto最优解的遗传强化算法

针对多目标流水车间调度Pareto最优问题, 本文建立了以最大完工时间和最大拖延时间为优化目标的多目标流水车间调度问题模型, 并设计了一种基于Q-learning的遗传强化学习算法求解该问题的Pareto最优解. 该算法引入状态变量和动作变量, 通过Q-learning算法获得初始种群, 以提高初始解质量. 在算法进化过程中, 利用Q表指导变异操作, 扩大局部搜索范围. 采用Pareto快速非支配排序以及拥挤度计算提高解的质量以及多样性, 逐步获得Pareto最优解. 通过与遗传算法、NSGA-II算法和Q-learning算法进行对比实验, 验证了改进后的遗传强化算法在求解多目标流水车间调度问题Pareto最优解的有效性.     

基于Q学习算法的作业车间动态调度

近年来, 在基于Q学习算法的作业车间动态调度系统中, 状态-行动和奖励值靠人为主观设定, 导致学习效果不理想, 与已知最优解相比, 结果偏差较大. 为此, 基于作业车间调度问题的特质, 对Q学习算法的要素进行重新设计, 并用标准算例库进行仿真测试. 将结果先与已知最优解和混合灰狼优化算法、离散布谷鸟算法和量子鲸鱼群算法在近似程度、最小值方面进行比较分析. 实验结果表明, 与国内求解作业车间调度问题的Q学习算法相比, 该方法在最优解的近似程度上显著提升, 与群智能算法相比, 在大多数算例中, 寻优能力方面有显著提升.     

A unified analysis of value-function-based reinforcement- learning algorithms

Reinforcement learning is the problem of generating optimal behavior in a sequential decision-making environment given the opportunity of interacting with it. Many algorithms for solving reinforcement-learning problems work by computing improved estimates of the optimal value function. We extend prior analyses of reinforcement-learning algorithms and present a powerful new theorem that can provide a unified analysis of such value-function-based reinforcement-learning algorithms. The usefulness of the theorem lies in how it allows the convergence of a complex asynchronous reinforcement-learning algorithm to be proved by verifying that a simpler synchronous algorithm converges. We illustrate the application of the theorem by analyzing the convergence of Q-learning, model-based reinforcement learning, Q-learning with multistate updates, Q-learning for Markov games, and risk-sensitive reinforcement learning.     

A new Q-learning algorithm based on the metropolis criterion

The balance between exploration and exploitation is one of the key problems of action selection in Q-learning. Pure exploitation causes the agent to reach the locally optimal policies quickly, whereas excessive exploration degrades the performance of the Q-learning algorithm even if it may accelerate the learning process and allow avoiding the locally optimal policies. In this paper, finding the optimum policy in Q-learning is described as search for the optimum solution in combinatorial optimization. The Metropolis criterion of simulated annealing algorithm is introduced in order to balance exploration and exploitation of Q-learning, and the modified Q-learning algorithm based on this criterion, SA-Q-learning, is presented. Experiments show that SA-Q-learning converges more quickly than Q-learning or Boltzmann exploration, and that the search does not suffer of performance degradation due to excessive exploration.     

样本有限关联值递归Q学习算法及其收敛性证明

一个激励学习Agent通过学习一个从状态到动作映射的最优策略来解决问题，求解最优决策一般有两种途径：一种是求最大奖赏方法，另一种最求最优费用方法，利用求解最优费用函数的方法给出了一种新的Q学习算法，Q学习算法是求解信息不完全Markov决策问题的一种有效激励学习方法。Watkins提出了Q学习的基本算法，尽管他证明了在满足一定条件下Q值学习的迭代公式的收敛性，但是在他给出的算法中，没有考虑到在迭代过程中初始状态与初始动作的选取对后继学习的影响，因此提出的关联值递归Q学习算法改进了原来的Q学习算法，并且这种算法有比较好的收敛性质，从求解最优费用函数的方法出发，给出了Q学习的关联值递归算法，这种方法的建立可以使得动态规划（DP）算法中的许多结论直接应用到Q学习的研究中来。     

基于量子理论及蚁群算法的多Agent Q学习

针对多Agent协作强化学习中存在的行为和状态维数灾问题,以及行为选择上存在多个均衡解,为了收敛到最佳均衡解需要搜索策略空间和协调策略选择问题,提出了一种新颖的基于量子理论和蚁群算法的多Agent协作学习算法。新算法首先借签了量子计算理论,将多Agent的行为和状态空间通过量子叠加态表示,利用量子纠缠态来协调策略选择,利用概率振幅进行动作探索,加快学习速度。其次,根据蚁群算法,提出“脚印”思想来间接增强Agent之间的交互。最后,对新算法的理论分析和实验结果都证明了改进的Q学习是可行的,并且可以有效地提高学习效率。