基于高斯过程分类器的连续空间强化学习

如何将强化学习方法推广到大规模或连续空间,是决定强化学习方法能否得到广泛应用的关键.不同于已有的值函数逼近法,把强化学习构建为一个简单的二分类问题,利用分类算法来得到强化学习中的策略,提出一种基于高斯过程分类器的连续状态和连续动作空间强化学习方法.首先将连续动作空间离散化为确定数目的离散动作,然后利用高斯分类器对系统的连续状态-离散动作对进行正负分类,对判定为正类的离散动作按其概率值进行加权求和,进而得到实际作用于系统的连续动作.小船靠岸问题的仿真结果表明所提方法能够有效解决强化学习的连续空间表示问题.     

基于测地高斯基函数的递归最小二乘策略迭代

在策略迭代结强化学习方法的值函数逼近过程中,基函数的合理选择直接影响方法的性能．为更好地 描述环境的拓扑关系,采用测地线距离来替换普通高斯函数中的欧氏距离,提出一种基于测地高斯基函数的策略迭 代强化学习方法．首先,基于马尔可夫决策过程抽样得到的样本数据建立环境的图论描述．其次,在图上定义测地 高斯基函数,并用基于最短路径快速算法得到的最短路径来逼近测地线距离．然后,假定强化学习系统的状态—动 作值函数是给定测地高斯基函数的加权组合,采用递归最小二乘方法对权值进行在线增量式更新．最后,基于估计 的值函数进行策略改进．10￡10 和20￡20 迷宫问题的仿真结果验证了所提策略迭代方法的有效性．