| 固定长度经验回放对Q学习效率的影响 |
| |
| 引用本文： | 林明,朱纪洪,孙增圻. 固定长度经验回放对Q学习效率的影响[J]. 计算机工程, 2006, 32(6): 7-10 |
| |
| 作者姓名： | 林明 朱纪洪 孙增圻 |
| |
| 作者单位： | 清华大学计算机系智能技术与系统国家重点实验室,北京,100084;清华大学计算机系智能技术与系统国家重点实验室,北京,100084;清华大学计算机系智能技术与系统国家重点实验室,北京,100084 |
| |
| 摘 要： | 提出了一种固定长度经验回放的思想，并将该思想与一步Q和pengQ（λ）学习算法相结合，得到了相应的改进算法。该文采用不同的回放长度L将改进的算法应用在网格环境和汽车爬坡问题中进行了仿真。结果表明，改进的一步Q学习算法在两个例子中都比原算法具有更好的学习效率。改进的PengQ（λ）学习在马尔呵夫环境中对选择探索动作非常敏感。增大L几乎不能提高学习的效率，甚至会使学习效率变差；但是在具有非马尔可夫属性的环境中对选择探索动作比较不敏感，增大L能够显著提高算法的学习速度。实验结果对如何选择适当的L有着指导作用。
|
| 关 键 词： | 经验回放 再励学习 Q学习 |
| 文章编号： | 1000-3428（2006）06-0007-04 |
| 收稿时间： | 2005-03-22 |
| 修稿时间： | 2005-03-22 |
Impact of Experience Replay with Fixed History Length on Q-learning |
| |
| LIN Ming,ZHU Jihong,SUN Zengqi. Impact of Experience Replay with Fixed History Length on Q-learning[J]. Computer Engineering, 2006, 32(6): 7-10 |
| |
| Authors: | LIN Ming ZHU Jihong SUN Zengqi |
| |
| Affiliation: | State Key Lab of Intelligence Technology and System, Department of Computer Science and Technology, Tsinghua University, Beijing 100084 |
| |
| Abstract: | |
| |
| Keywords: | Experience replay Reinforcement learning Q-learning |
| 本文献已被 CNKI 维普 万方数据 等数据库收录！ |
