基于深度自动编码器与Q学习的移动机器人路径规划方法

针对移动机器人在静态未知环境中的路径规划问题,提出了一种将深度自动编码器( deep auto-encoder)与Q学习算法相结合的路径规划方法,即DAE-Q路径规划方法。利用深度自动编码器处理原始图像数据可得到移动机器人所处环境的特征信息;Q学习算法根据环境信息选择机器人要执行的动作,机器人移动到新的位置,改变其所处环境。机器人通过与环境的交互,实现自主学习。深度自动编码器与Q学习算法相结合,使系统可以处理原始图像数据并自主提取图像特征,提高了系统的自主性;同时,采用改进后的Q学习算法提高了系统收敛速度,缩短了学习时间。仿真实验验证了此方法的有效性。     

反向散射辅助的无线供能通信中的信息年龄最小化

信息年龄（AoI）是一种从目的端的角度衡量所捕获数据新鲜度的性能指标。在能量受限的实时感知物联网场景中,为了提高系统的AoI性能,提出了联合采样和混合反向散射通信更新的策略。该策略通过允许源端选择状态采样动作以及更新过程的传输模式来最小化系统的长期平均AoI。具体来说,首先将该优化问题建模为一个平均成本马尔可夫决策过程（MDP）;然后在已知环境动态信息的情况下,通过相关值迭代算法获取最优策略;在缺乏环境动态信息的情况下,采用Q学习算法和探索利用方法,通过与环境的试错交互来学习最优策略。仿真结果表明,与两种参考策略相比,所提出的策略明显提高了系统AoI性能,同时发现系统的AoI性能随更新包尺寸的减小或者电池容量的增大而提升。     

基于Q-学习的进化博弈决策模型

基于Q-强化学习算法,建立了进化博弈中代理人的决策模型.考虑到强化学习算法不需要建立环境模型,可用于不完全、不确定信息问题,将Q-强化学习算法引入到进化博弈中,研究了进化博弈中两种Q-学习决策模型:单代理人Q-学习决策模型和多代理人Q-学习决策模型,并针对不同结构的进化博弈选择不同的决策模型和算法进行了讨论.仿真算例的结果说明基于Q-学习的决策模型能指导代理人学习、选择最优策略.     

基于强化学习的集装箱码头卡车调度策略研究

研究同时服务于装船和卸船作业的集卡全场调度策略,调度优化目标包括减少岸桥等待集卡的时间以及减少集卡的空载行程。提出了基于Q学习算法的集卡调度强化学习模型,对其系统状态、动作策略、报酬函数进行分析,并结合小脑模型关节控制器(CMAC)神经网络对Q函数进行泛化和逼近。仿真结果表明,与其他集卡调度策略相比,Q学习算法的优化效果比较明显,其在保证岸桥连续作业的同时,还能有效减少集卡的空载行程。     

基于Q学习的虚拟人自适应感知系统建

在现代计算机游戏的设计中,建立具有感知行为可信的虚拟人是至关重要的。以往的研究中,虚拟人的感知范围往往是固定的。提出了一种基于Q学习的虚拟人自适应感知模型,虚拟人可以通过对环境中感知对象的评价来动态确定感知范围,并在微机上实现了一个虚拟人找药的原型系统。实验结果表明,该模型能使虚拟人的感知行为具有可信性。     

Reinforcement based mobile robot navigation in dynamic environment

In this paper, a new approach is developed for solving the problem of mobile robot path planning in an unknown dynamic environment based on Q-learning. Q-learning algorithms have been used widely for solving real world problems, especially in robotics since it has been proved to give reliable and efficient solutions due to its simple and well developed theory. However, most of the researchers who tried to use Q-learning for solving the mobile robot navigation problem dealt with static environments; they avoided using it for dynamic environments because it is a more complex problem that has infinite number of states. This great number of states makes the training for the intelligent agent very difficult. In this paper, the Q-learning algorithm was applied for solving the mobile robot navigation in dynamic environment problem by limiting the number of states based on a new definition for the states space. This has the effect of reducing the size of the Q-table and hence, increasing the speed of the navigation algorithm. The conducted experimental simulation scenarios indicate the strength of the new proposed approach for mobile robot navigation in dynamic environment. The results show that the new approach has a high Hit rate and that the robot succeeded to reach its target in a collision free path in most cases which is the most desirable feature in any navigation algorithm.     

多机器人系统任务分配效用评价算法

为了提高复杂环境中多机器人系统任务分配的决策质量,获取准确、客观的效用评价,提出了一种基于自适应神经-模糊推理系统(adaptive neuro-fuzzy inference system,ANFIS)的效用评价算法ANFIS-UE.设计了基于ANFIS的效用评价网络结构,并采用Q学习对效用评价网络的参数进行学习.利用ANFIS优越的函数逼近能力和泛化能力,提高了效用函数的学习效率,能够对连续的状态输入产生连续的效用评价值.实验结果表明,该算法获得的效用评价相对更准确,从而提高了任务分配方案的质量.     

基于Q学习Robocup前锋的射门训练

3D仿真机器人是当今人工智能领域里一个极富挑战性的高技术密集型项目。在Robocup 3D比赛中,由于现今球队的人数较少,一个球队的进攻能力往往取决于前锋的个人能力,因此增强前锋的射门能力就显得十分重要。Q学习是一种重要的强化学习方法,将Q学习用到Robocup仿真环境中,使智能体通过在线学习获得射门技巧,并且通过实际比赛证明了算法的有效性。     

基于秩的Q-路由选择算法

如何在动态变化的复杂网络中实现高效的路由选择是当前的研究热点之一。Q-学习是一种常用的强化学习算法，通过与环境的不断交互来解决未知环境中最优控制问题，能有效地完成在线式学习任务。本文提出一种基于秩的Q-路由选择(Rank-based Q-routing, RQ routing)算法。RQ routing算法在Q-学习的框架下，保留了Q-路由选择(Q-routing)算法的高效性，引入能动态计算的秩函数，用于表示当前状态在场景中的优先级，用以求解路由选择的最优解，避免等待队列过长，减少网络拥堵，提高传输速度。RQ routing算法中的秩函数具有灵活性，使用不同的秩函数即可满足各种场景的需求，保证了算法具有更好的泛化能力，克服了传统Q-routing应用场景单一的不足。实验验证了本文算法的有效性。     

互联电网CPS调节指令动态最优分配Q–学习算法

控制性能标准(control performance standard,CPS)下互联电网调度端的自动发电控制(automatic generation control,AGC)指令(简称CPS指令)到各类型AGC机组的动态优化分配是随机最优问题。将CPS指令分配的连续控制过程离散化,并可将其看作是一个离散时间马尔可夫决策过程,提出应用基于Q–学习的动态控制方法。根据优化目标的差异,设计不同的奖励函数,并将其引入到算法当中,有效结合水、火电机组的调节特性,并考虑水电机组的调节裕度,提高AGC系统调节能力。遗传算法和工程实用方法在标准两区域模型及南方电网模型的仿真研究显示,Q–学习有效提高了系统的适应性、鲁棒性和CPS考核合格率。