Robot learning from demonstration for path planning: A review

Learning from demonstration(LfD) is an appealing method of helping robots learn new skills. Numerous papers have presented methods of LfD with good performance in robotics. However, complicated robot tasks that need to carefully regulate path planning strategies remain unanswered. Contact or non-contact constraints in specific robot tasks make the path planning problem more difficult, as the interaction between the robot and the environment is time-varying. In this paper, we focus on the path planning of complex robot tasks in the domain of LfD and give a novel perspective for classifying imitation learning and inverse reinforcement learning. This classification is based on constraints and obstacle avoidance. Finally, we summarize these methods and present promising directions for robot application and LfD theory.     

基于深度自动编码器与Q学习的移动机器人路径规划方法

针对移动机器人在静态未知环境中的路径规划问题,提出了一种将深度自动编码器( deep auto-encoder)与Q学习算法相结合的路径规划方法,即DAE-Q路径规划方法。利用深度自动编码器处理原始图像数据可得到移动机器人所处环境的特征信息;Q学习算法根据环境信息选择机器人要执行的动作,机器人移动到新的位置,改变其所处环境。机器人通过与环境的交互,实现自主学习。深度自动编码器与Q学习算法相结合,使系统可以处理原始图像数据并自主提取图像特征,提高了系统的自主性;同时,采用改进后的Q学习算法提高了系统收敛速度,缩短了学习时间。仿真实验验证了此方法的有效性。     

自适应蚁群算法在空间机器人路径规划中的应用

为了弥补传统路径规划方法缺乏足够鲁棒性的问题,采用自适应蚁群算法实现了空间机器人路径规划.针对传统蚁群算法在计算初期出现停滞的现象,修改了信息激素物质的更新方法.自适应蚁群算法根据学习次数和与最近障碍物的距离来调节信息激素物质.仿真结果表明,该算法在采用较少蚂蚁的情况下,与一般蚁群算法相比,能够快速找到理想路径.     

Intelligent learning technique based-on fuzzy logic for multi-robot path planning

0　ＩＮＴＲＯＤＵＣＴＩＯＮＡｃｔｕａｌｌｙ,ｍｏｒｅａｎｄｍｏｒｅｇａｍｅｒｏｂｏｔｓｙｓｔｅｍｓａｒｅｓｈｏｗｎｏｕｔｉｎｔｈｅｗｏｒｌｄ .Ｏｆｔｈｅｍ ,ｓｏｃｃｅｒｒｏｂｏｔｓｙｓｔｅｍｓａｒｅｔｈｅｍｏｓｔｐｏｐｕｌａｒｏｎｅｓ .Ｓｏｍｅｗｏｒｌｄａｓｓｏｃｉａｔｉｏｎｓｏｆｓｏｃｃｅｒｒｏｂｏｔｈａｖｅｂｅｅｎｏｒｇａｎｉｚｅｄ .Ｔｈｅｉｒｃｏｍｐｅｔｉｔｉｏｎｓａｒｅｈｏｌｄｉｎｍａｎｙｃｏｕｎｔｒｉｅｓｅａｃｈｙｅａｒ.Ｓｏｃｃｅｒｒｏｂｏｔｓｙｓｔｅｍ(ＳＲＳ) (ｓｍａｌｌｓｉｚｅ)ｉ…     

Coordinated motion planning algorithm for multi arm free flying space robot system

０　ＩＮＴＲＯＤＵＣＴＩＯＮＲｅｃｅｎｔｌｙ,ｍｕｃｈａｔｔｅｎｔｉｏｎｉｓｐａｉｄｔｏｓｐａｃｅｒｏｂｏｔ（ＳＲ）ｂｅｃａｕｓｅｔｈｅｙｃａｎｔａｋｅｔｈｅｐｌａｃｅｏｆａｓｔｒｏｎａｕｔｓｏｒｒｅｄｕｃｅｔｈｅｉｒｗｏｒｋｌｏａｄｏｎｓｐａｃｅ...     

增强蚁群算法的机器人最优路径规划

为解决复杂环境中机器人最优路径规划问题,本文结合增强学习和人工势场法的原理,提出一种基于增强势场优化的机器人路径规划方法,引入增强学习思想对人工势场法进行自适应路径规划.再把该规划结果作为先验知识,对蚁群算法进行初始化,提高了蚁群算法的优化效率,同时克服了传统人工势场法的局部极小问题.仿真实验结果表明,该方法在复杂环境中,对机器人的路径规划效果令人满意.     

Hierarchical robot control structure and Newton's divided difference approach to robot path planning

0　ＩＮＴＲＯＤＵＣＴＩＯＮＴｈｅＲｏｂｏｔＳｏｃｃｅｒＳｙｓｔｅｍｉｓｕｓｅｄａｓａｐｏｉｎｔｏｆｒｅｆ ｅｒｅｎｃｅｆｏｒｔｈｅｓｔｕｄｙｏｆｍｕｌｔｉ ａｇｅｎｔｓｙｓｔｅｍ .Ｓｏｃｃｅｒｉｓｏｎｅｏｆｔｈｅｓｔａｎｄａｒｄｐｒｏｂｌｅｍｓｆｏｒｓｔｕｄｙｏｎｍｕｌｔｉ ａｇｅｎｔｓｙｓ ｔｅｍｓ,ｗｈｉｃｈｃａｎｂｅｕｓｅｄａｓａｂｅｎｃｈｍａｒｋ .Ｓｕｃｈａｓｙｓ ｔｅｍｒｅｑｕｉｒｅｓｔｈｅｎｅｅｄｆｏｒｃｏｏｒｄｉｎａｔｉｏｎｆｒｏｍｔｈｅｌｏｗ ｌｅｖｅｌｋｉｎｅｍａｔｉｃｓａｎｄｄｙｎ…     

Solution to reinforcement learning problems with artificial potential field

A novel method was designed to solve reinforcement learning problems with artificial potential field. Firstly a reinforcement learning problem was transferred to a path planning problem by using artificial potential field（APF）, which was a very appropriate method to model a reinforcement learning problem. Secondly, a new APF algorithm was proposed to overcome the local minimum problem in the potential field methods with a virtual water-flow concept. The performance of this new method was tested by a gridworld problem named as key and door maze. The experimental results show that within 45 trials, good and deterministic policies are found in almost all simulations. In comparison with WIERING＇s HQ-learning system which needs 20 000 trials for stable solution, the proposed new method can obtain optimal and stable policy far more quickly than HQ-learning. Therefore, the new method is simple and effective to give an optimal solution to the reinforcement learning problem.     

基于遗传算法的机器人动态路径规划的仿真

提出一种基于遗传算法的移动机器人的路径规划方法。该方法采用实数编码的方法。有明确物理意义的适应度函数，以加快实时的运算速度和提高运算精度。该方法充分挖掘可应用遗传算法解决移动机器人动态路径规划的潜力。通过计算机仿真表明该控制方法具有良好的动态路径规划能力。     

基于Q学习算法和遗传算法的动态环境路径规划

针对Q学习算法在动态连续环境中应用时因状态连续、数量过多,导致Q值表出现存储空间不足和维数灾的问题,提出了一种新的Q值表设计方法,并设计了适用于连续环境的R值和动作.不同于以状态-动作为索引,将时间离散化为时刻,以时刻-动作为索引来建立Q值表.将在某状态应选择某一动作的问题转化为在某时刻应选择某一动作的问题,实现了Q学习算法在动态连续环境中的应用.采用了先利用遗传算法进行静态全局路径规划,然后利用Q学习算法进行动态避障.整个方法为一种先"离线"后"在线"的分层路径规划方法,成功实现了移动机器人的路径规划.仿真结果验证了所提出方法的有效性.     

一种基于APGA的移动机器人路径规划算法

提出了基于自适应并行遗传算法的移动机器人路径规划算法,其基本思想是结合多种群并行进化及自适应调整控制参数,提高了搜索的范围和效率,缓解了传统遗传算法早熟收敛问题,从而克服了使用单种群遗传算法进行路径规划的不足．实验结果表明了该算法在移动机器人路径规划中的可行性和有效性．     

一种改进dueling网络的机器人避障方法

针对传统增强学习方法在运动规划领域,尤其是机器人避障问题上存在容易过估计、难以适应复杂环境等不足,提出了一种基于深度增强学习的提升机器人避障性能的新算法模型。该模型将dueling神经网络架构与传统增强学习算法Q学习相结合,并利用两个独立训练的dueling网络处理环境数据来预测动作值,在输出层分别输出状态值和动作优势值,并将两者结合输出最终动作值。该模型能处理较高维度数据以适应复杂多变的环境,并输出优势动作供机器人选择以获得更高的累积奖励。实验结果表明,该新算法模型能有效地提升机器人避障性能。     

基于GIS地图的移动机器人路径规划

针对移动机器人路径规划实现条件的限制,提出基于GIS（geographicinformationsystem）地图的移动机器人路径规划．该方法应用改进A’算法,较好地实现了移动机器人的最优路径规划．在任意给定的地图中,只要确定了机器人的起点和终点,就可以找到该机器人在实际工作环境中符合需求的路径规划轨迹．应用VC＋＋编程进行实验,证明了该方法的有效性．     

基于避障切换控制的移动机器人路径规划

移动机器人能够感知周围的环境,并能够实时的规划路径到达目标点,其中避碍问题是研究的热点。设计了一种在没有详细的环境信息的情况下,移动机器人避障过程中路径规划转换的控制方案,该方案机器人可以根据运动跟踪模式、避障模式及机器人状态选择逐渐逼近目标点,在尽可能出现的任何形状障碍物情况下用Matlab软件仿真实验。 实验结果表明,提出的自适应路径规划控制方案的有效性。     

复杂环境下解决势场法局部极小问题的路径规划方法

多年来势场法路径规划的局部极小问题就一直被广泛关注,针对人工势场法所固有的缺陷提出了一种改进的移动机器人路径规划方法.方法利用膨胀与腐蚀算法对机器人的工作空间进行预处理,来优化工作环境,并使用改进的势场法进行机器人导航,以改善其运动轨迹;另外通过设置子目标点使陷入局部极小的机器人快速"逃离"极小状态.仿真结果表明本文算法在复杂环境下解决机器人路径规划的局部极小问题是有效的.     

基于深度强化学习的移动机器人轨迹跟踪和动态避障

针对移动机器人在局部可观测的非线性动态环境下,实现轨迹跟踪和动态避障时容易出错和不稳定的问题,提出了基于深度强化学习的视觉感知与决策方法.该方法以一种通用的形式将卷积神经网络的感知能力与强化学习的决策能力结合在一起,通过端对端的学习方式实现从环境的视觉感知输入到动作的直接输出控制,将系统环境感知与决策控制直接形成闭环,其中最优决策策略是通过最大化机器人与动力学环境交互的累计奖回报中学习获得.仿真实验结果证明,该方法可以满足多任务智能感知与决策要求,较好地解决了传统算法存在的容易陷入局部最优、在相近的障碍物群中震荡且不能识别路径、在狭窄通道中摆动以及障碍物附近目标不可达等问题,并且大大提高了机器人轨迹跟踪和动态避障的实时性和适应性.     

Adaptive genetic algorithm for path planning of loosely coordinated multi-robot manipulators

0　ＩＮＴＲＯＤＵＣＴＩＯＮＵｓｉｎｇｍｕｌｔｉｐｌｅｒｏｂｏｔｓｉｎｃｏｏｒｄｉｎａｔｅｄｍａｎｎｅｒｃａｎｉｎ ｃｒｅａｓｅｐｒｏｄｕｃｔｉｖｉｔｙａｎｄｉｍｐｒｏｖｅｔｈｅｖｅｒｓａｔｉｌｉｔｙｉｎａｐｐｌｉｃａ ｔｉｏｎｔｏｃｏｍｐｌｅｘｔａｓｋｓ.Ｔｙｐｉｃａｌｌｙ ,ａｍｕｌｔｉ ｒｏｂｏｔｅｎｖｉｒｏｎ ｍｅｎｔｃｏｎｔａｉｎｓｔｗｏｔｙｐｅｓｏｆｃｏｏｒｄｉｎａｔｉｏｎｂｅｔｗｅｅｎｒｏｂｏｔｍａｎｉｐｕｌａｔｏｒｓ:ｔｉｇｈｔｃｏｏｒｄｉｎａｔｉｏｎａｎｄｌｏｏｓｅｃｏｏｒｄｉｎａｔｉ…     

基于分层强化学习的多移动机器人避障算法

介绍了一种基于分层思想的强化学习方法,即将机器人的复杂行为分解为一系列简单的行为进行离线独立学习,并分别设计了每个层次的结构、参数及函数。这种学习方法能够减小状态空间并简化强化函数的设计,从而提高了学习的速率以及学习结果的准确性,并使学习过程实现了决策的逐步求精。最后以多机器人避障为任务模型,将避障问题分解为躲避静态和动态障碍物以及向目标点靠近3个子行为分别进行学习,实现了机器人的自适应行为融合,并利用仿真实验对其有效性进行了验证。     

连续动作强化学习及其在机器人中的应用研究

讨论了连续动作的强化学习系统实现及学习方法。首先介绍了连续动作的强化学习系统的组成原理,讨论了采用神经网络实现强化学习系统的方法,然后,介绍了强化学习机制在智能机器人避碰行为学习系统中的应用,并给出了系统的仿真结果。仿真结果表明机器人具有较好的避碰能力。     

世界坐标系下非完整轮式移动机器人转弯轨迹的时域非微分描述方程

为了解决机器人路径规划模块在为非完整轮式移动机器人规划路径时,若要实现规划轨迹平滑且完全满足机器人的运动学约束,则需要精确的机器人工作环境的地图信息,从而大幅度地增加了路径规划算法的计算量的问题,首先利用较为粗略的环境地图信息规划路径,再将机器人转弯部分的路径进行函数插值,使整个路径规划满足机器人运动学约束且计算量增加较少.现有的机器人轨迹描述方程不能满足对机器人转弯轨迹进行精确插值的需要,因此提出分别利用曲线拟合法和泰勒插值法来构建非完整轮式移动机器人转弯轨迹的时域非微分描述方程.实验结果显示,所述机器人轨迹非微分时域描述方程可以用于对机器人路径规划的插值,降低了算法的计算量.