基于路径边沿引导策略的蛇形机器人路径跟踪方法

为了控制蛇形机器人在路径边沿的引导下沿着期望路径运动,在基于角度对称性调节的方向控制方法的基础上,提出路径边沿引导策略.随着蛇形机器人的运动,路径的2个边沿交替作为有效边沿.利用传感器检测有效边沿,根据有效边沿获得临时目标点.临时目标点随着机器人的运动沿有效边沿不断更新.不断更新的临时目标点确定了路径的延伸方向.将临时目标点引入方向控制参数,从而使机器人根据路径边沿调节运动方向.仿真显示蛇形机器人能够在摩擦系数未知的地面上根据路径边沿调整运动方向.仿真结果验证该方法不仅能实现蛇形机器人跟踪期望路径,而且能实现蛇形机器人跟踪期望路径的中心线.     

水下滑翔蛇形机器人滑翔控制的强化学习方法

研究了一种强化学习算法,用于水下滑翔蛇形机器人的滑翔运动控制.针对水动力环境难以建模的问题,使用强化学习方法使水下滑翔蛇形机器人自适应复杂的水环境,并自动学习仅通过调节浮力来控制滑翔运动.对此,提出了循环神经网络蒙特卡洛策略梯度算法,改善了由于机器人的状态难以完全观测而导致的算法难以训练的问题,并将水下滑翔蛇形机器人的基本滑翔动作控制问题近似为马尔可夫决策过程,从而得到有效的滑翔控制策略.通过仿真和实验证明了所提出方法的有效性.     

基于改进蛇形曲线的蛇形机器人在流场中避障的轨迹跟踪控制律

针对蛇形机器人在流场中各关节之间的轨迹跟踪问题,研究一种基于改进蛇形曲线的蛇形机器人在流场中避障的轨迹跟踪控制律.首先,考虑流体环境可能施加在蛇形机器人系统上的外部干扰,采用浸入边界-格子Boltzmann方法(IB-LBM)在流场中建立障碍通道和蛇形机器人的流固耦合模型.然后,对蛇形机器人加入势函数,使其可以避开障碍;并采用改进的蛇形曲线方程使机器人尾部各关节跟踪头部的运动轨迹.最后,通过Matlab仿真和实验,研究不同流场密度、机器人尾部摆动频率以及流场雷诺数等参数对蛇形机器人轨迹跟踪的影响.理论分析和数值仿真表明,所设计的轨迹跟踪控制律不仅可以使蛇形机器人在遇到障碍时各关节跟踪前一关节的运动轨迹,而且还能使横向距离、纵向距离及方向角趋于稳定,达到有效避障的目的.此外,蛇形机器人在离开障碍通道后,各关节可以恢复蛇形曲线的运动形式,为蛇形机器人提供源源不断的前进动力.仿真和实验结果验证了轨迹跟踪控制律的有效性.     

基于能量的蛇形机器人蜿蜒运动控制方法的仿真与实验研究

能量作为最基本的物理量之一, 联系着蛇形机器人蜿蜒运动的各个方面. 能量耗散描述了环境交互作用, 能量转换对应着运动的动力学过程, 能量平衡反映了蜿蜒运动的协调性. 提出一种基于能量的蛇形机器人蜿蜒运动控制方法-被动蜿蜒. 通过输出关节力矩控制机器人蜿蜒运动, 由机器人的能量状态调整力矩的大小. 仿真结果显示了被动蜿蜒控制下机器人的构形、角度、力矩、能量状态和转弯特性, 并对控制力矩进行了递归分析. 基于Optotrak运动测量系统构建了被动蜿蜒控制的模拟/物理混合实验系统. 进行了移动实验和拖动实验, 前者改变环境的摩擦特性,后者改变机器人的负载. 仿真和实验验证了蛇形机器人被动蜿蜒控制的有效性和适应性.     

基于目标的域随机化方法在机器人操作方面的研究

使用强化学习解决机器人操作问题有着诸多优势,然而传统的强化学习算法面临着奖励稀疏的困难,且得到的策略难以直接应用到现实环境中。为了提高策略从仿真到现实迁移的成功率,提出了基于目标的域随机化方法：使用基于目标的强化学习算法对模型进行训练,可以有效地应对机器人操作任务奖励稀疏的情况,得到的策略可以在仿真环境下良好运行,与此同时在算法中还使用了目标驱动的域随机化方法,在提高策略泛用性以及克服仿真和现实环境之间的差距上有着良好的效果,仿真环境下的策略容易迁移到现实环境中并成功执行。结果表明,使用了基于目标的域随机化方法的强化学习算法有助于提高策略从仿真到现实迁移的成功率。     

基于神经网络的机器人路径规划算法

机器人路径规划技术是机器人研究的一个重要领域.针对未知的全局环境,使机器路径最优化,利用机器人传感器网络建立可视区域,将整体任务分解为环境信息已知的一系列子任务,利用神经网络高速并行计算的优点,建立神经网络罚函数,提出一种实时性较高的变参数方法离散化求取罚函数的负梯度方向,控制机器人快速高效地完成子任务,从而驱使机器人到达目标点并进行仿真.仿真结果证明了复杂环境静态和动态目标指引下方法的有效性和实用性,特别适用于实时性要求高的场合.     

未知环境下基于有先验知识的滚动Q学习机器人路径规划

提出一种未知环境下基于有先验知识的滚动Q学习机器人路径规划算法.该算法在对Q值初始化时加入对环境的先验知识作为搜索启发信息,以避免学习初期的盲目性,可以提高收敛速度.同时,以滚动学习的方法解决大规模环境下机器人视野域范围有限以及因Q学习的状态空间增大而产生的维数灾难等问题.仿真实验结果表明,应用该算法,机器人可在复杂的未知环境中快速地规划出一条从起点到终点的优化避障路径,效果令人满意.     

未知环境下基于椭圆约束的机器人路径规划

针对未知环境下机器人路径规划问题,提出一种基于椭圆约束的路径规划方法。借助椭圆约束规划路径,将路径规划问题转化为椭圆参数优化问题。通过建立椭圆约束优化模型,引入障碍物和目标位置的约束,考虑机器人运动步长及运动方向的影响,实现复杂未知环境下机器人路径规划。基于不同算法的仿真实验结果表明,该方法有效解决了未知环境下机器人路径规划问题,在大量障碍物存在的未知环境,也能快速有效地进行无碰撞路径规划。     

一种基于混合学习策略的移动机器人路径规划方法

针对未知环境下移动机器人路径规划问题,以操作条件反射学习机制为基础,根据模糊推理系统和学习自动机的原理,提出一种应用于移动机器人导航的混合学习策略.运用仿生的自组织学习方法,通过不断与外界未知环境交互从而使机器人具有自学习和自适应的功能.仿真结果表明,该方法能使机器人学会避障和目标导航任务,与传统的人工势场法相比,能有效地克服局部极小和振荡情况.     

蛇形机器人蜿蜒运动控制分析

针对蛇形机器人的蜿蜒运动控制,首先分析了关节角度约束对运动控制函数参数取值的限制,确定了满足机械结构的运动控制参数范围;之后在Adams仿真环境下,建立蛇形机器人的三维虚拟运动模型,进行蜿蜒运动仿真,通过分析幅值控制参数对蛇形机器人弯曲度、运动速度和运动轨迹偏移的影响,提出了调整幅值参数的方法;实验结果表明,调整方法的有效性,从而实现蛇形机器人蜿蜒运动控制的优化。     

Reinforcement learning in dynamic environment: abstraction of state-action space utilizing properties of the robot body and environment

In this paper, we address the autonomous control of a 3D snake-like robot through the use of reinforcement learning, and we apply it in a dynamic environment. In general, snake-like robots have high mobility that is realized by many degrees of freedom, and they can move over dynamically shifting environments such as rubble. However, this freedom and flexibility leads to a state explosion problem, and the complexity of the dynamic environment leads to incomplete learning by the robot. To solve these problems, we focus on the properties of the actual operating environment and the dynamics of a mechanical body. We design the body of the robot so that it can abstract small, but necessary state-action space by utilizing these properties, and we make it possible to apply reinforcement learning. To demonstrate the effectiveness of the proposed snake-like robot, we conduct experiments; from the experimental results we conclude that learning is completed within a reasonable time, and that effective behaviors for the robot to adapt itself to an unknown 3D dynamic environment were realized.     

基于人工势场与IB-LBM的机器蛇水中2D避障控制算法

为了提高多冗余度、多自由度机器蛇水下环境运动适应能力,提出了基于人工势场与IB-LBM （immersed boundary method-lattice Boltzmann method）相结合的机器蛇水中2D智能避障算法.首先,采用格子Boltzmann方法描述2D水中障碍模型、构造统一形式.然后,运用浸入边界法,结合现有的蛇形曲线运动方程,在计入人工势场法引力和斥力作用的情况下,推导得到机器蛇2D水中避障模型.之后,通过改变障碍影响距离、机器蛇摆动振幅、摆动频率、障碍点斥力增益系数、雷诺数以及目标点引力增益系数等重要参数,研究机器蛇在不同情况下的避障效率和避障安全性.最后,通过多次仿真求取各项参数的最优值.仿真结果表明,在各项参数都最优时,该算法能使机器蛇快速、安全、有效地避开水下复杂环境中的静态障碍而到达目标点.该方法不仅能够充分研究机器蛇在水中的流固耦合特性,获得实时避障效果,而且能够利用已知的环境信息生成最优路径.     

基于DDPG算法的路径规划研究

路径规划是人工智能领域的一个经典问题,在国防军事、道路交通、机器人仿真等诸多领域有着广泛应用,然而现有的路径规划算法大多存在着环境单一、离散的动作空间、需要人工构筑模型的问题。强化学习是一种无须人工提供训练数据自行与环境交互的机器学习方法,深度强化学习的发展更使得其解决现实问题的能力得到进一步提升,本文将深度强化学习的DDPG(Deep Deterministic Policy Gradient)算法应用到路径规划领域,完成了连续空间、复杂环境的路径规划。     

改进深度强化学习的室内移动机器人路径规划

为了解决传统深度强化学习在室内未知环境下移动机器人路径规划中存在探索能力差和环境状态空间奖励稀疏的问题,提出了一种基于深度图像信息的改进深度强化学习算法。利用Kinect视觉传感器直接获取的深度图像信息和目标位置信息作为网络的输入,以机器人的线速度和角速度作为下一步动作指令的输出。设计了改进的奖惩函数,提高了算法的奖励值,优化了状态空间,在一定程度上缓解了奖励稀疏的问题。仿真结果表明,改进算法提高了机器人的探索能力,优化了路径轨迹,使机器人有效地避开了障碍物,规划出更短的路径,简单环境下比DQN算法的平均路径长度缩短了21.4%,复杂环境下平均路径长度缩短了11.3%。     

基于分层强化学习及人工势场的多Agent路径规划方法

针对路径规划算法收敛速度慢及效率低的问题,提出了一种基于分层强化学习及人工势场的多Agent路径规划算法。首先,将多Agent的运行环境虚拟为一个人工势能场,根据先验知识确定每点的势能值,它代表最优策略可获得的最大回报;其次,利用分层强化学习方法的无环境模型学习以及局部更新能力将策略更新过程限制在规模较小的局部空间或维度较低的高层空间上,提高学习算法的性能;最后,针对出租车问题在栅格环境中对所提算法进行了仿真实验。为了使算法贴近真实环境,增加算法的可移植性,在三维仿真环境中对该算法进行验证,实验结果表明该算法收敛速度快,收敛过程稳定。     

基于深度Q网络和人工势场的移动机器人路径规划研究

随着移动机器人在各个领域的研究与发展,人们对移动机器人路径规划的能力提出了更高的要求;为了解决传统的深度Q网络算法在未知环境下,应用于自主移动机器人路径规划时存在的收敛速度慢、训练前期产生较大迭代空间、迭代的次数多等问题,在传统DQN算法初始化Q值时,加入人工势场法的引力势场来协助初始化环境先验信息,进而可以引导移动机器人向目标点运动,来减少算法在最初几轮探索中形成的大批无效迭代,进而减少迭代次数,加快收敛速度;在栅格地图环境中应用pytorch框架验证加入初始引力势场的改进DQN算法路径规划效果;仿真实验结果表明,改进算法能在产生较小的迭代空间且较少的迭代次数后,快速有效地规划出一条从起点到目标点的最优路径。     

A cooperative behavior learning control of multi-robot using trace information

The distributed autonomous robotic system has superiority of robustness and adaptability to dynamical environment, however, the system requires the cooperative behavior mutually for optimality of the system. The acquisition of action by reinforcement learning is known as one of the approaches when the multi-robot works with cooperation mutually for a complex task. This paper deals with the transporting problem of the multi-robot using Q-learning algorithm in the reinforcement learning. When a robot carries luggage, we regard it as that the robot leaves a trace to the own migrational path, which trace has feature of volatility, and then, the other robot can use the trace information to help the robot, which carries luggage. To solve these problems on multi-agent reinforcement learning, the learning control method using stress antibody allotment reward is used. Moreover, we propose the trace information of the robot to urge cooperative behavior of the multi-robot to carry luggage to a destination in this paper. The effectiveness of the proposed method is shown by simulation. This work was presented in part at the 13th International Symposium on Artificial Life and Robotics, Oita, Japan, January 31–February 2, 2008     

基于改进深度强化学习的三维环境路径规划

提出一种改进深度强化学习算法(NDQN),解决传统Q-learning算法处理复杂地形中移动机器人路径规划时面临的维数灾难.提出一种将深度学习融于Q-learning框架中,以网络输出代替Q值表的深度强化学习方法.针对深度Q网络存在严重的过估计问题,利用更正函数对深度Q网络中的评价函数进行改进.将改进深度强化学习算法与...     

State-chain sequential feedback reinforcement learning for path planning of autonomous mobile robots

This paper deals with a new approach based on Q-learning for solving the problem of mobile robot path planning in complex unknown static environments.As a computational approach to learning through interaction with the environment,reinforcement learning algorithms have been widely used for intelligent robot control,especially in the field of autonomous mobile robots.However,the learning process is slow and cumbersome.For practical applications,rapid rates of convergence are required.Aiming at the problem of slow convergence and long learning time for Q-learning based mobile robot path planning,a state-chain sequential feedback Q-learning algorithm is proposed for quickly searching for the optimal path of mobile robots in complex unknown static environments.The state chain is built during the searching process.After one action is chosen and the reward is received,the Q-values of the state-action pairs on the previously built state chain are sequentially updated with one-step Q-learning.With the increasing number of Q-values updated after one action,the number of actual steps for convergence decreases and thus,the learning time decreases,where a step is a state transition.Extensive simulations validate the efficiency of the newly proposed approach for mobile robot path planning in complex environments.The results show that the new approach has a high convergence speed and that the robot can find the collision-free optimal path in complex unknown static environments with much shorter time,compared with the one-step Q-learning algorithm and the Q(λ)-learning algorithm.     

基于深度强化学习的移动机器人导航策略研究

针对移动机器人在复杂动态变化的环境下导航的局限性,采用了一种将深度学习和强化学习结合起来的深度强化学习方法。研究以在OpenCV平台下搭建的仿真环境的图像作为输入数据,输入至TensorFlow创建的卷积神经网络模型中处理,提取其中的机器人的动作状态信息,结合强化学习的决策能力求出最佳导航策略。仿真实验结果表明：在经过深度强化学习的方法训练后,移动机器人在环境发生了部分场景变化时,依然能够实现随机起点到随机终点的高效准确的导航。