融合元学习和PPO算法的四足机器人运动技能学习方法

具备学习能力是高等动物智能的典型表现特征, 为探明四足动物运动技能学习机理, 本文对四足机器人步 态学习任务进行研究, 复现了四足动物的节律步态学习过程. 近年来, 近端策略优化(PPO)算法作为深度强化学习 的典型代表, 普遍被用于四足机器人步态学习任务, 实验效果较好且仅需较少的超参数. 然而, 在多维输入输出场 景下, 其容易收敛到局部最优点, 表现为四足机器人学习到步态节律信号杂乱且重心震荡严重. 为解决上述问题, 在元学习启发下, 基于元学习具有刻画学习过程高维抽象表征优势, 本文提出了一种融合元学习和PPO思想的元近 端策略优化(MPPO)算法, 该算法可以让四足机器人进化学习到更优步态. 在PyBullet仿真平台上的仿真实验结果表 明, 本文提出的算法可以使四足机器人学会行走运动技能, 且与柔性行动者评价器(SAC)和PPO算法的对比实验显 示, 本文提出的MPPO算法具有步态节律信号更规律、行走速度更快等优势.     

基于深度Q网络的仿人机器人步态优化

为实现仿人机器人快速稳定的行走，在满足有效参数组合的条件下，提出一种基于深度强化学习的步行参数训练算法以优化机器人步态。首先，从环境中捕获机器人步态模型参数作为DQN的输入；然后，用DQN来拟合机器人行走产生的状态-动作值函数；最后，通过动作选择策略选择当前机器人执行的步态动作，同时产生奖励函数达到更新DQN的目的。选择NAO仿真机器人为实验对象，在RoboCup3D仿真平台上进行实验，结果证明在此算法下，NAO仿人机器人可以获得稳定的双足步行。     

基于改进蚁群算法的四足机器人步态规划

四足机器人关节众多、运动方式复杂,步态规划是四足机器人运动控制的基础。传统的算法多基于仿生原理,缺乏广泛适应性。 在建立运动学方程的基础上,提出了一种基于改进蚁群算法的步态规划算法。该算法利用了四足机器人4条腿运动的线性无关性,将步态规划问题转换为在四维空间里求取最长路径问题。仿真结果表明,该算法得出了满足约束条件的所有步态,最后通过机器人样机检验,验证了该算法求取结果的有效性和合理性。     

控制六足仿生机器人三角步态的研究

基于仿生学原理,在分析六足昆虫运动机理的基础上,对六足仿生机器人的三角步态运动原理进行了分析.论文涉及六腿机器人步态研究的一些基本参数的描述,讨论了用相对运动的原理研究步态的方法,结合慧鱼机器人组合包中的构件拼出六足仿生机器人.该机器人模型结构简单,设计独特,能前进和后退,且能避开小型障碍物.基于三角步态运动原理对其进行了反复实验,实验结果表明六足仿生机器人具有较好的机动性和稳定性.     

基于深度强化学习的动态装配算法

针对动态装配环境中存在的复杂、动态的噪声扰动,提出一种基于深度强化学习的动态装配算法。将一段时间内的接触力作为状态,通过长短时记忆网络进行运动特征提取;定义序列贴现因子,对之前时刻的分奖励进行加权得到当前时刻的奖励值;模型输出的动作为笛卡尔空间位移,使用逆运动学调整机器人到达期望位置。与此同时,提出一种对带有资格迹的时序差分算法改进的神经网络参数更新方法,可缩短模型训练时间。在实验部分,首先在圆孔–轴的简单环境中进行预训练,随后在真实场景下继续训练。实验证明提出的方法可以很好地适应动态装配任务中柔性、动态的装配环境。     

基于deep Q-network双足机器人非平整地面行走稳定性控制方法

针对双足机器人在非平整地面行走时容易失去运动稳定性的问题,提出一种基于一种基于价值的深度强化学习算法DQN（Deep Q-Network）的步态控制方法。首先通过机器人步态规划得到针对平整地面环境的离线步态,然后将双足机器人视为一个智能体,建立机器人环境空间、状态空间、动作空间及奖惩机制,该过程与传统控制方法相比无需复杂的动力学建模过程,最后经过多回合训练使双足机器人学会在不平整地面进行姿态调整,保证行走稳定性。在V-Rep仿真环境中进行了算法验证,双足机器人在非平整地面行走过程中,通过DQN步态调整学习算法,姿态角度波动范围在3°以内,结果表明双足机器人行走稳定性得到明显改善,实现了机器人的姿态调整行为学习,证明了该方法的有效性。     

水下滑翔蛇形机器人滑翔控制的强化学习方法

研究了一种强化学习算法,用于水下滑翔蛇形机器人的滑翔运动控制.针对水动力环境难以建模的问题,使用强化学习方法使水下滑翔蛇形机器人自适应复杂的水环境,并自动学习仅通过调节浮力来控制滑翔运动.对此,提出了循环神经网络蒙特卡洛策略梯度算法,改善了由于机器人的状态难以完全观测而导致的算法难以训练的问题,并将水下滑翔蛇形机器人的基本滑翔动作控制问题近似为马尔可夫决策过程,从而得到有效的滑翔控制策略.通过仿真和实验证明了所提出方法的有效性.     

六足仿生蟑螂机器人设计

介绍了一款基于单片机控制的六足仿生蟑螂机器人。该机器人在外形和足部结构上仿生蟑螂,六足均匀分布于身体两侧,每足给出了3个自由度;机器人的步态采用经典的三足步态法;该运动控制器由STC12C5A60S2单片机和舵机组成,采用多舵机分时控制的方法,机器人能实现按所设计的步态规划进行前进、后退、左转、右转等动作;同时添加了语音模块,机器人能在预定程序下随音乐进行舞蹈动作。     

基于离散化的六足机器人自由步态规划

为精细模仿生物步态,充分发挥六足机器人运动潜能,本文在离散化机器人足端轨迹的基础上,融合中枢模式发生器(central pattern generator,CPG)模型与反射模型的核心思想,建立了离散化步态模型,结合稳定性分析,构建了机器人稳定的位置状态空间,将复杂的步态规划问题转化为稳定的位置状态空间中位置状态间的排序问题,在此基础上,提出了一种新的自由步态生成算法,并基于平均稳定裕量对该算法进行了优化.样机步态实验结果表明,自由步态生成算法与自由步态优化算法均可生成在一定程度上符合生物运动特点的稳定步态,实现机器人运动过程中速度的动态调整,跨越宽度为步距的障碍,且基于平均稳定裕量的自由步态优化算法生成步态的稳定性要远大于自由步态生成算法.     

基于Adams的六足爬壁机器人的步态规划与仿真

针对桥梁检测的要求,设计出了一种可以在桥底爬行和检测的六足爬壁机器人,通过对六足爬壁机器人运动机理以及腿部结构的理论分析和研究,提出了适应于桥底爬行的横向三角步态和横向四角步态.其中横向四角步态是从横向三角步态改进而来的,与横向三角步态相比,横向四角步态有更好的稳定性和安全性,更适用于桥底作业的这种工作环境.采用UG设计软件和Adams仿真软件相结合的方式分别对以上两种步态进行了仿真,实验结果表明了所提出步态的有效性.     

Implementation of omnidirectional crawl for a quadruped robot

As a reptile animal crawls in a cluttered environment, so a quadruped robot should be able to crawl on an irregular ground profile with its static stability by adopting the straightgoing and standstill-turning free gaits. The generalized and explicit formulations for the automatic generation of straight-going gaits and various standstill-turning gaits are presented in this paper. The maximized stride for the straight-going gait and the maximum turning angle for the turning gait of a quadruped robot named TITAN-VIII in a gait cycle are discussed by considering the robot's mechanism constraints and the irregularities of the ground profile. The control algorithm, including control of the joint positions of the robot, is described to implement the desired walking path of the quadruped robot. The effectiveness of the proposed method is demonstrated through experimental result.     

具有2DOF铰接式躯干的仿猎豹四足奔跑机器人

为了探索脊柱运动对腿运动的增强机理,设计了具有2自由度铰接式躯干的仿猎豹四足奔跑机器人。对带腾空相的跳跃（bound）步态奔跑运动的力学过程进行描述,采用阻尼型弹性负载倒立摆（D-SLIP）模型建立了四足机器人动力学模型。依据猎豹的奔跑运动模式,对四足机器人脊柱关节与腿关节的耦合运动进行了轨迹规划。提出一种改进的粒子群优化（PSO）算法,解决了机器人脊柱关节驱动机构尺寸和运动轨迹控制参数之间目标互斥的嵌套优化问题。对四足机器人跳跃奔跑运动进行动力学仿真,结果表明：脊柱与腿的协调运动可以增大奔跑步幅,使机器人产生腾空相,从而提高机器人的奔跑速度。     

智能决策改进的四足机器人ZMP爬行步态算法

提出了一种基于反馈控制和贪婪决策的四足机器人爬行步态规划算法。该算法利用机载惯性传感器IMU（Inertial Measurement Unit）来实时计算零力矩点和姿态角,以稳态裕度为指标在支撑平面内实时规划期望零力矩点（Zero Moment Point,ZMP）轨迹,结合非线性反馈控制器实现对机体ZMP点的连续平滑调节,保证机器人在按给定速度矢量进行连续爬行的同时具有抵抗一定外力扰动的能力。步态规划采用动态步态周期,基于机器人结构约束和贪婪决策实现跨腿的自动触发,提高了步态自适应性。最终通过样机行走实验验证了所提算法应用于微型四足机器人中的可行性,机器人实现了在平坦地面上稳定地全向行走和旋转,所提算法同时兼顾了自适应性和稳定裕度。     

基于RBF-Q学习的四足机器人运动协调控制

通过分析四足机器人运动协调的实现方式, 利用RBF网络和Q学习算法设计了一种足端跟踪理想轨迹的运动协调方法。其仿真结果表明, 该方法可以控制四足机器人足端对给定位移和速度轨迹的精确跟踪, 实现四足机器人的运动协调。     

六足仿生机器人机构与控制系统设计

由于六足仿生机器人的足数较多,控制其稳定行走较为复杂,针对控制六足机器人稳定行走的要求,该六足机器人的腿部是参照蚂蚁的腿部结构进行设计,并对其进行建模分析.整个系统在硬件上选取了Arduino、无线模块、显示模块、舵机控制板等;软件上选用Qt Creator在上位机上编程,用于远程遥控六足机器人及观察其行走状态变化;在步态控制上采用了三角步态控制算法.通过设计机械结构、建模分析以及硬件、软件和算法的结合,实现了六足仿生机器人的稳定行走.     

Adaptive walking control of quadruped robots based on central pattern generator （CPG） and reflex

This paper presents a central pattern generator (CPG) and vestibular reflex combined control strategy for a quadruped robot. An oscillator network and a knee-to-hip mapping function are presented to realize the rhythmic motion for the quadruped robot. A two-phase parameter tuning method is designed to adjust the parameters of oscillator network. First, based on the numerical simulation, the influences of the parameters on the output signals are analyzed, then the genetic algorithm (GA) is used to evolve the phase relationships of the oscillators to realize the basic animal-like walking pattern. Moreover, the animal’s vestibular reflex mechanism is mimicked to realize the adaptive walking of the quadruped robot on a slope terrain. Coupled with the sensory feedback information, the robot can walk up and down the slope smoothly. The presented bio-inspired control method is validated through simulations and experiments with AIBO. Under the control of the presented CPG and vestibular reflex combined control method, AIBO can cope with slipping, falling down and walk on a slope successfully, which demonstrates the effectiveness of the proposed walking control method.     

动态FOCPA学习系统设计及在机器人运动平衡控制中的应用

针对仿生自主学习系统的自组织和泛化能力问题,基于Skinner操作条件反射原理和模糊聚类算法设计了动态FOCPA（fuzzy operant conditioning probabilistic automaton）仿生自主学习系统。动态FOCPA学习系统不仅具有仿生的自学习和自组织能力,而且提高了学习的精度和速度。其在仅能获得环境微弱反馈信息的前提下,首先采用在线聚类的方法实现对输入空间的灵活划分,以确保映射规则的数目是最经济的;然后以取向值为评价信号,采用OC学习算法,在线自主学习输入状态到输出操作行为的最佳映射,并加入一个高斯噪声项对映射结果进行实时优化。此外,动态FOCPA学习系统还利用信息熵的评价能力,来验证自身的自学习和自组织能力。理论上分析了设计的OC学习算法的收敛性;通过对两轮柔性直立式机器人姿态平衡控制和速度控制的实验分析,验证了动态FOCPA学习系统的有效性。     

结合优势结构和最小目标Q值的深度强化学习导航算法

针对现有基于策略梯度的深度强化学习方法应用于办公室、走廊等室内复杂场景下的机器人导航时,存在训练时间长、学习效率低的问题,本文提出了一种结合优势结构和最小化目标Q值的深度强化学习导航算法.该算法将优势结构引入到基于策略梯度的深度强化学习算法中,以区分同一状态价值下的动作差异,提升学习效率,并且在多目标导航场景中,对状态价值进行单独估计,利用地图信息提供更准确的价值判断.同时,针对离散控制中缓解目标Q值过估计方法在强化学习主流的Actor-Critic框架下难以奏效,设计了基于高斯平滑的最小目标Q值方法,以减小过估计对训练的影响.实验结果表明本文算法能够有效加快学习速率,在单目标、多目标连续导航训练过程中,收敛速度上都优于柔性演员评论家算法(SAC),双延迟深度策略性梯度算法(TD3),深度确定性策略梯度算法(DDPG),并使移动机器人有效远离障碍物,训练得到的导航模型具备较好的泛化能力.     

四足机器人对角小跑步态非线性控制方法仿真

针对现有的四足机器人对角小跑步态控制方法存在的机器人运动速度较慢、灵活性较差等问题,提出了一种基于虚拟模型的四足机器人对角小跑步态非线性控制方法。方法需要构建一个四足机器人模型,并在该模型的工作范围内建立一个平面直角坐标系,在不考虑机器人足端车轮滑动的情况下,将驱动四足机器人的运动方程转换成矩阵的形式,寻找有界输入平动线速度和转动角速度,使矩阵在其控制下产生的误差可以在大范围内保持稳定。求解该四足机器人在工作平面坐标系中姿态误差的微分方程,构造该微分方程的Lyapunov函数并对其求导,根据求导结果设计一个四足机器人驱动控制器,通过该驱动控制器实现对四足机器人的对角小跑步态非线性控制。仿真结果表明,所提方法能够在快速、灵活的情况下实现对四足机器人对角小跑步态的非线性控制,且鲁棒性较高,能够满足用户需求。