双足机器人跨越动态障碍物在线控制系统设计

在双足机器人跨越动态障碍物的在线控制问题中,脚步规划和步态控制的学习时间是关键问题;提出了一种将机器人的步态控制和脚步规划分别独立设计的控制策略;步态控制目的是产生关节点轨迹并控制对理想轨迹的跟踪,考虑到双足机器人关节点轨迹的不连续性,应用小脑模型连接控制CMAC记忆特征步态的关节点轨迹;脚步规划的控制目标是通过对环境的视觉感知预测机器人的运动路径,算法是基于无需对动态环境精确建模的模糊Q学习算法;仿真结果表明该控制策略的可行性,并且可以有效缩短在线学习时间。     

基于deep Q-network双足机器人非平整地面行走稳定性控制方法

针对双足机器人在非平整地面行走时容易失去运动稳定性的问题,提出一种基于一种基于价值的深度强化学习算法DQN（Deep Q-Network）的步态控制方法。首先通过机器人步态规划得到针对平整地面环境的离线步态,然后将双足机器人视为一个智能体,建立机器人环境空间、状态空间、动作空间及奖惩机制,该过程与传统控制方法相比无需复杂的动力学建模过程,最后经过多回合训练使双足机器人学会在不平整地面进行姿态调整,保证行走稳定性。在V-Rep仿真环境中进行了算法验证,双足机器人在非平整地面行走过程中,通过DQN步态调整学习算法,姿态角度波动范围在3°以内,结果表明双足机器人行走稳定性得到明显改善,实现了机器人的姿态调整行为学习,证明了该方法的有效性。     

移动可伸缩三维倒立摆模型的双足机器人步态控制策略

双足机器人的步态控制策略是保证双足稳定行走的重要条件之一.结合人在行走时ZMP平稳移动的特性,建立了一种移动可伸缩三维倒立摆模型;在约束平面内分析ZMP与COG的运动关系,将ZMP和COG分别定为快变因子和慢变因子,提出了移动可伸缩三维倒立摆模型的双足机器人步态控制策略;最后通过Matlab/ADAMS进行了步态控制仿真研究.仿真结果表明双足机器人可以稳定地行走,验证了该步态控制策略的可行性.     

基于主—从控制的双足机器人动步态行走

本文给出一种基于主-从控制实现双足机器人动步态行走的控制方法.该方法计算量小,可以在线规划步态及实现双脚支撑期平滑的动态切换.仿真及实验结果验证了方法的有效性及可行性,实现了变步态动态行走.实验所采用的装置为 HLTR—13双足机器人.该机器人重65kg,高1.1m,具有12个自由度.实验结果表明,本文给出的方法能较好地实现变步态动态行走。从而使机器人具有较强的环境适应能力.     

基于深度强化学习的双足机器人斜坡步态控制方法

为提高准被动双足机器人斜坡步行稳定性, 本文提出了一种基于深度强化学习的准被动双足机器人步态控制方法. 通过分析准被动双足机器人的混合动力学模型与稳定行走过程, 建立了状态空间、动作空间、episode过程与奖励函数. 在利用基于DDPG改进的Ape-X DPG算法持续学习后, 准被动双足机器人能在较大斜坡范围内实现稳定行走. 仿真实验表明, Ape-X DPG无论是学习能力还是收敛速度均优于基于PER的DDPG. 同时, 相较于能量成型控制, 使用Ape-X DPG的准被动双足机器人步态收敛更迅速、步态收敛域更大, 证明Ape-X DPG可有效提高准被动双足机器人的步行稳定性.     

基于Fuzzy–CPG的双足机器人适应性行走控制

为提高双足机器人的环境适应性, 本文提出了一种基于模糊控制与中枢模式发生器(CPG)的混合控制策 略, 称之为Fuzzy–CPG算法. 高层控制中枢串联模糊控制系统, 将环境反馈信息映射为行走步态信息和CPG幅值参 数. 低层控制中枢CPG根据高层输出命令产生节律性信号, 作为机器人的关节控制信号. 通过机器人运动, 获取环境 信息并反馈给高层控制中枢, 产生下一步的运动命令. 在坡度和凹凸程度可变的仿真环境中进行混合控制策略的 实验验证, 结果表明, 本文提出的Fuzzy–CPG控制方法可以使机器人根据环境的变化产生适应的行走步态, 提高了 双足机器人的环境适应性行走能力.     

双足步行机器人控制器的改进与实现

文章首先指出二十四自由度双足机器人的控制器是该型机器人的核心,也是扩展该型机器人功能首先需要改进的部件,接着介绍了双足机器人的控制器硬件和软件的改进设计。文章比较详细地阐述了双足机器人步态轨迹控制与规划,并指出下一步的研究方向是如何控制双足步行机器人稳定地和健壮地在复杂环境里及粗糙地面上行走。     

动态双足机器人的控制与优化研究进展

对动态双足机器人的可控周期步态的稳定性、鲁棒性和优化控制策略的国内外研究现状与发展趋势进行了探讨.首先,介绍动态双足机器人的动力学数学模型,进一步,提出动态双足机器人运动步态和控制系统原理;其次,讨论动态双足机器人可控周期步态稳定性现有的研究方法,分析这些方法中存在的缺点与不足;再次,研究动态双足机器人的可控周期步态优化控制策略,阐明各种策略的优缺点;最后,给出动态双足机器人研究领域的难点问题和未来工作,展望动态双足机器人可控周期步态与鲁棒稳定性及其应用的研究思路.     

基于三维线性倒立摆的双足机器人步态规划

双足机器人的步态控制策略是保证双足稳定行走的重要条件之一.提出一种基于三维线性倒立摆模型的双足机器人步态规划的算法.首先简化了三维倒立摆模型,并且假设了步行周期起始状态的ZMP位置,然后通过运动方程推导出含参数的质心与时间的函数,再将机器人的步态规划简化到每个步行周期,通过每个周期的初始条件获得函数的相关参数,最后将此方法推广到带转向的步态规划中,并应用于实际Robocup3D比赛中.实验结果表明该方法具有可行性和有效性.     

仿生双足机器人步态轨迹自适应控制方法研究

仿生双足机器人的步态控制具有高阶、高耦合,以及不完整约束等复杂特征,为了使其行走性能更接近人体,基于模型分析提出了一种步态轨迹自适应控制方法.首先在人体步态变化对质心投影位置与质心角动量影响的基础上,引入倒立摆建立步态模型来模拟人体行走状态,同时推导出质心投影点位置与速度公式.然后为了实现步态轨迹自适应控制,对影响步态性能的稳定性、速度调整、能量消耗三个因素设计了相应的目标约束.在目标约束条件下,利用参考轨迹对机器人的步态控制参数进行自适应整定.并根据周期间的相位差异进行偏差调整,从而抑制步态控制的误差.最后通过仿真模拟仿生双足机器人的行走过程,证明提出的步态轨迹自适应控制方法能够合理有效的控制能量消耗和稳定调节,具有良好的步态平衡性能与抗扰动性能.     

一种小样本支持向量机控制器在两足机器人步态控制的研究

神经网络等传统的机器学习方法是基于样本数目无穷大的经验风险最小化原则,这对非确定环境下有限样本的步态学习控制非常不利．针对两足机器人面临的非确定环境适应性难题,提出了一种基于支持向量机（SVM）的两足机器人步态控制方法,解决了小样本条件下的步态学习控制问题．提出了一种基于混合核的步态回归方法,仿真研究表明了这种方法比全局核和局部核分别单独用于步态学习时有优越性．SVM以踝关节及髋关节的轨迹作为输入,相应的满足ZMP判据的上体轨迹作为输出,利用有限的理想步态样本对机器人上体轨迹与腿部轨迹之间的动态运动关系进行学习,然后将训练好的SVM置入机器人控制系统,从而增强了步态控制的鲁棒性,有利于实现两足机器人在非结构环境下的稳定步行．仿真结果表明了所提方法的优越性．     

A SVM controller for the stable walking of biped robots based on small sample sizes

Conventional machine learning methods such as neural network (NN) uses empirical risk minimization (ERM) based on infinite samples, which is disadvantageous to the gait learning control based on small sample sizes for biped robots walking in unstructured, uncertain and dynamic environments. Aiming at the stable walking control problem in the dynamic environments for biped robots, this paper puts forward a method of gait control based on support vector machines (SVM), which provides a solution for the learning control issue based on small sample sizes. The SVM is equipped with a mixed kernel function for the gait learning. Using ankle trajectory and hip trajectory as inputs, and the corresponding trunk trajectory as outputs, the SVM is trained based on small sample sizes to learn the dynamic kinematics relationships between the legs and the trunk of the biped robots. Robustness of the gait control is enhanced, which is propitious to realize the stable biped walking, and the proposed method shows superior performance when compared to SVM with radial basis function (RBF) kernels and polynomial kernels, respectively. Simulation results demonstrate the superiority of the proposed methods.     

面向离散地形的欠驱动双足机器人平衡控制方法

欠驱动双足机器人在行走中为保持自身的平衡,双脚需要不间断运动.但在仅有特定立足点的离散地形上很难实现调整后的落脚点,从而导致欠驱动双足机器人在复杂环境中的适应能力下降.提出了基于虚拟约束(Virtual constraint,VC)的变步长调节与控制方法,根据欠驱动双足机器人当前状态与参考落脚点设计了非时变尺度缩放因子,能够实时重构适应当前环境的步态轨迹;同时构建了全身动力学模型,采用反馈线性化的模型预测控制(Model predictive control,MPC)滚动优化产生力矩控制量,实现准确的轨迹跟踪控制.最终进行了欠驱动双足机器人的随机离散地形稳定行走的仿真实验,验证了所提方法的有效性与鲁棒性.     

Neuro-fuzzy gait synthesis with reinforcement learning for a biped walking robot

 A reinforcement learning-based neuro-fuzzy gait synthesizer, which is based on the GARIC (Generalized Approximate Reasoning for Intelligent Control) architecture, is proposed for the problem of biped dynamic balance. We modify the GARIC architecture to enable it to generate the trunk trajectory in both sagittal and frontal plane. The proposed gait synthesizer is trained by reinforcement learning that uses a multi-valued scalar signal to evaluate the degrees of failure or success for the biped locomotion by means of the ZMP (Zero Moment Point). It can form the initial dynamic balancing gait from linguistic rules, which are obtained from human intuitive balancing knowledge and biomechanics studies, and accumulate dynamic balancing knowledge through reinforcement learning, and thus constantly improve its gait during walking. The feasibility of the proposed method is verified through a 5-link biped robot simulation.     

双足机器人预观控制的ZMP补偿步行模式研究

针对双足机器人的稳定行走,提出了一种预观控制的零力距点（ZMP）补偿步行模式在线生成方法。利用实际ZMP与目标ZMP之间的未来误差信息,基于预观控制计算机器人行走过程中质心的补偿量,事先调整质心轨迹来改变步态。最终使实际ZMP更好地跟踪目标值。12自由度的双足机器人动力学仿真验证了所提出方法的有效性,而且机器人能在一定程度不平整地面上实现稳定行走。     

基于D-DQN强化学习算法的双足机器人智能控制研究

针对现有双足机器人智能控制算法存在的轨迹偏差大、效率低等问题,提出了一种基于D-DQN强化学习的控制算法;先分析双足机器人运动中的坐标变换关系和关节连杆补偿过程,然后基于Q值网络实现对复杂运动非线性过程降维处理,采用了Q值网络权值和辅助权值的双网络权值设计方式,进一步强化DQN网络性能,并以Tanh函数作为神经网络的激活函数,提升DQN网络的数值训练能力;在数据训练和交互中经验回放池发挥出关键的辅助作用,通过将奖励值输入到目标函数中,进一步提升对双足机器人的控制精度,最后通过虚拟约束控制的方式提高双足机器人运动中的稳定性;实验结果显示：在D-DQN强化学习的控制算法,机器人完成第一阶段测试的时间仅为115 s,综合轨迹偏差0.02 m,而且步态切换极限环测试的稳定性良好。