基于Skinner操作条件反射的两轮机器人自平衡控制

针对两轮自平衡机器人的运动平衡控制问题,采用了基于Skinner操作条件反射理论的自回归神经网络学习算法作为机器人的学习机制,利用自回归神经网络对评价函数进行逼近,以实现对行为决策的优化,从而使机器人能够在无需外部环境模型的情况下,通过学习和训练,获得像人或动物一样的自主学习技能,解决了两轮机器人的运动平衡控制问题.最后分别在无扰动和有扰动的两种状态下设计了仿真实验并进行了比较.结果表明,该操作条件反射学习机制具有较快的自主平衡控制技能和较好的鲁棒性能,体现了较高的理论研究意义和工程应用价值.     

两轮自平衡机器人的LQR实时平衡控制

两轮平衡机器人已经成为能够为日常机器人提供未来运动方式的一个研究领域.两轮平衡机器人区别于传统形式的机器人,它需要必须具有一个独特的稳定控制系统来保持其直立.为了平衡系统该文利用平衡机器人的动态模型设计控制器,测试LQR在平衡系统的实用性并评估其性能.仿真结果表明LQR控制器可以稳定系统,并且在平衡基于倒立摆模型的两轮自平衡机器人时表现出满意的结果.     

基于内在动机的强化学习算法在两轮机器人中的研究

针对两轮自平衡机器人在学习过程中遇到的主动性差和以往强化学习对单步学习效率低的问题,受心理学中内在动机理论的启发,提出一种基于内在动机的强化学习算法;该算法利用内在动机信号作为内部奖励,模拟人类心理认知机理并与外部信号一起作用于整个学习过程,提高了智能体的自学习能力,同时采用自组织神经网络进行训练,保证了算法的快速性;通过无扰动和有扰动两种仿真实验的对比,验证了基于内在动机的强化学习算法能够使两轮机器人在未知环境下通过自主学习最终达到平衡,且体现了该算法的鲁棒性和可行性。     

两轮自平衡机器人速度跟踪研究

两轮自平衡机器人系统是一个高阶次,不稳定,非线性,多变量,强耦合的系统.系统采用Lagrange方程进行动力学建模,将神经网络自组织算法应用于此模型,并对两轮机器人的平衡和速度进行控制,其难点是对车体速度和车轮速度的控制.本文采用神经网络自组织算法,使输出准确地跟踪输入,使机器人按照指定的移动速度和转动速度运动.将该算法与OBS算法相比较,仿真实验结果表明,自组织算法使系统的跟踪速度更快,具有较高的实用价值.     

非同轴两轮机器人自平衡与转向闭环控制

针对车速、车身侧倾角和前轮转角变化较大工况下的非同轴两轮机器人在基于前轮转角的自平衡控制中,因动力学模型准确性对自平衡控制带来的影响,设计了基于RBF神经网络模糊滑模控制的自平衡控制器,利用RBF神经网络的逼近特性,对动力学模型中非线性时变的不确定部分进行自适应逼近,从而提高动力学模型的准确性,并借助模糊规则削弱滑模控制中产生的系统抖振;以及因前轮转角用于自平衡控制中难以实现转向闭环控制,建立了基于纯跟踪法的轨迹跟踪控制器,并设计利用车身平衡时车身侧倾角与前轮转角的耦合关系,将转向闭环控制中的目标前轮转角替换为目标车身侧倾角,从而将自平衡控制器与轨迹跟踪控制器相结合,在保证车身平衡行驶的前提下,实现带有轨迹跟踪的转向闭环控制。实验结果表明,凭借动力学模型的较高准确性,RBF神经网络模糊滑模自平衡控制器具有鲁棒性好、超调量低和响应迅速的优点,并且利用车身平衡后车身侧倾角与前轮转角耦合关系,实现转向闭环控制是可行的,具有良好的轨迹跟踪效果。     

自平衡两轮机器人的分层模糊控制

为解决具有非线性、强耦合和绝对不稳定特点的自平衡两轮机器人的运动控制问题,提出一种分层模糊控制方法.该方法对机器人体的倾斜角度和轮子转动速度分别设计相应的模糊控制器,其输出同时进入决策器,由决策器进行智能判断与协调,输出控制量.两控制器交替工作,实现机器人体倾角控制和轮子转速控制的有机统一.该方法具有模糊规则少,控制逻辑简单的特点.对机器人的速度跟踪、运动停止及转弯等多种运动方式进行了控制仿真实验,验证了控制方法的正确性和有效性.     

两轮自平衡机器人控制系统的设计

针对自行设计的两轮自平衡机器人Opyanbot建立了动力学模型,应用最优控制和两轮差动等控制方法设计了控制器,提出了针对两轮自平衡机器人平衡和行进的新策略。为了提高两轮自平衡机器人的控制效果,利用基于DSP数字电路的全数字智能伺服驱动单元IPM100分别精确控制左右轮电机,并利用上位机实时控制机器人的运动状态,提高了控制精度、可靠度和集成度,得到了很好的控制效果。     

自平衡两轮机器人的参数自整定模糊控制

为解决具有强耦合、非线性和不确定性等特点的自平衡两轮机器人的平衡控制问题,提出一种参数自整定模糊控制器.该控制器通过比较系统响应与给定的差别来对控制参数进行自整定,降低了控制器设计过程中对设计者经验的要求.该控制器采用零阶Takagi Sugeno模型,易于在嵌入式系统中实现.搭建了自平衡两轮机器人硬件本体,建立了相应的数学模型,并给出仿真与实验结果,验证了该控制器的有效性.     

基于AOCA仿生学习模型的两轮机器人自主平衡学习研究

以两轮机器人的自主平衡学习控制为研究对象,针对传统控制方法无法实现机器人类似人或动物的渐进学习过程,依据斯金纳的操作条件反射理论建立了一种自治操作条件反射自动机（Autonomous operant conditioning automaton,AOCA）模型,设计一种基于AOCA的仿生学习算法,并进行机器人姿态平衡学习实验仿真研究. 实验结果表明,基于AOCA的仿生学习方法能有效地实现机器人的自主平衡学习控制,机器人系统的平衡能力在学习控制过程中自组织地渐进形成,并得以发展和完善.     

滑模控制在两轮机器人平衡控制中的应用

针对两轮机器人平衡控制中鲁棒性要求较高的问题,设计了基于趋近律的滑模变结构控制器;首先对机器人的非线性模型进行线性化处理,再根据线性模型设计滑模控制器,并使用饱和函数的方法抑制系统的抖振,最后在MATLAB/Simulink上进行了仿真实验,并与状态反馈控制器进行了比较;结果表明在参数摄动存在情况下,滑模控制器优于状态反馈控制器.     

Robot Control Optimization Using Reinforcement Learning

Conventional robot control schemes are basically model-based methods. However, exact modeling of robot dynamics poses considerable problems and faces various uncertainties in task execution. This paper proposes a reinforcement learning control approach for overcoming such drawbacks. An artificial neural network (ANN) serves as the learning structure, and an applied stochastic real-valued (SRV) unit as the learning method. Initially, force tracking control of a two-link robot arm is simulated to verify the control design. The simulation results confirm that even without information related to the robot dynamic model and environment states, operation rules for simultaneous controlling force and velocity are achievable by repetitive exploration. Hitherto, however, an acceptable performance has demanded many learning iterations and the learning speed proved too slow for practical applications. The approach herein, therefore, improves the tracking performance by combining a conventional controller with a reinforcement learning strategy. Experimental results demonstrate improved trajectory tracking performance of a two-link direct-drive robot manipulator using the proposed method.     

强化学习在足球机器人基本动作学习中的应用

主要研究了强化学习算法及其在机器人足球比赛技术动作学习问题中的应用．强化学习的状态空间 和动作空间过大或变量连续,往往导致学习的速度过慢甚至难于收敛．针对这一问题,提出了基于T-S 模型模糊 神经网络的强化学习方法,能够有效地实现强化学习状态空间到动作空间的映射．此外,使用提出的强化学习方 法设计了足球机器人的技术动作,研究了在不需要专家知识和环境模型情况下机器人的行为学习问题．最后,通 过实验证明了所研究方法的有效性,其能够满足机器人足球比赛的需要．     

两轮自平衡车控制系统的设计与实现

根据飞思卡尔智能车竞赛的要求,设计了基于MC9S12XS128单片机的两轮自平衡智能车控制系统.介绍了该智能车系统的硬件模块电路设计、控制系统的构成及核心控制算法的实现.在此基础上详细介绍了用于智能车直立控制、速度控制和方向控制的参数调试时简单易行的关键技术.经过反复多次的实验表明,本文设计的两轮自平衡车控制系统性能可靠,在车身保持直立平衡的同时能够沿着赛道快速平稳运行.     

再励学习及其在移动机器人行为规划中的应用

再励学习（Reinforcement Learning,RL）是一种成功地结合动态编程和控制问题的机器智能方法,它将动态编程和有监督学习方法结合到机器学习系统中,通常用于解决预测和控制两类问题。提出了以矢量形式表示的评估函数,为了实现多维再励学习,用一专门的神经网络（Q网络）实现评判网络,研究其在移动机器人行为规划中的应用。     

基于自适应神经元学习模糊控制规则

本文给出了利用自适应神经元学习、修改模糊控制规划的新方法，该方法可以学习与当前控制过程输出性能有关的在过去起作用的控制规划，可以随过程环境变化自动调整控制规划，以改善过程输出性能。     

Robot Position/Force Control in Unknown Environment Using Hybrid Reinforcement Learning

Abstract

Robot position/force control provides an interaction scheme between the robot and the environment. When the environment is unknown, learning algorithms are needed. But, the learning space and learning time are big. To balance the learning accuracy and the learning time, we propose a hybrid reinforcement learning method, which can be in both discrete and continuous domains. The discrete-time learning has poor learning accuracy and less learning time. The continuous-time learning is slow but has better learning precision. This hybrid reinforcement learning learns the optimal contact force, meanwhile it minimizes the position error in the unknown environment. Convergence of the proposed learning algorithm is proven. Real-time experiments are carried out using the pan and tilt robot and the force/torque sensor.     

Reinforcement Learning and Robust Control for Robot Compliance Tasks

The complexity in planning and control of robot compliance tasks mainly results from simultaneous control of both position and force and inevitable contact with environments. It is quite difficult to achieve accurate modeling of the interaction between the robot and the environment during contact. In addition, the interaction with the environment varies even for compliance tasks of the same kind. To deal with these phenomena, in this paper, we propose a reinforcement learning and robust control scheme for robot compliance tasks. A reinforcement learning mechanism is used to tackle variations among compliance tasks of the same kind. A robust compliance controller that guarantees system stability in the presence of modeling uncertainties and external disturbances is used to execute control commands sent from the reinforcement learning mechanism. Simulations based on deburring compliance tasks demonstrate the effectiveness of the proposed scheme.     

基于深度强化学习的机器人操作行为研究综述

通过梳理、总结前人的研究,首先对深度学习和强化学习的基本理论和算法进行介绍,进而对深度强化学习的流行算法和在机器人操作领域的应用现状进行综述。最后,根据目前存在的问题及解决方法,对深度强化学习在机器人操作领域未来的发展方向作出总结与展望。     

基于深度强化学习的双足机器人斜坡步态控制方法

为提高准被动双足机器人斜坡步行稳定性,本文提出了一种基于深度强化学习的准被动双足机器人步态控制方法.通过分析准被动双足机器人的混合动力学模型与稳定行走过程,建立了状态空间、动作空间、episode过程与奖励函数.在利用基于DDPG改进的Ape-X DPG算法持续学习后,准被动双足机器人能在较大斜坡范围内实现稳定行走.仿...     

基于强化学习的浓密机底流浓度在线控制算法

复杂过程工业控制一直是控制应用领域研究的前沿问题. 浓密机作为一种复杂大型工业设备广泛用于冶金、采矿等领域. 由于其在运行过程中具有多变量、非线性、高时滞等特点, 浓密机的底流浓度控制技术一直是学界、工业界的研究难点与热点. 本文提出了一种基于强化学习技术的浓密机在线控制算法. 该算法在传统启发式动态规划 (Heuristic dynamic programming, HDP)算法的基础上, 设计融合了评价网络与模型网络的双网结构, 并提出了基于短期经验回放的方法用于增强评价网络的训练准确性, 实现了对浓密机底流浓度的稳定控制, 并保持控制输入稳定在设定范围之内. 最后, 通过浓密机仿真实验的方式验证了算法的有效性, 实验结果表明本文提出的方法在时间消耗、控制精度上优于其他算法.