模糊操作条件概率自动机仿生自主学习系统和机器人自平衡控制

为了实现两轮机器人的自平衡控制, 利用Skinner操作条件反射机理, 以概率自动机为平台, 融入模糊推理, 构造了模糊操作条件概率自动机(OCPA)仿生自主学习系统. 该学习系统是一个从状态集合到操作行为集合的随机映射, 采用操作条件反射学习机制, 从操作行为集合中随机学习作为控制系统控制信号的最优行为, 并利用学习到的操作行为取向值信息, 调整操作条件反射学习算法. 此外, 学习系统还引入行为熵, 以验证其自学习和自组织能力. 应用于两轮机器人自平衡控制的仿真结果, 验证了模糊OCPA学习系统的可行性.     

基于AOCA仿生学习模型的两轮机器人自主平衡学习研究

以两轮机器人的自主平衡学习控制为研究对象,针对传统控制方法无法实现机器人类似人或动物的渐进学习过程,依据斯金纳的操作条件反射理论建立了一种自治操作条件反射自动机（Autonomous operant conditioning automaton,AOCA）模型,设计一种基于AOCA的仿生学习算法,并进行机器人姿态平衡学习实验仿真研究. 实验结果表明,基于AOCA的仿生学习方法能有效地实现机器人的自主平衡学习控制,机器人系统的平衡能力在学习控制过程中自组织地渐进形成,并得以发展和完善.     

操作条件反射学习自动机及其在机器人平衡控制中的应用

针对两轮机器人的平衡控制问题,在学习自动机理论的框架中,提出一种基于操作条件反射学习自动机的仿生学习模型.该模型引入认知学习单元和取向单元,分别用来实现操作行为学习和指导系统进化的方向.模拟两轮自平衡机器人的平衡控制仿真实验表明,该学习模型具有可行性和有效性,能使机器人自主学会平衡控制技能,并使其具有高度的自适应能力.     

Skinner 操作条件反射的一种仿生学习算法与机器人控制

针对两轮自平衡机器人的运动平衡控制问题,提出了基于Skinner 操作条件反射理论的BP 神经网络 与资格迹相结合的仿生自主学习算法作为两轮机器人的学习机制．该算法利用资格迹能解决延迟影响、加快学习速 度和提高可靠性的特点,将其与BP 神经网络相结合构成复合学习算法,能够预测机器人将要获得的行为评价函数, 并依据概率取向机制以一定的概率选择最大评价值对应的最优行为,从而使机器人能够在未知环境下通过与环境的 交互、学习和训练,获得像人或动物一样的自主学习技能,实现对两轮机器人的运动平衡控制．最后,分别用基于 Skinner 操作条件反射理论的BP 算法和BP 资格迹复合算法对两轮机器人做了仿真实验并进行了比较．结果表明, 基于Skinner 操作条件反射理论的BP 资格迹复合仿生自主学习算法的学习机制能够使机器人获得良好的动态性能 和较快的学习速度,体现了机器人较强的自主学习技能和平衡控制能力．     

一种自治操作条件反射自动机

针对仿生自主学习控制问题,根据自动机的原理,以操作条件反射学习机制为基础,运用仿生的自组织学习方法,提出一种自治操作条件反射自动机(autonomous operant conditioning automata,AOCA)模型,主要包括:操作集合、状态集合、“条件-操作”规则集合、可观测的状态转移以及操作条件反射学习律;定义了基于AOCA状态取向值的操作熵;给出了AOCA操作熵收敛性证明;分析了AOCA自组织特性;规定了AOCA的递归运行程序.同时,将其应用于斯金纳动物实验的模拟,动物分阶段学习,并且成功习得技能,实验结果表明AOCA实现了模拟操作条件反射学习机制.     

轮式机器人鲁棒仿生自主学习算法的研究

针对本质不稳定的轮式机器人运动平衡问题,基于操作条件反射原理,结合鲁棒控制,提出了一种鲁棒仿生自主学习算法作为轮式机器人的学习机制;该算法利用鲁棒控制可以提高系统抑制干扰的能力,产生最优控制行为的特点,将其与操作条件反射原理相结合,使机器人通过与未知环境的交互、学习和训练,模拟生物操作条件反射机制以及自学习和自适应技能,实现对轮式机器人的运动平衡控制,并从理论上证明了算法的稳定性;最后,分别用该算法在无干扰和有干扰的两种情况下对机器人做了仿真实验并进行了比较,结果表明,鲁棒仿生自主学习算法能够使机器人获得自主学习和平衡控制的技能,并体现出了较好的学习性能抗干扰能力。     

基于Skinner操作条件反射的两轮机器人自平衡控制

针对两轮自平衡机器人的运动平衡控制问题,采用了基于Skinner操作条件反射理论的自回归神经网络学习算法作为机器人的学习机制,利用自回归神经网络对评价函数进行逼近,以实现对行为决策的优化,从而使机器人能够在无需外部环境模型的情况下,通过学习和训练,获得像人或动物一样的自主学习技能,解决了两轮机器人的运动平衡控制问题.最后分别在无扰动和有扰动的两种状态下设计了仿真实验并进行了比较.结果表明,该操作条件反射学习机制具有较快的自主平衡控制技能和较好的鲁棒性能,体现了较高的理论研究意义和工程应用价值.     

动态FOCPA学习系统设计及在机器人运动平衡控制中的应用

针对仿生自主学习系统的自组织和泛化能力问题,基于Skinner操作条件反射原理和模糊聚类算法设计了动态FOCPA（fuzzy operant conditioning probabilistic automaton）仿生自主学习系统。动态FOCPA学习系统不仅具有仿生的自学习和自组织能力,而且提高了学习的精度和速度。其在仅能获得环境微弱反馈信息的前提下,首先采用在线聚类的方法实现对输入空间的灵活划分,以确保映射规则的数目是最经济的;然后以取向值为评价信号,采用OC学习算法,在线自主学习输入状态到输出操作行为的最佳映射,并加入一个高斯噪声项对映射结果进行实时优化。此外,动态FOCPA学习系统还利用信息熵的评价能力,来验证自身的自学习和自组织能力。理论上分析了设计的OC学习算法的收敛性;通过对两轮柔性直立式机器人姿态平衡控制和速度控制的实验分析,验证了动态FOCPA学习系统的有效性。     

基于操作条件反射机制的感觉运动系统认知模型的建立

针对运动平衡控制问题,提出了一个基于操作条件反射原理的感觉运动系统认知模型,研究了小脑、基底核、大脑皮质以及其它神经器官工作的协同性,构建了感觉运动系统的认知模型.该认知模型主要由小脑和基底核以及大脑皮质组成,其中:小脑通过监督学习实现状态到行为的感觉运动神经映射;基底核利用行为预测评价结果对动作实施基于操作条件反射原理的概率式选择;而大脑皮质接收并发送有用信号给基底核与小脑,形成了感觉运动系统的闭环反馈回路.本文描述了基于操作条件反射原理的感觉运动系统认知模型的具体结构、功能与算法,并在两轮机器人上进行了仿真实验,再现了机器人类似人或动物的自主学习能力和运动平衡技能.结果表明,该模型具有较强的认知特性,使机器人能通过自主学习掌握运动平衡的控制技能.     

一种基于混合学习策略的移动机器人路径规划方法

针对未知环境下移动机器人路径规划问题,以操作条件反射学习机制为基础,根据模糊推理系统和学习自动机的原理,提出一种应用于移动机器人导航的混合学习策略.运用仿生的自组织学习方法,通过不断与外界未知环境交互从而使机器人具有自学习和自适应的功能.仿真结果表明,该方法能使机器人学会避障和目标导航任务,与传统的人工势场法相比,能有效地克服局部极小和振荡情况.     

Bionic autonomous learning control of a two-wheeled self-balancing flexible robot

This paper presents an OCPA (operant conditioning probabilistic automaton) bionic autonomous learning system based on Skinner’s operant conditioning theory for solving the balance control problem of a two-wheeled flexible robot. The OCPA learning system consists of two stages: in the first stage, an operant action is selected stochastically from a set of operant actions and then used as the input of the control system; in the second stage, the learning system gathers the orientation information of the system and uses it for optimization until achieves control target. At the same time, the size of the operant action set can be automatically reduced during the learning process for avoiding little probability event. Theory analysis is made for the designed OCPA learning system in the paper, which theoretically proves the convergence of operant conditioning learning mechanism in OCPA learning system, namely the operant action entropy will converge to minimum with the learning process. And then OCPA learning system is applied to posture balanced control of two-wheeled flexible self-balanced robots. Robot does not have posutre balanced skill in initial state and the selecting probability of each operant in operant sets is equal. With the learning proceeding, the selected probabilities of optimal operant gradually tend to one and the operant action entropy gradually tends to minimum, and so robot gradually learned the posture balanced skill.     

基于FBFN 的鲁棒仿生学习系统设计及在运动平衡控制中的应用

针对两轮直立式机器人的运动平衡控制问题,结合OCPA 仿生学习系统,基于模糊基函数,设计了一 种鲁棒仿生学习控制方案．它不需要动力学系统的先验知识,也不需要离线的学习阶段．鲁棒仿生学习控制器主要 包括仿生学习单元、增益控制单元和鲁棒自适应单元3 部分．仿生学习单元由模糊基函数网络（FBFN）实现,FBFN 不仅执行操作行为产生功能,逼近动力学系统的非线性部分,同时也执行操作行为评价功能,并利用性能测量机制 提供的误差测量信号,产生取向值信息,对操作行为产生网络进行调整．增益控制单元的作用是确保系统的稳定性 和性能,鲁棒自适应单元的作用是消除FBFN 的逼近误差及外部干扰．此外,由于FBFN 的参数是基于李亚普诺夫 稳定性理论在线调整的,因此进一步确保了系统的稳定性和学习的快速性．理论上证明了鲁棒仿生学习控制器的稳 定性,仿真实验结果验证了其可行性和有效性．     

一种基于操作条件反射原理的学习模型

针对认知机器人的自主学习问题,提出一种基于操作条件反射原理的学习模型(OCLM).该模型采用状态空间、操作行为空间、概率分布函数、仿生学习机制、系统熵等进行描述,给出状态的"负理想度"的概念,定义了取向函数的计算方法.运用模型对机器人避障导航问题进行仿真实验,并对参数设置进行了讨论.实验结果表明,基于OCLM模型的机器人能通过与环境的交互获得认知,成功避障到达目的地,具有一定的自学习能力,从而表明了模型的有效性.     

基于小脑-基底神经节机理的行为认知计算模型

针对智能体的行为认知问题,提出一种小脑与基底神经节相互协调的行为认知计算模型。该模型核心为操作条件学习算法,包括评价机制、行为选择机制、取向机制及小脑与基底神经节的协调机制。初期的学习信号来自于下橄榄体和黑质两部分,在熵的意义上说明该算法是收敛的。采用该学习方法为自平衡两轮机器人建立运动神经认知系统,利用RBF网络逼近行为和评价网络。仿真实验表明该方法改善仅有基底神经节作用的行为-评价算法学习速度慢和失败次数多的问题,学习后期通过温度的不断降低,加快学习速度,震荡逐渐消失,改善学习效果。