基于高斯过程的机器人模仿学习研究与实现

针对机器人模仿学习控制策略获取的问题,基于高斯过程的方法,建立示教机器人示教行为的样本数据的高斯过程回归模型并加以训练,以求解示教机器人的感知和行为之间的映射关系,并将此映射关系作为模仿机器人的控制策略来实现对示教行为的模仿.以Braitenberg车为仿真对象,研究趋光模仿学习行为.仿真实验表明:基于高斯过程的机器人模仿学习算法具有有效性,模仿机器人在不同任务环境下具有很好的适应性.     

在书写任务中的基于轨迹匹配的模仿学习

针对书写任务中运动轨迹较复杂的问题,引入基于轨迹匹配的模仿学习算法对书写轨迹进行表征和泛化,进而实现机器人书写技能的获取。机器人从示教者处获取示教数据,利用高斯混合模型( Gaussian mixture model, GMM)进行编码,学习示教行为的本质特征,通过高斯混合回归进行泛化处理,实现行为再现。实验结果表明：该方法具有良好的行为编码能力和抗干扰性,能够实现轨迹可连续的汉字书写,通过对GMM的扩展能够进行多任务学习,进而实现轨迹不可连续汉字的书写,泛化效果较好。     

正态随机过程平方的协方差函数的计算

在正态随机变量乘积矩基础上，给出了正态随机过程平方后的协方差函数的计算．利用均值函数、协方差函数获得平稳过程和维纳过程的平稳性、正态性的判定．结果在无线电传播、振动、疲劳和可靠性研究中有着重要应用．     

模仿学习在机器人仿生机制研究中的应用

较为系统地综述了机器人模仿学习的过程,并对该领域的相关关键问题进行了探讨.基于模仿的生物机制,构建了机器人模仿学习的一个工程应用框架,以该框架为指导,重点对模仿学习的行为表述问题及研究进展进行论述;对模仿学习和强化学习在机器人运动技能学习中的应用进行了对比分析;并对该领域的研究进行了展望,可见对机器人模仿学习的研究是机器人仿生机制研究的热点内容.     

基于神经网络的复合学习方案及在机器人控制中的应用

利用基于神经网络的复合学习方案实现了机器人操作手末端执行装置的高精度轨迹跟踪.提出了通过对网络输出数据进行补偿以使网络在训练时快速收敛的方法,并推证了广义BP(误差向后传播)算法。它不需要机器人的动力学模型,仿真结果表明,该方法可适用于具有高度非线性和受各种不确定性干扰的复杂系统的控制中。     

基于图卷积模仿学习的分布式群集控制

针对受限通信条件下机器人群集协同控制问题,提出基于图卷积模仿学习的分布式群集控制策略. 该策略旨在实现群集内避障、速度一致性的基础上,提高群集鲁棒性,提升避免群集分裂的成功率. 提出基于熵评价的群集鲁棒性量化评价指标,建立节点和链路重要性的均衡分布与群集鲁棒性的联系. 提出重要度相关图卷积网络,用于实现受限通信条件下非欧氏数据的特征提取和加权聚合. 采用图卷积模仿学习方法,根据提升群集鲁棒性的要求设计集中式专家策略,通过对集中式专家策略的模仿,得到分布式群集协同控制策略. 设计仿真实验,证明所得的分布式策略基于受限通信条件实现了接近集中式的专家策略的控制效果.     

基于质心校正补偿的仿人机器人模仿学习

由于仿人机器人自由度多、结构冗余,因此面对不同环境下的运动规划十分复杂.利用人体运动信息作为示教数据,实现仿人机器人对人体姿态的模仿学习,简化了仿人机器人的运动规划.为满足机器人在运动过程中的平衡性,提出了一种机器人质心补偿的方法:通过示教数据预估机器人的质心偏移,经质心-角度雅可比矩阵计算角度补偿量,并引入二次规划进行优化处理.基于Nao机器人的模仿学习系统实验研究结果表明:提出的质心补偿方法可以有效地保证机器人在模仿学习过程中的姿态平衡,引入的权值可调的二次规划有效地保证了姿态模仿的相似性.     

基于新息协方差的机动目标轨迹估计算法研究

针对态势显示系统中机动目标运动状态不确定、卫星定位误差、接收机随机噪声造成的目标轨迹估计精度低的问题。在"当前"统计模型的基础上,提出了一种基于新息协方差的Kalman滤波算法,该算法根据新息协方差的极大似然最优估计实现加速度方差的实时估计和自适应调整。仿真结果表明,该算法的估计性能优于常规算法,跟踪精度较高。     

基于强化学习的学习变阻抗控制

为了提高力控制的性能,使机器人高效自主地学习执行力控制任务,本文提出一种学习变阻抗控制方法。该方法采用基于模型的强化学习算法学习最优阻抗调节策略,使用高斯过程模型作为系统的变换动力学模型,允许概率化的推理与规划,并在成本函数中加入能量损失项,实现误差和能量的权衡。仿真实验结果表明:该学习变阻抗控制方法具有高效性,仅需数次交互即可成功学习完成力控制任务,大大减少了所需的交互次数与交互时间,且学习得到的阻抗控制策略具有仿生特性,可用于学习执行力敏感型任务。     

基于高斯混合模型的轨迹模仿学习表征参数优化

针对高斯混合模型(Gaussian mixture model,GMM)参数选取效率较低的问题,提出了一种在基于GMM的轨迹模仿学习表征中综合求解GMM参数估计的方法.该方法基于多中心聚类算法中的最大最小距离算法改进kmeans算法,得到最优初始聚类中心,并基于贝叶斯信息准则(Bayesian information criterion,BIC)通过遗传算法优化求解,同时获取GMM的4个重要参数.该方法通过提高划分初始数据集的效率,在优化初始聚类中心基础上确定混合模型个数,有效地避免了因为初值敏感而导致的局部极值问题.通过多组仿真实验验证了该方法的有效性.     

基于协方差矩阵对角化的盲信号分离

将基于协方差矩阵对角化的盲分离方法用于盲分离。当信号具有时间结构且空间独立时,通过对角化独立成分的自协方差矩阵（不同时延下的协方差矩阵）对混合信号进行盲分离。首先构造白化信号的时延协方差矩阵,然后选取不同的时延,将协方差矩阵的对角化程度表示成代价函数,最后利用梯度下降法得到分离矩阵。此方法和基于极大似然估计的FastICA算法的对比试验说明了此算法的有效性。     

交流电机的直接转矩控制(DTC)计算机仿真研究

介绍了采用计算机仿真技术对交流电机直接转矩控制 (DTC)进行数学建模 ,讨论了矩阵方程的离散化和矩阵指数的数值解 ,给出了仿真结果并进行了分析。这套软件的基本思想已用于DTC的控制算法之中 ,效果很好     

基于有效跟踪的平均渐进瞬时差分学习遗忘算法

智能体通过学习最优决策来解决其决策问题.激励学习方法是智能体通过与其所处的环境交互来改进它自身的行为.Markov决策过程(MDP)模型是求解激励学习问题的一般框架,瞬时差分TD(λ)是在MDP模型下与策略相关的学习值函数的一种算法.一般情况下,智能体必须记住其所有的值函数的值,当状态空间非常大时,这种记忆的量是大得惊人的.为了解决这个问题,给出了一种遗忘算法,这种算法把心理学的遗忘准则引入到了激励学习之中.利用遗忘算法,可以解决智能体在大状态空间中的激励学习问题.     

Multi-Agent Reinforcement Learning Algorithm Based on Action Prediction

Multi-agent systems composed of concurrent re-inforcement learners have attracted increasing atten-tionin recent years . Multiagent reinforcement learn-ing[1]is much harder than the single-agent case . Thehardness mainly comesfromthefact that the environ-ment is not stationary fromthe viewof an agent be-cause of the existence of other learning agents .Based on stochastic games ,a multi-agent rein-forcement learning algorithmfor zero-sumstochasticgames was proposed by Littman[2]andit was extend…     

Novel Sequential Neural Network Learning Algorithm for Function Approximation

A novel sequential neural network learning algorithm for function approximation is presented. The multi-step-ahead output predictor of the stochastic time series is introduced to the growing and pruning network for constructing network structure. And the network parameters are adjusted by the proportional differential filter （PDF） rather than EKF when the network growing criteria are not met. Experimental results show that the proposed algorithm can obtain a more compact network along with a smaller error in mean square sense than other typical sequential learning algorithms.