多粒度运动分割的时频分析算法EI北大核心CSCD

针对运动捕获数据分割问题,提出一种基于时频分析的多粒度分割算法.该算法在时域分析阶段利用稀疏重构对运动序列进行预分割,通过多尺度时序关联方法将原始运动序列分割为独立行为片段和混合运动基元,实现粗粒度分割;进一步,在频域分析阶段先在主频率下对每个独立行为片段进行特征提取,再结合零速度穿越点检测和自适应K-means算法将每个独立行为片段分割为多个重复子周期片段,实现细粒度分割.实验结果表明,预分割及多尺度分割策略的使用使得分割准确率更高,对混合运动基元的识别和分割更为精准,而且在主频率下进行特征提取使得算法对噪声具有更好的鲁棒性.     

基于动态系统的机器人模仿学习方法研究

针对当前机器人模仿学习过程中,运动模仿存在无法收敛到目标点以及泛化能力差的问题,引入一种基于动态系统（dynamical system,DS）的模仿学习方法。该方法通过高斯混合模型（gaussian mixture model,GMM）将示教运动数据建模为一非线性动态系统;将DS全局稳定的充分条件作为约束,以保证DS所生成的所有轨迹收敛到目标点;将动态系统模型的参数学习问题转化为求解一个约束优化问题,从而得到模型参数。以7bot机械臂为实验对象,进行仿真实验和机器人实验,实验结果表明:该方法学习的DS模型从不同起点生成的所有轨迹都收敛到目标点,轨迹平滑,泛化能力好。     

模仿学习方法综述及其在机器人领域的应用

模仿学习一直是人工智能领域的研究热点。模仿学习是一种基于专家示教重建期望策略的方法。近年来，在理论研究中，此方法和强化学习等方法结合，已经取得了重要成果；在实际应用中，尤其是在机器人和其他智能体的复杂环境中，模仿学习取得了很好的效果。主要阐述了模仿学习在机器人学领域的研究与运用。介绍了和模仿学习相关的理论知识；研究了模仿学习的两类主要方法：行为克隆学习方法和逆强化学习方法；对模仿学习的成功应用进行总结；最后，给出当前面对的问题和挑战并且展望未来发展趋势。     

模仿学习综述：传统与新进展

模仿学习是强化学习与监督学习的结合,目标是通过观察专家演示,学习专家策略,从而加速强化学习。通过引入任务相关的额外信息,模仿学习相较于强化学习,可以更快地实现策略优化,为缓解低样本效率问题提供了解决方案。模仿学习已成为解决强化学习问题的一种流行框架,涌现出多种提高学习性能的算法和技术。通过与图形图像学的最新研究成果相结合,模仿学习已经在游戏人工智能（artificial intelligence,AI）、机器人控制和自动驾驶等领域发挥了重要作用。本文围绕模仿学习的年度发展,从行为克隆、逆强化学习、对抗式模仿学习、基于观察量的模仿学习和跨领域模仿学习等多个角度进行深入探讨,介绍了模仿学习在实际应用上的最新情况,比较了国内外研究现状,并展望了该领域未来的发展方向。旨在为研究人员和从业人员提供模仿学习的最新进展,从而为开展工作提供参考与便利。     

模仿学习示教轨迹自动分割方法的研究进展

符号表达的模仿学习是共融机器人提高其智能性的一条便捷、可行的途径,也为解决复杂、多步骤任务的学习问题提供了一个切实可行的解决方案,而对示教轨迹进行自动分割并获取其基本动作是成功应用这种学习方式的前提条件.鉴于此,首先,在介绍符号表示的模仿学习的基础上,分析该种学习方式对自动分割方法的具体要求;然后,按照示教任务先验知识的有无将其分为两大类并详细地介绍每类所含的典型分割方法;最后,对上述轨迹分割方法进行对比分析与总结,并展望示教轨迹自动分割方法未来的发展趋势.     

基于生成对抗网络的模仿学习综述

模仿学习研究如何从专家的决策数据中进行学习,以得到接近专家水准的决策模型.同样学习如何决策的强化学习往往只根据环境的评价式反馈进行学习,与之相比,模仿学习能从决策数据中获得更为直接的反馈.它可以分为行为克隆、基于逆向强化学习的模仿学习两类方法.基于逆向强化学习的模仿学习把模仿学习的过程分解成逆向强化学习和强化学习两个子过程,并反复迭代.逆向强化学习用于推导符合专家决策数据的奖赏函数,而强化学习基于该奖赏函数来学习策略.基于生成对抗网络的模仿学习方法从基于逆向强化学习的模仿学习发展而来,其中最早出现且最具代表性的是生成对抗模仿学习方法(Generative Adversarial Imitation Learning,简称GAIL).生成对抗网络由两个相对抗的神经网络构成,分别为判别器和生成器.GAIL的特点是用生成对抗网络框架求解模仿学习问题,其中,判别器的训练过程可类比奖赏函数的学习过程,生成器的训练过程可类比策略的学习过程.与传统模仿学习方法相比,GAIL具有更好的鲁棒性、表征能力和计算效率.因此,它能够处理复杂的大规模问题,并可拓展到实际应用中.然而,GAIL存在着模态崩塌、环境交互样本利用效率低等问题.最近,新的研究工作利用生成对抗网络技术和强化学习技术等分别对这些问题进行改进,并在观察机制、多智能体系统等方面对GAIL进行了拓展.本文先介绍了GAIL的主要思想及其优缺点,然后对GAIL的改进算法进行了归类、分析和对比,最后总结全文并探讨了可能的未来趋势.     

行人运动建模研究综述EI北大核心CSCD

行人运动建模是近年来虚拟现实领域的热门研究方向,在游戏娱乐、公共安全以及智慧交通等领域有着重要的应用价值.文中按照规则驱动-数据驱动和宏观-微观2个维度将现有的行人运动建模方法划分为4大类.首先简述各类方法的典型模型,重点介绍各类方法的最新研究进展,分析了各类方法的特点;其次介绍行人运动建模工作中常用的数据集和评价指标,并从碰撞避免、运动多样性、场景迁移能力以及仿真精度等角度对各类方法进行评价;最后分析在数字孪生、元宇宙等新技术兴起背景下行人运动建模方法面临的挑战,指出该领域未来发展方向.     

关于机器人运动优化控制建模的仿真研究北大核心CSCD

在机器人运动性能优化控制中,由于机器人多关节结构的复杂性与运动学的高难度,导致高度仿真的机器人运动控制难以实现的问题。为避免仿真的失真,提出了一种采用D-H参数模型的机器人实时运动控制仿真方法,根据机器人各连杆部件的尺寸与位置参数,绘制3D部件,再进行D-H参数模型整合,以机器人运动学算法对模型加以控制,实验结合Matlab和Soildworks软件作为平台,对经典机器人puma560进行仿真,实现了各个连杆部件的实时控制,实现了末端工具轨迹的运动平滑规划并对运动过程录像,结果表明,提出的方法能为实现机器人运动控制性能优化设计提供科学参考。     

人脸亲子关系验证研究综述EI北大核心CSCD

人脸亲子关系验证即通过给定的不同人的两幅人脸图像判断其是否具有亲子关系,是计算机视觉和机器学习领域中一个重要的研究问题,在丢失儿童寻找、社会媒体分析、图像自动标注等领域具有广泛的应用价值.随着人脸亲子关系验证问题受到越来越多的关注,其在多个方面都得到了相应的发展,本文对人脸亲子关系验证方法做了综述整理.首先,简要介绍了人脸亲子关系验证在近十年的研究现状,随后对问题进行了定义并讨论其面临的挑战.接下来,汇总了常用的亲子数据库,对数据库属性做了详细的总结和对比.然后,对人脸亲子关系验证方法进行了分类总结、对比,以及不同方法的性能表现.最后,展望了人脸亲子关系验证今后可能的研究方向.     

基于动态运动基元的轨迹学习方法

针对动态运动基元轨迹学习方法得到的学习轨迹终点值存在较大位置误差的问题,提出一种通过增大动态运动基元积分步数来减小位置误差的方法.通过以正弦轨迹、斜坡轨迹为示教轨迹的仿真实验验证了该方法的有效性.针对动态运动基元学习轨迹起始值与目标值相同时得到的学习轨迹恒为直线的问题,提出一种分段式轨迹学习方法.以轨迹极值点为分界点将学习轨迹分割为多段初始值与目标值不同的轨迹,通过仿真实验验证了该方法的有效性.     

模仿排序学习模型

文档排序一直是信息检索(IR)领域的关键任务之一。受益于马尔科夫决策过程强大的建模能力,以及强化学习方法强大的求解能力,近年来基于强化学习的排序模型被提出并取得了良好效果。然而,由于候选文档中会包含大量的不相关文档,导致基于“试错”的强化学习方法存在效率低下的问题。为解决上述问题,该文提出了一种基于模仿学习的排序学习算法IR-DAGGER,其基于文档标注信息构建专家策略,在保证文档排序精度的同时提高了算法的学习效率。为了测试IR-DAGGER的性能,该文基于面向相关性排序任务的OHSUMED数据集和面向多样化排序的TREC数据集进行了实验,实验结果表明IR-DAGGER在上述两个数据集上均提升了文档排序的精度和效率。     

基于逆强化学习的示教学习方法综述

随着强化学习在自动机器人控制、复杂决策问题上的广泛应用,强化学习逐渐成为机器学习领域中的一大研究热点.传统强化学习算法是一种通过不断与所处环境进行自主交互并从中得到策略的学习方式.然而,大多数多步决策问题难以给出传统强化学习所需要的反馈信号.这逐渐成为强化学习在更多复杂问题中实现应用的瓶颈.逆强化学习是基于专家决策轨迹最优的假设,在马尔可夫决策过程中逆向求解反馈函数的一类算法.目前,通过将逆强化学习和传统正向强化学习相结合设计的一类示教学习算法已经在机器人控制等领域取得了一系列成果.对强化学习、逆强化学习以及示教学习方法做一定介绍,此外还介绍了逆强化学习在应用过程中所需要解决的问题以及基于逆强化学习的示教学习方法.     

机器人操作技能学习方法综述

结合人工智能技术和机器人技术,研究具备一定自主决策和学习能力的机器人操作技能学习系统,已逐渐成为机器人研究领域的重要分支.本文介绍了机器人操作技能学习的主要方法及最新的研究成果.依据对训练数据的使用方式将机器人操作技能学习方法分为基于强化学习的方法、基于示教学习的方法和基于小数据学习的方法,并基于此对近些年的研究成果进行了综述和分析,最后列举了机器人操作技能学习的未来发展方向.     

A Self-Organizing Context-Based Approach to the Tracking of Multiple Robot Trajectories

We have combined competitive and Hebbian learning in a neural network designed to learn and recall complex spatiotemporal sequences. In such sequences, a particular item may occur more than once or the sequence may share states with another sequence. Processing of repeated/shared states is a hard problem that occurs very often in the domain of robotics. The proposed model consists of two groups of synaptic weights: competitive interlayer and Hebbian intralayer connections, which are responsible for encoding respectively the spatial and temporal features of the input sequence. Three additional mechanisms allow the network to deal with shared states: context units, neurons disabled from learning, and redundancy used to encode sequence states. The network operates by determining the current and the next state of the learned sequences. The model is simulated over various sets of robot trajectories in order to evaluate its storage and retrieval abilities; its sequence sampling effects; its robustness to noise and its tolerance to fault.     

逆向强化学习研究综述

逆向强化学习(inverse reinforcement learning, IRL)也称为逆向最优控制(inverse optimal control, IOC),是强化学习和模仿学习领域的一种重要研究方法,该方法通过专家样本求解奖赏函数,并根据所得奖赏函数求解最优策略,以达到模仿专家策略的目的.近年来,逆向强化学习在模仿学习领域取得了丰富的研究成果,已广泛应用于汽车导航、路径推荐和机器人最优控制等问题中.首先介绍逆向强化学习理论基础,然后从奖赏函数构建方式出发,讨论分析基于线性奖赏函数和非线性奖赏函数的逆向强化学习算法,包括最大边际逆向强化学习算法、最大熵逆向强化学习算法、最大熵深度逆向强化学习算法和生成对抗模仿学习等.随后从逆向强化学习领域的前沿研究方向进行综述,比较和分析该领域代表性算法,包括状态动作信息不完全逆向强化学习、多智能体逆向强化学习、示范样本非最优逆向强化学习和指导逆向强化学习等.最后总结分析当前存在的关键问题,并从理论和应用方面探讨未来的发展方向.     

Deep Imitation Learning for Autonomous Vehicles Based on Convolutional Neural Networks

Providing autonomous systems with an effective quantity and quality of information from a desired task is challenging. In particular, autonomous vehicles, must have a reliable vision of their workspace to robustly accomplish driving functions. Speaking of machine vision, deep learning techniques, and specifically convolutional neural networks, have been proven to be the state of the art technology in the field. As these networks typically involve millions of parameters and elements, designing an optimal architecture for deep learning structures is a difficult task which is globally under investigation by researchers. This study experimentally evaluates the impact of three major architectural properties of convolutional networks, including the number of layers, filters, and filter size on their performance. In this study, several models with different properties are developed,equally trained, and then applied to an autonomous car in a realistic simulation environment. A new ensemble approach is also proposed to calculate and update weights for the models regarding their mean squared error values. Based on design properties,performance results are reported and compared for further investigations. Surprisingly, the number of filters itself does not largely affect the performance efficiency. As a result, proper allocation of filters with different kernel sizes through the layers introduces a considerable improvement in the performance.Achievements of this study will provide the researchers with a clear clue and direction in designing optimal network architectures for deep learning purposes.     

浅谈模仿学习在计算机教学中的应用

社会学习理论认为人类的学习并非都是个体式的学习,还包括群体性的相互影响这一类学习。该文论述了在计算机专业课程《网页设计与制作》教学中应用班杜拉的模仿学习理论,对于建立学生自信心和提升其学习的积极性的作用。