基于表面肌电的运动意图识别方法研究及应用综述

表面肌电信号 (Surface electromyography, sEMG) 是人体自身的资源, 蕴含着关联人体运动的丰富信息, 用它作为交互媒介以构建人机交互 (Human-robot interaction, HRI) 系统有天然的优势.通过肌电信号实现人机自然交互的关键是由肌电信号识别出人体运动意图, 通常包括离散动作模态分类、关节连续运动量估计及关节刚度/阻抗估计等三方面内容.本文详细归纳基于表面肌电的运动识别方法研究成果, 总结当前研究的特点; 随后, 介绍基于表面肌电的运动识别技术的应用现状, 并探讨制约其推广的主要问题; 最后, 展望该技术的未来发展.     

人机交互中的个性化情感模型

人与机器人的交互过程中,情感因素的引入能够使人机交流更加自然和谐.因此,完整的人工情感模型的建立是首要解决的问题.基于情感能量理论基础,首先,提出了心境自发转移和刺激转移模型.其次,结合情绪自发转移的马尔可夫链模型和刺激转移的HMM模型,将心境和情绪的自发和刺激转移过程统一在一个框架下.最后,将完整的人工情感模型软件化并应用于儿童玩伴机器人上,在接受非结构化环境与用户的信息输入后,个性化的情感软件模块产生输出,实现针对儿童用户的玩伴机器人个性化交互,通过应用验证了该模型的有效性.     

可变形灾难救援机器人控制站系统的设计与实现

针对灾难救援应用领域具体需求,提出了控制站系统的设计原则.基于人机交互技术,设计了可变形灾难救援机器人控制站系统,该系统具有感知信息完整、操控灵活、界面友好、交互性强等特点.通过灾难救援模拟环境进行实验,验证丁该控制站系统可以实现机器人在复杂环境中的运动控制、多通道信息交互等功能,在灾难救援等领域具有可行性及有效性.     

基于柔性人机接口的人机协调运动控制方法

为改善基于力信息的人机协调运动中人机交互力,采用了在人机接口中设置弹性元件的方法,建立了具有柔性人机接口的人机交互力学模型。在已有鲁棒自适应阻抗控制方法的基础上进行改进,提出了一种基于柔性人机接口的自适应阻抗控制方法。此控制方法是对阻抗外环位置速度进行比例补偿,对力控制内环采用模糊PID (proportion integral differential)控制,实现改进自适应阻抗算法,从而提高了位置跟随精度,并有效减小了人机交互力。分析了人机接口中弹性元件对控制效果的影响,获得了不同刚度系数时,交互力控制效果和位置跟随精度。在此基础上,建立了试验系统,完成了试验。人机协调运动试验结果显示：应用柔性人机接口和改进后的控制方法具有更好的人机交互力控制效果。标准运动输入试验结果显示：改进后的控制方法具有更好的人机交互力控制效果和更高的位置跟随精度;人机交互力大小、位置跟踪准确性与人机接口刚度系数大小均成正比。     

A formal semantics for debugging synchronous message passing-based concurrent programs

During a human-exoskeleton collaboration, the interaction torque on exoskeleton resulting from the human cannot be clearly determined and conducted by normal physical models. This is because the torque depends not only on direction and orientation of both human-operator and exoskeleton but also on the physical properties of each operator. In this paper, we present our investigations on the relationship between the interaction torques with the dynamic factors of the human-exoskeleton systems using state-of-the-art learning techniques （nonparametric regression techniques） and provide control applications based on the findings. Exper- imental data was collected from various human-operators when they were attached to the designed exoskeleton to perform unconstraint motions with and without control. The results showed that regardless of how the ex- periments were done and which learning method was chosen, the resulting interaction could be best represented by time varying non-linear mappings of the operator＇s angular position, and the exoskeleton＇s angular position, velocity, and acceleration during locomotion. This finding has been applied to advanced controls of the lower exoskeletal robots in order to improve their performance while interacting with human.     

强化学习的自动驾驶控制技术研究进展

自动驾驶车辆的本质是轮式移动机器人,是一个集模式识别、环境感知、规划决策和智能控制等功能于一体的综合系统。人工智能和机器学习领域的进步极大推动了自动驾驶技术的发展。当前主流的机器学习方法分为：监督学习、非监督学习和强化学习3种。强化学习方法更适用于复杂交通场景下自动驾驶系统决策和控制的智能处理,有利于提高自动驾驶的舒适性和安全性。深度学习和强化学习相结合产生的深度强化学习方法成为机器学习领域中的热门研究方向。首先对自动驾驶技术、强化学习方法以及自动驾驶控制架构进行简要介绍,并阐述了强化学习方法的基本原理和研究现状。随后重点阐述了强化学习方法在自动驾驶控制领域的研究历史和现状,并结合北京联合大学智能车研究团队的研究和测试工作介绍了典型的基于强化学习的自动驾驶控制技术应用,讨论了深度强化学习的潜力。最后提出了强化学习方法在自动驾驶控制领域研究和应用时遇到的困难和挑战,包括真实环境下自动驾驶安全性、多智能体强化学习和符合人类驾驶特性的奖励函数设计等。研究有助于深入了解强化学习方法在自动驾驶控制方面的优势和局限性,在应用中也可作为自动驾驶控制系统的设计参考。     

面向交互应用的串联弹性驱动器力矩控制方法

对于串联弹性驱动器（Series elastic actuator,SEA）而言,已有方法大都将其弹性组件视为线性弹簧.然而为了追求更高的能量密度,SEA的机械结构越来越复杂,使其控制问题更具挑战性;此外,现有方法均未考虑当SEA应用于交互系统中,其负载端动力学模型会产生剧烈变化的情况.针对这些问题,本文设计了一种面向交互应用的自适应滑模控制方法.具体而言,首先在考虑了非线性SEA输出特性及系统中可能存在的扰动的情况下,描述了SEA系统的动力学方程,并对其进行了分析和变换.在此基础上设计了负载运动观测器和自适应滑模控制器,使得本文方法能够在负载端动力学模型完全未知的情况下完成SEA的力矩控制.最后通过引入辅助系统,对输入饱和的情况进行了有效的处理.通过理论分析证明了闭环控制系统的稳定性及信号有界性,随后的仿真与实验结果也表明了这种自适应滑模控制器良好的控制性能和对不确定性因素的鲁棒性.     

数据驱动的多智能体网络鲁棒包容控制

针对输入受限的受扰多智能体网络,提出具有领航层、估计层、控制层和跟随者层的新型鲁棒包容控制方案.首先,设计有限时间估值器获得跟随者的期望状态,然后基于包容误差引入非均方折扣代价函数,从而将鲁棒包容控制问题转换成受限最优控制问题.并应用Laypunov拓展原理证明得到的最优控制策略使得网络实现一致最终有界稳定.在系统动态完全未知的情况下,采用提出的积分增强学习算法和执行器–评价器结构,在线得到近似最优控制策略.仿真结果验证了理论方案的有效性和可行性.     

Model-free adaptive control design for nonlinear discrete-time processes with reinforcement learning techniques

This paper deals with the model-free adaptive control (MFAC) based on the reinforcement learning (RL) strategy for a family of discrete-time nonlinear processes. The controller is constructed based on the approximation ability of neural network architecture, a new actor-critic algorithm for neural network control problem is developed to estimate the strategic utility function and the performance index function. More specifically, the novel RL-based MFAC scheme is reasonable to design the controller without need to estimate y(k+1) information. Furthermore, based on Lyapunov stability analysis method, the closed-loop systems can be ensured uniformly ultimately bounded. Simulations are shown to validate the theoretical results.     

人-机器人技能传递研究进展

人-机器人技能传递（Human-robot skill transfer,HRST）是指人将操作技能传授给机械臂使得机器人具备类人化的作业能力,以达到高效示教编程的目的.相对于传统的机器人编程技术,人机技能传递具有高效率、低成本、不依赖机器本体平台等显著优点,是人-信息-机器人融合系统（Human-cyber-robot-systems,HCRS）中重要环节之一,应当给予足够的重视.本文首先介绍了人机技能传递技术的研究背景,接着简述了该技术在人机接口、建模、仿生自适应控制等方面的发展现状,并对未来的研究方向做出了展望.     

基于数据的自学习优化控制:研究进展与展望

自适应动态规划(Adaptive dynamic programming, ADP)方法可以解决传统动态规划中的\"维数灾\"问题, 已经成为控制理论和计算智能领域最新的研究热点. ADP方法采用函数近似结构来估计系统性能指标函数, 然后依据最优性原理来获得近优的控制策略. ADP是一种具有学习和优化能力的智能控制方法, 在求解复杂非线性系统的最优控制问题中具有极大的潜力. 本文对ADP的理论研究、算法实现、相关应用等方面进行了全面的梳理, 涵盖了最新的研究进展, 并对ADP的未来发展趋势进行了分析和展望.     

基于输出反馈逆强化Q学习的线性二次型最优控制方法

本文针对模型参数未知且状态不可测的线性离散系统的线性二次型最优控制问题,提出了一种数据驱动的基于输出反馈逆强化Q学习的最优控制方法,利用系统的输入输出数据同时确定合适的二次型性能指标权重和最优控制律,使得系统运行轨迹与参考轨迹一致.本文首先提出一个参数矫正方程并与逆最优控制相结合得到一种基于模型的逆强化学习最优控制框架,实现输出反馈控制律参数和性能指标加权项的矫正.在此基础上,本文引入强化Q学习思想提出了数据驱动的输出反馈逆强化Q学习最优控制方法,无需知道系统模型参数,仅利用历史输入输出数据对输出反馈控制律参数和性能指标加权项进行求解.理论分析与仿真实验验证了所提方法的有效性.     

基于深度Q网络的人群疏散机器人运动规划算法

针对公共场合密集人群在紧急情况下疏散的危险性和效果不理想的问题,提出一种基于深度Q网络(DQN)的人群疏散机器人的运动规划算法。首先通过在原始的社会力模型中加入人机作用力构建出人机社会力模型,从而利用机器人对行人的作用力来影响人群的运动状态;然后基于DQN设计机器人运动规划算法,将原始行人运动状态的图像输入该网络并输出机器人的运动行为,在这个过程中将设计的奖励函数反馈给网络使机器人能够在“环境行为奖励”的闭环过程中自主学习;最后经过多次迭代,机器人能够学习在不同初始位置下的最优运动策略,最大限度地提高总疏散人数。在构建的仿真环境里对算法进行训练和评估。实验结果表明,与无机器人的人群疏散算法相比,基于DQN的人群疏散机器人运动规划算法使机器人在三种不同初始位置下将人群疏散效率分别增加了16.41%、10.69%和21.76%,说明该算法能够明显提高单位时间内人群疏散的数量,具有灵活性和有效性。