基于虚拟样机技术两栖仿生机器蟹的仿真研究

采用“虚拟样机”技术,建立一个集三维实体设计、动力学建模、控制、可视化仿真于一体的两栖仿生机器蟹机算机仿真环境,对两栖仿生机器蟹的静力学、运动学以及动力学进行了仿真研究,获得了较理想的仿真结果,为进一步进行机器蟹研究工作提供了新的条件。     

基于MSC Adams的肌肉驱动可视化模型设计与实现

根据肌肉驱动机理提出1种简单高效的仿生机器人驱动技术,基于Hill力学模型,参考CHENG等建立的“虚拟肌肉”,设计1种在计算机环境下可视化的肌肉驱动模型.该模型应用MSCAdams的二次开发技术完成肌肉建模插件的开发;解决宏命令调用、参数传递、命名、动态显示、输出控制以及Simulink与MSC Adams联合仿真等问题;具有肌肉力学特征和三维可视化显示功能,可接受Matlab/Simulink控制系统联合控制,可耦合MSC Adams骨架机构进行多体动力学仿真,有助于在计算机环境下进行肌肉驱动机器人、仿生装置的设计和仿真.     

车辆主动悬架模糊控制器的设计及其仿真分析

该文通过车辆悬架系统和路面输入模型的建立，应用模糊逻辑控制理论，进行了车辆主动悬架模糊控制器的设计，并在Matlab/Sirmulink环境中对此模糊控制器进行了仿真，把它与传统的被动悬架和用LQG控制器控制的主动悬架作了比较及性能分析，仿真结果证明了相对于其它两种悬架来说，具有模糊控制器作用的主动悬架在降低车身加速度、改善车辆的行驶平顺性和乘坐舒适性上有显著的效果。     

用于避障研究的微型仿生机器鱼3维仿真系统

基于VC++6.0开发环境和OpenGL（open graphics library）国际图形标准,在Windows系统下开发了微型仿生机器鱼3维仿真系统。该系统可以降低用实体机器鱼进行机器鱼避障能力研究的成本和减少在研究过程中对实体机器鱼造成的损害。采用多边形建模的方法构建了虚拟微型仿生机器鱼模型,模拟了鱼类尾鳍的摆动。提出了一种模拟红外传感器探测障碍物的虚拟射线方法。并采用实时模糊决策算法设计了基于多传感器信息的复合模糊控制器,决策微型仿生机器鱼的避障行为。仿真实验表明,复合模糊控制器实时性好、效率高;无论是单个任意形状的障碍物还是多个连续障碍物,复合模糊控制器都能有效地引导仿生机器鱼避开障碍物,到达目标点。微型仿生机器鱼3维仿真系统为研究仿生机器鱼的自主避障能力提供了可靠、逼真、便利的平台。     

基于CFD的仿鲹科机器鱼动力学建模与运动控制

仿生机器鱼的运动控制是仿生机器鱼推广应用的基础;然而,仿鲹科机器鱼的推进一般采用鱼体波数据,很少采用真实鱼类游动数据;为了深入探究仿鲹科机器鱼运动控制方法,采用了计算流体力学方法,通过标定流体介质、来流速度、鱼体几何形状等措施,利用Fluent软件进行了建模,然后针对鱼体波数据和真实金枪鱼游动采样数据两种不同推进数据对仿生机器鱼进行了仿真和实验;结果表明对于多关节仿生机器鱼推进方面,真实金枪鱼游动采样数据相较于常见的鱼体波产生的推进数据,在躯干进行大幅值摆动的情况下效果更好;这一仿真和实验对比为仿鲹科机器鱼的高效运动控制提供了一种新思路。     

基于惯性姿态参量量化融合的机器腿仿生步态控制

为了提高机器腿仿生步态控制的稳定性,提出一种基于惯性姿态参量量化融合的机器腿仿生步态控制方法。构造机器腿仿生步态的运动学模型,进行机器腿仿生步态控制约束参量建模,采用陀螺仪和加速度计等位姿传感器进行姿态参量采集。采用扩展卡尔曼滤波方法进行机器腿的惯性姿态参量融合并输入到时控制执行器中。针对未知扰动对机器腿步态参量控制的误差,采用自回归更新方法进行姿态参量误差反馈修正,实现机器腿仿生步态稳定控制。仿真结果表明:提出的方法对机器腿仿生控制的稳定性较好,姿态参量的定位跟踪能力较强,提高机器腿步行的稳健性。     

基于UE的水下机器人动态仿真平台设计与实现

仿生水下机器人需要大量的训练数据来模仿水下生物的各种任务；然而，真实物理环境中的高成本使得仿真成为应对这一挑战的可行工具；目前，多数的仿真平台对于仿真环境的设计较为简单，缺乏在保证模拟真实性的条件下构建大型复杂场景的能力；为了解决仿真平台环境建模能力的不足，提高仿真效果的可视化程度，采用虚幻引擎（Unreal Engine，UE）、AirSim和分布式算法仿真平台（Distributed Algorithm Simulation Platform, DASP）相结合的方案，设计了一款应用于仿生水下机器人的动态交互仿真测试平台；并通过LQR控制器控制仿生机器鱼跟踪目标轨迹对仿真平台的可视化和有效性进行了测试；仿真结果表明该仿真平台在交互性、真实性、可视化和仿真效果等方面表现出较高的优势。     

飞机起落架半主动控制仿真研究

该文总结了飞机起落架的三种控制方法：被动控制，主动控制，半主动控制。传统的起落架控制方法不能使飞机很快的达到稳定，为了解决这一问题，该文分析了半主动控制的优点。建立起了半主动控制起落架的数学模型和线性状态控制方程，并根据现代控制理论分析被动控制起落架系统的稳定性和可控性。采用常规状态反馈的控制方法对起落架系统进行设计，得到了半主动控制器。最后通过仿真软件分别对被动控制和半主动控制的起落架模型进行了仿真分析。仿真结果表明：被动控制起落架有较强的振荡，系统稳定时间也较长。而半主动控制起落架能够有效的降低飞机冲击载荷和振动响应，使飞机很快达到稳定。     

主动磁悬浮系统的变论域自适应模糊PID控制

针对主动磁悬浮轴承系统具有强非线性、强耦合、模型不确定等特点,提出了一种变论域自适应模糊PID算法;该方法通过选择合适的伸缩因子,避免了传统模糊PID控制中出现规则爆炸的问题;同时针对传统伸缩因子的函数结构和参数难以确定的特点,设计了基于模糊规则的论域伸缩因子;在SIMULINK环境中对主动磁悬浮轴承系统进行仿真,仿真结果表明,变论域模糊PID算法控制的主动磁悬浮系统具有更好的动静态性能,对外界干扰具有更强的鲁棒性.     

仿生机器鱼玩具的机构设计、仿真与实现

机器人技术的一个重要应用领域是在娱乐方面。在对鱼类游动方式深入研究的基础上，将仿鱼水下推进技术应用于玩具设计，给出了一种仿生机器鱼玩具的机构设计方案及系统的设计、仿真软件，并研制出可在水中运动的仿生机器鱼原型。     

深度强化学习在智能制造中的应用展望综述

深度强化学习作为机器学习发展的最新成果,已经在很多应用领域崭露头角。关于深度强化学习的算法研究和应用研究,产生了很多经典的算法和典型应用领域。深度强化学习应用在智能制造中,能在复杂环境中实现高水平控制。对深度强化学习的研究进行概述,对深度强化学习基本原理进行介绍,包括深度学习和强化学习。介绍深度强化学习算法应用的理论方法,在此基础对深度强化学习的算法进行了分类介绍,分别介绍了基于值函数和基于策略梯度的强化学习算法,列举了这两类算法的主要发展成果,以及其他相关研究成果。对深度强化学习在智能制造的典型应用进行分类分析。对深度强化学习存在的问题和未来发展方向进行了讨论。     

面向机械臂轨迹规划的强化学习奖励函数设计

针对基于深度强化学习的机械臂轨迹规划方法学习效率较低,规划策略鲁棒性差的问题,提出了一种基于语音奖励函数的机械臂轨迹规划方法,利用语音定义规划任务的不同状态,并采用马尔科夫链对状态进行建模,为轨迹规划提供全局指导,降低深度强化学习优化的盲目性。提出的方法结合了基于语音的全局信息和基于相对距离的局部信息来设计奖励函数,在每个状态根据相对距离与语音指导的契合程度对机械臂进行奖励或惩罚。实验证明,设计的奖励函数能够有效地提升基于深度强化学习的机械臂轨迹规划的鲁棒性和收敛速度。     

基于深度强化学习与旋量法的机械臂路径规划EI北大核心CSCD

深度强化学习在机械臂路径规划的应用中仍面临样本需求量大和获取成本高的问题.针对这些问题,本文基于数据增强的思路,提出了深度强化学习与旋量法的融合算法.本算法通过旋量法将与环境交互所得的自然轨迹进行有效复制,使深度强化学习样本利用率和算法训练效率得到提高;复制轨迹的同时对被控物体、障碍物等环境元素进行同步复制,以此提高机械臂在非结构环境中的泛化性能.最后,在具备物理模拟引擎的Mujoco仿真平台中,通过Fetch机械臂和UR5机械臂在非结构化环境下进行实验对比分析,结果表明了本文算法对于提升深度强化学习样本利用率和机械臂模型泛化性能的可行性及有效性.     

逆向强化学习研究综述

逆向强化学习(inverse reinforcement learning, IRL)也称为逆向最优控制(inverse optimal control, IOC),是强化学习和模仿学习领域的一种重要研究方法,该方法通过专家样本求解奖赏函数,并根据所得奖赏函数求解最优策略,以达到模仿专家策略的目的.近年来,逆向强化学习在模仿学习领域取得了丰富的研究成果,已广泛应用于汽车导航、路径推荐和机器人最优控制等问题中.首先介绍逆向强化学习理论基础,然后从奖赏函数构建方式出发,讨论分析基于线性奖赏函数和非线性奖赏函数的逆向强化学习算法,包括最大边际逆向强化学习算法、最大熵逆向强化学习算法、最大熵深度逆向强化学习算法和生成对抗模仿学习等.随后从逆向强化学习领域的前沿研究方向进行综述,比较和分析该领域代表性算法,包括状态动作信息不完全逆向强化学习、多智能体逆向强化学习、示范样本非最优逆向强化学习和指导逆向强化学习等.最后总结分析当前存在的关键问题,并从理论和应用方面探讨未来的发展方向.     

基于PPO算法的仿生鱼循迹智能控制

仿生鱼具有广阔的工程应用前景,对于仿生鱼的控制,首先要解决的是循迹问题.然而,现有的基于CFD方式和传统控制算法的鱼游控制方法存在训练数据获取成本高、控制不稳定等缺点.本文提出了基于PPO算法的仿生鱼循迹智能控制方法:使用代理模型替代CFD方式产生训练数据,提高数据的产生效率;引入高效的PPO算法,加快策略模型的学习速度,提高训练数据的效用;引入速度参数,解决鱼体在急转弯区域无法顺利循迹的问题.实验表明,我们提出的方法在多种类型的路径上均具有更快的收敛速度和更加稳定的控制能力,在仿生机器鱼的智能控制方面具有重要的指导意义.     

一种基于Agent团队的强化学习模型与应用研究

多Ａｇｅｎｔ学习是近年来受到较多关注的研究方向,以单Ａｇｅｎｔ强化Ｑ－ｌｅａｒｎｉｎｇ算法为基础,提出了一种基于Ａｇｅｎｔ团队的强化学习模,这个模型的最大特点是引入主导Ａｇｅｎｔ作为团队学习的主角,并通过主导Ａｇｅｎｔ的角色变换实现整个团队的学习。结合仿真机器人足球领域,设计了具体的应用模型,在几个方面对Ｑ－ｌｅａｒｎｉｎｇ进行扩充,并进行了实验,在仿真机器人足球领域的成功应用表明了这个模型的有效     

基于深度强化学习的生鲜产品联合库存控制与动态定价研究

针对生鲜产品的易逝性特征以及复杂多变的现实环境导致生鲜产品的最优订货和定价策略难以获得的问题,提出了基于深度强化学习方法的生鲜产品联合库存控制与动态定价方法,结合生鲜产品特性对问题进行建模并定义为马尔可夫决策过程,然后基于深度强化学习设计了生鲜品联合库存控制和动态定价算法。实验结果表明,基于深度强化学习的联合库存控制和动态定价策略收益表现最佳,因此,基于深度强化学习的联合库存控制和动态定价研究能够提高企业收益,有效促进强化学习在收益管理领域的落地,具有实际应用价值。     

人群环境中基于深度强化学习的移动机器人避障算法

为了控制移动机器人在人群密集的复杂环境中高效友好地完成避障任务,本文提出了一种人群环境中基于深度强化学习的移动机器人避障算法。首先,针对深度强化学习算法中值函数网络学习能力不足的情况,基于行人交互（crowd interaction）对值函数网络做了改进,通过行人角度网格（angel pedestrian grid）对行人之间的交互信息进行提取,并通过注意力机制（attention mechanism）提取单个行人的时序特征,学习得到当前状态与历史轨迹状态的相对重要性以及对机器人避障策略的联合影响,为之后多层感知机的学习提供先验知识;其次,依据行人空间行为（human spatial behavior）设计强化学习的奖励函数,并对机器人角度变化过大的状态进行惩罚,实现了舒适避障的要求;最后,通过仿真实验验证了人群环境中基于深度强化学习的移动机器人避障算法在人群密集的复杂环境中的可行性与有效性。     

基于FBFN 的鲁棒仿生学习系统设计及在运动平衡控制中的应用

针对两轮直立式机器人的运动平衡控制问题,结合OCPA 仿生学习系统,基于模糊基函数,设计了一 种鲁棒仿生学习控制方案．它不需要动力学系统的先验知识,也不需要离线的学习阶段．鲁棒仿生学习控制器主要 包括仿生学习单元、增益控制单元和鲁棒自适应单元3 部分．仿生学习单元由模糊基函数网络（FBFN）实现,FBFN 不仅执行操作行为产生功能,逼近动力学系统的非线性部分,同时也执行操作行为评价功能,并利用性能测量机制 提供的误差测量信号,产生取向值信息,对操作行为产生网络进行调整．增益控制单元的作用是确保系统的稳定性 和性能,鲁棒自适应单元的作用是消除FBFN 的逼近误差及外部干扰．此外,由于FBFN 的参数是基于李亚普诺夫 稳定性理论在线调整的,因此进一步确保了系统的稳定性和学习的快速性．理论上证明了鲁棒仿生学习控制器的稳 定性,仿真实验结果验证了其可行性和有效性．     

Robotic Knee Tracking Control to Mimic the Intact Human Knee Profile Based on Actor-Critic Reinforcement Learning

We address a state-of-the-art reinforcement learning (RL) control approach to automatically configure robotic prosthesis impedance parameters to enable end-to-end, continuous locomotion intended for transfemoral amputee subjects. Specifically, our actor-critic based RL provides tracking control of a robotic knee prosthesis to mimic the intact knee profile. This is a significant advance from our previous RL based automatic tuning of prosthesis control parameters which have centered on regulation control with a designer prescribed robotic knee profile as the target. In addition to presenting the tracking control algorithm based on direct heuristic dynamic programming (dHDP), we provide a control performance guarantee including the case of constrained inputs. We show that our proposed tracking control possesses several important properties, such as weight convergence of the learning networks, Bellman (sub) optimality of the cost-to-go value function and control input, and practical stability of the human-robot system. We further provide a systematic simulation of the proposed tracking control using a realistic human-robot system simulator, the OpenSim, to emulate how the dHDP enables level ground walking, walking on different terrains and at different paces. These results show that our proposed dHDP based tracking control is not only theoretically suitable, but also practically useful.