人群环境中基于深度强化学习的移动机器人避障算法

为了控制移动机器人在人群密集的复杂环境中高效友好地完成避障任务,本文提出了一种人群环境中基于深度强化学习的移动机器人避障算法。首先,针对深度强化学习算法中值函数网络学习能力不足的情况,基于行人交互（crowd interaction）对值函数网络做了改进,通过行人角度网格（angel pedestrian grid）对行人之间的交互信息进行提取,并通过注意力机制（attention mechanism）提取单个行人的时序特征,学习得到当前状态与历史轨迹状态的相对重要性以及对机器人避障策略的联合影响,为之后多层感知机的学习提供先验知识;其次,依据行人空间行为（human spatial behavior）设计强化学习的奖励函数,并对机器人角度变化过大的状态进行惩罚,实现了舒适避障的要求;最后,通过仿真实验验证了人群环境中基于深度强化学习的移动机器人避障算法在人群密集的复杂环境中的可行性与有效性。     

基于深度学习的矿用救援机器人自动避障方法

救援机器人自动避障性能存在不足,在实际中救援成功率和避障平滑系数较低,无法达到预期的避障效果,为此,提出基于深度学习的矿用救援机器人自动避障方法。首先,利用电子罗盘和超声波传感器感知救援机器人与障碍物的方位角和距离,搭建救援机器人空间状态;然后,建立具有三层卷积层和两层全连接层结构的深度学习网络模型,并搭建用于深度学习网络模型训练的救援机器人避障动作集合;最后,通过深度学习网络模型训练救援机器人的空间状态信息,提取救援机器人移动的空间特征,自动生成避障决策。实践证明,应用该设计方法后,救援机器人避障成功率在95%以上,平滑系数在0.85以上,具有良好的应用前景。     

基于神经网络和遗传算法的机器人动态避障路径规划

文中提出了基于神经网络和遗传算法的动态环境下机器人动态避障路径规划方法,机器人工作空间动态环境信息的神经网络模型,并利用该模型建立机器人动态避障与神经网络输出的关系,然后将需规划路径的二维编码简化成一维编码,并把动态避障要求和最短路径要求融合成一个适应度函数.通过对算法进行实验仿真,结果表明提出的动态路径规划方法是正确和有效的.     

机器人在有人环境中的避障算法的研究与实现

针对室内有人复杂环境下的服务机器人避障问题,提出了一种基于函数模型调控离散PID控制器的避障算法。通过分析并简化室内有人环境的复杂情况,然后采用递减函数模型对机器人减速后,再采用人工增量法干预PID控制器平衡从而进行转弯控制。采用状态栈记录速度与偏角的函数变化,以机器人避过障碍物之后的点为对称点,开始恢复行走方向,达到绕行的效果。最后,通过实验证明了这种减速后再寻找最佳方向避障的算法的有效性和安全性。     

基于操作条件反射机制的感觉运动系统认知模型的建立

针对运动平衡控制问题,提出了一个基于操作条件反射原理的感觉运动系统认知模型,研究了小脑、基底核、大脑皮质以及其它神经器官工作的协同性,构建了感觉运动系统的认知模型.该认知模型主要由小脑和基底核以及大脑皮质组成,其中:小脑通过监督学习实现状态到行为的感觉运动神经映射;基底核利用行为预测评价结果对动作实施基于操作条件反射原理的概率式选择;而大脑皮质接收并发送有用信号给基底核与小脑,形成了感觉运动系统的闭环反馈回路.本文描述了基于操作条件反射原理的感觉运动系统认知模型的具体结构、功能与算法,并在两轮机器人上进行了仿真实验,再现了机器人类似人或动物的自主学习能力和运动平衡技能.结果表明,该模型具有较强的认知特性,使机器人能通过自主学习掌握运动平衡的控制技能.     

未知环境下基于可拓遗传算法的避障算法

为了提高避障机器人的避障能力和对环境的自适应能力,基于可拓遗传算法,对避障机器人的避障方法进行了研究。通过对避障机器人的可拓分析,提出了一种避障机器人物元模型,通过可拓变换重新认知环境信息,设计了相应的可拓适应度函数,改进了遗传操作。通过仿真分析,结果表明,改进后的可拓遗传算法优化了避障机器人的性能,提高了避障机器人对环境的鲁棒性。     

基于主从任务转化的冗余度机器人避障算法

在冗余度机器人的避障规划问题中,当障碍影响机器人末端运动时,避障运动和机器人的末端轨迹跟踪运动会发生相互冲突.针对这个问题,提出了基于主从任务转化的避障算法.该方法将避障运动的操作空间定义为1维的运动空间,引入了2个转换变量,可以根据得到的实时最小距离的变化,实现机器人末端的轨迹跟踪运动和避障运动之间光滑连续的优先级转换.最后,通过对一个3自由度平面机器人的仿真实验,对算法的正确性进行了验证.结果表明,机器人与障碍物的最近距离大于0.02m,并且机器人末端可以准确地到达目标位置.所提出的方法不仅能实现冗余度机器人的避障,而且能防止任务之间的冲突.     

基于三角剖分的小脑模型在增强学习中的应用

研究了一种基于三角剖分的小脑模型的增强学习控制器设计方法,并应用于机器人足球中单机器人截球的学习控制中。该方法通过在Markov决策过程状态空间中引入基于单纯形的库恩三角化,实现基于三角剖分的线性值函数逼近,从而有效提高了增强学习控制器对连续状态空间马氏决策问题的泛化性能。针对机器人截球学习控制的仿真研究表明,采用基于三角剖分的小脑模型进行值函数逼近的增强学习控制器能够获得优于已有基于均匀编码的小脑模型方法的学习效率和泛化性能。     

XCSG在多机器人强化学习中的应用

XCS分类器在解决机器人强化学习方面已显示出较强的能力,但在多机器人领域仅局限于MDP环境,只能解决环境空间较小的学习问题。提出了XCSG来解决多机器人的强化学习问题。XCSG建立低维的逼近函数,梯度下降技术利用在线知识建立稳定的逼近函数,使Q-表格一直保持在稳定低维状态。逼近函数Q不仅所需的存储空间更小,而且允许机器人在线对已获得的知识进行归纳一般化。仿真实验表明,XCSG算法很好地解决了多机器人学习空间大、学习速度慢、学习效果不确定等问题。     

操作条件反射学习自动机及其在机器人平衡控制中的应用

针对两轮机器人的平衡控制问题,在学习自动机理论的框架中,提出一种基于操作条件反射学习自动机的仿生学习模型.该模型引入认知学习单元和取向单元,分别用来实现操作行为学习和指导系统进化的方向.模拟两轮自平衡机器人的平衡控制仿真实验表明,该学习模型具有可行性和有效性,能使机器人自主学会平衡控制技能,并使其具有高度的自适应能力.     

基于学习自动机的具有内发动机的感知运动系统的建立

以学习自动机为数学模型, 结合斯金纳操作条件反射, 建立一种人工感知运动系统, 称为感知运动自动机(SMA). 该系统包括感知状态集合、动作集合、感知运动取向性映射集合等9 部分. 系统引入好奇心和取向性概念, 设计具有主动学习环境的内发动机机制, 定义并分析了取向性学习过程, 证明了系统熵的收敛性. 通过模拟斯金纳鸽子实验表明了系统的可行性和有效性, 仿真结果表明系统具有较好的自学习和自组织特性, 同时稳定性较高.

     

一种基于混合学习策略的移动机器人路径规划方法

针对未知环境下移动机器人路径规划问题,以操作条件反射学习机制为基础,根据模糊推理系统和学习自动机的原理,提出一种应用于移动机器人导航的混合学习策略.运用仿生的自组织学习方法,通过不断与外界未知环境交互从而使机器人具有自学习和自适应的功能.仿真结果表明,该方法能使机器人学会避障和目标导航任务,与传统的人工势场法相比,能有效地克服局部极小和振荡情况.     

基于自适应重复学习的不确定多涡卷混沌系统同步控制

基于滞环函数提出一种参数可调的多涡卷混沌系统构造方法. 针对复杂不确定性系统, 综合利用自适应神经网络和重复学习控制方法设计一种自适应重复学习同步控制器; 利用自适应重复学习控制方法对周期时变参数化不确定性进行处理; 对函数型不确定性利用神经网络逼近技术进行补偿; 设计鲁棒学习项对神经网络逼近误差和扰动上界进行估计; 通过构造类Lyapunov 复合能量函数证明了同步误差学习的收敛性. 仿真结果验证了所提出方法的有效性.

     

一种用于软测量建模的增量学习集成算法

针对软测量模型在实际应用中遇到的问题, 结合AdaBoost 集成学习思想, 提出适用于软测量回归的集成学习算法, 以提高传统软测量模型的精度. 为了克服模型更新技术对软测量实际应用的制约, 将增量学习机制加入软测量集成建模中, 使软测量模型具有在线实时更新的增量学习能力. 对浆纱过程使用新方法建立上浆率软测量模型, 并使用实际生产数据对模型进行检验, 检验结果表明, 该模型具有很好的预测精度, 并能够较好地实现在线更新.

     

一类非线性动态系统基于强化学习的最优控制制

提出一类非线性不确定动态系统基于强化学习的最优控制方法. 该方法利用欧拉强化学习算法估计对象的未知非线性函数, 给出了强化学习中回报函数和策略函数迭代的在线学习规则. 通过采用向前欧拉差分迭代公式对学习过程中的时序误差进行离散化, 实现了对值函数的估计和控制策略的改进. 基于值函数的梯度值和时序误差指标值, 给出了该算法的步骤和误差估计定理. 小车爬山问题的仿真结果表明了所提出方法的有效性.

     

基于拉普拉斯特征映射的启发式Q学习

在基于目标的强化学习任务中, 欧氏距离常作为启发式函数用于策略选择, 其用于状态空间在欧氏空间内不连续的任务效果不理想. 针对此问题, 引入流形学习中计算复杂度较低的拉普拉斯特征映射法, 提出一种基于谱图理论的启发式策略选择方法. 所提出的方法适用于状态空间在某个内在维数易于估计的流形上连续, 且相邻状态间的连接关系为无向图的任务. 格子世界的仿真结果验证了所提出方法的有效性.

     

具有学习能力的有限理性双寡头竞争分析与混沌控制

利用动力系统的分支理论研究了具有学习能力的有限理性双寡头产量竞争模型,讨论了该模型均衡点的存在性与稳定性,并进行了数值仿真.仿真结果表明,企业产量调整速度的变化对于模型的稳定性有较明显的影响;运用延迟反馈控制法町使陷入混沌的模型重新稳定在Nash均衡状态,混沌控制实施者可从混沌控制中获利.     

非线性迭代学习算法在机器人上肢康复中的应用

针对上肢康复机器人轨迹跟踪控制中存在的患者痉挛扰动非线性及不确定性问题, 结合康复机器人系统执行具有重复性的特点以及迭代学习算法特有的性质, 提出一种非线性迭代学习控制算法, 改进了机器人常用的线性动力学控制系统, 使得在模型信息不精确以及只有角度信息可测的情况下, 也能获得良好的轨迹跟踪性能; 应用Lyapunov 稳定性理论和LaSalle 不变性原理证明了闭环系统的全局渐近稳定性. 仿真结果表明, 所提出的非线性迭代学习控制具有良好的控制性能.

     

基于灵敏度分析法的ELM剪枝算法

针对极端学习机(ELM)网络结构设计问题,提出基于灵敏度分析法的ELM剪枝算法.利用隐含层节点输出和相对应的输出层权值向量,定义学习残差对于隐含层节点的灵敏度和网络规模适应度,根据灵敏度大小判断隐含层节点的重要性,利用网络规模适应度确定隐含层节点个数,删除重要性较低的节点.仿真结果表明,所提出的算法能够较为准确地确定与学习样本相匹配的网络规模,解决了ELM网络结构设计问题.