基于π演算的足球机器人协作Q学习方法

针对多机器人协作学习时出现的学习速度慢、学习效率低等问题,提出了一种基于π演算心智模型的足球机器人协作Q学习方法,描述了机器人的运动模型,定义了球场现状、目标、意图、行为、协作、请求、扩展知识、能力判断和联合意图等机器人心智状态,构造了联合奖励函数。最后通过实验验证了方法的有效性。     

一种基于特征点三维信息的自然路标提取与快速匹配方法

自然路标提取与匹配是vSLAM的基础。文中提出了一种基于特征点三维信息的自然路标提取、局部特征描述与快速匹配方法。采用双目视觉获取环境图像,提取左右目图像的特征点,并进行匹配。建立左摄像机坐标系下的每个匹配点的三维信息,提出视场约束规则对特征点进行过滤。在此基础上基于改进的MeanShift聚类算法进行自然路标提取。提出一种路标描述符,可以快速进行两个聚类的匹配。该方法可以有效提取非结构化环境中的自然路标,对机器人位姿估计精度要求较低。     

基于多机器人自组织协作的多目标跟踪

提出了一种基于局部区域内的机器人和目标密度的多机器人分布式控制算法。运用这种算法,多机器人在跟踪多目标过程中,每个机器人能在每次调整速度和方向之前,根据最新的通讯信息和感知信息,计算通讯范围内相邻机器人和感知范围内移动目标的数量及位置坐标,然后按照所受人工势场(APF)力的合力决定下一次移动的新位置坐标,这个合力乘以一个基于机器人和目标密度的可变加权系数,以适应不同状态,然后按照动力学和运动学方程计算速度及方向。通过仿真实验对该算法进行了验证,实验结果表明,多机器人可以根据多目标的移动进行自主协作跟踪观测,算法的性能优于无可变加权系数的APF法和静态感知节点(SN)法。此方法对于实时监测和目标跟踪具有实际应用意义。     

基于局部信息的移动感知网覆盖方法

移动感知网是一个由许多带有传感器的自主移动机器人组成的分布式传感器网络。为了更好地部署这些移动机器人节点,形成最大化覆盖感知区域,提出了一种基于机器人局部信息的分布式感知网覆盖方法。每个节点利用与邻居节点之间的虚拟人工势场产生的虚拟作用力来控制移动节点的运动和节点间的避碰,使移动节点能够在允许的时间内,以较少的能量消耗移动到各自理想的位置。采用李亚普诺夫函数进行了感知网节点势场梯度的理论分析,用计算机仿真实验验证了该方法的有效性,并与模拟退火算法进行了性能比较。     

基于蒙特卡罗学习的多机器人自组织协作

强化学习是提高机器人完成任务效率的有效方法,目前比较流行的学习方法一般采用累积折扣回报方法,但平均值回报在某些方面更适于多机器人协作。累积折扣回报方法在机器人动作层次上可以提高性能,但在多机器人任务层次上却不会得到很好的协作效果,而采用平均回报值的方法,就可以改变这种状态。本文把基于平均值回报的蒙特卡罗学习应用于多机器人合作中,得到很好的学习效果,实际机器人实验结果表明,采用平均值回报的方法优于累积折扣回报方法。     

基于改进NSGA-Ⅱ的仿人机器人上楼梯运动规划方法

针对当前仿人机器人运动优化算法多采用对能耗、稳定性及速度等单目标优化而存在一定的局限性的问题,提出了一种基于多目标优化的仿人机器人上楼梯运动优化方法.针对NSGA-Ⅱ——经典的带精英策略的非支配排序遗传算法(NSGA)的快速非支配排序效率较低的问题,提出了一种基于自调整二叉搜索树的改进NSGA-Ⅱ方法,并采用改进的NSGA-Ⅱ算法实现了仿人机器人上楼梯运动参数优化.通过仿真和实际实验对比了优化前后仿人机器人的能耗和稳定性.实验表明,采用这种方法能克服单目标优化的缺点,在同时满足多个目标需求的同时有效地实现仿人机器人上楼梯.     

仿人机器人相似性运动轨迹跟踪控制研究

提出一种基于带观测器的条件状态反馈控制的仿人机器人相似性运动轨迹跟踪控制方法.首先,分析了7连杆双足机器人动力学模型,阐述了其运动能量方程与动力学特征方程; 其次,基于带观测器的状态反馈控制器原理,构建起三维倒立摆平衡控制模型; 最后,由线性二次型调节器确定状态反馈增益矩阵,使机器人轨迹跟踪误差最小化,以复现出较高相似度的双足步行运动效果.实验验证了该方法的有效性.     

基于参数化最优的仿人机器人倒地运动控制

针对仿人机器人的倒地运动控制,用经典的参数化优化方法求得最优控制函数的一个近似解．然后, 利用参数化控制及强化技术,基于几个分段的常数去逼近最优解,再将最优控制问题转化为一系列参数优化问题． 利用该方法提出了仿人机器人倒地优化控制算法,并与遗传算法进行了比较．最后,通过仿真对算法进行了验证．     

基于遗传模糊算法的机器人局部避障规划

提出了在动态环境中,基于遗传模糊算法的移动机器人的局部避障规划方法,该方法适用于复杂环境情况．仿真结果表明改进遗传算法的模糊控制估化效果优于传统遗传算法模糊控制效果,能够满足移动机器人局部路径规划的实时性要求．     

不确定性环境下基于进化算法的强化学习

不确定性和隐状态是目前强化学习所要面对的重要难题.本文提出了一种新的算法MA-Q-learning算法来求解带有这种不确定性的POMDP问题近似最优策略.利用Memetic算法来进化策略,而Q学习算法得到预测奖励来指出进化策略的适应度值.针对隐状态问题,通过记忆agent最近经历的确定性的有限步历史信息,与表示所有可能状态上的概率分布的信度状态相结合,共同决策当前的最优策略.利用一种混合搜索方法来提高搜索效率,其中调整因子被用于保持种群的多样性,并且指导组合式交叉操作与变异操作.在POMDP的Benchmark实例上的实验结果证明本文提出的算法性能优于其他的POMDP近似算法.