基于π演算的足球机器人协作Q学习方法

针对多机器人协作学习时出现的学习速度慢、学习效率低等问题,提出了一种基于π演算心智模型的足球机器人协作Q学习方法,描述了机器人的运动模型,定义了球场现状、目标、意图、行为、协作、请求、扩展知识、能力判断和联合意图等机器人心智状态,构造了联合奖励函数。最后通过实验验证了方法的有效性。     

基于D-H法的农业采摘机器人运动协作控制系统设计

为提升农业采摘机器人运动协作控制性能,降低机器人碰撞概率,利用D-H法优化设计机器人运动协作控制系统。改装位置、力矩以及碰撞传感器设备,优化运动协作控制器与驱动器,调整系统通信模块结构,完成硬件系统的优化。利用D-H法构建农业采摘机器人数学模型,在该模型下,利用传感器设备实现机器人实时位姿的量化描述,通过机器人采摘流程的模拟,分配机器人运动协作任务,从位置和姿态等多个方面,确定运动协作控制目标,经过受力分析求解机器人实际作用力,最终通过控制量的计算,实现农业采摘机器人的运动协作控制功能。通过系统测试实验得出结论：与传统控制系统相比,机器人位置、姿态角和作用力的控制误差分别降低了约40mm、0.2°和1.2N,在优化设计系统控制下,机器人的碰撞次数得到明显降低。     

基于混合结构的机器人Agent控制结构的研究

该文面向分布Agent多移动机器人系统,提出了一种适合于多移动机器人的机器人Agent分层式体系结构,包括状态监测层、决策规划层、协调控制层和行为控制层,其中状态监测层主要实现整个系统对外部环境的状态监测。决策规划层设定系统的全局目标和单个机器人的局部目标,合理快速地完成任务的分解和分配,实现机器人之间任务级之间的协作。协调控制层完成机器人之间的运动协调。行为控制器主要采用基于行为的方法实现具体的运动控制。该结构应用于RoboCup环境下的分布多机器人系统中,满足复杂的、动态的应用环境和系统要求。     

一种新的多智能体强化学习算法及其在多机器人协作任务中的应用

在多机器人系统中，评价一个机器人行为的好坏常常依赖于其它机器人的行为，此 时必须采用组合动作以实现多机器人的协作，但采用组合动作的强化学习算法由于学习空间 异常庞大而收敛得极慢．本文提出的新方法通过预测各机器人执行动作的概率来降低学习空 间的维数，并应用于多机器人协作任务之中．实验结果表明，基于预测的加速强化学习算法 可以比原始算法更快地获得多机器人的协作策略．     

基于松散偏好规则的群体机器人系统自组织协作围捕

针对群体机器人协作围捕,提出了一种基于松散偏好规则的自组织方法.首 先给出了个体机器人的自由运动模型和围捕行为的数学描述.通过对围捕行为的分解,构造松散偏好 规则来使个体机器人在自组织运动过程中相互协调最终形成理想的围捕队形.在此基础上,设计了个体自组织运动控制器.最后运用Lyapunov稳定性定理证明系统的稳定性.仿真和实验结果表 明,本文给出的自组织方法对于群体机器人协作围捕是行之有效的.     

融合神经元激励机制的机器人情景学习与行为控制

针对不确定环境下机器人行为控制的维数灾难和感知混淆问题,引入神经元激励机制,提出一种情景记忆驱动的马尔可夫决策过程(EM-MDP)以实现机器人对环境经验自主学习,及多源不确定性条件下的行为控制.首先,构建情景记忆模型,并基于认知神经科学提出事件中状态神经元激活及组织机制.其次,基于自适应共振理论(ART)与稀疏分布记忆(SDM)通过Hebbian规则实现情景记忆的自主学习,采用神经元突触势能建立机器人行为控制策略,机器人能够评估过去的事件序列,预测当前状态并规划期望的行为.最后,实验结果验证,该模型框架与控制策略能够实现机器人在普遍场景中的行为控制目标.     

仿人机器人参数化全方位步态规划方法

以实现仿人机器人稳定快速的全方位步行运动为目的,针对现有多体动力学模型描述的复杂性缺陷,及其他全方位运动策略不考虑步幅连接的问题,采用通用的运动学参数描述机器人的单步运行过程,并提出全新的全方位运动小车模型以描述步幅间连接约束,进而给出了步幅间过渡算法.在将全方位步行参数化的基础上,提出一种标准工况作为全方位运动的性能评价指标.通过动力学仿真和样机实验验证了该方法的有效性以及步幅连接算法存在的必要性.     

基于强化学习的未知环境多机器人协作搜集

针对多机器人协作复杂搜集任务中学习空间大,学习速度慢的问题,提出了带共享区的双层强化学习算法。该强化学习算法不仅能够实现低层状态-动作对的学习,而且能够实现高层条件-行为对的学习。高层条件-行为对的学习避免了学习空间的组合爆炸,共享区的应用强化了机器人间协作学习的能力。仿真实验结果说明所提方法加快了学习速度,满足了未知环境下多机器人复杂搜集任务的要求。     

生物交哺行为启发的群体机器人搜集行为研究

为了提高群体机器人系统的整体性能,受生物系统中普遍存在的交哺现象的启发,在原来多机器人系统的基本行为的基础上,提出了一种引入交哺行为的多机器人协作机制。机器人依靠有限的感知能力和局部交互功能,以自组织方式执行目标搜集任务。机器人的内部状态变量反映其执行任务的情况以及对环境和其他机器人的评价。比较机器人的内部状态变量,可以判断是否需要交哺和交哺的方向性。主要目的是减少机器人之间的冲突,降低系统能量消耗的同时,提高机器人搜集目标的效率。最后通过计算机仿真实验以及与其他多机器人协作方法比较,分析该方法对提高系统性能的有效性。     

一种基于理性遗传算法(RGA)的协调运动行为合成算法

协调运动行为的合成是实现多机器人系统协调运动的关键.本文针对特定环境下的 多机器人协调运动问题,基于调速避碰的思想,借助CMAC神经网络,来描述各机器人的运动行 为与环境状态之间复杂的、非线性映射关系,利用理性遗传算法来合成与优化各机器人的运 动行为,从而实现多机器人已知环境下,运动行为的相互协调与优化.文章讨论了规划算法的 鲁棒性、完备性及时间复杂度.     

A learning particle swarm optimization algorithm for odor source localization

This paper is concerned with the problem of odor source localization using multi-robot system. A learning particle swarm optimization algorithm, which can coordinate a multi-robot system to locate the odor source, is proposed. First, in order to develop the proposed algorithm, a source probability map for a robot is built and updated by using concentration magnitude information, wind information, and swarm information. Based on the source probability map, the new position of the robot can be generated. Second, a distributed coordination architecture, by which the proposed algorithm can run on the multi-robot system, is designed. Specifically, the proposed algorithm is used on the group level to generate a new position for the robot. A consensus algorithm is then adopted on the robot level in order to control the robot to move from the current position to the new position. Finally, the effectiveness of the proposed algorithm is illustrated for the odor source localization problem.     

基于蒙特卡罗学习的多机器人自组织协作

强化学习是提高机器人完成任务效率的有效方法,目前比较流行的学习方法一般采用累积折扣回报方法,但平均值回报在某些方面更适于多机器人协作。累积折扣回报方法在机器人动作层次上可以提高性能,但在多机器人任务层次上却不会得到很好的协作效果,而采用平均回报值的方法,就可以改变这种状态。本文把基于平均值回报的蒙特卡罗学习应用于多机器人合作中,得到很好的学习效果,实际机器人实验结果表明,采用平均值回报的方法优于累积折扣回报方法。     

多机器人合作与协调研究进展

介绍了多机器人合作与协调的国内外发展现状,重点讨论了多机器人合作与协调的研究载体——未知环境下的多机器人动态追捕问题,并针对不同的典型应用算法,作了简单的说明和比较。系统地阐明了多机器人合作与协调研究的有关方面,例如对象定义、环境探索、学习与决策、冲突消解等。在此基础上,对多机器人合作与协调的研究方向进行了展望。     

具有环境自适应能力的多机器人编队系统研究

对多机器人的体系结构进行了研究.采用时空表和时间控制器相结合的方法，解决多机器人间的协调协作问题.针对编队问题的具体特性，提出了基于环境的记忆学习方法，使多机器人编队系统具有较强的环境自适应能力.最后,通过仿真实验实现了整个多机器人系统,进一步验证了各个算法的可行性和有效性.􀁱     

A cooperative behavior learning control of multi-robot using trace information

The distributed autonomous robotic system has superiority of robustness and adaptability to dynamical environment, however, the system requires the cooperative behavior mutually for optimality of the system. The acquisition of action by reinforcement learning is known as one of the approaches when the multi-robot works with cooperation mutually for a complex task. This paper deals with the transporting problem of the multi-robot using Q-learning algorithm in the reinforcement learning. When a robot carries luggage, we regard it as that the robot leaves a trace to the own migrational path, which trace has feature of volatility, and then, the other robot can use the trace information to help the robot, which carries luggage. To solve these problems on multi-agent reinforcement learning, the learning control method using stress antibody allotment reward is used. Moreover, we propose the trace information of the robot to urge cooperative behavior of the multi-robot to carry luggage to a destination in this paper. The effectiveness of the proposed method is shown by simulation. This work was presented in part at the 13th International Symposium on Artificial Life and Robotics, Oita, Japan, January 31–February 2, 2008     

面向任务的多机器人协调运动控制

基于多智能体系统理论,研究在确定环境下,面向任务的多机器人协调控制系统的实现原理、方法和技术,以及控制集成方法。开发了机器人协调控制的实验平台,对规划、控制、传感、通讯、协调与合作的各关键技术进行了开发和集成,完成了地面2个机器人的实时跟踪,三机器人的协调运动控制。通过实验研究使多机器人分布式协调技术的研究能够直接面向实际应用。     

基于MQTT的机器人集群控制系统设计与实现

针对现有的多机器人的控制系统编程复杂且不可灵活地更改机器人动作的弊端,基于MQTT的机器人集群控制系统采用了网络传输模式,通过MQTT在不使用有线连接的基础上将动作发送给目标机器人,并且具有动作复现的功能,可以通过手动将机器人的动作记录下来,然后进行复现,大大降低了编程和调试的难度;这种控制系统使得机器人只需要接受上位机的命令,执行上位机发出的动作指令就可以完成同步协调工作,大大减少了机器人的CPU处理的任务,降低了机器人的制作成本,同时通过上位机控制机器人的动作,可以及时纠正错误动作,停止工作,更改任务等,无需担心机器人因先前的程序导致动作出错;实验中使用该系统对三台四足机器人进行控制,结果表明该系统可以使三台机器人协同工作,动作误差极小,并且可以完整复现动作.     

非完整机器人Leader-Follower编队控制器设计

编队控制是多机器人协作的最重要的研究领域,其目的是控制组中的机器人的相对位置和方向,让机器人移动作为一个整体。Le-ader-follower策略已经广泛地应用到多机器人系统编队控制中。文中涉及了非完整移动机器人leader-follower编队控制问题,然后描述了基于leader-follower策略的控制方法,最后采用输入/输出反馈线性化方法设计控制器,以确保编队的渐进稳定。在保持理想的相对距离和转向角时,该控制器能够有效地稳定编队。仿真结果表明了该编队控制方案的有效性。     

Multi-Robot Task Allocation in Uncertain Environments

Multiple cooperating robots hold the promise of improved performance and increased fault tolerance for large-scale problems such as planetary survey and habitat construction. Multi-robot coordination, however, is a complex problem. We cast this problem in the framework of multi-robot dynamic task allocation under uncertainty. We then describe an empirical study that sought general guidelines for task allocation strategies in multi-robot systems. We identify four distinct task allocation strategies, and demonstrate them in two versions of the multi-robot emergency handling task. We describe an experimental setup to compare results obtained from a simulated grid world to those obtained from physical mobile robot experiments. Data resulting from eight hours of experiments with multiple mobile robots are compared to the trend identified in simulation. The data from the simulations show that there is no single strategy that produces best performance in all cases, and that the best task allocation strategy changes as a function of the noise in the system. This result is significant, and shows the need for further investigation of task allocation strategies and their application to planetary exploration.     

Learning robotic hand-eye coordination through a developmental constraint driven approach

The skill of robotic hand-eye coordination not only helps robots to deal with real time environment,but also afects the fundamental framework of robotic cognition.A number of approaches have been developed in the literature for construction of the robotic hand-eye coordination.However,several important features within infant developmental procedure have not been introduced into such approaches.This paper proposes a new method for robotic hand-eye coordination by imitating the developmental progress of human infants.The work employs a brain-like neural network system inspired by infant brain structure to learn hand-eye coordination,and adopts a developmental mechanism from psychology to drive the robot.The entire learning procedure is driven by developmental constraint: The robot starts to act under fully constrained conditions,when the robot learning system becomes stable,a new constraint is assigned to the robot.After that,the robot needs to act with this new condition again.When all the contained conditions have been overcome,the robot is able to obtain hand-eye coordination ability.The work is supported by experimental evaluation,which shows that the new approach is able to drive the robot to learn autonomously,and make the robot also exhibit developmental progress similar to human infants.