随机博弈框架下的多agent强化学习方法综述

多agent学习是在随机博弈的框架下,研究多个智能体间通过自学习掌握交互技巧的问题.单agent强化学习方法研究的成功,对策论本身牢固的数学基础以及在复杂任务环境中广阔的应用前景,使得多agent强化学习成为目前机器学习研究领域的一个重要课题.首先介绍了多agent系统随机博弈中基本概念的形式定义;然后介绍了随机博弈和重复博弈中学习算法的研究以及其他相关工作;最后结合近年来的发展,综述了多agent学习在电子商务、机器人以及军事等方面的应用研究,并介绍了仍存在的问题和未来的研究方向.     

一般和博弈中的合作多agent学习

理性和收敛是多agent学习研究所追求的目标,在理性合作的多agent系统中提出利用Pareto占优解代替非合作的Nash平衡解进行学习,使agent更具理性,另一方面引入社会公约来启动和约束agent的推理,统一系统中所有agent的决策,从而保证学习的收敛性．利用2人栅格游戏对多种算法进行验证,成功率的比较说明了所提算法具有较好的学习性能．     

多机器人编队系统体系结构的设计与性能分析

根据多机器人智能编队的要求,设计分层多机器人体系结构,该结构主要有3层：协作任务层、协调行为层、动作控制层,协作任务层应用势场栅格法增强路径的安全性和可靠性并降低了计算复杂度;协调行为层应用强化学习法增强了机器人群体的智能性;动作控制层应用模糊控制实现了动作的匹配;通讯模块在各个层次上实现数据的传递,这种结构既能实现机器人个体的自主性和智能性,又能满足多机器人之间的协作与协调性的需要,每一层任务分配清晰,层层规划中都有智能体现,是一个真正的智能性结构,最后,仿真试验进一步验证了这种结构的有效性,此结构有很好的可扩展性,可以应用于相似的多机器人系统。     

水下观测机器人推进器的动态结构仿生设计研究

目的 为了更好地实现水下机器人在海洋牧场观测环境中的低速稳定航行,设计一种水下观测机器人的仿生推进器。方法 结合结构仿生原理提出动态结构仿生设计方法,具体过程包括选择仿生对象、动态结构特征提取、生物特征与产品匹配、产品集成创新设计及设计评价。以水下观测机器人推进器为例,重点模仿蓝斑条尾魟胸鳍波动推进的形态与结构,分步骤完成仿生推进器造型和功能的动态结构仿生设计。结果 通过流体动力学仿真评估,得到波动鳍表面压力分布情况,结果表明波动鳍推进能够产生一定的推力,验证了动态结构仿生设计方法的可行性。结论 该仿生推进器具有低速稳定航行的特点,能够有效提升海洋牧场的观测能力,动态结构仿生设计方法对仿生推进器的结构设计具有借鉴意义。     

多移动机器人协作任务的分布式控制系统

本文以多移动机器人协作执行围捕任务为背景，探讨了多机器人系统行为层规划及任务层中的任务分解和分配问题，提出了一种能有效降低计算量的编队中子任务的分配方法．为多移动机器人提供了一种在不确定环境中，动态变化的协作任务下进行基于传感器信息和通信信息的在线路径规划的方法．     

移动机器人的自适应式行为融合方法

介绍了一种基于先验知识的强化学习方法,它将传统的规则控制方法和强化学习方法相结合,在保留了已知的部分规则的情况下,利用强化学习方法对基本行为的融合机制进行了完善;同时,利用已知的规则知识对学习器进行指导,保证了学习向正确方向进行,有利于学习收敛速度的提高。文章给出了2种实现方法的结合方式,并给出了学习器的结构及参数和函数设定。最后以机器人围捕为研究背景,实现了移动机器人的自适应式行为融合,并利用仿真实验对其有效性进行验证。结果表明该方法具有收敛快、学习效果好的特点。     

小型水下巡航机器人表面减阻仿生设计

为提高小型水下巡航机器人作业过程中的行进效率，基于仿生设计方法进行表面减阻设计。利用边缘提取算法和GetData软件对灰鲭鲨鱼鳞片形态与结构进行特征分析和数据提取；运用Shapr 3D和Rhino软件构建了鳞片三维模型和仿生非光滑结构表面，通过Fluent软件进行流体仿真分析，对比不同流速下的剪切应力。结果表明：当来流速度大于6 m/s时，非光滑表面剪切应力小于光滑表面剪切应力，流速为8 m/s时减阻率最高可达2.9%。仿生灰鲭鲨鱼鳞片非光滑表面模型在一定范围的来流速度下具有较好的减阻效果，但减阻率会随来流速度的增加先增后减，在特定流速下，减阻效果最佳。