When Does Communication Learning Need Hierarchical Multi-Agent Deep Reinforcement Learning

Abstract

Multi-agent systems need to communicate to coordinate a shared task. We show that a recurrent neural network (RNN) can learn a communication protocol for coordination, even if the actions to coordinate are performed steps after the communication phase. We show that a separation of tasks with different temporal scale is necessary for successful learning. We contribute a hierarchical deep reinforcement learning model for multi-agent systems that separates the communication and coordination task from the action picking through a hierarchical policy. We further on show, that a separation of concerns in communication is beneficial but not necessary. As a testbed, we propose the Dungeon Lever Game and we extend the Differentiable Inter-Agent Learning (DIAL) framework. We present and compare results from different model variations on the Dungeon Lever Game.     

异构数据集成方法研究与实现

为解决异构数据集成的复杂性问题，文章提出了一种异构数据同步的新方法——半集成式中间件法。该方法成功地应用在重庆市社会保障综合信息系统中，具有易于实现、可扩展性、跨平台性和效率高等特点。     

基于Agent的分布式入侵检测系统研究

为了提高入侵检测系统在体系结构上的灵活性、提高入侵检测的速度,本文将Agent技术应用于入侵检测,探讨了基于Agent的入侵检测技术和模型。首先分析了网络安全及入侵检测系统的研究现状及发展趋势,以及入侵检测技术在网络安全中的重要地位和作用。在对入侵检测技术及Agent技术深入分析的基础之上,提出了一种基于Agent的入侵检测系统模型,研究了构成基本构架的各个子系统在整个模型中的作用及相互关系,给出了各自的设计实现方法,并重点讨论了基于Agent的分布式入侵检测系统模型的通信问题。     

由AEO_3硫酸化合成AES的研究

以氨基磺酸和氯磺酸作硫酸化剂,由AEO_3合成了AES,讨论了工艺条件对反应过程和产品质量的影响。     

钢包钢水保温覆盖剂的开发

研制了钢包钢水新型保温覆盖剂，主要成分为（%）；15-25C，20-35SiO2,10-20Al2O3,2-5Fe2O3,15-25CaO,2-5MgO，新覆盖剂铺展性与保温性能良好。经转炉钢水160t钢包生产使用，统计数据表明，镇静15min后钢水降温速度由原碳化稻壳覆盖剂1.33℃/min降低到0.93℃/min。     

基于CORBA和多Agent的模具敏捷制造的工作流管理

介绍了CORBA的工作原理，分析了模具敏捷制造的特点，提出了基于CORBA的模具敏捷制造工作流管理模型，并且将多Agent技术应用到该模型之中，使其具有清晰的结构，良好的开放性、集成性和自适应性。     

用麦草木质素磺酸钠制备凝胶堵剂

在室内用麦草木质素磺酸钠(NaLS)制备了可在70—90℃成胶、强度和稳定性较好的凝胶堵剂。配方适当的凝胶液,成胶时间在5—150h之间可调。由于NaLS价廉、易得,该凝胶堵剂将可用于油田堵水和调剖。     

联合法制备VBL萤光增白剂－砍两头新工艺

将ＤＳＤ酸生产中还原反应并经中和过滤后的清液直接用于ＶＢＬ萤光增白剂生产，获得满意的效果。     

基于ObjectAgent的小卫星星务系统研究与仿真

针对小卫星自主管理与自主决策的要求,简单介绍了多Agent技术和ObjectAgent开发环境,并以某小卫星为例,研究并设计了基于ObjectAgent的小卫星星务系统,给出了所涉及的Agent的自主决策、任务调度、信息交互等一系列问题的解决方案,最后,利用多台PC机组网进行了仿真,达到了预期的实验效果。     

一种新型硫酸亚铁单液法调剖剂

本文提出用尿素作为ｐⅡ调节剂，加快硫酸亚铁单液法调剖剂中亚铁离子在地层温度下的沉淀，增大沉淀率，提高封堵效能。岩芯流动试验结果表明，１５％ＦｅＳＯ４．７ＩＩ ２Ｏ／５％尿素调剖剂体系的封堵能力比不含尿素的体系增大近一倍。