MADDPG算法经验优先抽取机制

针对多智能体深度确定性策略梯度算法(MADDPG)学习训练效率低、收敛速度慢的问题,研究MADDPG算法经验优先抽取机制,提出PES-MADDPG算法.首先,分析MADDPG算法的模型和训练方法;然后,改进多智能体经验缓存池,以策略评估函数误差和经验抽取训练频率为依据,设计优先级评估函数,以优先级作为抽取概率获取学习样本训练神经网络;最后,在合作导航和竞争对抗2类环境中进行6组对比实验,实验结果表明,经验优先抽取机制可提高MADDPG算法的训练速度,学习后的智能体具有更好的表现,同时对深度确定性策略梯度算法(DDPG)控制的多智能体训练具有一定的适用性.     

基于拓扑重构的水下移动无线传感器网络拓扑优化

针对水下移动无线传感器网络（MUWSN, mobile underwater wireless sensor networks）拓扑随洋流动态演化对其网络性能会产生很大影响,提出了一种基于拓扑重构的水下移动无线传感器网络拓扑优化方法,首先通过模拟鱼群行为对传感器节点位置进行调整,优化网络覆盖度;其次,利用冗余节点修复网络中不连通位置,消除关键节点,优化网络连通性,最后,通过仿真对比实验验证了该方法的合理性和有效性。实验结果表明,所提算法能在较低能耗下,保证网络覆盖度长期维持在97%左右,连通率达到89%以上。     

分层强化学习综述

近年来强化学习愈发体现其强大的学习能力,2017年AlphaGo在围棋上击败世界冠军,同时在复杂竞技游戏星际争霸2和DOTA2中人类的顶尖战队也败于AI之手,但其自身又存在着自身的弱点,在不断的发展中瓶颈逐渐出现.分层强化学习因为能够解决其维数灾难问题,使得其在环境更为复杂,动作空间更大的环境中表现出更加优异的处理能力...     

纯策略纳什均衡的博弈强化学习

将博弈理论与多智能体强化学习结合形成博弈强化学习逐渐受到关注,但是也存在算法的计算复杂度高和无法保证纯策略纳什均衡的问题。Meta equilibrium Q-learning算法通过反应函数将原始博弈转换为元博弈,而元博弈推导出的元均衡是纯策略纳什均衡。该算法在保证纯策略纳什均衡的前提下能够使得每个智能体的回报不低于某特定阈值。同时,基于分形的均衡程度评估模型能够通过计算任意状态的分形维数来判断其稳态,并评估任意状态与均衡状态之间的距离,该模型可以检验元均衡的科学性与合理性,上述算法和模型的相关结论在福利博弈和夺控战中都得到具体验证。     

基于相似度加权的无模型元强化学习方法

强化学习在游戏对弈、机器人控制等领域内已取得良好成效。为进一步提高训练效率,将元学习拓展至强化学习中,由此所产生的元强化学习已成为当前强化学习领域中的研究热点。元知识质量是决定元强化学习效果的关键因素,基于梯度的元强化学习以模型初始参数为元知识指导后续学习。为提高元知识质量,提出了一种通用元强化学习方法,通过加权机制显式表现训练过程中子任务对训练效果的贡献。该方法利用不同子任务所得的梯度更新向量与任务集内所有梯度更新向量的相似性作为更新权重,完善梯度更新过程,提高以模型初始参数为元知识的质量,使训练好的模型在一个良好的起点上解决新任务。该方法可通用在基于梯度的强化学习中,达到使用少量样本快速解决新任务的目标。在二维导航任务和仿真机器人运动控制任务的对比实验中,该方法优于其他基准算法,证明了加权机制的合理性。     

建筑室内装饰设计原则与功能运用探讨

整个中国正在迎来一个经济、信息、科技、文化高度发展的兴旺时期,社会的物质和精神生活都会提到一个新高度,相应地人们对自身所处的生活、生产活动环境的质量,也提出更高的要求.中国的现代室内装饰设计在改革开放的大好形势下,近几年取得了飞跃发展,度过了模仿西方传统室内设计和西方现代室内设计的时期,逐步走上了创新之路.     

树脂传递模塑过程的固化反应热效应的数值分析

根据化学热力学,分析了双马来酰亚胺树脂传递模塑过程的固化反应热效应现象;采用增量方法,根据化学反应动力学模型,推导了反应热释放量及其强度的数值计算式.采用有限元方法,数值模拟了在复杂变温条件下的树脂固化反应过程,获得了树脂温度、固化率、反应热释放量及其强度在时空间的分布规律,进而分析了影响因素.     

基于SWMM的城市初雨净化设施布局优化研究

本文基于低影响开发理念及海绵城市建设,以河南省扶沟县城南新区作为研究区域,采用SWMM模型,研究分析了雨水涵养池在不同上下游区域、不同布设密度和不同降雨重现期的情况下,其对雨水径流的调控效果和污染物的削减作用,并通过对比分析后确定空间布局最优方案。结果表明相同降雨重现期和布设密度时,雨水涵养池布设在上游区域对污染物削减效果明显,排放口洪峰削减大;并且相同降雨重现期,涵养池布设在上游区域时,其分布越分散,污染物和洪峰的削减效果越好。     

CPS系统体系结构顶层设计研究

美国国家基金委员会首次提出信息物理融合系统(CPS),该系统已被列于美国未来八大关键信息技术的首位。在归纳分析国内外CPS研究现状的基础上,为了实现CPS协调物理进程的目标,满足CPS的信息处理与物理控制功能性需求和实时性、可靠性、安全性、可适应性等非功能性需求,提出了3种视图的CPS体系结构。对CPS体系结构设计理论及方法进行了研究,最后展望了CPS未来的研究方向和技术挑战。     

基于课程学习的深度强化学习研究综述

作为解决序贯决策的机器学习方法,强化学习采用交互试错的方法学习最优策略,能够契合人类的智能决策方式。基于课程学习的深度强化学习是强化学习领域的一个研究热点,它针对强化学习智能体在面临高维状态空间和动作空间时学习效率低、难以收敛的问题,通过抽取一个或多个简单源任务训练优化过程中的共性知识,加速或改善复杂目标任务的学习。论文首先介绍了课程学习的基础知识,从四个角度对深度强化学习中的课程学习最新研究进展进行了综述,包括基于网络优化的课程学习、基于多智能体合作的课程学习、基于能力评估的课程学习、基于功能函数的课程学习。然后对课程强化学习最新发展情况进行了分析,并对深度强化学习中的课程学习的当前存在问题和解决思路进行了总结归纳。最后,基于当前课程学习在深度强化学习中的应用,对课程强化学习的发展和研究方向进行了总结。