元强化学习综述

强化学习在游戏对弈、系统控制等领域内表现出良好的性能,如何使用少量样本快速学习新任务是强化学习中亟需解决的问题。目前的有效解决方法是将元学习应用在强化学习中,由此所产生的元强化学习日益成为强化学习领域中的研究热点。为了帮助后续研究人员快速并全面了解元强化学习领域,根据近年来的元强化学习文献对研究方法进行梳理,将其归纳成基于循环网络的元强化学习、基于上下文的元强化学习、基于梯度的元强化学习、基于分层的元强化学习和离线元强化学习,对五种类型的研究方法进行对比分析,简要阐述了元强化学习的基本理论和面临的挑战,最后基于当前研究现状讨论了元强化学习的未来发展前景。     

多智能体博弈强化学习研究综述

使用深度强化学习解决单智能体任务已经取得了突破性的进展。由于多智能体系统的复杂性,普通算法无法解决其主要难点。同时,由于智能体数量增加,将最大化单个智能体的累积回报的期望值作为学习目标往往无法收敛,某些特殊的收敛点也不满足策略的合理性。对于不存在最优解的实际问题,强化学习算法更是束手无策,将博弈理论引入强化学习可以很好地解决智能体的相互关系,可以解释收敛点对应策略的合理性,更重要的是可以用均衡解来替代最优解以求得相对有效的策略。因此,从博弈论的角度梳理近年来出现的强化学习算法,总结当前博弈强化学习算法的重难点,并给出可能解决上述重难点的几个突破方向。     

基于均值漂移聚类的开关柜局部放电异常检测

针对开关柜现场带电检测数据,提出一种基于多维特征量的均值漂移聚类算法,对开关柜的局部放电进行异常识别。采用局部放电检测数据的离散度、平均距离百分比、集中度和最大波动率指标全面量化开关柜局部放电的程度,并构建多维特征数据库;通过自动搜索偏移量的均值漂移聚类算法对开关柜的状态进行划分,并通过所给定的开关柜簇标签隶属度函数判定是否为异常点,由此实现开关柜的绝缘状态异常检测。对现场带电检测实际数据进行实例分析,验证该方法的可行性,为开关柜的绝缘状态异常识别提供一定的理论依据。     

强化学习算法在超视距空战辅助决策上的应用研究

针对近端策略优化算法在空战智能决策过程中面临的动作空间过大、 难收敛等问题,提出基于option的近端策略分层优化算法,构建了基于强化学习的空战智能决策模型框架,并在超视距空战仿真模型中进行了对抗性实验并可视化.实验结果表明,近端策略分层优化算法能够驱动智能体在对抗过程中产生迂回攻击等战术行为,达到提升传统算法性能和提...     

基于值分解的多智能体深度强化学习综述

基于值分解的多智能体深度强化学习是众多多智能体深度强化学习算法中的一类,也是多智能体深度强化学习领域的一个研究热点。它利用某种约束将多智能体系统的联合动作值函数分解为个体动作值函数的某种特定组合,能够有效解决多智能体系统中的环境非稳定性和动作空间指数爆炸等问题。文中首先说明了进行值函数分解的原因;其次,介绍了多智能体深度强化学习的基本理论;接着根据是否引入其他机制以及引入机制的不同将基于值分解的多智能体深度强化学习算法分为3类：简单因子分解型、基于IGM(个体-全局-最大)原则型以及基于注意力机制型;然后按分类重点介绍了几种典型算法并对算法的优缺点进行对比分析;最后简要阐述了所提算法的应用和发展前景。     

超疏水表面微结构的设计及其注射成型

目的 从超疏水表面的功能设计出发,主动设计三种深宽比的微结构阵列并洞察其在不同润湿接触状态下的疏水性能。方法 首先,采用热力学分析方法,建立三种深宽比微结构的系统自由能与其接触角、结构几何参数之间的函数关系,探明自主设计微结构表面的润湿性能。继而,在热力学分析的基础上,采用紫外光刻、电铸和注射成型技术相结合的方法实现三种深宽比微结构聚丙烯（PP）超疏水表面的制备。最后,进一步测量与分析聚丙烯（PP）微结构表面的润湿性能。结果 三种深宽比微结构表面的静态接触角测量值均大于150?,滚动角分别为12?、14?和15?,基本达到设计目标;同时,微结构表面的表观接触角测量值与理论计算值基本符合。表面的接触角滞后分别为15?、21?、22?,且接触角滞后随着深宽比的增加而变大,使液滴在PP表面的流动性也变差。结论 在设计微结构超疏水表面的过程中,可以适当降低微结构的深宽比,以获取更好的超疏水特性。自主设计的微结构表面基本实现超疏水性,为高聚物超疏水表面的功能设计与高效制备提供了理论依据与技术支撑。     

基于证据推理的风电场SCADA系统安全脆弱性定量评估方法

针对风电场数据采集与监控(SCADA)系统的信息安全脆弱性,文中提出了一种基于证据推理的定量评估方法。该方法以系统发现的某个异常作为根节点,将可能导致异常发生的若干假设事件或因假设事件引发的事件作为假设点,构建系统安全脆弱性的可解释性假设链,推理出所有的攻击路径;然后对每条攻击路径进行计算,寻找系统脆弱性的关键路径,将与假设相关的证据作为证据点,采用链接函数连接证据点和假设点,并搭建每条路径的脆弱性贝叶斯网络,进而应用等级反应模型计算贝叶斯网络节点间的条件概率;接着将关键路径作为依据对系统脆弱性进行测评,以假设发生的概率作为安全脆弱性的评判标准,量化证据点的可信度,经贝叶斯网络推理出SCADA系统脆弱性。最后,通过一个实例说明所提方法的具体应用,应用结果表明该方法能够对风电场SCADA系统安全脆弱性进行有效分析,并可找出系统信息安全的薄弱环节,以及可量化信息安全脆弱性评估值,具有较高的测评准确性。     

一种改进Borda分值的决策方法

针对传统的Borda法存在无法反映方案之间优劣程度和容易被操纵的缺陷,设计了一种Borda分修正算法。该算法充分考虑了全局成员和单个成员两方面的利益,借鉴模糊Borda法变换得分值和SPAN法中成员相互作用的全局思想,对Borda分矩阵进行修正;根据 加权和公式集结方案的综合值进行方案排序;最后,通过一个算例验证了该算法的可行性与准确性。     

三步做大 两手做强——重庆市远大印务有限公司的高效发展新路

重庆市远大印务有限公司(以下简称"远大印务")坐落于重庆最重要的开放高地和水陆空交通枢纽——两江新区,公司总占地面积65亩,建筑面积45亩。自1992年创立以来,远大印务已发展成为一家拥有印务、信息技术、房地产、投融资等多元产业的企业集团,年产值也由建厂之初的30万元发展到现在的过亿元,走出了一条传统印刷企业快速做大、做强、高效稳健发展的新路。而在这其中,其独特的发展模式和经营思路起到了决定性作用。     

砌体结构中节能方案综合评价指标体系的探讨

建筑节能是贯彻落实可持续发展战略的重要组成部分,也是当今全球化发展的必然要求。本文以建筑工程技术经济指标为前提,从结构设计、材料选择、质量控制3个方面出发,建立一个切实可行的砌体结构节能方案综合评价体系,旨在更加有效地降低建筑能耗,实现资源合理利用,促进可持续发展。