分层强化学习中的动态分层方法研究

分层强化学习中现有的自动分层方法均是在对状态空间进行一定程度探测之后一次性生成层次结构,不充分探测不能保证求解质量,过度探测则影响学习速度,为了克服学习算法性能高度依赖于状态空间探测程度这个问题,本文提出一种动态分层方法,该方法将免疫聚类及二次应答机制融入Sutton提出的Option分层强化学习框架,能对Option状态空间进行动态调整,并沿着学习轨迹动态生成Option内部策略,以二维有障碍栅格空间内两点间最短路径规划为学习任务进行了仿真实验,结果表明,动态分层方法对状态空间探测程度的依赖性很小,动态分层方法更适用于解决大规模强化学习问题.     

分层目录

如果你已经使用过DOS V1.1或其它操作系统,你就会知道每一个软盘都有自己的目录。而且只能有一个目录。如果系统工作好,软盘上恰好存112个文件(双面PC DOS软盘的最大数量),你仍然可通过查阅目录找到文件。 当目录中有大量文件时,用DIR命令是一个比较笨的办法,因为必须常常暂停文件列表,以便你要寻找的文件不至于滚出屏幕的顶部。 DOS V1.1给目录命令加一个新选择,协助检索一个文件。/W开关正好给出一个短的,宽的文件名清单。DOS V2加/P开关,在整个屏幕文件之后暂停显示。当你按键时,列出下一个满屏幕的文件。这些开关使得两个版本提出关于长目录的各种问题。     

分层强化学习中的并行自动分层方法研究

为加快分层强化学习中任务层次结构的自动生成速度,提出了一种基于多智能体系统的并行自动分层方法,该方法以Sutton提出的Option分层强化学习方法为理论框架,首先由多智能体合作对状态空间进行并行探测并集中聚类产生状态子空间,然后多智能体并行学习生成各子空间上内部策略,最终生成Option.以二维有障碍栅格空间内两点间最短路径规划为任务背景给出了算法并进行了仿真实验和分析,结果表明,并行自动分层方法生成任务层次结构的速度明显快于以往的串行自动分层方法.本文的方法适用于空间探测、路径规划、追逃等类问题领域.     

基于核密度估计的分层强化学习自动分层算法

分层强化学习中自动分层问题目前仍未得到有效的解决,本文针对Option方法,研究了基于核密度估计的Option自动生成算法,该算法根据分层强化学习的特点并结合改进后的核密度估计层次聚类方法,实现分层强化学习的自动分层,生成子目标,并在此基础上构建出Options。实验结果表明这种算法可以大大加快学习的效率。     

高校计算机基础课程分层教学之分层方法探讨

以笔者的实际教学经历为参考,依据实际数据分析实施计算机基础课程分层教学的必要性。探讨分层方法的选择问题,结合笔者所在教学单位的摸底考试,提出分数段分层方法,并对按照分数段划分与按专业划分两种方法的优缺点进行比较。并针对计算机基础课分层教学中可能遇到的难题提出了相应的解决方法。     

分层式防火墙

本文在分析了集中式防火墙和分布式防火墙的安全缺陷后，提出基于层次化防护结构的分层式防火墙，讨论了分层式防火墙的设计思想，给出一个设计实例，对分层式防火墙的特点进行了归纳。最后提出今后有待研究的一些问题。     

网络安全分层防

计算机网络是一个分层次的拓扑结构,决定了网络的安全防护也需采用分层次的拓扑防护措施,更由于计算机网络的分层次拓扑结构以及静态防御安全响应的滞后性,决定了网络安全防护需采用分层次的动态防御体系。因此,清华得实提出了     

数据集中 网络分层

我国税收信息化工作的起步时间较早,早在20世纪80年代初,税务行业就逐步着手进行税收系统的信息化工作,但当时仅限于简单的单机操作模式。 随着新税制改革逐步的实行,国家提出“以纳税申报和优化服务为基础,计算机网络为依托,集中征收,重点稽查”的征管模式,使信息化技术成为税务系统中不可分割的一个组成部分。目前,在全国多数省份已建立了全省范围内的税务城域网,纳税人实现了电子申报的方式纳税。 为了促进税务行业网络建设的发展,在本期《高端导刊·网络》中,我们向读者推荐一套神州数码网络在税务行业的解决方案和一套思科利用VolP的解决方案。同时,我们也希望读者把你们所关心的网络话题告诉我们,以便我们组织相关的内容报道、共同推进我国网络建设事业的发展。 电子信箱:tpj@ccu.com.cn     

分层多播算法设计

在许多应用程序中,多播通信是一种常用通信模式,多播算法优劣直接影响到巨型机的性能.通过分析双通路多播算法和YOMNA算法各自的特点,将两种算法的优点有效地结合在一起,提出了层次式多播算法.层次式多播算法首先把格栅网络分成多个分区,然后在分区内采用链式多播算法,在分区间采用YOMNA多播算法.这种层次式算法是无死锁的、实用的多播算法.     

变电站一次设备喷涂PRTV用量的分析

对国网宁夏电力检修公司宁安运维站近2年来一次设备喷涂PRTV用量的统计数据进行分析整理,得出各类一次设备按照标准要求喷涂PRTV时的用量估算值,并针对现存作业中存在的问题,提出相应解决方案。     

新型煤泥浮选机液位传感装置的研制

介绍了一种性能良好的新型浮球式煤浆液位传感装置。该装置利用浮球随着煤浆液位的变化而带动连杆作上下运动,通过机械装置将液位的变化转变成角位移传感器的轴的角度变化,分析角位移传感器输出信号可得到煤泥液位信息。经测试该传感装置各项指标达到了设计要求。该新型煤泥浮选机液位传感装置具有良好的动、静态特性,可以在选煤厂推广应用。     

制造型企业仓储物流管理的RFID应用——卷烟厂按垛出库及到货扫描系统初探

针对国家烟草管理的现状,有关主管部门在全国推行“行业卷烟生产经营决策管理系统工程”,利用条码等自动识别技术手段实时掌握全国的生产经营信息。但某卷烟厂此前的物流环节已经是“件烟成垛”运输,如何在尽可能保持原有企业管理体系的前提下,达到有关部门的数据统计要求,解决成垛卷烟的物流和信息流的交互与统一问题成为技改的核心。该项目成功的将条码识别与射频识别有机结合起来,为烟草行业信息化提供了生动的应用案例。     

机车空调逆变电源设计

本文讨论的是机车空调逆变电源系统的设计与研究。该电源系统主要是由DC/DC的BOOST升压部分和DC/AC三相逆变部分两部分组成。DC/DC部分所得直流电压通过DC/AC部分逆变成三相交流电,供给空调机组工作。同时,为使电源系统能更可靠的运行,也设计了相应的故障检测、保护等辅助电路。     

Effective solution of certain problems of theory of schedulings of nets

Cybernetics and Systems Analysis -     

发热量测定仪系统设计

本文介绍了发热量测定仪的结构、工作原理、硬件系统功能,阐述了应用铂电阻进行高精度温度测量的方法,系统用AT89C52单片机作为处理和控制芯片,该发热量测定仪性能符合水泥企业应用要求。     

风电机组电动变桨距控制系统的优化研究

由于风速的随机性、不稳定性及气动效应的影响,使得风力发电机组变桨距控制系统具有非线性、参数时变性、强耦合等特点,难于实现高精度控制,导致风电机组输出电能质量较差。为了改善系统在恒功率输出运行区域内的动态性能,分析了风电机组变桨距控制系统的现状,建立了整个风电机组模型,提出了优化的变桨距控制策略,并设计了基于模糊控制的变桨距控制器。仿真结果表明,独立变桨距控制技术的控制效果比统一变桨距好,实现了风力机各叶片的优化独立变桨距控制,优化了风力发电系统在超过额定风速时的恒功率控制,具有抗干扰能力强、控制精度高的特点。     

提高集约化猪场繁殖效率的若干问题

在高等学校德育领域 ,德育相对论正日益成为一个热门话题。争论的焦点并不在于是对德育相对论作一般肯定还是一般否定 ,而在于如何看待它价值的标准。争论的问题主要是两方面 :一是德育价值的标准是绝对的还是相对的 ;二是德育价值的标准是一元的还是多元的。这两个问题在高等学校学术界肯定还会长期争论下去 ,而且 ,争论得出不同结论,必定会直接或间接地影响高等学校的德育。     

Stability properties of equilibria of classes of cooperativesystems

This note deals with the constant control problem for homogeneous cooperative and irreducible systems. These systems serve as models for positive systems. A necessary and sufficient condition for global asymptotic stability of the zero solution of this class of systems is known. Adding a constant control allows to shift the equilibrium point from zero to a point in the first orthant. We prove that for every nontrivial nonnegative control vector a unique nontrivial equilibrium point is achieved which is globally asymptotically stable if the zero solution of the uncontrolled system is globally asymptotically stable. In addition a converse result is provided. Finally a stability result for a particular class of Kolmogorov systems is established. We compare our main results to those in the literature