基于重抽样优选缓存经验回放机制的深度强化学习方法

针对深度强化学习算法中经验缓存机制构建问题,提出一种基于TD误差的重抽样优选缓存机制;针对该机制存在的训练集坍塌现象,提出基于排行的分层抽样算法进行改进,并结合该机制对已有的几种典型基于DQN的深度强化学习算法进行改进.通过对Open AI Gym平台上Cart Port学习控制问题的仿真实验对比分析表明,优选机制能够提升训练样本的质量,实现对值函数的有效逼近,具有良好的学习效率和泛化性能,收敛速度和训练性能均有明显提升.     

高比表面积聚丙烯腈基球状活性炭的制备研究

以自制的聚丙烯腈(PAN)基球为炭前驱体,经空气预氧化、炭化和活化处理制备了高比表面积的球状活性炭。着重考察了温度对PAN球状活性炭制备过程中预氧化、炭化和活化的影响。借助红外光谱(IR)、热重分析(TG)、差热分析(DTA)、扫描电镜(SEM)、比表面积(BET)分析仪等表征手段,对不同温度条件下的PAN球状活性炭的结构变化、转变机理进行了探讨。结果表明:预氧化温度和活化温度分别以300℃和800℃为最佳,相应的比表面积可达1190m2 g-1。     

背向串联式磁性液体密封聚磁结构特性分析

背向串联式磁性液体密封的聚磁结构中有多个永磁环和极靴环交替相间排列,且相邻永磁环的极性彼此相反。采用ANSYS有限元软件对背向串联式磁性液体密封聚磁结构特性进行数值分析,分析永磁环厚度、极靴环厚度、密封间隙大小以及叠层环径向宽度等结构参数对密封间隙路径上的磁通密度分布特性的影响。结果表明,背向串联式磁性液体密封聚磁结构可以在相对有限的结构空间内,在其密封间隙路径上较好地形成强弱相间的周期性变化磁通密度分布;但是密封间隙路径上周期性出现的弱磁场区域内存在局部强磁场,不利于提高密封性能和结构紧凑性。     

基于MSP430芯片的密码锁软件设计

文章介绍了一个新型超低功耗的密码锁控制系统的软件编程。     

意法石材贸易简况

意大利是法国石材的主要供应者。可是从八十年代起,法国的进口量有所下降。进口量从1980年的91517吨下降到1986年的75671吨。但是,在贸易方面石材加工产品要比石材荒料对意大利更有利,使意大利赢利3百万法郎。     

抚仙湖北岸生态调蓄带工程入湖污染物减排效益核算

抚仙湖属珠江流域西江水系的源头型深水湖泊,湖岸陡峭,岸滩不发育,湖泊生态系统十分脆弱,水质一旦被污染将很难恢复。近年来受流域内人类活动强度持续加剧与全球气候变化的双重驱动影响,抚仙湖水位持续降低、河湖水污染问题日益突出,湖泊水质保护问题迫在眉睫,因此,2017年针对入湖污染负荷占比最大且农田面源污染问题最为突出的抚仙湖北岸片区实施了集截污、调蓄、水质净化、水资源回用、清水置换、湿地补水建设于一体的抚仙湖北岸生态调蓄带工程,并将1179.09亩农田改建为调蓄带湿地。从实施效果来看,调蓄带工程2018—2021年期间减少的TN、TP入湖负荷量分别为245.84 t、28.99 t,调蓄带对抚仙湖北岸片区农田面源负荷削减率均超过81%;从生态调蓄带入湖污染物减排效益贡献大小来看,土地利用方式变化＞湿地水质净化＞湖滨湿地补水＞水资源回用＞清洁水资源置换;从调蓄带入湖污染物减排效益持续提升来看,水资源回用和清洁水资源替换潜力有待进一步挖掘和提升。     

基于D2RM数字作品转借问题研究

通过分析传统DRM系统与用户多样化需求之间的矛盾,提出了D2RM和数字作品转借的概念,建立了转借传播模型,讨论了实现过程中的重要问题和解决方法.在D2RM的基础上设计了一个实例,通过推理,验证了方案的可行性和安全性,证明基于D2RM的数字作品转借方案是值得大力推广的.     

液压压下厚度自动控制模型的研究与实践

应用测厚计原理(BISRA)进行带钢厚度自动控制,是带钢厚度自动控制主要方法之一。它是以轧机弹跳方程作为系统的设定模型,又直接用它作为系统的控制模型。由于传统弹跳方程在结构上的缺陷,使用厚度计原理进行厚度控制时,都以X光测厚仪作为监控,对最终成品厚度进行修正。当轧薄规格时,即进入负辊缝后,则切除压力反馈厚控系统或以X光测厚反馈进行工作。通过模拟试验,在原有弹跳方程的基础上,推导了精确厚控方程和负辊缝下的厚控方程,解决了模型在实际应用中造成的缺陷,并在太钢炉卷轧机液压厚度自动控制改造中首次应用,取得了满意的效果。本文将讨论模型的精度、模型各参量的精度对成品板精度的影响,推导了保持系统稳定刚度值设定的工艺边界条件,最后导出了负辊缝下的厚控方程作为厚控模型的补充。     

深度逆向强化学习研究综述

深度逆向强化学习是机器学习领域的一个新的研究热点,它针对深度强化学习的回报函数难以获取问题,提出了通过专家示例轨迹重构回报函数的方法。首先介绍了3类深度强化学习方法的经典算法;接着阐述了经典的逆向强化学习算法,包括基于学徒学习、最大边际规划、结构化分类和概率模型形式化的方法;然后对深度逆向强化学习的一些前沿方向进行了综述,包括基于最大边际法的深度逆向强化学习、基于深度Q网络的深度逆向强化学习和基于最大熵模型的深度逆向强化学习和示例轨迹非专家情况下的逆向强化学习方法等。最后总结了深度逆向强化学习在算法、理论和应用方面存在的问题和发展方向。