基于强化学习的HP模型优化方法研究

蛋白质结构预测问题一直是生物信息学中的重要问题。基于疏水极性模型的蛋白质二维结构预测问题是一个典型的NP难问题。目前疏水极性模型优化的方法有贪心算法、粒子群算法、遗传算法、蚁群算法和蒙特卡罗模拟方法等，但这些方法成功收敛的鲁棒性不高，容易陷入局部最优。由此提出一种基于强化学习的HP模型优化方法，利用其连续马尔可夫最优决策与最大化全局累计回报的特点，在全状态空间中，构建基于能量函数的奖赏函数，引入刚性重叠检测规则，充分挖掘生物序列中的全局进化关系，从而进行有效与稳定的预测。以3条经典论文序列和5条Uniref50序列为实验对象，与贪心算法和粒子群算法分别进行了鲁棒性、收敛性与运行时间的比较。贪心算法只能在62.5%的序列上进行收敛，该文方法能在5万次训练后稳定的在所有序列上达到了收敛。与粒子群算法相比，两者都能找到最低能量结构，但该文的运行时间较粒子群算法降低了63.9%。     

浅谈在互联网环境中的计量信息安全

文章指出了在互联网环境中计量信息受到网络安全威胁的多项因素,并提出了一些切实可行的保障计量信息安全的办法。     

新型分隔式斜道结构技术的应用

为解决干熄炉斜道浮焦问题,应用了新型分隔式斜道技术及其辅助技术。对比同处理量单斜道结构,该技术的应用可使循环气体流速降低30%,炉内气流阻力显著降低,斜道口浮焦现象消除,干熄炉处理能力提高40%。     

65孔焦炉单机生产作业尝试

设计为65孔左右的焦炉，采用双机操作，因无备用机车，设备运转安全保障性差，人员作业紧张，K2系数低，易发生丢炉。若配套使用干熄焦装置，组织生产将十分困难，但如果采用单机生产，将两座焦炉炉号串为一组签号，则可以解决前述诸多问题。本文介绍了中型机械焦炉采用单机作业方式的尝试和效果。     

基于AT89C51单片机的十进制计算器系统设计

本设计是基于AT89C51单片机进行的十进制计算器系统设计,可以完成计算器的键盘输入,进行加、减、乘、除4位无符号数字的简单四则运算,并在LED上相应的显示结果。硬件方面从功能考虑,首先选择内部存储资源丰富的AT89C51单片机,输入采用4×4矩阵键盘。显示采用4位7段共阳极LED动态显示。软件方面从分析计算器功能、流程图设计,再到程序的编写进行系统设计。     

基于AT89C51单片机的报警装置设计

随着现代社会的发展进步,财产安全和社会公共安全已成为人们普遍关注的问题.盗贼破门而入、爬窗而出.针对上述现象,我们用单片机设计了一个报警装置来解决这些问题.单片机具有强大的控制功能和灵活的编程实现特性,它已经溶入现代人们的生活中,成为现代电子技术中不可替代的一部分.本装置用AT89C51单片机作为主控制器.本装置运行稳定,其优点是硬件电路简单并且软件功能完善.     

基于分类DQN的建筑能耗预测

本文提出一种可用于建筑能耗预测的基于KNN分类器的DQN算法——K-DQN. 其在利用马尔科夫决策过程对建筑能耗进行建模时, 针对大规模动作空间问题, 将原始动作空间缩减进而提高算法的预测精度及收敛速率. 首先, K-DQN将原始动作空间平均划分为多个子动作空间, 并将每个子动作空间对应的状态分为一类, 以此构建KNN分类器. 其次, 利用KNN分类器, 将不同类别相同次序动作进行统一表示, 以实现动作空间的缩减. 最后, K-DQN将状态类别概率与原始状态相结合, 在构建新状态的同时, 帮助确定缩减动作空间内每一动作的具体含义, 从而确保算法的收敛性. 实验结果表明, 文章提出的K-DQN算法可以获得优于DDPG、DQN算法的能耗预测精度, 且降低了网络训练时间.     

基于自监督网络的DDPG算法的建筑能耗控制

针对强化学习方法训练能耗控制系统时所存在奖赏稀疏的问题,将一种基于自监督网络的深度确定策略梯度(deep deterministic policy gradient,DDPG)方法应用到建筑能耗控制问题中.首先,处理状态和动作变量作为自监督网络前向模型的输入,预测下一个状态特征向量,同时将预测误差作为好奇心设计内部奖赏,以解决奖赏稀疏问题.然后,采用数据驱动的方法训练建筑能耗模型,构建天气数据作为输入、能耗数据作为输出.最后,利用基于自监督网络的DDPG方法求解最优控制策略,并以此设定空气处理装置(air handling unit,AHU)的最优排放温度,减少设备能耗.实验结果表明,该方法能够在保持建筑环境舒适的基础上,实现较好的节能效果.     

自适应序列生成的建筑能耗预测

提出一种基于强化学习的生成对抗网络(Reinforcement learning-based Generative Adversarial Networks,Re-GAN)能耗预测方法.该算法将强化学习与生成对抗网络相结合,将GAN(Generative Adversarial Nets)中的生成器以及判别器分别构建为强化学习中Agent(生成器)以及奖赏函数.在训练过程中,将当前的真实能耗序列作为Agent的输入状态,构建一组固定长度的生成序列,结合判别器及蒙特卡洛搜索方法进一步构建当前序列的奖赏函数,并以此作为真实样本序列后续第一个能耗值的奖赏.在此基础之上,构建关于奖赏的目标函数,并求解最优参数.最后使用所提算法对唐宁街综合大楼公开的建筑能耗数据进行预测试验,实验结果表明,所提算法比多层感知机、门控循环神经网络和卷积神经网络具有更高的预测精度.