基于强化学习的HP模型优化方法研究

蛋白质结构预测问题一直是生物信息学中的重要问题。基于疏水极性模型的蛋白质二维结构预测问题是一个典型的NP难问题。目前疏水极性模型优化的方法有贪心算法、粒子群算法、遗传算法、蚁群算法和蒙特卡罗模拟方法等，但这些方法成功收敛的鲁棒性不高，容易陷入局部最优。由此提出一种基于强化学习的HP模型优化方法，利用其连续马尔可夫最优决策与最大化全局累计回报的特点，在全状态空间中，构建基于能量函数的奖赏函数，引入刚性重叠检测规则，充分挖掘生物序列中的全局进化关系，从而进行有效与稳定的预测。以3条经典论文序列和5条Uniref50序列为实验对象，与贪心算法和粒子群算法分别进行了鲁棒性、收敛性与运行时间的比较。贪心算法只能在62.5%的序列上进行收敛，该文方法能在5万次训练后稳定的在所有序列上达到了收敛。与粒子群算法相比，两者都能找到最低能量结构，但该文的运行时间较粒子群算法降低了63.9%。     

最小状态变元平均奖赏的强化学习方法

针对采用折扣奖赏作为评价目标的Q学习无法体现对后续动作的影响问题,提出将平均奖赏和Q学习相结合的AR-Q-Learning算法,并进行收敛性证明.针对学习参数个数随着状态变量维数呈几何级增长的"维数灾"问题,提出最小状态变元的思想.将最小变元思想和平均奖赏用于积木世界的强化学习中,试验结果表明,该方法更具有后效性,加快算法的收敛速度,同时在一定程度上解决积木世界中的"维数灾"问题.     

迎接挑战,开创企业情报工作新局面

一、企业情报工作面临的挑战形势目前,企业情报信息工作,面临着严峻的挑战。这种挑战主要来自以下几个方面: 首先,全球性的新技术革命的兴起和横向纵向发展,特别是随着电子计算机的普遍应用,必将导致新的信息革命的到来,出现空前的知识“爆炸”的势态。在这种形势下,情报人员怎样从千头万绪的情报     

我厂科技情报工作的回顾与思考

我厂科技情报工作自1966年起算,已有25年的发展历程了。它经过十年创业、十年发展、五年腾飞,即将进入“而立”之年。俄国唯物主义哲学家、思想家赫尔岑有段名言:“充分认识过去,我们才可以认清现在,深深地沉思往事的意义,我们才能发现未来的意义,回顾一下向前迈进。”回顾是为了前进,思考是为了发现。在我厂科技情报工作即将迈入“而立”之年的时候,我们从自身的实际工作出发,通过一个侧面进行回顾与思考,使科技情报工作更好地向前迈进。     

一种基于随机投影的贝叶斯时间差分算法

在强化学习方法中,大部分的算法都是基于值函数评估的算法.高斯过程时间差分算法利用贝叶斯方法来评估值函数,通过贝尔曼公式和贝叶斯规则,建立立即奖赏与值函数之间的概率生成模型.在状态空间中,通过在线核稀疏化并利用最小二乘方法来求解新样本的近似线性逼近,以提高算法的执行速度,但时间复杂度依然较高.针对在状态空间中近似状态的选择问题,在高斯过程框架下提出一种基于随机投影的贝叶斯时间差分算法,该算法利用哈希函数把字典状态集合中的元素映射成哈希值,根据哈希值进行分组,进而减少状态之间的比较.实验结果表明,该方法不仅能够提高算法的执行速度,而且较好地平衡了评估状态值函数精度和算法执行时间.     

试论企业信息工作的发展与振兴

根据现代企业管理体制的要求,企业信息机构是企业管理运行机构的重要组成部分,但由于我国企业传统管理观念的惯性作用,至今仍有相当一部分厂长(经理)往往只满足于抓硬件(设备、物质材料等)而忽视抓软件(信息、文献资料等)。为此,本文就信息在现代企业中的地位和作用,信息与企业的关系,以及现阶段企业信息工作的状况作了分析,并就企业信息工作的性质、目标、特点、内容作了阐述,还就企业信息管理系统网络作了探讨。本文旨在向我有色工业系统的企业家们呼吁:要高度重视信息工作,把信息工作纳入现代管理之列,充分利用信息,使自己的决策更加科学化、民主化。     

国内外信息产业的现状与发展趋势

本文较详细地介绍了国内外信息产业的现状与发展趋势,并就我国今后如何发展信息产业提出自己的设想与建议,并希望有识之士为信息产业的兴起作出应有的贡献。     

基于强化学习的多策略选择遗传算法

为解决传统遗传算法早熟收敛和收敛速度慢的问题,提出一种基于强化学习的多策略选择遗传算法MPSGA。通过使用不同的选择策略将整个种群划分为3个子种群并分别进化,能提高种群的多样性,有效避免遗传算法的早熟收敛问题。将种群的多样性和算法的运行机制相结合,根据种群多样性的变化运用强化学习算法动态地优化各子种群间的比例参数,从而将种群多样性保持在合适的范围,一定程度上解决了收敛速度和全局收敛性之间的矛盾。实验结果表明,该算法在收敛精度和搜索效率上都表现出较好的性能。     

基于自监督网络的DDPG算法的建筑能耗控制

针对强化学习方法训练能耗控制系统时所存在奖赏稀疏的问题,将一种基于自监督网络的深度确定策略梯度(deep deterministic policy gradient,DDPG)方法应用到建筑能耗控制问题中.首先,处理状态和动作变量作为自监督网络前向模型的输入,预测下一个状态特征向量,同时将预测误差作为好奇心设计内部奖赏,以解决奖赏稀疏问题.然后,采用数据驱动的方法训练建筑能耗模型,构建天气数据作为输入、能耗数据作为输出.最后,利用基于自监督网络的DDPG方法求解最优控制策略,并以此设定空气处理装置(air handling unit,AHU)的最优排放温度,减少设备能耗.实验结果表明,该方法能够在保持建筑环境舒适的基础上,实现较好的节能效果.