基于样本效率优化的深度强化学习方法综述

深度强化学习将深度学习的表示能力和强化学习的决策能力结合,因在复杂控制任务中效果显著而掀起研究热潮.以是否用Bellman方程为基准,将无模型深度强化学习方法分为Q值函数方法和策略梯度方法,并从模型构建方式、优化历程和方法评估等方面对两类方法分别进行了介绍.针对深度强化学习方法中样本效率低的问题进行讨论,根据两类方法的模型特性,说明了Q值函数方法过高估计问题和策略梯度方法采样无偏性约束分别是两类方法样本效率受限的主要原因.从增强探索效率和提高样本利用率两个角度,根据近年来的研究热点和趋势归纳出各类可行的优化方法,分析相关方法的优势和仍存在的问题,并对比其适用范围和优化效果.最后提出增强样本效率优化方法的通用性、探究两类方法间优化机制的迁移和提高理论完备性作为未来的研究方向.     

超临界CO2萃取肉豆蔻油的工艺优化及其动力学研究

以优化超临界CO2萃取肉豆蔻油的工艺条件,并建立萃取的动力学模型为目的,采用正交试验确定萃取的最优工艺条件;根据质量衡算微分模型,运用Fick第一定律,建立萃取的动力学模型。结果表明,超临界CO2萃取肉豆蔻油的最优工艺条件为CO2流量22 L/h、萃取温度55℃,萃取压力32 MPa,萃取时间3.0 h,此时得率为43.8%;E=46.62×(1-e-0.8521×t)为超临界CO2萃取肉豆蔻油的动力学模型方程,该动力学模型能很好地模拟萃取的过程,表明超临界CO2萃取肉豆蔻油是可行的。