工业过程多速率分层运行优化控制

工业过程运行优化控制通常采用基础回路层和运行层两层结构,涉及不同时间尺度特性的被控对象,且由于检测装置采样周期不同难以统一控制与采样周期;此外,运行层动态往往机理复杂难以建模.因此针对这一多层次、多时间尺度且部分模型未知的复杂多速率控制问题,本文提出一种工业过程多速率分层运行优化控制方法.该方法在使用提升技术解决分层多速率问题的基础上,采用一种基于Q-!学习的数据驱动运行层设定值优化方法,更新基础回路层的设定值;并针对提升后的系统采用模型预测控制（Model predictive control,MPC）方法设计基础回路层控制器以跟踪设定值,从而实现运行指标的优化控制.对典型工业闭路磨矿过程进行了仿真实验,验证了本文所提方法的有效性.     

共享经验分布式Q-学习模型在RoboCup中的应用

RoboCup仿真比赛平台提供了一个完全分布式控制、实时异步多智能体的环境,从而为多智能体的智能控制和人工智能理论的研究提供了绝佳的实验平台。文中提出了一种基于共享经验策略的分布式Q-学习模型,应用于RoboCup仿真实验中,取得了较好的效果。     

基于经验知识的Q-学习算法

为了提高智能体系统中的典型的强化学习Q-学习的学习速度和收敛速度,使学习过程充分利用环境信息,本文提出了一种基于经验知识的Q-学习算法.该算法利用具有经验知识信息的函数,使智能体在进行无模型学习的同时学习系统模型,避免对环境模型的重复学习,从而加速智能体的学习速度.仿真实验结果表明:该算法使学习过程建立在较好的学习基础上,从而更快地趋近于最优状态,其学习效率和收敛速度明显优于标准的Q-学习.     

基于量子计算的多Agent协作学习算法

针对多Agent协作强化学习中存在的行为和状态维数灾问题,以及行为选择上存在多个均衡解,为了收敛到最佳均衡解需要搜索策略空间和协调策略选择问题,提出了一种新颖的基于量子理论的多Agent协作学习算法。新算法借签了量子计算理论,将多Agent的行为和状态空间通过量子叠加态表示,利用量子纠缠态来协调策略选择,利用概率振幅表示行为选择概率,并用量子搜索算法来加速多Agent的学习。相应的仿真实验结果显示新算法的有效性。     

非泊松工件流CSPS系统的Q学习算法适用性仿真研究

研究工件非泊松到达情况下,传送带给料加工站(CSPS)系统无法建立成半马尔可夫决策过程(SMDP)模型时, Q学习算法的适用性问题.首先,以马尔可夫调制泊松过程(MMPP)和半马尔可夫调制泊松过程(SMMPP)来模拟非泊松工件流,并在相同的平均到达率下,仿真评估其Q学习算法性能,并分别与泊松工件流情况下的Q学习算法性能进行比较:其次,在非泊松工件流情况下,观测以实时统计平均到达率作为工件标准泊松到达率的理论优化情况:最后讨论在MMPP和SMMPP叠加混合非泊松工件流情况下CSPS系统的Q学习算法性能.实验表明,在工件非泊松到达情况下Q学习算法依然能学到较好的控制策略,从而说明了CSPS系统中Q学习算法的适用性.     

可变服务率模式下基于需求驱动的传送带给料加工站系统的优化控制

本文主要研究可变服务率模式下基于需求驱动的传送带给料加工站(CSPS)系统的优化控制问题,主要目标是对系统的随机优化控制问题进行建模和提供解决方案.论文以缓冲库和成品库剩余容量为联合状态,以站点前视距离和工件服务率为控制变量,将其最优控制问题描述为半马尔科夫决策过程(SMDP)模型.该模型为利用策略迭代等方法求解系统在平均准则或折扣准则下的最优控制策略提供了理论基础,特别地,据此可引入基于模拟退火思想的Q学习算法等优化方法来寻求近似解,以克服理论求解过程中的维数灾和建模难等困难.仿真结果说明了本文建立的数学模型及给出的优化方法的有效性.     

基于Q学习算法的作业车间动态调度

近年来,在基于Q学习算法的作业车间动态调度系统中,状态-行动和奖励值靠人为主观设定,导致学习效果不理想,与已知最优解相比,结果偏差较大.为此,基于作业车间调度问题的特质,对Q学习算法的要素进行重新设计,并用标准算例库进行仿真测试.将结果先与已知最优解和混合灰狼优化算法、离散布谷鸟算法和量子鲸鱼群算法在近似程度、最小值方面进行比较分析.实验结果表明,与国内求解作业车间调度问题的Q学习算法相比,该方法在最优解的近似程度上显著提升,与群智能算法相比,在大多数算例中,寻优能力方面有显著提升.     

基于Q-Learning算法的建筑能耗预测

提出一种基于Q-learning算法的建筑能耗预测方法.通过将建筑能耗预测问题建模为一个标准的马尔科夫决策过程,利用深度置信网对建筑能耗进行状态建模,结合Q-learning算法,实现对建筑能耗的实时预测.通过美国巴尔的摩燃气和电力公司公开的建筑能耗数据进行测试实验,结果表明,基于本文所提出的模型,利用Q-learning算法可以实现对建筑能耗的有效预测,并在此基础上,基于深度置信网的Q-learning算法具有更高的预测精度.此外,实验部分还进一步验证了算法中相关参数对实验性能的影响.     

小脑模型关节控制器网络在传送带给料生产加工站学习优化控制中的应用

研究单站点传送带给料生产加工站（conveyor-serviced production station,CSPS）系统的前视（look-ahead）距离最优控制问题,以提高系统的工作效率.论文运用半Markov决策过程对CSPS优化控制问题进行建模.考虑传统Q学习难以直接处理CSPS系统前视距离为连续变量的优化控制问题,将小脑模型关节控制器网络的Q值函数逼近与在线学习技术相结合,给出了在线Q学习及模型无关的在线策略迭代算法.仿真结果表明,文中算法提高了学习速度和优化精度.     

集装箱码头集卡调度模型与Q学习算法

研究集装箱码头装卸过程中集卡调度问题,建立了集卡调度动态模型,目的是使装卸桥等待时间最小.设计了基于Q学习算法的求解方法,获得在不同状态下的集卡调度策略.提出了应用Q学习算法求解集卡最优调度时系统状态、动作规则、学习步长与折扣因子的选择方法.结果表明,随着集卡数量的增加,Q学习算法获得的结果优于最长等待时间、最远距离、固定分配集卡等调度策略.