强化Q学习——模糊多目标AGC调节容量动态优化分配策略的研究

针对AGC调节容量多目标优化分配存在着无法完全描述机组特性的问题,通过研究提出采用基于强化Q学习的优化分配方法.将AGC系统视为“不确定的随机系统”,结合ACE的调节死区以及CPS评价标准,建立了AGC调节容量优化分配问题的马尔可夫决策过程模型,并引入Q学习方法对MDP的最优值函数进行学习,仿真结果表明,该强化Q学习-模糊多目标AGC调节容量动态优化分配策略能够适应电网环境变化的要求.     

基于增量式策略强化学习算法的飞行控制系统的容错跟踪控制

针对发生故障的飞行控制系统,在强化学习算法的基础上,提出了一种基于增量式策略的强化学习容错方法.本方法利用传感器获取的系统状态值,根据系统预先设定的奖励函数对当前控制系统状况做出最优的决策并不断更新价值网络,将系统的容错控制过程转换为强化学习Agent的贯序决策过程,并使用一种改进型的增量式策略实现对当前故障的正确补偿...     

基于增量式Q学习的固定翼无人机跟踪控制性能优化

针对固定翼无人机纵向控制的高性能需求,提出一种控制系统性能优化结构.该结构包括一个使系统稳定的标称控制器和一个参与性能优化的增量式控制器.控制系统增量式的实现不会改变原有的控制系统,而是仅对标称控制系统做控制输入的补偿与控制性能的优化.基于Q学习理论进行增量式控制器设计,针对状态信息完全可获得的系统,设计一种基于状态反馈的增量式Q学习算法.当状态信息不能完全获得时,利用系统输入、输出和参考信号数据,设计一种基于输出反馈的增量式Q学习算法.两种增量式控制器均是在数据驱动环境下自适应学习增量式控制律,无需提前知道系统动力学模型以及标称控制器的控制增益.此外,证明了增量式Q学习方法在满足持续激励条件的激励噪声下,对Q函数贝尔曼方程的求解没有偏差.最后,通过对F-16飞行器纵向模型实例的仿真验证该方法的有效性.     

求解多目标流水车间调度Pareto最优解的遗传强化算法

针对多目标流水车间调度Pareto最优问题, 本文建立了以最大完工时间和最大拖延时间为优化目标的多目标流水车间调度问题模型, 并设计了一种基于Q-learning的遗传强化学习算法求解该问题的Pareto最优解. 该算法引入状态变量和动作变量, 通过Q-learning算法获得初始种群, 以提高初始解质量. 在算法进化过程中, 利用Q表指导变异操作, 扩大局部搜索范围. 采用Pareto快速非支配排序以及拥挤度计算提高解的质量以及多样性, 逐步获得Pareto最优解. 通过与遗传算法、NSGA-II算法和Q-learning算法进行对比实验, 验证了改进后的遗传强化算法在求解多目标流水车间调度问题Pareto最优解的有效性.     

融合自适应评判的随机系统数据驱动策略优化

自适应评判技术已经广泛应用于求解复杂非线性系统的最优控制问题, 但利用其求解离散时间非线性随机系统的无限时域最优控制问题还存在一定局限性. 本文融合自适应评判技术, 建立一种数据驱动的离散随机系统折扣最优调节方法. 首先, 针对宽松假设下的非线性随机系统, 研究带有折扣因子的无限时域最优控制问题. 所提的随机系统 Q-learning 算法能够将初始的容许策略单调不增地优化至最优策略. 基于数据驱动思想, 随机系统 Q-learning 算法在不建立模型的情况下直接利用数据进行策略优化. 其次, 利用执行−评判神经网络方案, 实现了随机系统 Q-learning 算法. 最后, 通过两个基准系统, 验证本文提出的随机系统 Q-learning 算法的有效性.     

基于Q学习的无人机辅助W SN数据采集轨迹规划

针对无人机辅助采集无线传感器网络数据时各节点数据产生速率随机和汇聚节点状态不一致的场景,提出基于Q学习的非连续无人机轨迹规划算法Q-TDUD,以提高无人机能量效率和数据采集效率.基于各节点在周期内数据产生速率的随机性建立汇聚节点的汇聚延时模型,应用强化学习中的Q学习算法将各汇聚节点的延迟时间和采集链路的上行传输速率归一...     

基于函数逼近的强化学习FANET路由优化算法

针对高速移动状态下的飞行自组网路由协议链路维护困难问题,提出一种基于强化学习的自适应链路状态路由优化算法QLA-OLSR。借鉴强化学习中的Q学习算法,通过感知动态环境下节点邻居数量变化和业务负载程度,构建价值函数求解最优HELLO时隙,提高节点链路发现与维护能力。利用优化Kanerva编码算法的状态相似度机制,降低QLA-OLSR算法复杂度并增强稳定性。仿真结果表明,QLA-OLSR算法能有效提升网络吞吐量,减少路由维护开销,且具有自学习特性,适用于高动态环境下的飞行自组网。     

面向单记录的混合负载下物化视图异步增量维护任务生成

针对已有的混合负载（HTAP）下物化视图异步增量维护任务生成算法主要面向多记录,无法面向单记录生成HTAP物化视图异步增量维护任务,导致磁盘IO开销的增加,进而降低HTAP物化视图异步增量维护性能的问题,提出面向单记录的HTAP物化视图异步增量维护任务的生成方法。首先,建立面向单记录的HTAP物化视图异步增量维护任务生成的效益模型;然后,基于Q-learning设计面向单记录的HTAP物化视图异步增量维护任务的生成算法。实验结果表明,所提算法在实现面向单记录生成HTAP物化视图异步增量维护任务的基础上,将平均每秒读写操作次数（IOPS）、平均CPU利用率（2核）和平均CPU利用率（4核）至少分别降低了8.49次、1.85个百分点和0.97个百分点。     

基于启发式Q学习的FANET可信路由算法

无人机自组织网络（FANET）是实现无人机自主集群的关键技术,其通过各无人机节点来完成协同通信。但节点的高机动性、网络结构的开放性造成FANET拓扑变化频繁,容易遭受恶意攻击。为此,提出一种基于启发式Q学习的可信路由算法HQTR。将FANET中的路由选择问题映射为有限马尔科夫决策过程,针对路由层面的黑洞攻击与泛洪攻击,引入数据包转发率与路由请求发送速率,通过模糊推理计算节点的信任值,同时考虑节点的邻居关系,提出一种模糊动态信任奖励机制。结合单跳链路状况设计启发式函数,采用改进的ε-贪婪策略来平衡利用-探索过程,引导当前节点选择最优可信下一跳节点。仿真结果表明,相对AOMDV、TEAOMDV与ESRQ算法,HQTR算法能够有效应对黑洞攻击与RREQ泛洪攻击,降低节点高速运动与网络规模变化所造成的影响,提高数据包投递率与吞吐量,减少路由开销与平均端到端时延。