基于Q学习和规划的传感器节点任务调度算法*

为了改善节点的学习策略,提高节点的应用性能,以数据收集为应用建立任务模型,提出基于Q学习和规划的传感器节点任务调度算法,包括定义状态空间、延迟回报、探索和利用策略等基本元素.根据无线传感器网络(WSN)特性,建立基于优先级机制和过期机制的规划过程,使节点可以有效利用经验知识,改善学习策略.实验表明,文中算法具备根据当前WSN环境进行动态任务调度的能力.相比其它任务调度算法,文中算法能量消耗合理且获得较好的应用性能.     

基于Q学习的互联电网动态最优CPS控制

控制性能标准(control performance standard,CPS)下互联电网自动发电控制(automatic generation control,AGC)系统是一个典型的不确定随机系统,应用基于马尔可夫决策过程(Markov decision process,MDP)理论的Q学习算法可有效地实现控制策略的在线学习和动态优化决策。将CPS值作为包含AGC的电力系统“环境”所给的“奖励”,依靠Q值函数与CPS控制动作形成的闭环反馈结构进行交互式学习,学习目标为使CPS动作从环境中获得的长期积累奖励值最大。提出一种实用的半监督群体预学习方法,解决了Q学习控制器在预学习试错阶段的系统镇定和快速收敛问题。仿真研究表明,引入基于Q学习的CPS控制可显著增强整个AGC系统的鲁棒性和适应性,有效提高了CPS的考核合格率。     

基于Q-learning算法的煤矿井下移动机器人路径规划

如何针对煤矿井下环境的不确定性规划机器人的路径是其中的一个难点。文章提出了一种基于Q-learning算法的移动机器人路径规划,希望对提高机器人救援的避障能力的提升,起到一定的促进作用。     

基于反馈机制的自愈算法

提出了一种网络自愈算法,当网络中的节点发生故障或链路出现拥塞时,该算法利用Q学习的反馈机制、多QoS约束的评价函数和基于Boltzmann-Gibbs分布的路径选择策略,自适应地选择恢复路径,降低了选择发生故障和拥塞路径的概率,从而实现了自愈。仿真结果表明,该算法在恢复率、区分业务能力和网络资源优化等方面,表现出了良好的性能。     

Path Selection in Disaster Response Management Based on Q-learning

Suitable rescue path selection is very important to rescue lives and reduce the loss of disasters,and has been a key issue in the field of disaster response management.In this paper,we present a path selection algorithm based on Q-learning for disaster response applications.We assume that a rescue team is an agent,which is operating in a dynamic and dangerous environment and needs to find a safe and short path in the least time.We first propose a path selection model for disaster response management,and deduce that path selection based on our model is a Markov decision process.Then,we introduce Q-learning and design strategies for action selection and to avoid cyclic path.Finally,experimental results show that our algorithm can find a safe and short path in the dynamic and dangerous environment,which can provide a specific and significant reference for practical management in disaster response applications.     

Reactive fuzzy controller design by Q-learning for mobile robot navigation

In this paper a learning mechanism for reactive fuzzy controller design of a mobile robot navigating in unknown environments is proposed. The fuzzy logical controller is constructed based on the kinematics model of a real robot. The approach to learning the fuzzy rule base by relatively simple and less computational Q-learning is described in detail. After analyzing the credit assignment problem caused by the rules collision, a remedy is presented. Furthermore, time-varying parameters are used to increase the learning speed. Simulation results prove the mechanism can learn fuzzy navigation rules successfully only using scalar reinforcement signal and the rule base learned is proved to be correct and feasible on real robot platforms.     

基于改进Q学习算法和组合模型的超短期电力负荷预测

单一模型在进行超短期负荷预测时会因负荷波动而导致预测精度变差,针对此问题,提出一种基于深度学习算法的组合预测模型。首先,采用变分模态分解对原始负荷序列进行分解,得到一系列的子序列。其次,分别采用双向长短期记忆网络和优化后的深度极限学习机对每个子序列进行预测。然后,利用改进Q学习算法对双向长短期记忆网络的预测结果和深度极限学习机的预测结果进行加权组合,得到每个子序列的预测结果。最后,将各个子序列的预测结果进行求和,得到最终的负荷预测结果。以某地真实负荷数据进行预测实验,结果表明所提预测模型较其他模型在超短期负荷预测中表现更佳,预测精度达到98%以上。     

面向在线率差异的SaaS订阅限额及资源配置组合优化

软件即服务（softuare as a service,SaaS）是一种让用户通过支付订阅费来获得软件访问权的云服务模式。由于其业务的多样性,用户对不同软件的在线访问率存在很大差异,所以不同软件所消耗的云计算资源也存在差异。为避免违反服务等级协议（service level agreement,SLA）而产生违约赔付的风险,SaaS运营商不仅要优化各种软件的计算资源配置,还要对各类软件的订阅量加以限额限制。在考虑SLA限制的基础上,构建了一个以收益最大化为目标的有资源约束的非线性整数规划模型。由于模型计算的复杂性,其无法在多项式时间内求解,所以设计了基于Q学习-粒子群（particle swarm optimizoction,PSO）的融合算法来求解该NP难题。该算法将Q-学习嵌入到PSO中,动态调整PSO参数,从而避免直接使用PSO时会面临的局部最优陷阱和计算效率低下的问题。仿真实验验证了在不同场景下模型及算法的有效性,结果表明该算法可在云计算资源有限的条件下,以较高的求解效率获得收益更高的订阅限额及资源配置方案。其中,当处于需求波动大的情境下时,运营商应尽可能降低软件的资源争用比,通过配置足量的虚拟机资源并设定严格的订阅限额来保障软件的服务质量,减少违约赔付成本;相反,当处于需求波动小的情境下时,运营商可以提高软件的资源争用比,通过放宽订阅限额来抢占更大的市场,实现收益最大化。     

基于Q学习算法的综合能源系统韧性提升方法

将综合能源系统随机动态优化问题建模为马尔可夫决策过程,并引入Q学习算法实现该复杂问题的求解。针对Q学习算法的弊端,对传统的Q学习算法做了2个改进:改进了Q值表初始化方法,采用置信区间上界算法进行动作选择。仿真结果表明:Q学习算法在实现问题求解的同时保证了较好的收敛性,改进的初始化方法和采用的置信区间上界算法能显著提高计算效率,使结果收敛到更优解;与常规混合整数线性规划模型相比,Q学习算法具有更好的优化结果。     

支持服务区分的多智能体Q学习MAC算法

媒体访问控制(MAC)协议负责协调所有认知用户的空闲信道接入服务,是认知 Ad-hoc 网络支持服务质量(QoS)的关键技术之一。在二进制指数退避算法基础上,提出一种支持服务区分的多智能体Q学习MAC算法。实时调整传输概率,使系统信道接入服务达到最优,建立传输概率调节的Markov链模型,导出分组的传输概率与协议参数的关系,给出基于服务区分的信道吞吐率模型,建立基于MAC协议参数学习的多智能体Q学习算法。实验结果表明,该算法能满足高优先级业务的QoS,且吞吐率和时延性能优于IEEE 802.11e EDCA机制。