基于Q学习的互联电网动态最优CPS控制

控制性能标准(control performance standard,CPS)下互联电网自动发电控制(automatic generation control,AGC)系统是一个典型的不确定随机系统,应用基于马尔可夫决策过程(Markov decision process,MDP)理论的Q学习算法可有效地实现控制策略的在线学习和动态优化决策。将CPS值作为包含AGC的电力系统“环境”所给的“奖励”,依靠Q值函数与CPS控制动作形成的闭环反馈结构进行交互式学习,学习目标为使CPS动作从环境中获得的长期积累奖励值最大。提出一种实用的半监督群体预学习方法,解决了Q学习控制器在预学习试错阶段的系统镇定和快速收敛问题。仿真研究表明,引入基于Q学习的CPS控制可显著增强整个AGC系统的鲁棒性和适应性,有效提高了CPS的考核合格率。     

基于Q-learning算法的煤矿井下移动机器人路径规划

如何针对煤矿井下环境的不确定性规划机器人的路径是其中的一个难点。文章提出了一种基于Q-learning算法的移动机器人路径规划,希望对提高机器人救援的避障能力的提升,起到一定的促进作用。     

基于反馈机制的自愈算法

提出了一种网络自愈算法,当网络中的节点发生故障或链路出现拥塞时,该算法利用Q学习的反馈机制、多QoS约束的评价函数和基于Boltzmann-Gibbs分布的路径选择策略,自适应地选择恢复路径,降低了选择发生故障和拥塞路径的概率,从而实现了自愈。仿真结果表明,该算法在恢复率、区分业务能力和网络资源优化等方面,表现出了良好的性能。     

Path Selection in Disaster Response Management Based on Q-learning

Suitable rescue path selection is very important to rescue lives and reduce the loss of disasters,and has been a key issue in the field of disaster response management.In this paper,we present a path selection algorithm based on Q-learning for disaster response applications.We assume that a rescue team is an agent,which is operating in a dynamic and dangerous environment and needs to find a safe and short path in the least time.We first propose a path selection model for disaster response management,and deduce that path selection based on our model is a Markov decision process.Then,we introduce Q-learning and design strategies for action selection and to avoid cyclic path.Finally,experimental results show that our algorithm can find a safe and short path in the dynamic and dangerous environment,which can provide a specific and significant reference for practical management in disaster response applications.     

Reactive fuzzy controller design by Q-learning for mobile robot navigation

In this paper a learning mechanism for reactive fuzzy controller design of a mobile robot navigating in unknown environments is proposed. The fuzzy logical controller is constructed based on the kinematics model of a real robot. The approach to learning the fuzzy rule base by relatively simple and less computational Q-learning is described in detail. After analyzing the credit assignment problem caused by the rules collision, a remedy is presented. Furthermore, time-varying parameters are used to increase the learning speed. Simulation results prove the mechanism can learn fuzzy navigation rules successfully only using scalar reinforcement signal and the rule base learned is proved to be correct and feasible on real robot platforms.     

车联网中基于Q学习的地理位置路由协议

由于道路拓扑结构的限制以及车辆节点的快速变化,车联网路由协议正面临着很多挑战,例如道路的低连通性、较大的延时以及高开销等。为解决此类问题,提出了一种基于Q学习的地理位置路由协议。该协议将地理区域划分成大小一致的正方形,称为网格。在给定目的地的情况下,根据历史交通流信息计算出车辆从当前网格向不同方向的邻居网格移动的Q值,每辆车存储Q值表,通过查询Q值表选择最优下一跳网格。在选定的下一跳网格中,选择距离目的地最近的车辆,当最优下一跳网格中没有邻居车辆时,选择次优下一跳网格中的车辆。仿真结果表明,与其他基于地理位置的路由协议相比,所提协议能够提高分组投递率,降低传输延时并减少通信跳数。     

分布式多区域多能微网群协同AGC算法

综合能源多区域协同是电网发展趋势, 而核心问题是采用何种方法对多区域进行协同. 本文基于Q ($\sigma $)融入了资格迹及双重Q学习, 提出一种面向多区域多能微网群的多智能体协同控制算法, 即DQ ($\sigma ,\lambda $), 避免传统强化学习动作探索值高估的同时, 来获取分布式多区域的协同. 通过对改进的IEEE两区域负荷频率控制模型及三区域多能微网群自动发电控制(Automatic generation control, AGC)模型仿真, 结果表明, 与传统方法相比, 所提算法具有快速收敛性和更优动态性能, 能获得分布式多区域多能微网群的协同.     

非泊松工件流CSPS系统的Q学习算法适用性仿真研究

研究工件非泊松到达情况下,传送带给料加工站(CSPS)系统无法建立成半马尔可夫决策过程(SMDP)模型时, Q学习算法的适用性问题.首先,以马尔可夫调制泊松过程(MMPP)和半马尔可夫调制泊松过程(SMMPP)来模拟非泊松工件流,并在相同的平均到达率下,仿真评估其Q学习算法性能,并分别与泊松工件流情况下的Q学习算法性能进行比较:其次,在非泊松工件流情况下,观测以实时统计平均到达率作为工件标准泊松到达率的理论优化情况:最后讨论在MMPP和SMMPP叠加混合非泊松工件流情况下CSPS系统的Q学习算法性能.实验表明,在工件非泊松到达情况下Q学习算法依然能学到较好的控制策略,从而说明了CSPS系统中Q学习算法的适用性.     

基于Q学习算法的作业车间动态调度

近年来,在基于Q学习算法的作业车间动态调度系统中,状态-行动和奖励值靠人为主观设定,导致学习效果不理想,与已知最优解相比,结果偏差较大.为此,基于作业车间调度问题的特质,对Q学习算法的要素进行重新设计,并用标准算例库进行仿真测试.将结果先与已知最优解和混合灰狼优化算法、离散布谷鸟算法和量子鲸鱼群算法在近似程度、最小值方面进行比较分析.实验结果表明,与国内求解作业车间调度问题的Q学习算法相比,该方法在最优解的近似程度上显著提升,与群智能算法相比,在大多数算例中,寻优能力方面有显著提升.     

工业过程多速率分层运行优化控制

工业过程运行优化控制通常采用基础回路层和运行层两层结构,涉及不同时间尺度特性的被控对象,且由于检测装置采样周期不同难以统一控制与采样周期;此外,运行层动态往往机理复杂难以建模.因此针对这一多层次、多时间尺度且部分模型未知的复杂多速率控制问题,本文提出一种工业过程多速率分层运行优化控制方法.该方法在使用提升技术解决分层多速率问题的基础上,采用一种基于Q-!学习的数据驱动运行层设定值优化方法,更新基础回路层的设定值;并针对提升后的系统采用模型预测控制（Model predictive control,MPC）方法设计基础回路层控制器以跟踪设定值,从而实现运行指标的优化控制.对典型工业闭路磨矿过程进行了仿真实验,验证了本文所提方法的有效性.