离散四水库问题基准下基于n步Q-learning的水库群优化调度

水库优化调度问题是一个具有马尔可夫性的优化问题。强化学习是目前解决马尔可夫决策过程问题的研究热点,其在解决单个水库优化调度问题上表现优异,但水库群系统的复杂性为强化学习的应用带来困难。针对复杂的水库群优化调度问题,提出一种离散四水库问题基准下基于n步Q-learning的水库群优化调度方法。该算法基于n步Q-learning算法,对离散四水库问题基准构建一种水库群优化调度的强化学习模型,通过探索经验优化,最终生成水库群最优调度方案。试验分析结果表明,当有足够的探索经验进行学习时,结合惩罚函数的一步Q-learning算法能够达到理论上的最优解。用可行方向法取代惩罚函数实现约束,依据离散四水库问题基准约束建立时刻可行状态表和时刻状态可选动作哈希表,有效的对状态动作空间进行降维,使算法大幅度缩短优化时间。不同的探索策略决定探索经验的有效性,从而决定优化效率,尤其对于复杂的水库群优化调度问题,提出了一种改进的ε-greedy策略,并与传统的ε-greedy、置信区间上限UCB、Boltzmann探索三种策略进行对比,验证了其有效性,在其基础上引入n步回报改进为n步Q-learning,确定合适的n步和学习率等超参数,进一步改进算法优化效率。     

基于Q学习蚁群算法的热网优化方法

以热网最小年费用作为目标函数,引入基于Q学习规则的蚁群算法,建立了热网优化算法。结合算例,比较了比摩阻算法、模拟退火算法、基于Q学习规则蚁群算法,基于Q学习规则蚁群算法的热网最小年费用最低。     

定制家具板材搬运AGV路径规划

目的 针对应用在定制家具生产包装车间的板材搬运自动引导车存在的路径规划时间长以及规划出的路径转弯次数较多的问题,提出一种改进Q-learning算法的路径规划算法.方法 根据定制家具生产包装车间环境情况,使用栅格法对车间进行建模,建立车间模型的人工标量场,使用人工标量场给予Q-learning算法前期搜索的目的性;增加Q-learning算法的学习层,使得算法可以更快进入收敛;在奖励函数中加入转弯惩罚,使得算法规划出的路径具有更少的转弯次数.结果 仿真结果表明改进后的算法与标准Q-learning算法、增加学习层的Q-learning算法、引入人工势能场Q-learning算法、深度双Q网络算法相比,迭代次数减少了70.46％,64.40％,67.75％,30.49％,转弯次数减少了80％,80.95％,83.33％,73.33％.结论 板材搬运自动引导车利用改进后的Q-learning算法可以有效地提高路径的平滑性,降低了路径规划的时间,提高了板材搬运自动引导车的工作效率.     

一种车载服务的快速深度Q学习网络边云迁移策略

智能网联交通系统中车载用户的高速移动,不可避免地造成了数据在边缘服务器之间频繁迁移,产生了额外的通信回传时延,对边缘服务器的实时计算服务带来了巨大的挑战。为此,该文提出一种基于车辆运动轨迹的快速深度Q学习网络(DQN-TP)边云迁移策略,实现数据迁移的离线评估和在线决策。车载决策神经网络实时获取接入的边缘服务器网络状态和通信回传时延,根据车辆的运动轨迹进行虚拟机或任务迁移的决策,同时将实时的决策信息和获取的边缘服务器网络状态信息发送到云端的经验回放池中;评估神经网络在云端读取经验回放池中的相关信息进行网络参数的优化训练,定时更新车载决策神经网络的权值,实现在线决策的优化。最后仿真验证了所提算法与虚拟机迁移算法和任务迁移算法相比能有效地降低时延。     

基于强化学习的交叉口交通低排放信号控制研究

交叉口车辆排放较为复杂,尤其是在考虑初始排队长度的情况下,更是难以建立明确的数学模型。Q学习是一种无模型的强化学习算法,通过与环境的试错交互学习最优控制策略。本文提出了一种基于Q学习的交通排放信号控制方案。利用仿真平台USTCMTS2.0,通过不断地试错学习找到在不同相位排队长度下最优配时。在Q学习中添加了模糊初始化Q函数的方法以改进Q学习的收敛速度,加速了学习过程。仿真实验结果表明:强化学习算法取得较好的效果。相比较Hideki的方法,在车流量较高时,车辆平均排放量减少了13.9%,并且对Q函数值的模糊初始化大大加速了Q函数收敛的过程。     

Data-Driven Self-Learning Controller for Power-Aware Mobile Monitoring IoT Devices

Nowadays, there is a significant need for maintenance free modern Internet of things (IoT) devices which can monitor an environment. IoT devices such as these are mobile embedded devices which provide data to the internet via Low Power Wide Area Network (LPWAN). LPWAN is a promising communications technology which allows machine to machine (M2M) communication and is suitable for small mobile embedded devices. The paper presents a novel data-driven self-learning (DDSL) controller algorithm which is dedicated to controlling small mobile maintenance-free embedded IoT devices. The DDSL algorithm is based on a modified Q-learning algorithm which allows energy efficient data-driven behavior of mobile embedded IoT devices. The aim of the DDSL algorithm is to dynamically set operation duty cycles according to the estimation of future collected data values, leading to effective operation of power-aware systems. The presented novel solution was tested on a historical data set and compared with a fixed duty cycle reference algorithm. The root mean square error (RMSE) and measurements parameters considered for the DDSL algorithm were compared to a reference algorithm and two independent criteria (the performance score parameter and normalized geometric distance) were used for overall evaluation and comparison. The experiments showed that the novel DDSL method reaches significantly lower RMSE while the number of transmitted data count is less than or equal to the fixed duty cycle algorithm. The overall criteria performance score is 40% higher than the reference algorithm base on static confirmation settings.     

基于模糊迭代Q-学习的冶金工业机器人轨迹跟踪控制研究

冶金工业机器人在现代工业生产中扮演着越来越不可替代的角色。由于工业自动化程度的大幅提升,人们对冶金工业机器人的性能也不断地提出新要求,尤其是对其控制系统的稳定性提出了更高的要求。针对目前冶金工业机器人轨迹跟踪精度较低且不具有自适应动态调节特性等问题,提出了一种模糊迭代Q-学习控制算法。以6-DOF（six degree-of-freedom,六自由度）双臂机器人为研究对象,利用Fuzzy工具箱编写模糊控制规则,以机器人产生的位置误差以及位置误差的变化率为模糊控制器的输入量,并引入Q-学习策略,以调整模糊控制器中的量化因子、比例因子以及迭代学习控制中的PD（proportional derivative,比例微分）参数,完成模糊迭代Q-学习控制器的设计。然后,联合ADAMS（automatic dynamic analysis of mechanical systems,机械系统动力学自动分析）和MATLAB软件搭建6-DOF双臂机器人仿真平台,开展高精度轨迹跟踪的轴孔装配任务模拟。仿真结果表明,6-DOF双臂机器人关节空间的轨迹跟踪精度较高,同时可以完成双臂轴孔协调装配任务,验证了所提出控制算法的有效性和先进性。研究结果可为双臂协作机器人实现高精度轨迹跟踪的轴孔装配提供参考,具有一定的实际应用价值。     

Fuzzy Q-learning in continuous state and action space

An adaptive fuzzy Q-learning(AFQL)based on fuzzy inference systems(FIS)is proposed.The FIS realized by a normalized radial basis function(NRBF)neural network is used to approach Q-value function,whose input is composed of state and action.The rules of FIS are created incrementally according to the novelty of each element of the pair of state-action.Moreover the premise part and consequent part of the FIS are updated using extended Kalman filter(EKF).The action that impacts on environment is the one with maximum output of FIS in the current state and generated through optimization method.Simulation results in the wall-following task of mobile robots and the inverted pendulum balancing problem demonstrate that the superiority and applicability of the proposed AFQL method.     

星地融合网络中基于Q学习的切换算法研究

基于地面辅助基站（ATC）的星地融合网络（MSS-ATC）具有覆盖范围广、用户体验佳的特点,切换机制是该融合网络主要研究的问题之一。针对卫星链路时延大、卫星网用户速度范围广的特点,综合考虑了用户接收信号强度（RSS）和用户运动速度,提出了一种基于卡尔曼滤波和Q学习的切换决策算法。比较了所提算法与传统算法在链路衰减率、切换次数和网络收益的性能,实验结果表明所提算法在性能上得到了很大的提升,并且能很好地适应高速运动状态。     

3D-VANET中基于模糊逻辑和Q学习的拓扑感知路由协议

城市三维车载自组网（Three-Dimensional Vehicular Ad-hoc Network,3D-VANET）中往往存在多种道路形式,每种道路网络拓扑变化特点各异,平面路由协议不能根据道路特点动态调整选路策略,不宜直接用于3D-VANET,为此设计了一种基于模糊逻辑和Q学习的拓扑感知路由协议。该协议通过模糊逻辑方法感知网络拓扑变化与网络负载情况动态调整信标间隔,以平衡邻节点信息准确性与控制开销成本。在此基础上,采用Q学习算法对网络建模,根据链路质量以及链路质量变化调整Q学习算法参数,以灵活选择下一跳转发节点,更好适应网络拓扑的频繁变化。仿真结果表明,与对比协议相比,该协议有利于降低控制开销,同时提高包投递率和减少平均端到端时延。