An intelligent negotiator agent design for bilateral contracts of electrical energy

In this paper, an intelligent agent (using the Fuzzy SARSA learning approach) is proposed to negotiate for bilateral contracts (BC) of electrical energy in Block Forward Markets (BFM or similar market environments). In the BFM energy markets, the buyers (or loads) and the sellers (or generators) submit their bids and offers on a daily basis. The loads and generators could employ intelligent software agents to trade energy in BC markets on their behalves. Since each agent attempts to choose the best bid/offer in the market, conflict of interests might happen. In this work, the trading of energy in BC markets is modeled and solved using Game Theory and Reinforcement Learning (RL) approaches. The Stackelberg equation concept is used for the match making among load and generator agents. Then to overcome the negotiation limited time problems (it is assumed that a limited time is given to each generator–load pairs to negotiate and make an agreement), a Fuzzy SARSA Learning (FSL) method is used. The fuzzy feature of FSL helps the agent cope with continuous characteristics of the environment and also prevents it from the curse of dimensionality. The performance of the FSL (compared to other well-known traditional negotiation techniques, such as time-dependent and imitative techniques) is illustrated through simulation studies. The case study simulation results show that the FSL based agent could achieve more profits compared to the agents using other reviewed techniques in the BC energy market.     

基于量子粒子群和SARSA算法的蜂窝网络信道分配

为了对蜂窝网络的信道进行在线、实时和动态的分配,设计了一种基于量子粒子群算法和SARSA算法的蜂窝网络信道分配方法。首先,采用分配方案表示量子粒子的位置,通过粒子群在粒子空间中不断寻优,将寻求的最优粒子位置作为信道分配方案的初始解。然后,根据得到的初始解的目标值来计算各状态动作对处的初始Q值,在此基础上,通过加入资格迹的SARSA(λ)算法和ε-greedy策略得到改进的SARSA(λ)算法,执行算法直到各状态动作对的Q值不发生变化为止,此时最终解为信道分配方案。为了验证文中方法的优越性,采用具有30个小区的移动蜂窝网络进行实验,仿真实验结果表明文中方法能实现蜂窝通信网络中信道的在线分配,且与其它方法比较,具有信道分配合理和收敛速度快的优点,是一种有效的信道分配方法。     

多步截断SARSA强化学习算法

提出了一种新的 on- policy强化学习算法 ,其基本思想是按照一定学习策略 ,利用 k(k >1)步的信息来估计 TD (λ)回报值 ,从而加快对行动最优值估计的更新。更新速度比 SARSA (0 )算法快 ,但不象 SARSA (λ)需要大量的计算     

基于SARSA（λ）算法的单路口交通信号学习控制

针对复杂的、难以建模的城市交通系统,将多步强化学习算法SARSA（λ）应用于交通信号控制,根据实时的交通状态信息动态进行决策,自动适应环境以便取得更好的控制效果。由于问题状态空间太大而难以直接存储和表示,采用径向基函数神经网络进行值函数近似,通过训练自适应非线性处理单元,可达到较好的近似表示效果,解决了单个十字交叉路口的交通信号控制问题。对该方法进行仿真实验,结果表明其控制效果明显优于传统的固定配时控制策略。     

一种基于状态聚类的SARSA(λ)强化学习算法

为求解大状态空间的强化学习问题，提出了一种基于状态聚类的SARSA（λ）强化学习算法，其基本思想是利用先验知识或事先训练控制器，对状态空间进行聚类，分为不同的簇，然后在簇空间上进行SARSA（λ）学习，若能进行适当的状态聚类，算法将可得到一个相对好的近似值函数。     

基于SARSA在线规划的软件体系结构自适应

提出基于SARSA算法的在线规划软件体系结构自适应方法,用来解决由于环境内在固有的不确定性、复杂性和不可预见性而产生的离线规划的局限性。在线规划方法指可以根据当前的环境状况自动选择行动的规划方法。结合Robocode的实例详细阐述了实现基于SARSA算法的在线规划方法的三个关键问题和过程策略;为解决自适应的状态和行动表述、适应度和可受理集合关键问题,提出了自适应在线规划的策略。最后用Robocode的坦克战斗实例,证明了基于SARSA在线规划软件体系结构自适应方法的可行性和有效性。     

基于启发式强化学习的动态CRE偏置选择算法

随着通信用户数量的不断增长,低功率基站逐渐出现负载不均衡问题,小区边缘用户受到的干扰逐步增加,从而导致整个小区的通信质量降低。为解决该问题,针对双层异构网络场景,提出一种基于启发函数进行小区范围扩展(CRE)偏置值动态选择的HSARSA(λ)算法。利用启发函数改进强化学习中的SARSA(λ)算法,通过该算法寻找出最优CRE偏置值,以缓解宏基站高热点负载压力并提高网络容量。仿真结果表明,相比SARSA(λ)和Q-Learning算法,HSARSA(λ)算法的边缘用户吞吐量分别提高约7%和12%,系统能效分别提高约11%与13%,系统通信质量得到较大提升。