基于支持样本的快速增强学习算法

针对确定性马尔克夫决策过程,本文提出了一种基于支持样本的快速增强学习算法.文章首先把学习问题形式化为一个确定性的马尔可夫决策过程.并对问题空间中每个状态的总回报值进行估计,根据总回报估计值与累积总回报估计值的大小关系,提出了支持样本的概念,即在大量的训练样本中,提取出值得我们信赖的那些样本;然后建立状态空间与动作空间之间的对应关系,用得到的支持样本进行最小二乘逼近,得到了快速有效的策略函数;最后,通过仿真实验,证明了方法的有效性.     

一个基于增强学习算法的路由模型

由于Internet的不断发展，现有的路由算法为适应不同的网络要求，从一开始的RIP、OSPF、BGP等几种，衍生出很多新的适用于特殊网络的路由协议。本文提出一种基于增强学习算法的路由模型。将每个路由节点看作一个Agent，利用增强学习算法的思想使得每个节点在不了解网络拓扑结构的情况下从向邻居转发的概率获得网络的信息，这样路由节点可以选择一个较优的转发方向。同时，节点能对网络的拥塞等情况作出调整。该模型为一些具体网络的路由协议，特别是QoS类路由算法提出了一个新的路由思想。     

基于Q-Learning的自适应容错路由算法的研究

提出了使用Q-Learning来构作容错路由算法的方法,利用Q-Learning算法的自适应性来实现路由容错,在二维格子环境下的实验证明了算法的可行性。算法工作时只需利用源点本地存储的其它节点的状态、互连信息,即可迭代找出一条到达目标节点的容错通路,不增加网络的通信量,不依赖其它的路由控制节点。     

自适应路由算法优于确定性路由算法

在研究并行计算机系统的容错时。自适应路由算法是一个极为重要的研究课题．它是在网络结点出错时,算法通过可选择的路径进行路由．在每个结点具有独立的出错概率的模型下,研究Mesh网络上自适应路由算法和确定性路算法的性能．本文提出的技术使得我们能严格地推导出路由算法的成功的概率,从而能分析和比较算法的性能．研究结果表明自适应路由算法具有明显的优势：一方面确定性路算法需要全局错误信息而变得高效性,另一方面自适应路由算法对于结点出错和网络规模具有更好的健壮性而具有更高的成功概率．     

神经网络增强学习的梯度算法研究

针对具有连续状态和离散行为空间的Markov决策问题,提出了一种新的采用多层前馈神经网络进行值函数逼近的梯度下降增强学习算法,该算法采用了近似贪心且连续可微的Boltzmann分布行为选择策略,通过极小化具有非平稳行为策略的Bellman残差平方和性能指标,以实现对Markov决策过程最优值函数的逼近,对算法的收敛性和近似最优策略的性能进行了理论分析,通过Mountain-Car学习控制问题的仿真研究进一步验证了算法的学习效率和泛化性能。     

基于强化学习的多样性文档排序算法

在排序学习方法中,通过直接优化信息检索评价指标来学习排序模型的方法,取得了很好的排序效果,但是其损失函数在利用所有排序位置信息以及融合多样性排序因素方面还有待提高。为此,提出基于强化学习的多样性文档排序算法。首先,将强化学习思想应用于文档排序问题,通过将排序行为建模为马尔可夫决策过程,在每一次迭代过程中利用所有排序位置的信息,不断为每个排序位置选择最优的文档。其次,在排序过程中结合多样性策略,依据相似度阈值,裁剪高度相似的文档,从而保证排序结果的多样性。最后,在公共数据集上的实验结果表明,提出的算法在保证排序准确性的同时,增强了排序结果的多样性。     

基于内部结构MPOMDP模型的策略梯度学习算法

为了提高MPOMDP模型的知识表示能力和推理效率,提出一种基于Agent内部结构的MPOMDP模型。该模型能表示Agent的内部结构及其时间演化,并通过将系统联合概率分布表示成每个Agent内部变量集的局部因式形式,以提高模型的推理效率。将GPI-POMDP算法扩展到基于内部结构的MPOMDP模型中,给出基于内部状态的多Agent策略梯度算法（MIS-GPOMDP）,来求解基于内部结构的MPOMDP。实验结果表明MIS-GPOMDP算法具有较高的推理效率,且算法是收敛的。     

分层增强学习在足球机器人比赛中的应用

足球机器人的研究是一项挑战性的研究领域,为了设计出智能型的球员必须涉及到计算机、人工智能、视觉及机械学等方面的研究。球员的学习能力是体现其智能的主要标志。如何在不断改变的外界环境中选取合适的动作技巧是在机器人足球比赛中的一个关键问题。该文介绍了马尔可夫决策过程,在半马尔可夫决策模型下,利用分层增强学习算法对不同层次的动作学习和选取同时进行学习。在仿真平台上进行实验,结果表明该学习方法是非常有效的。     

基于蚁群算法的理性自适应路由研究

动态路由是随着网络动态拓扑结构和通信流量的变化而自动调整的过程，其性能的优劣对整个网络的性能至关重要。本文介绍了基于蚁群算法对动态路由问题进行优化的理性研究，采用蚁群优化算法搜集网络最新信息， 通过改进选择策略，动态更新路由表项和节点状态信息，解决网络的负载均衡问题，提高网络性能。     

基于强化学习方法的访存调度算法

在现代处理器中,存储控制器是处理器芯片对片外存储器进行访问的管理者和执行者,其中对访存过程的调度算法会对实际访存性能产生十分重要的影响。针对已有调度算法在不同负载特征下自适应性不足的问题,提出了一种基于强化学习方法的ALHS算法,通过对访存调度中页命中优先时的连续页命中上限次数进行自适应调整,习得最优策略。多种不同典型访存模式的模拟结果显示,相比传统的FR-FCFS,ALHS算法运行速度平均提升了10.98%,并且可以获得近似于最优策略的性能提升,表明该算法能够自主探索环境并自我优化。     

基于强化学习的电动车路径优化研究

针对有路径总时长约束、载重量约束和电池容量约束的电动车路径优化问题（EVRP）,考虑其途中可前往充电站充电的情境,构建以最小化路径总长度为目标的数学模型,提出一种基于强化学习的求解算法RL-EVRP。该算法用给定的分布生成训练数据,再通过策略梯度法训练模型,并保证在训练过程中路径合法即可。训练得到的模型可用于解决其他数据同分布的问题,无须重新训练。通过仿真实验及与其他算法的对比,表明RL-EVRP算法求解的路径总长度更短、车辆数更少,也表明强化学习可成功运用于较复杂的组合优化问题中。     

基于深度强化学习的服务功能链映射算法

针对服务功能链映射对网络时延和部署失败率的影响,提出了一种基于深度强化学习的服务功能链映射算法DQN-SFC。首先构建了一个多层次NFV管理编排架构,以满足算法对资源感知和设备配置的需求;然后基于马尔可夫决策过程建模,对SFC映射问题进行形式化描述;最后构建了一个深度强化学习网络,将网络平均时延和部署失败产生的运维开销作为奖惩反馈,经过训练后可根据网络状态决定虚拟网络功能的部署位置。通过仿真实验,对该算法的正确性和性能优势进行了验证。实验表明：与传统算法相比,该算法能有效降低网络平均时延和部署失败率,同时算法运行时间具有一定优势。     

基于蚁群算法的对等网络自适应寻径协议

针对现有的蚁群算法在对等网络寻径中,不能根据访问的对等体状况去自适应克隆转发相应数目的蚂蚁,自适应设置克隆蚂蚁的TTL的问题,给出一种面向对等网络的自适应寻径模型,提出一种基于蚁群算法的对等网络自适应寻径协议AARP,描述蚁群在对等网络中自适应的克隆、寻径过程。分析和仿真实验结果表明,AARP能够以较低的寻径开销、较短的寻径时延,实现较高的寻径效率。     

基于鸽群的鲁棒强化学习算法

强化学习是一种人工智能算法,具有计算逻辑清晰、模型易扩展的优点,可以在较少甚至没有先验信息的前提下,通过和环境交互并最大化值函数,调优策略性能,有效地降低物理模型引起的复杂性。基于策略梯度的强化学习算法目前已成功应用于图像智能识别、机器人控制、自动驾驶路径规划等领域。然而强化学习高度依赖采样的特性决定了其训练过程需要大量样本来收敛,且决策的准确性易受到与仿真环境中不匹配的轻微干扰造成严重影响。特别是当强化学习应用于控制领域时,由于无法保证算法的收敛性,难以对其稳定性进行证明,为此,需要对强化学习进行改进。考虑到群体智能算法可通过群体协作解决复杂问题,具有自组织性及稳定性强的特征,利用其对强化学习进行优化求解是一个提高强化学习模型稳定性的有效途径。结合群体智能中的鸽群算法,对基于策略梯度的强化学习进行改进：针对求解策略梯度时存在迭代求解可能无法收敛的问题,提出了基于鸽群的强化学习算法,以最大化未来奖励为目的求解策略梯度,将鸽群算法中的适应性函数和强化学习结合估计策略的优劣,避免求解陷入死循环,提高了强化学习算法的稳定性。在具有非线性关系的两轮倒立摆机器人控制系统上进行仿真验证,实验结果表...     

基于增强学习算法的PID参数调整方法研究

本文首先介绍了增强学习的基本原理，然后分析了利用基于增强学习算法进行PID参数调节的步骤，并给出了具体的实现流程，最后通过仿真验证了增强学习算法的性能。     

基于蚂蚁优化算法的分层强化学习

自主系统中,agent通过与环境交互来执行分配给他们的任务,采用分层强化学习技术有助于agent在大型、复杂的环境中提高学习效率。提出一种新方法,利用蚂蚁系统优化算法来识别分层边界发现子目标状态,蚂蚁遍历过程中留下信息素,利用信息素的变化率定义了粗糙度,用粗糙度界定子目标;agent使用发现的子目标创建抽象,能够更有效地探索。在出租车环境下验证算法的性能,实验结果表明该方法可以显著提高agent的学习效率。     

基于强化学习的交通情景问题决策优化

在复杂交通情景中求解出租车路径规划决策问题和交通信号灯控制问题时,传统强化学习算法在收敛速度和求解精度上存在局限性;因此提出一种改进的强化学习算法求解该类问题。首先,通过优化的贝尔曼公式和快速Q学习（SQL）机制,以及引入经验池技术和直接策略,提出一种改进的强化学习算法GSQL-DSEP;然后,利用GSQL-DSEP算法分别优化出租车路径规划决策问题中的路径长度与交通信号灯控制问题中的车辆总等待时间。相较于Q学习、快速Q学习（SQL）、、广义快速Q学习（GSQL）、Dyna-Q算法,GSQL-DSEP算法在性能测试中降低了至少18.7%的误差,在出租车路径规划决策问题中使决策路径长度至少缩短了17.4%,在交通信号灯控制问题中使车辆总等待时间最多减少了51.5%。实验结果表明,相较于对比算法,GSQL-DSEP算法对解决交通情景问题更具优势。     

基于end-to-end深度强化学习的多车场车辆路径优化

为提高多车场车辆路径问题(multi-depot vehicle routing problem, MDVRP)的求解效率,提出了端到端的深度强化学习框架。首先,将MDVRP建模为马尔可夫决策过程(Markov decision process, MDP),包括对其状态、动作、收益的定义;同时,提出了改进图注意力网络(graph attention network, GAT)作为编码器对MDVRP的图表示进行特征嵌入编码,设计了基于Transformer的解码器;采用改进REINFORCE算法来训练该模型,该模型不受图的大小约束,即其一旦完成训练,就可用于求解任意车场和客户数量的算例问题。最后,通过随机生成的算例和公开的标准算例验证了所提出框架的可行性和有效性,即使在求解客户节点数为100的MDVRP上,经训练的模型平均仅需2 ms即可得到与现有方法相比更具优势的解。     

基于强化学习的相关反馈图像检索算法

相关反馈算法是图像检索不可缺的重要组成部分,是近来图像检索中研究的一个热点。提出了基于强化学习的相关反馈算法。根据强化学习中的Q_学习函数,建立矩阵Q,对每幅图像建立对应的一项Q_i（i=1,2,…,n）,记录每幅图像的本次检索中的累计反馈值,并根据加权特征法计算新的特征,对于每幅反馈的图像根据Q_学习函数计算其当前的累计反馈值。Q值越大即越与例子图像相关。由于强化学习是通过不断对环境的反馈来获得最佳的路径,这与相关反馈通过对用户检索意图的摸索来获得最优答案的思想一致。实验表明,提出的相关反馈算法具有更大的优越性。