基于观测的POMDP 优化算法及其仿真

在分析马尔可夫决策过程（Markov Decision Process, MDP）性能灵敏度的基础上,讨论了部分可观 测马尔可夫决策过程（Partially Observable Markov Decision Process, POMDP）的性能优化问题．给出了POMDP 性能灵敏度分析公式,并以此为基础提出了两种基于观测的POMDP 优化算法：策略梯度优化算法和策略迭 代优化算法．最后以准许控制问题为仿真实例,验证了这两个算法的有效性．     

半Markov决策过程折扣模型与平均模型之间的关系

首先分别在折扣代价与平均代价性能准则下,讨论了一类半M arkov决策问题.基于性能势方法,导出了由最优平稳策略所满足的最优性方程.然后讨论了两种模型之间的关系,表明了平均模型的有关结论,可以通过对折扣模型相应结论取折扣因子趋于零时的极限来得到.     

一种基于负载均衡的数据部署算法

针对采用分片存储方式且存储节点异构的媒体分发网络(Media Delivery Network,MDN),提出一种数据部署算法,使分布式节点之间达到负载均衡.算法为每个存储节点定义一个权值来描述其服务能力,通过一种反馈机制,即根据各存储节点偏离平衡状态的程度,来选择要部署数据的节点.实验结果表明:使用算法,不仅在数据增加、删除以及增删混合时,可使系统达到一个较低的负载不均衡度,而且对于各种原因导致的系统负载失衡,经过足够长的时间,都能使系统的负载不均衡度收敛到一个较小的数值.     

计算机系统入侵检测的隐马尔可夫模型

入侵检测技术作为计算机安全技术的一个重要组成部分，现在受到越来越广泛的关注，首先建立了一个计算机系统运行状况的隐马尔可夫模型（HMM），然后在此模型的基础上提出了一个用于计算机系统实时异常检测的算法，以及该模型的训练算法。这个算法的优点是准确率高，算法简单，占用的存储空间很小，适合用于在计算机系统上进行实时检测。     

流媒体服务系统中一种基于数据预取的缓存策略

具有 VCR 功能的流媒体服务系统由于请求的随机性会影响用户的点播体验,该文结合数据预取机制以及基于分段的缓存策略计算出用户点播延迟的期望,给出一个较优的缓存管理策略,并通过在线计算逼近最优解,同时在缓存已知的情况下,给出相应的数据预取算法,利用缓存和预取两种数据获取方法的相互协作减小客户端点播延迟,提高缓存效率。仿真结果证实了所提算法的有效性。     

CTMDP基于随机平稳策略的仿真优化算法

基于Markov性能势理论和神经元动态规划(NDP)方法,研究一类连续时间Markov决策过程(MDP)在随机平稳策略下的仿真优化问题,给出的算法是把一个连续时间过程转换成其一致化Markov链,然后通过其单个样本轨道来估计平均代价性能指标关于策略参数的梯度,以寻找次优策略,该方法适合于解决大状态空间系统的性能优化问题.并给出了一个受控Markov过程的数值实例.     

连续时间部分可观Markov决策过程的策略梯度估计

针对连续时间部分可观Markov决策过程(CTPOMDP)的优化问题,本文提出一种策略梯度估计方法. 运用一致化方法,将离散时间部分可观Markov决策过程(DTPOMDP)的梯度估计算法推广到连续时间模型, 研究了算法的收敛性和误差估计问题,并用一个数值例子来说明该算法的应用.     

基于目标规划的服务器集群系统请求调度模型

研究网络服务器,提高传输质量问题,随着计算机网络的飞速发展,对服务器集群的请求也大量增加.针对服务器集群系统中负载分配问题,建立了一种基于目标规划的异构服务器集群系统请求调度模型.对请求按其自身性质进行分类,再将服务器本身的性能作为约束条件,并把请求丢失率最小和不同能力的服务器处理不同数目的请求作为目标,从而建立目标规划模型,通过模型求解来解决请求调度问题,并进行仿真实验.仿真结果验证了模型算法的有效性,模型算法既能让服务器处理能力得到较好发挥,又满足了请求响应时间的要求,使整个服务器集群的处理能力得到较大提高,为设计提供了有效的依据.     

分布式媒体服务系统结合请求调度的接入控制研究

由于多媒体业务需要更大的带宽和更高的实时性,所以对服务系统和接入控制提出了更高的要求。文章针对分布式媒体服务系统提出了一种新颖的接入控制方法,与以往方法不同之处在于将请求调度融合在接入控制之中,从而提高了系统的服务性能。我们先为系统建立部分可观Markov决策过程(POMDP)模型,并将请求调度融合在决策中,然后使用基于观测的随机接入控制策略,通过策略梯度优化算法仿真求解模型的最优策略。仿真结果表明,与其他分布式接入控制方法相比,该文所提方法在有效利用系统资源的同时,提高了系统性能。     

连续时间MCP在紧致行动集上的最优策略

文中研究了一类连续时间Markov控制过程(CTMCP)无穷水平平均代价性能的最优控制决策问题.文章采用无穷小生成元和性能势的基本性质,直接导出了平均代价模型在紧致行动集上的最优性方程及其解的存在性定理,提出了求解ε-最优平稳控制策略的数值迭代算法,并给出了这种算法的收敛性证明.最后通过分析一个数值例子来说明这种方法的应用.