连续时间部分可观Markov决策过程的策略梯度估计

针对连续时间部分可观Markov决策过程(CTPOMDP)的优化问题,本文提出一种策略梯度估计方法. 运用一致化方法,将离散时间部分可观Markov决策过程(DTPOMDP)的梯度估计算法推广到连续时间模型, 研究了算法的收敛性和误差估计问题,并用一个数值例子来说明该算法的应用.     

半Markov决策过程折扣模型与平均模型之间的关系

首先分别在折扣代价与平均代价性能准则下,讨论了一类半M arkov决策问题.基于性能势方法,导出了由最优平稳策略所满足的最优性方程.然后讨论了两种模型之间的关系,表明了平均模型的有关结论,可以通过对折扣模型相应结论取折扣因子趋于零时的极限来得到.     

半Markov过程基于性能势的灵敏度分析和性能优化

基于性能势的方法 ,研究了一类半Markov过程 (SMP)的性能灵敏度分析和平均费用下的性能优化问题 .将SMP转化为与之等价的离散时间Markov链 (DTMC) ,利用DTMC的性能势 ,对SMP进行灵敏度分析和性能优化 ,得到了SMP基于DTMC性能势的灵敏度分析公式和最优性方程 .最后给出了一个数值例子以表明该方法的应用 .     

半Markov 控制过程在折扣代价准则下的最优平稳策略

讨论一类半Markov控制过程(SMCP)的折扣代价性能优化问题．通过引入一个矩阵，该矩阵可作为一个Markov过程的无穷小矩阵，对一个SMCP定义了折扣Poisson方程，并由这个方程定义了α-势．基于α-势，给出了由最优平稳策略所满足的最优性方程．最后给出一个求解最优平稳策略的迭代算法，并提供一个数值例子以表明该算法的应用．     

动态电源管理的在线优化技术

研究离散事件动态系统中的一类随机离散动态系统—–半Markov决策过程,在动态电源管理问题中的应用.动态电源管理问题存在于很多便携式电子设备中,其主要目的是根据电子设备的状态通过电源管理策略选择关闭或休眠一些元器件,从而实现节省电子设备功耗,延长电池使用时间的目的.首先讨论了动态电源管理问题的建模,给出了一种带有禁止时间的在线优化方法,该方法通过设备自身运行数据,自主地学习并改进电源的动态管理策略,从而使每台电子设备具有个性化的动态电源管理方式,其优化过程可以在设备充电时完成,不需要通过云传输和云计算,避免了隐私数据的泄漏.最后通过仿真实验验证了算法的有效性.     

一类可数Markov控制过程的最优平稳策略

研究了一类具有可数状态空间的Markov控制过程在无限水平平均代价准则下的最优平稳策略问题.对此类过程,引入了折扣Poisson方程,运用无穷小矩阵和性能势的基本性质,导出了平均代价模型在紧致行动集上的最优性方程,并证明了其解的一个存在性定理.     

降低铁路轨道区段绿光带故障率的措施

介绍股道管理自动化系统绿光带的形成原理以及解锁处理方法。通过案例,针对绿光带故障,分析故障产生原因,提出预防措施,降低故障发生概率。     

基于肺部组织特征的图像弹性配准研究

图像配准是一种建立两幅图像空间对应关系的过程,它被广泛应用于计算机视觉、遥感数据分析及图像处理中,特别是在影像引导放射治疗领域,图像配准发挥着巨大作用。但由于受呼吸运动的影响,精确的肺部影像配准依然是一个充满挑战的难题。目前,尺度不变特征变换(Scale-Invariant Feature Transform,SIFT)已被用于医学图像配准中,并且取得了较理想的结果。然而,SIFT检测到的仅是图像的块特征,不能有效的反映肺部的运动。文章提出了一种基于Harris和SIFT算子的杂交型特征检测方法,这种方法能有效检测肺部的组织特征,如血管分叉点和肺部边界等。除此之外,为了有效去除特征匹配过程中产生的错配点,还提出了一种基于互相关和组织结构不变性的滤除错配点方法。文章最后采用一系列不同呼吸周期的肺部CT影像来对所提出的算法进行验证。定性和定量的结果表明,该算法较传统的SIFT算法更具优越性。