动态电源管理的随机切换模型与在线优化

考虑系统参数未知情况下的动态电源管理问题,提出一种基于强化学习的在线策略优化算法. 通过建立事件驱动的随机切换分析模型,将动态电源管理问题转化为带约束的Markov 决策过程的策略优化问题. 利用此模型的动态结构特性,结合在线学习估计梯度与随机逼近改进策略,提出动态电源管理策略的在线优化算法．随机切换模型对电源管理系统的动态特性描述精确,在线优化算法自适应性强,运算量小,精度高,具有较高的实际应用价值．     

动态电源管理超时策略与随机型策略的等效关系

为了建立动态电源管理不同类型策略优化之间的联系,研究了超时策略与随机型策略在性能与功耗均衡上的等效关系.构建了动态电源管理系统基于半Markov控制过程的随机分析模型,通过分析该系统的稳态行为,揭示了超时策略和随机型策略在性能与功耗均衡上的等效性,推导出这2种策略之间的等效关系式;证明了超时策略具有最优的动态电源管理效果,并使得2种类型策略的优化结果能够相互转换.最后通过无线通信节点动态电源管理的数值仿真验证了这种等效关系.     

动态电源管理的在线优化技术

研究离散事件动态系统中的一类随机离散动态系统—–半Markov决策过程,在动态电源管理问题中的应用.动态电源管理问题存在于很多便携式电子设备中,其主要目的是根据电子设备的状态通过电源管理策略选择关闭或休眠一些元器件,从而实现节省电子设备功耗,延长电池使用时间的目的.首先讨论了动态电源管理问题的建模,给出了一种带有禁止时间的在线优化方法,该方法通过设备自身运行数据,自主地学习并改进电源的动态管理策略,从而使每台电子设备具有个性化的动态电源管理方式,其优化过程可以在设备充电时完成,不需要通过云传输和云计算,避免了隐私数据的泄漏.最后通过仿真实验验证了算法的有效性.     

动态电源管理超时策略自适应优化算法

基于强化学习的方法,提出一种动态电源管理超时策略自适应在线优化算法.构建基于超时策略动态电源管理系统的半Markov控制过程模型,将动态电源管理问题转化为一个带约束的优化问题.利用此模型的动态结构特性,结合在线梯度估计与髓机逼近推导超时策略的在线优化算法.该算法自适应性强,计算量小,具有全局收敛性.通过无线网络通信节点动态电源管理的应用仿真验证了算法的有效性.     

随机平稳策略下半Markov决策过程的仿真优化算法

基于性能势理论和等价Markov过程方法,研究了一类半Markov决策过程(SMDP)在参数化随机平稳策略下的仿真优化算法,并简要分析了算法的收敛性．通过SMDP的等价Markov过程,定义了一个一致化Markov链,然后根据该一致化Markov链的单个样本轨道来估计SMDP的平均代价性能指标关于策略参数的梯度,以寻找最优(或次优)策略．文中给出的算法是利用神经元网络来逼近参数化随机平稳策略,以节省计算机内存,避免了“维数灾”问题,适合于解决大状态空间系统的性能优化问题．最后给出了一个仿真实例来说明算法的应用．     

Markov切换系统的随机稳定性分析

根据混合系统离散状态的动态行为和Markov链的状态也是离散的特点,提出了一类离散状态的动态行为是Markov链的混合系统。与传统的混合系统相比,这类系统能够刻画出混合系统离散动态行为的随机性,可以用来描述系统受到外界环境因素制约和内部突发事件等随机因素影响而发生变化的动态行为。根据动态系统的稳定性定义以及随机过程理论,给出了Markov线性切换系统的随机稳定性定义,并且分析了Markov线性切换系统的随机稳定性问题,给出了判定随机稳定性的充分必要条件。     

基于MA(q)模型的动态电源管理预测策略

基于MA(q)模型提出了一种新颖的PIF（predictive-issue-feedback）预测策略,该策略由MA(q)预测模块、CI控制模块、PF反馈模块三部分组成。实验结果表明,PIF策略具有稳定性,而且与其他预测性策略相比,该策略能够进一步降低系统的平均功耗。     

事件驱动的动态服务组合策略在线自适应优化

针对复杂应用环境中网络新媒体服务系统的特点,提出一种事件驱动的动态服务组合策略及其在线优化算法,在保证各类业务服务质量（QoS）的同时,提高系统资源的利用率．通过定义不同类型的事件,驱动服务组合的动态调整,实现对各类业务Qos的保障和对业务需求变化的感知．构建基于半Markov切换空间控制过程的系统分析模型,利用模型的动态结构特点,提出一种结合随机逼近和策略迭代的在线优化算法．该算法不依赖系统参数信息,对环境具有良好的自适应性．仿真实验结果验证了算法的有效性．     

基于Markov模型的动态电压调节策略

基于Markov模型,针对具有离散工作电压模式的处理器提出了一种动态电压调节策略MKBVSP（Markov based voltage scaling policy）。MKBVSP能够根据工作负载的需求变化实现处理器工作模式的动态切换,达到系统性能与能耗之间的平衡。实验结果表明,MKBVSP策略能够在更大程度上降低系统平均能耗,最大比率可达58%。     

计算机系统与计算机网络中的动态优化:模型、求解与应用

动态优化是计算机系统与计算机网络中进行资源分配与任务调度等方面研究所采用的主要理论工具之一.目前,国内外已开展大量研究,致力于深化动态优化的理论研究与工程应用.文中从模型、求解与应用3个角度,对马尔可夫决策过程动态优化理论模型进行了综述,并重点介绍了将动态优化理论与随机Petri网理论相结合的马尔可夫决策Petri网和随机博弈网模型,详细讨论了这些模型的建模方法、求解算法与一些应用实例.最后,对全文进行了总结,并对未来可能的研究方向进行了展望.     

基于随机决策模型的动态功耗管理策略研究

由于功耗的严格约束,现代嵌入式计算终端必须采用科学的动态功耗管理策略.文中在对计算机系统的动态功耗管理(Dynamic Power Management,DPM)模型深入研究的基础上,采用改进的DPM随机决策模型,从理论上证明了DPM最优策略是确定性马尔可夫策略,这为简化DPM控制算法提供了理论依据.在实例研究中,比较了空闲时间长度服从负指数分布与Pareto分布两种情况,发现经典的空闲时间长度服从负指数分布的假设与实际情况偏差很大.Pareto分布很好解释DPM超时策略在实际应用中可以取得优良节能效果这一现象.     

基于非线性规划的开关电源最优设计技术

随着电力电子技术的不断发展,要求开关电源有更高的频率、更高的功率密度、更高的效率、更高的功率因数和更高的可靠性,同时还要求其电路相对简洁,并有较小的体积,这样才更具实用性。在进行单相BoostPFC变换器初步设计的基础上,运用非线性规划技术对BoostPFC变换器进行了优化设计。同时采用遗传算法对该非线性模型进行求解。结果表明,优化设计方案在满足各项性能指标的情况下,实现了设计目标的最优。     

基于非线性规划的开关电源最优设计技术

随着电力电子技术的不断发展,要求开关电源有更高的频率、更高的功率密度、更高的效率、更高的功率因数和更高的可靠性,同时还要求其电路相对简洁,并有较小的体积,这样才更具实用性.在进行单相Boost PFC变换器初步设计的基础上,运用非线性规划技术对Boost PFC变换器进行了优化设计.同时采用遗传算法对该非线性模型进行求解.结果表明,优化设计方案在满足各项性能指标的情况下,实现了设计目标的最优.     

Bayesian Analysis of the Stochastic Switching Regression Model Using Markov Chain Monte Carlo Methods

This study develops Bayesian methods for estimating the parameters of astochastic switching regression model. Markov Chain Monte Carlo methods, dataaugmentation, and Gibbs sampling are used to facilitate estimation of theposterior means. The main feature of these methods is that the posterior meansare estimated by the ergodic averages of samples drawn from conditionaldistributions, which are relatively simple in form and more feasible to samplefrom than the complex joint posterior distribution. A simulation study isconducted comparing model estimates obtained using data augmentation, Gibbssampling, and the maximum likelihood EM algorithm and determining the effectsof the accuracy of and bias of the researcher's prior distributions on theparameter estimates.     

Approximate Dynamic Programming for Stochastic Resource Allocation Problems

A stochastic resource allocation model, based on the principles of Markov decision processes (MDPs), is proposed in this paper. In particular, a general-purpose framework is developed, which takes into account resource requests for both instant and future needs. The considered framework can handle two types of reservations (i.e., specified and unspecified time interval reservation requests), and implement an overbooking business strategy to further increase business revenues. The resulting dynamic pricing problems can be regarded as sequential decision-making problems under uncertainty, which is solved by means of stochastic dynamic programming (DP) based algorithms. In this regard, Bellman’s backward principle of optimality is exploited in order to provide all the implementation mechanisms for the proposed reservation pricing algorithm. The curse of dimensionality, as the inevitable issue of the DP both for instant resource requests and future resource reservations, occurs. In particular, an approximate dynamic programming (ADP) technique based on linear function approximations is applied to solve such scalability issues. Several examples are provided to show the effectiveness of the proposed approach.      

Optimizing Long-term Hydro-power Production Using Markov Decision Processes

Modelling the long-term operation of hydroelectric systems is one of the classic applications of Markov decision process (MDP). The computation of optimal policies, for MDP models, is usually done by dynamic programming (DP) on a discretized state space. A major difficulty arises when optimizing multi-reservoir systems, because the computational complexity of DP increases exponentially with the number of sites. This so-called 'curse of dimensionality' has so far restricted the applicability of DP to very small systems (2 or 3 sites). Practitioners have thus had to resort to other methodologies for the long-term planning, often at the expense of rigour, and without reliable error estimates. This paper surveys recent research of MDP computation, with application to hydro-power systems. Three main approaches are discussed: (i) discrete DP, (ii) numerical approximation of the expected future reward function, and (iii) analytic solution of the DP recursion.     

基于指数平均模型的无线传感器网络动态功耗管理

能耗一直是制约无线传感器网络WSN(Wireless Sensor Networks)发展的关键因素。为了降低节点的功耗,延长WSN的寿命,一种改进指数平均模型的动态功耗管理DPM(Dynamic Power Management)方法被提出。该方法利用历史空闲时间来对未来空闲时间进行预测,预测结果作为节点是否转换为低功耗状态的依据。理论分析和实验仿真表明,本文提出的DPM在突发情况时能够快速自适应地调整,提高了预测的准确性,降低了WSN的功耗。