动态电源管理的随机切换模型与在线优化

考虑系统参数未知情况下的动态电源管理问题，提出一种基于强化学习的在线策略优化算法. 通过建立事件驱动的随机切换分析模型，将动态电源管理问题转化为带约束的Markov 决策过程的策略优化问题. 利用此模型的动态结构特性，结合在线学习估计梯度与随机逼近改进策略，提出动态电源管理策略的在线优化算法．随机切换模型对电源管理系统的动态特性描述精确，在线优化算法自适应性强，运算量小，精度高，具有较高的实际应用价值．     

动态电源管理的随机切换模型与策略优化

提出一种基于连续时间Markov决策过程的动态电源管理策略优化方法.通过建立动态电源管理系统的随机切换模型,将动态电源管理问题转化为带约束的策略优化问题,并给出一种基于矢量合成的策略梯度优化算法.随机切换模型对动态电源管理系统的描述精确,策略优化算法简便有效,既能离线计算,也适用于在线优化.仿真实验验证了该方法的有效性.     

动态电源管理超时策略与随机型策略的等效关系

为了建立动态电源管理不同类型策略优化之间的联系,研究了超时策略与随机型策略在性能与功耗均衡上的等效关系.构建了动态电源管理系统基于半Markov控制过程的随机分析模型,通过分析该系统的稳态行为,揭示了超时策略和随机型策略在性能与功耗均衡上的等效性,推导出这2种策略之间的等效关系式;证明了超时策略具有最优的动态电源管理效果,并使得2种类型策略的优化结果能够相互转换.最后通过无线通信节点动态电源管理的数值仿真验证了这种等效关系.     

非平稳自相似业务下自适应动态功耗管理

动态功耗管理(dynamic power management,简称DPM)是一种优化计算机设备能量消耗的设计技术,优化效果依赖于采用的功耗管理策略和控制算法.研究表明,传统排队论的指数分布假设不适用于DPM策略研究,DPM最优策略是超时策略,超时策略可以获得很好的节能效果的理论原因是计算机系统业务请求具有自相似性.提出了当空闲时间长度服从Pareto分布时,基于截尾均值法小样本情况下Pareto分布形状参数的稳健有效估计算法和基于窗口大小自适应技术非平稳业务请求下的DPM控制算法.实验结果表明,该算法具有很好的稳定性,在不考虑其他条件约束时,竞争率可降到1.24,在延迟率小于0.10的条件下,竞争率可降到1.47,而且算法计算负荷小.     

高级动态电源管理在系统软件层的设计与实现

现在可移动嵌入式系统在飞速发展,而相应的电池技术发展速度却与之不符,这就使得电源管理成为了一个迫切需要解决的问题.动态电源管理(DPM)就是一种有效的系统级电源管理策略,它在恰当的时机选择性地切换设备状态,其目的是节省系统功耗以及系统响应延时.介绍了现有的几种DPM策略,如贪婪策略、超时策略、预判策略以及随机模型最优化策略等等,通过分析现有策略的优缺点,提出了一种系统级高级动态电源管理策略(ADPM),并在软件模拟环境中实现了ADPM策略和现有的其它几种DPM策略,并通过实验将几种策略进行比较,结果表明,ADPM在系统响应速度上要平均提高13%,在功耗节省上平均要提高16%,证明ADPM是一种有效的动态电源管理策略.     

动态电源管理的在线优化技术

研究离散事件动态系统中的一类随机离散动态系统—–半Markov决策过程,在动态电源管理问题中的应用.动态电源管理问题存在于很多便携式电子设备中,其主要目的是根据电子设备的状态通过电源管理策略选择关闭或休眠一些元器件,从而实现节省电子设备功耗,延长电池使用时间的目的.首先讨论了动态电源管理问题的建模,给出了一种带有禁止时间的在线优化方法,该方法通过设备自身运行数据,自主地学习并改进电源的动态管理策略,从而使每台电子设备具有个性化的动态电源管理方式,其优化过程可以在设备充电时完成,不需要通过云传输和云计算,避免了隐私数据的泄漏.最后通过仿真实验验证了算法的有效性.     

基于动态混合超时的软件定义网络多目标优化

软件定义网络（SDN）中,流表项是由控制器创建并指导交换机处理数据包的转发规则。流表项保存在交换机的内存并有一定的超时时间,会影响SDN控制通道的带宽消耗、交换机的内存消耗以及系统资源和性能的管理。针对现有SDN性能优化方案大多为单一目标优化,未考虑流表项超时类型和时间对不同优化目标的影响,提出一种基于流表项动态混合超时的多目标优化方案,对大象流的侦测精度、流表项的交换机内存消耗和控制通道带宽占用进行三目标联合优化。动态混合超时将现有的两种流表项超时方式,即硬超时和空闲超时相结合,并对流表项的超时类型和时间进行双维度动态调节。通过NSGA-Ⅱ算法求解所提优化问题,评估不同超时方式和超时时间对三个优化目标的影响,并通过合并特定超时时间下的解集与贝叶斯多目标优化算法的解集对NSGA-Ⅱ算法的解集质量进行改进。结果表明,所提方案能提供更高的侦测精度、更低的带宽占用和更小的交换机内存消耗,明显提升了SDN的综合性能。     

基于强化学习的部分线性离散时间系统的最优输出调节

针对同时具有线性外部干扰与非线性不确定性下的离散时间部分线性系统的最优输出调节问题, 提出了仅利用在线数据的基于强化学习的数据驱动控制方法. 首先, 该问题可拆分为一个受约束的静态优化问题和一个动态规划问题, 第一个问题可以解出调节器方程的解. 第二个问题可以确定出控制器的最优反馈增益. 然后, 运用小增益定理证明了存在非线性不确定性离散时间部分线性系统的最优输出调节问题的稳定性. 针对传统的控制方法需要准确的系统模型参数用来解决这两个优化问题, 提出了一种数据驱动离线策略更新算法, 该算法仅使用在线数据找到动态规划问题的解. 然后, 基于动态规划问题的解, 利用在线数据为静态优化问题提供了最优解. 最后, 仿真结果验证了该方法的有效性.     

BUCBAT自适应动态电源管理策略

结合电池放电特性,提出一种自适应超时动态电源管理策略BUCBAT。基于电池放电过程中电压逐渐降低的特性,BUCBAT根据电池放电电压的大小动态调整超时阙值;采用两块电池以特定频率轮流供电,充分利用电池放电电压的自恢复特性。实验结果表明,与超时策略相比,BUCBAT动态电源管理策略在兼顾系统QoS性能的同时,能够合理地管理系统功耗,从而延长系统的可持续工作时间。     

多媒体服务器集群系统节能建模与在线优化

提出了一种基于马尔可夫切换状态空间控制模型的多媒体服务器集群系统能耗最优控制方法.通过建立多媒体服务器集群的随机控制模型,将能耗最优控制描述为一个带约束的优化问题.结合拉格朗日乘子法和性能势理论,提出了一种在线策略迭代算法.该优化算法通过样本轨道在线寻找最优控制策略,寻找过程不需要精确的系统参数信息.仿真实验证明了该算法的有效性.     

一种实时功耗管理算法

提出一种实时功耗管理算法，对当前空闲时间长度进行预测，并应用Timeout方法进行修正，以确定是否进入睡眠模式。在IBM硬盘管理的应用中，实验表明该方法具有较少的错误关闭次数和错误等待次数，因而有效地降低了功耗。     

无线多媒体通信网适应带宽配置在线优化算法

基于强化学习的方法,提出一种无线多媒体通信网适应带宽配置在线优化算法,在满足多类业务不同QoS(quality of service)要求的同时,提高网络资源的利用率.建立事件驱动的随机切换分析模型,将无线多媒体通信网中的适应带宽配置问题转化为带约束的连续时间Markov决策问题.利用此模型的动态结构特性,结合在线学习估计梯度与随机逼近改进策略,提出适应带宽配置在线优化算法.该算法不依赖于系统参数,如呼叫到达率、呼叫持续时间等,自适应性强,计算量小,能够收敛到全局最优,适用于复杂应用环境中无线多媒体通信网适应带宽配置的在线优化.仿真实验结果验证了算法的有效性.     

Adaptive optimal control for continuous-time linear systems based on policy iteration

In this paper we propose a new scheme based on adaptive critics for finding online the state feedback, infinite horizon, optimal control solution of linear continuous-time systems using only partial knowledge regarding the system dynamics. In other words, the algorithm solves online an algebraic Riccati equation without knowing the internal dynamics model of the system. Being based on a policy iteration technique, the algorithm alternates between the policy evaluation and policy update steps until an update of the control policy will no longer improve the system performance. The result is a direct adaptive control algorithm which converges to the optimal control solution without using an explicit, a priori obtained, model of the system internal dynamics. The effectiveness of the algorithm is shown while finding the optimal-load-frequency controller for a power system.     

一类离散时变系统的在线无限脉冲响应滤波逆控制

针对一类离散时变系统,提出了一种基于自适应惯性权重合作粒子群（AIW—CPSO）算法的在线尢限脉冲响应（IIR）滤波自适应系统辨识方法,实现零极点实时跟踪的全匹配控制．IIR滤波器可解决有限脉冲响应（FIR）滤波器在辨识时变系统时因其相关矩阵的特征值会无规律变大而被迫离线训练的问题．同时义降低了在线训练所需的权值向量长度,提升了优化与建模效率．本文设计的白适应惯性权重合作粒子群（AIW—CPSO）算法可在传统卡讧子群优化（PSO）算法的基础上更好地解决因选用IIR滤波器所带来的全局优化问题．通过仿真分析可以看出,对十此类离散时变系统,基于在线AIW—CPSO—IIR滤波器的自适应逆控制方法可以快速有效的实现未知对象的在线建模,同时实时跟踪时变系统的特征值变化．     

基于遗传优化和模糊推理PID及MATLAB仿真

本文提出一种基于遗传优化和模糊推理相结合的自适应模糊PID控制算法,算法由遗传算法和模糊推理两部分构成,分别用于离线优化和在线优化。仿真结果表明,这种自适应PID控制器的性能,比仅用遗传算法优化的PID控制器更好,并且抗干扰能力更强。     

Online linear optimization and adaptive routing

This paper studies an online linear optimization problem generalizing the multi-armed bandit problem. Motivated primarily by the task of designing adaptive routing algorithms for overlay networks, we present two randomized online algorithms for selecting a sequence of routing paths in a network with unknown edge delays varying adversarially over time. In contrast with earlier work on this problem, we assume that the only feedback after choosing such a path is the total end-to-end delay of the selected path. We present two algorithms whose regret is sublinear in the number of trials and polynomial in the size of the network. The first of these algorithms generalizes to solve any online linear optimization problem, given an oracle for optimizing linear functions over the set of strategies; our work may thus be interpreted as a general-purpose reduction from offline to online linear optimization. A key element of this algorithm is the notion of a barycentric spanner, a special type of basis for the vector space of strategies which allows any feasible strategy to be expressed as a linear combination of basis vectors using bounded coefficients.We also present a second algorithm for the online shortest path problem, which solves the problem using a chain of online decision oracles, one at each node of the graph. This has several advantages over the online linear optimization approach. First, it is effective against an adaptive adversary, whereas our linear optimization algorithm assumes an oblivious adversary. Second, even in the case of an oblivious adversary, the second algorithm performs slightly better than the first, as measured by their additive regret.     

自适应一致性替换算法的设计与实现

针对代理缓存的一致性策略和替换策略还没有很好地结合起来的技术现状,基于最优化模型,提出、设计和实现了一种新的优化代理缓存的自适应一致性--替换算法(即 ACR算法).这种算法包括一致性策略和替换策略两部分,一致性策略采用自适应TTL机制,替换策略是基于成本/价值模型的算法.通过Trace-Driven模拟实验,结果表明ACR算法在陈旧命中比上均优于传统的几个替换算法.     

制冷站双目标权重自适应非线性预测控制

针对传统制冷站控制系统易产生振荡, 且无法实现系统性能整体优化的问题, 本文提出一种制冷站非线性 预测控制策略, 优化目标函数设计为满足建筑冷量需求的同时, 尽可能提高系统整体能效. 为解决上述两个优化目 标之间的矛盾关系, 本文采用模糊逻辑设计了优化目标权重自适应模块, 实时求取权重因子最优解; 针对非线性系 统在线优化求解困难问题, 本文提出了基于神经网络的非线性滚动优化算法, 采用神经网络作为反馈优化控制器, 并将系统优化目标函数作为在线寻优性能指标, 结合Euler-Lagrange方法和随机梯度下降法对控制器权值和阈值进 行在线寻优, 算法计算量小, 占用存储空间适中, 便于采用低成本的现场控制器实现制冷站预测控制. 仿真实验结果 表明, 本文所提出的预测控制策略与PID控制相比, 在未加入优化目标函数权重自适应模块情况下, 系统平均能效 比提高约32.5%; 进行优化目标函数权重自适应寻优后, 系统平均能效提高约39.43%.