基于POMDP的跨层机会频谱接入优化设计

在功率受限的机会频谱接入(OSA)研究中,大多使用完全可观测马尔可夫决策过程(MDP)对环境建模,以提高物理层或介质访问控制(MAC)层指标,但由于感知设备的限制,无法保证用户对环境完全感知。为解决该问题,提出一种基于部分可观测马尔可夫决策过程(POMDP)与Sarsa(λ)的跨层OSA优化设计方案。结合MAC层和物理层,采用POMDP对功率受限且有感知误差的次用户频谱感知和接入过程进行建模,并将其转换为信念状态MDP(BMDP),使用Sarsa(λ)算法对其进行求解。仿真结果表明,在功率受限条件下,该Sarsa(λ)-BMDP方案的有效传输容量、吞吐量和频谱利用率分别比完全可观测Q-MDP方案低9%、7%和3%左右,其误比特率比基于点的值迭代PBVI-POMDP方案低20%左右,比Q-MDP方案高16%左右。     

基于VCG机制和POMDP强化学习的动态频谱分配算法

以认知无线网络动态频谱分配问题为研究对象,提出一种通用的动态频谱分配博弈框架,将频谱的动态变化、认知用户的可能影响频谱分配的自私的网络行为、频谱分配中的信息约束限制和分布式特性在动态频谱环境中加以考虑,通过VCG机制的部署和实施,有效的解决动态频谱分配问题,防止自私用户可能存在欺骗行为;为进一步提高认知无线网络中频谱分配方法的性能,提出了一种动态频谱分配的POMDP强化学习算法,通过认知用户依据它们自身历史信息的观察统计和学习,预测当前竞拍策略,通过累积折扣奖赏影响动态频谱分配。仿真结果表明,基于POMDP强化学习算法可以显著的改善认知用户的行为,提高动态频谱分配性能。     

利用POMDP模型来增强分布式系统的生存性

针对分布式系统存在的状态信息不完全问题,引入部分可观察的马尔可夫决策过程(POMDP)模型到生存控制系统中.在该控制系统的构造过程中,结合前瞻的思想,提出一种简易、有效的搜索算法(NSL算法)来作出决策,从而在一定程度上弥补了现有生存控制系统的不足,提高了分布式系统的可生存性.     

基于观测的POMDP 优化算法及其仿真

在分析马尔可夫决策过程（Markov Decision Process, MDP）性能灵敏度的基础上,讨论了部分可观 测马尔可夫决策过程（Partially Observable Markov Decision Process, POMDP）的性能优化问题．给出了POMDP 性能灵敏度分析公式,并以此为基础提出了两种基于观测的POMDP 优化算法：策略梯度优化算法和策略迭 代优化算法．最后以准许控制问题为仿真实例,验证了这两个算法的有效性．     

Networked reinforcement learning

Recently, many models of reinforcement learning with hierarchical or modular structures have been proposed. They decompose a task into simpler subtasks and solve them by using multiple agents. However, these models impose certain restrictions on the topological relations of agents and so on. By relaxing these restrictions, we propose networked reinforcement learning, where each agent in a network acts autonomously by regarding the other agents as a part of its environment. Although convergence to an optimal policy is no longer assured, by means of numerical simulations, we show that our model functions appropriately, at least in certain simple situations. This work was presented in part at the 13th International Symposium on Artificial Life and Robotics, Oita, Japan, January 31–February 2, 2008     

WSN中一种目标追踪在线节点调度算法

针对目标追踪无线传感器网络节点能量有限、感知信息存在不确定性等问题,提出一种基于部分可观察马尔可夫决策过程的在线节点调度算法。通过状态转移函数和观察函数描述移动目标的不确定性,根据奖赏函数平衡追踪性能和节点能量消耗,并构造有限深度的可达信念与或树降低运算复杂度,实现调度策略在线求解。实验结果表明,该算法能平衡目标追踪质量与节点能量消耗,且满足实时性 要求。     

求解部分可观测马氏决策过程的强化学习算法

针对部分可观测马氏决策过程(POMDP)中，由于感知混淆现象的存在，利用Sarsa等算法得到的无记忆策略可能发生振荡的现象，研究了一种基于记忆的强化学习算法——CPnSarsa(λ)学习算法来解决该问题．它通过重新定义状态，Agent结合观测历史来识别混淆状态．将CPnSarsa(λ)算法应用到一些典型的POMDP，最后得到的是最优或近似最优策略，与以往算法相比，该算法的收敛速度有了很大提高．     

异构网络中多无线电多信道环境下信道状态预测算法研究

该文针对异构网络环境未知性的特点,基于部分可测马尔科夫(POMDP)模型,结合认知无线电频谱侦测技术,提出了一种新的多无线电多信道环境下信道状态预测算法。该算法通过对信道状态历史信息的分析,推导出信道信念状态(belief state)的初始分布和转移概率,并以此选择出具有最佳回报的信道以供接入,从而达到提高信道利用率的目的。仿真结果表明算法性能要优于传统算法。     

分布式媒体服务系统结合请求调度的接入控制研究

由于多媒体业务需要更大的带宽和更高的实时性,所以对服务系统和接入控制提出了更高的要求。文章针对分布式媒体服务系统提出了一种新颖的接入控制方法,与以往方法不同之处在于将请求调度融合在接入控制之中,从而提高了系统的服务性能。我们先为系统建立部分可观Markov决策过程(POMDP)模型,并将请求调度融合在决策中,然后使用基于观测的随机接入控制策略,通过策略梯度优化算法仿真求解模型的最优策略。仿真结果表明,与其他分布式接入控制方法相比,该文所提方法在有效利用系统资源的同时,提高了系统性能。