基于POMDP的认知无线电自适应频谱感知算法

针对如何建立适合毫秒级频谱空洞场景的频谱感知机制这一问题,推导出最佳次级用户单次数据传输时间长度,解决了数据传输量最大化的问题;其次提出一种基于部分可观测马尔科夫决策过程（POMDP,partially observable Markov decision process）的自适应频谱感知算法,解决了快速接入毫秒级频谱空洞的问题。该算法根据上一决策时段的信念向量和感知结果自适应确定在当前决策时段内进行频谱感知或数据传输行为。仿真结果表明,该自适应频谱感知算法能够有效控制次级用户和主用户的冲突概率并增加频谱利用率。     

CVANET中基于POMDP模型的频谱接入算法

针对认知车载Ad Hoc网络(CVANET)信道的动态特性,以部分可观测马尔科夫决策过程(POMDP)为模型对认知车辆用户的频谱感知和频谱接入过程进行研究,提出基于POMDP模型的分布式机会频谱接入算法,并通过贪心算法降低POMDP算法计算量,最后通过仿真研究影响认知车辆用户吞吐量的主要因素,并验证算法的可行性。仿真分析结果表明,认知车辆用户通过本算法接入吞吐量得到有效提高,降低了交通中广播风暴的可能,并且降低了计算量。     

基于信息熵的POMDP模型观测函数估计

部分可观测马尔可夫决策过程(POMDP)广泛应用于建模决策任务。模型中的观测矩阵主要用来建模环境的不确定性,通常很难从训练数据中直接获取,需要引入额外的信息进行估计。通过引入信息熵来修正模型中的观测矩阵,修正后的观测矩阵更能反映环境的不确定性。模拟环境下的实验表明,引入信息熵进行修正估计的观测矩阵有效提高了POMDP模型的性能,而在基于POMDP模型的对话系统中,修正的估计提高了系统的决策准确度。     

一种改进的认知无线电频谱接入策略

认知无线电（Cognitive Radio）网络中,次用户在不干扰主用户的情况下即时接入检测到的空闲频谱以提高频谱资源的利用率。基于部分可观测马尔科夫决策过程的最优频谱接入算法计算复杂度较高,而基于贪婪算法的次优接入策略具有自私性,都不能有效的提高频谱利用率。本文提出一种新的频谱接入算法,该算法对贪婪算法的自私性进行了改进。由于贪婪算法只关注信道当前时隙的瞬时奖励值,导致最大奖励值相同的信道可能会有多个,因此给瞬时奖励值加上这些信道下一时隙的奖励值后重新选择,直至次用户选择出奖励值最大的一个信道。仿真结果表明,相比于传统的贪婪算法,改进算法虽然增加了一些计算复杂度,但有效提高了系统的吞吐量。     

基于Dec-POMDP的认知无线电网络频谱接入算法

针对认知无线电网络中认知用户（CR）的机会频谱感知及接入问题,提出了一种基于分布式部分可观测马尔科夫决策过程（Dec-POMDP）的多用户频谱接入算法。在该模型框架下,相邻CR用户通过交换接入策略,以区域策略梯度方向为基准,对各个CR用户的接入策略做出调整,从而得到最优联合接入策略。仿真结果表明：该算法有效降低了授权用户的容量损失,提高了空闲频谱的利用效率,能够更有效地做出接入决策。     

一种认知无线网络中跨层优化的频谱接入算法

针对认知无线电网络中认知用户的机会频谱接入问题,本文提出了一种新的分布式跨层频谱接入的算法。此算法针对多认知用户贪心算法自私性的缺点,引入了分布式协作接入的方法,并给出了详细的算法流程和MAC层设计细节。仿真结果表明,本文提出的方案在系统吞吐量和频谱利用率的性能上具有良好的性能和可行性。     

异构密集网络下基于POMDP负载感知的负载均衡算法研究

针对异构密集网络场景中业务不确定性而引起的网络负载不均衡,该文提出一种基于部分可测马尔科夫决策过程(POMDP)负载感知的负载均衡方法。该方法首先通过对系统用户在感知周期内数据包传输数量进行观察,预测出下一周期系统可能出现的负载状态。其次根据负载感知结果动态调整小区范围扩展偏置值(DCRE),以达到优化系统整体负载均衡性的目的。最后采用启发式算法近似求解,能够快速得到次优解。仿真结果表明,该方案能在异构密集网络下提高系统负载均衡性,同时提升了系统吞吐量与系统资源利用率。     

一种基于二分图最优匹配的镜头检索方法

镜头检索是基于内容的视频检索的重要内容.本文首次尝试将二分图的最优匹配用于镜头检索.与现有方法相比,本文提出的方法强调在一一对应的前提下,全面客观地度量两个镜头的相似度.把两个镜头的相似度度量建模为一个带权的二分图:镜头中的每一帧看成二分图的一个结点,两个镜头之间任意帧的相似值作为边的权值.在一一对应的前提下,利用最优匹配的Kuhn-Munkres算法求出该二分图的最大权,以此作为两个镜头的相似度.考虑到检索速度问题,提出了两个改进算法.实验对比结果证实了本文所提方法在镜头检索中的优异表现.     

一种基于随机投影的贝叶斯时间差分算法

在强化学习方法中,大部分的算法都是基于值函数评估的算法.高斯过程时间差分算法利用贝叶斯方法来评估值函数,通过贝尔曼公式和贝叶斯规则,建立立即奖赏与值函数之间的概率生成模型.在状态空间中,通过在线核稀疏化并利用最小二乘方法来求解新样本的近似线性逼近,以提高算法的执行速度,但时间复杂度依然较高.针对在状态空间中近似状态的选择问题,在高斯过程框架下提出一种基于随机投影的贝叶斯时间差分算法,该算法利用哈希函数把字典状态集合中的元素映射成哈希值,根据哈希值进行分组,进而减少状态之间的比较.实验结果表明,该方法不仅能够提高算法的执行速度,而且较好地平衡了评估状态值函数精度和算法执行时间.     

基于拓扑序列更新的值迭代算法

提出一种基于拓扑序列更新的值迭代算法,利用状态之间的迁移关联信息,将任务模型的有向图分解为一系列规模较小的强连通分量,并依据拓扑序列对强连通分量进行更新。在经典规划问题Mountain Car和迷宫实验中的结果表明,算法的收敛速度更快,精度更高,且对状态空间的增长有较强的顽健性。     

CPSM:一种增强IP网络生存性的客户端主动服务漂移模型

 本文在注重提高IP网络服务可生存性的同时,也兼顾了服务可区分性的要求,提出了一种基于客户端的主动服务漂移模型,即CPSM,Client-side Proactive Service Migration model.该模型把服务漂移抽象为一个部分可观测马尔可夫决策过程,用以增强服务漂移对动态不确定性网络环境的自适应能力.在信息预报和信任机制的基础上,通过对网络状态的不断观测和分析,CPSM模型可以计算出使客户获益最高的服务漂移策略.     

Q-Learning Based Interference-Aware Channel Handoff for Partially Observable Cognitive Radio Ad Hoc Networks

Channel handoff is a crucial function for Cognitive radio ad hoc networks (CRAHNs). The ab-sence of centralized infrastructures and the limited power make the handoff design more challenging. A learning-based interference-aware handoff scheme is proposed for distributed CRAHNs. We model the channel handoff pro-cess as a Partially observable Markov decision process (POMDP) and adopt a Q-learning algorithm to find an optimal handoff strategy in a long term. The proposed algorithm obtains an efficient transmission performance by considering the interferences among SUs and PUs. To achieve PU awareness, the handoff scheme predicts the PU activities by using the historical channel usage statistics. In addition, we also propose a refined channel selection rule to compromise between learning speed and cumulative trans-mission reward. The simulation results show that the pro-posed handoff scheme can adapt to the PU activities and achieves a better performance in terms of high throughput and low collisions. And the learning process keeps a consid-erable balance between convergence time and cumulative reward.     

一种新的通用航空机载防撞逻辑设计方法

由于机载防撞系统(TCAS)是针对具有较大垂直高度变化率的大型飞机设计的,系统设定条件和与之相关的解脱建议并不能适用于通航飞机.针对通用航空的防撞问题,提出了一种基于马尔可夫决策过程(MDP)的防撞逻辑设计方法.首先,将飞机空中相遇过程的动态模型转换为离散转移函数;然后,基于防撞系统结果事件末端效用函数进行MDP建模,采用动态规划方法导出了最优防撞逻辑的迭代方程;最后,给出了通航飞机最优化防撞逻辑的设计流程并对最优防撞逻辑进行了计算机仿真.仿真结果表明,通过调整效用比参数可以在保证安全性能的同时有效降低系统告警率.在垂直相遇高度小于30 m的相遇过程占比高达18%的情况下,当告警率大于0.85时系统的碰撞概率仅为2.88×10-4左右.该设计方法对我国在低空空域通用飞机防撞系统的研究具有一定的参考价值.     

一种新颖的基于TDSA的多个正弦信号参数估计方法

该文提出了一种基于跨维模拟退火(TDSA)算法联合估计实正弦信号个数及频率的新方法。该文在跨维模拟退火算法基础上,引入惩罚因子,通过最小二乘精简采样参数,在高斯白噪声中检测正弦信号的个数及频率。仿真证实,该方法具有较好的效果。