一种强化学习行动策略ε-greedy的改进方法

强化学习作为机器学习中的一种无监督式学习，在实际应用中的难点之一便是如何平衡强化学习中探索和利用之间的关系。在Q学习结合ε-greedy的基础上，提出了一种参数 动态调整的策略。该策略是以学习者在学习过程中各状态下的学习状况为依据，实现参数 的自适应，从而更好地平衡探索和利用之间的关系。同时，引入一种结合了试错法的动作删减机制，对备选动作集合进行"删减"，来提高学习者的探索效率。最后通过迷宫问题的实验仿真，验证了所提方法的有效性。     

基于预售机制的动态频谱分配算法研究

在认知无线网络环境下,为高效合理地进行频谱资源的管理与分配,引入经济活动中的预售机制,提出了基于预售机制的动态频谱管理(PS-DSM)方案.针对方案频谱市场分级架构及运作流程进行详细阐述,对方案中基础市场(BM)频谱分配细节进行了基于超模博弈方法的分析与仿真,实验结果表明,该方案能有效的减少时延,加快收敛速度,提高频谱利用效率.     

基于VCG机制的动态频谱分配算法

针对在Underlay频谱共享方式下的认知无线网络动态频谱分配问题,在满足主用户服务质量（QoS）的前提下,建立一种非合作博弈模型,并设计其效用函数。在借鉴VCG机制的基础上,设计相应的收益函数,提出一种可以最大化认知无线网络系统吞吐量且保证公平性的分布式动态频谱分配算法。仿真结果表明,该算法收敛速度快、公平性强。     

基于极值优化的频谱分配算法

针对认知无线电网络中的频谱分配问题,融合频谱的连续可用概率,提出了一种改进的分配模型,并基于频谱 分配问题的NP 特性,提出了一种基于极值优化的启发式智能求解算法。仿真实验表明：本算法能获得较好的频谱分配效果, 有利于频谱资源的有效利用。     

基于连续双向拍卖的频谱分配算法研究

根据频谱分配的现状,不同区域的部分机构拥有不同带宽的频谱并且为认知用户提供通信服务,因此,对多个频谱服务提供者和多认知用户共存环境下的频谱资源进行简单、高效地分配与管理并提高动态频谱访问的可靠性就成为了一个关键问题。对以上多对多分配问题进行简化,将多个频谱服务提供者和多认知用户之间的复杂关系用市场交易机制描述,提出了基于连续双向拍卖的频谱分配算法,针对不同任务的优先级别设计了灵活的交易指令。对该算法进行实验仿真,仿真结果表明,该算法时间复杂度较低,能有效地加快收敛速度。     

基于博弈学习的动态频谱分配算法研究

为了解决认知无线网络中的动态频谱分配问题,提高频谱利用率和避免干扰,提出了一种基于学习的库诺(Cournot)博弈模型,将授权用户对于空闲频谱的分配行为模拟为动态的博弈过程,并赋予授权用户学习的能力,通过对博弈过程中博弈者行为的学习和总结形成新的博弈策略,而且还比较了将最优反应学习算法和模拟退火算法应用到自适应博弈学习中系统的性能和用户的收益。仿真结果表明,两种算法均能够使授权用户通过学习达到策略的均衡,而有限理性下基于模拟退火的自适应博弈学习算法的鲁棒性更强,收敛性更好,且能够使授权用户获得更高的收益。     

认知无线网络中基于信誉度管理的动态频谱接入研究

随着无线服务和相关设备的飞速发展,认知无线网络中特有频谱稀缺问题越来越引起研究者的重视。在集中式认知无线网络中,次级用户基站SUBS作为融合中心,通过收到周围的次级用户的感知信息来分配频谱资源。然而,环境的易变性使次级用户容易受到攻击从而影响次级用户感知信息,导致网络频谱资源分配错误。引入信誉度模型来表现次级用户在认知循环中的行为规范,在分配频谱阶段将信誉度作为评定标准,鼓励次级用户积极感知及规范运行。在感知阶段,次级用户感知信道数越多,感知信息越正确,其信誉度越高。在运行阶段,次级用户行为越符合网络规范,则信誉度越高。仿真结果表明,论文模型可以很好地减少次级用户基站的错误决策次数,提高其抗攻击性,同时使得网络在很好地分配资源的同时鼓励整个网络行为积极化。     

基于空间拥塞博弈的自适应负载频谱分配算法研究

未来认知无线网络中,特定区域的频谱拥有者控制大量不同带宽的频谱带并为不同的认知用户提供通信服务,如何在这多个频谱服务提供者和多认知用户共存的环境中提高动态频谱访问的可靠性,从而实现频谱访问的负载均衡成为了一个关键问题。通过对上述多对多分配问题进行简化,并运用空间拥塞博弈模型对其进行扩展分析,提出了基于空间拥塞博弈的自适应负载频谱分配算法,对算法纳什均衡存在性进行了理论分析并详述了添加负载调控的效用函数设计。仿真实验结果表明,本算法能有效加快收敛速度,提高系统吞吐量,达到改善频谱访问可靠性和均衡负载的效果。     

基于NSGA-II算法的认知无线电频谱分配

认知无线电中,频谱拍卖是解决动态频谱分配的有效方法,其主要目的是最大化所有主用户的收益。然而,主用户间的收益是存在冲突的,给拍卖算法的优化带来了困难。为此,提出一种新的拍卖方案,来解决获胜者确定问题(Winner Determination Problem, WDP)。在该方案中,动态频谱拍卖问题被建模成多背包问题,并通过非支配排序遗传算法II (NSGA-II)得到最终的解决方案。最后,仿真实验结果表明,就解决WDP问题而言,与贪心算法相比,NSGA-II算法有更好的表现。     

基于业务需求的动态频谱分配算法

动态频谱分配能有效解决频谱利用率低的问题,但已有的图论着色算法未考虑认知用户的业务需求,导致需求小的用户分配到更大的频谱,一定程度上造成了频谱浪费。为解决该问题,提出基于业务需求的动态频谱分配算法,使分配的信道与认知用户的业务需求适配。性能仿真结果表明,基于业务需求的算法能满足各用户的需求,性能更优。     

基于二进制烟花优化算法的认知无线网络频谱分配

针对当前无线频谱资源稀缺和利用率低的问题,提出一种基于二进制烟花优化算法的频谱分配方法。每个烟花个体进行分布式爆炸搜索,并对最优烟花的爆炸半径采用改进公式动态更新;在变异环节中,针对粒子间信息交流不足的缺点,引入遗传算法的交叉变异算子,进一步增强种群多样性;对选出的最优个体使用Metropolis准则进行模拟退火扰动,避免陷入局部最优。仿真实验表明,二进制烟花优化算法在认知无线网络的频谱分配中具有寻优精度高、收敛速度快的特点,较好地实现了网络效益和用户比例公平性的最大化。     

物联网环境下基于演化博弈的动态频谱分配算法

研究物联网环境下垄断频谱市场中两个有限理性的服务提供商基于需求响应的价格竞争。服务提供商购买频谱拥有者提供的频谱,相互动态竞争提供给次用户使用以谋求自身利益的最大化。引入动态频谱接入,同时考虑次用户对价格的反应,将服务提供商的动态价格策略选择建模为演化博弈模型。通过复制动态,提出的算法收敛到演化稳定均衡(ESS)。仿真结果表明所该算法是收敛的,可以达到ESS,分析结果验证了演化博弈算法的稳定性和有效性。     

基于模糊马尔可夫链预测的CR频谱接入算法

基于认知无线电（CR）的动态频谱接入技术,近年成为研究热点,但大部分算法都是根据当前授权用户的频谱活动情况来指导认知用户的频谱接入。本文研究了一种基于模糊马尔可夫链预测模型的动态频谱接入算法,该算法结合授权频段空闲时长的统计规律和模糊理论对信道状态进行预测,认知用户结合自身要求和信道状态的预测结果选择接入。仿真结果验证...     

基于认知无线电网络的动态频谱分配

针对无线通信网络中频谱日益紧缺的问题,对基于认知无线电网络的动态频谱分配技术进行研究,提出一种保护信道和排队相结合的动态信道分配方案。该方案在不影响主用户业务的情况下,为因主用户到达而切换的次用户预留保护信道,对新到达的次用户采用排队策略。如果系统中主用户或者次用户因服务完毕而离开时,队列中的次用户则可按一定的次序使用空闲可用的子信道。仿真结果表明,与仅预留保护信道和仅使用队列缓冲器的方案相比,该方案能有效降低系统的总体失败率,提高分配性能,且对次用户的平均吞吐量和平均延迟影响较小。     

基于混合蛙跳算法的认知无线电频谱分配

提出一种二进制混合蛙跳算法和基于该算法的认知无线电频谱分配方法。对该方法与颜色敏感图论着色算法进行仿真比较,结果表明在最大化网络总效益和最大化公平效益准则下,基于二进制混合蛙跳算法的频谱分配方法的性能较高。二进制混合蛙跳算法能找到理想最优解,颜色敏感图论着色算法得到的解与理想最优解偏差较大。     

基于多种群进化与粒子群优化混合的频谱分配算法

为了解决认知无线网络中的频谱分配问题,提出一种基于多种群进化与粒子群优化混合的频谱分配算法。它采用图论着色模型,首先使用遗传算法将多个种群进行独立进化,以提高种群的全局搜索能力;然后选出每个种群中的最优的个体作为粒子群优化的粒子,并通过控制每个粒子的初始速度方向来加快算法的收敛速度。最后以系统总收益最大化和用户间的公平性为优化目标与遗传算法和粒子群算法进行了对比实验,仿真结果表明,该算法在收敛速度、认知用户接入公平性和系统总收益3个方面的性能均优于遗传算法和粒子群算法。     

基于量子果蝇优化的认知无线网络频谱分配*

将频谱分配的二进制编码转化为量子序列编码,提出一种基于量子果蝇优化的认知无线网络频谱分配方法。首先,将果蝇优化算法(FOA)转化为量子果蝇优化算法(QFOA)算法,拓展FOA算法的应用范围;然后,采用选择、交叉、变异操作改进QFOA算法,提高算法收敛速度,增加样本种群多样性,避免算法陷入局部最优;接下来,利用改进QFOA算法对频谱分配的量子序列进行寻优,寻求最优的网络效益或者用户公平性,得到网络整体性能最优的频谱分配策略。仿真结果表明,改进的QFOA算法收敛速度快且跳出局部最优能力强,应用到认知无线网络频谱分配中,增加了网络资源利用率,提高了网络的整体性能。     

认知用户基于频谱特征的动态频谱接入算法

认知无线电频谱接入技术的关键是指导认知用户如何选择合适的空闲信道以及如何在认知用户间实现频谱共享。在公共控制信道较难获得的情况下,基于部分可观测 Markov 决策过程（POMDP）的频谱预测算法,可以显著地提高系统的吞吐量。认知系统如果不加区分地使用授权频谱将可能导致所选择的频谱空洞不能满足认知用户需求。针对认知用户对不同信道容量的需求,引用适量选择原则,并运用融合接入策略,研究认知无线网络动态频谱接入过程。另外,通过大量仿真对认知用户的吞吐量和系统碰撞率进行分析,结果表明融合接入策略可以有效地提高系统的吞吐量及系统碰撞率。     

基于用户分配和负载的频谱分配算法

提出了一种基于用户分配和负载的频谱分配算法.该算法包括两部分:用户分配子算法和频谱分配子算法.用户分配子算法首先基于聚类划分理论,使分配到相同访问点下的用户具有相近的信噪比,缓解了无线接入网络中普遍存在的远近效应问题.在该用户分配基础上,频谱分配子算法根据各访问点的负载及其关联用户信噪比的平均值计算最优频谱分配.该算法具有可实现性、多项式时间的计算复杂度以及比例公平性.真实数据驱动的仿真实验结果表明,该算法能够有效地提高系统吞吐量,同时大幅度减小访问点的报文缓冲区队长.     

认知用户基于预测的动态频谱接入算法

频谱接入技术的关键是解决认知用户如何选择合适的空闲信道以及认知用户间如何实现频谱共享.在公共控制信道较难获得的情况下,基于部分可观测Markov决策过程(POMDP)的频谱预测算法,可以显著地提高系统的吞吐量;由于认知用户之间缺少接入信息的交换,使得多个认知用户在同一时隙接入同一信道的冲突概率较大.针对多用户竞争冲突问题,通过引入竞争反馈的偏差因子,并利用均衡的混合信道选择策略对认知无线网络动态频谱接入过程进行研究.通过大量仿真对认知用户的吞吐量和频谱利用率以及碰撞率进行分析,研究表明,均衡的混合信道选择策略可以有效地提高系统的吞吐量及频谱利用率.