基于分布式协作Q学习的信道与功率分配算法

为提高分布式认知无线网络认知用户信道与功率分配算法的能量效率和收敛速度,将单位能量的平均比特数作为通信效率指标,平衡用户通信质量和系统能量消耗,提出一种基于多Agent协作强化学习的分布式信道与功率分配算法。在多Agent独立Q学习的基础上引入协作学习,各用户通过独立Q学习后,共享Q值并进行融合再学习。仿真结果表明,与基于能效的独立Q学习算法、独立Q学习算法以及随机功率分配算法相比,该算法能够有效提高认知用户发射功率和信道分配时的收敛速度。     

基于POMDP的认知无线网络次用户多时隙信道选择算法

为了最大化认知无线网络次用户系统的吞吐量,同时减少信道选择过程中的计算量,在多条主用户信道的次用户多时隙系统中,用半马尔科夫链POMDP(Partially Observable Markov Decision Process)理论刻画次用户信道选择过程,并提出对应的认知无线网络信道选择算法。在每一个时隙开始时,次用户选择部分信道进行感知,之后根据感知结果选择不同的传输功率接入信道,对于没有被感知的信道,次用户可以直接接入。对POMDP问题求解给出最优策略、次优策略。通过在不同仿真环境下对最优策略、次优策略以及任意策略进行数值分析比较,论证了该设计算法的有效性。     

基于案例推理和启发式Q学习的资源分配算法

针对集中式认知网络的信道和功率分配问题,提出了一种基于案例推理和启发式Q学习算法。为了提高Q学习算法的收敛速度,将当前分配问题与存储的历史案例进行相似度匹配,选取最相似案例的◢Q◣值,归一化处理后作为启发式Q学习算法的初值。为了提高启发式Q学习的算法性能,引入一个基于信息强度的指导函数,通过强调动作的重要性来改变动作策略;设计的奖赏函数反映了认知系统的能量效率。仿真结果表明,该算法可以明显提高认知网络信道和功率分配的认知系统能量效率和收敛速度。     

基于Q-learning的机会频谱接入信道选择算法

针对未知环境下机会频谱接入的信道选择问题进行研究。将智能控制中的Q-learning理论应用于信道选择问题, 建立次用户信道选择模型, 提出了一种基于Q-learning的信道选择算法。该算法通过不断与环境进行交互和学习, 引导次用户尽量选择累积回报最大的信道, 最大化次用户吞吐量。引入Boltzmann学习规则在信道探索与利用之间获得折中。仿真结果表明, 与随机选择算法相比, 该算法在不需要信道环境先验知识或预测模型下, 能够自适应地选择可用性较好的信道, 有效提高次用户吞吐量, 且收敛速度较快。     

基于NOMA系统的用户分组和功率分配策略

针对非正交多址接入（NOMA）系统的最优用户分组和功率分配方案的高复杂度问题,提出一种改进的用户分组和功率分配策略。首先,对用户进行分组,由信道增益值确定每个子信道的第一个用户,再由贪婪匹配方法分配剩余用户;然后,对用户的功率进行分配,将该功率分配问题分成子信道间和子信道内两部分,对于子信道间采用线性注水算法分配功率,对于子信道内则采用所提的迭代功率分配算法分配功率;最后,构造拉格朗日函数以实现在最大发射功率以及保证每个用户最低数据速率的约束下系统吞吐量的最大化。仿真结果表明,在多用户的情况下,与线性注水的分数阶功率分配（LWF-FTPA）算法和等分数阶功率分配（EQ-FTPA）算法相比,系统吞吐量分别提高了8%和20%,所提策略优于传统算法。     

毫米波大规模MIMO-NOMA系统用户分簇和功率分配设计

针对多用户毫米波大规模多输入多输出-非正交多址接入（MIMO-NOMA）系统功率分配计算复杂的问题,提出新用户分簇和功率分配方案,提高系统的频谱效率。首先改进基于簇头选择的用户分簇方案,根据真实信道动态选择阈值并确定分簇数目,使分簇结果更适合实际情况,用户从波束中获得更大增益。然后以最大化系统频谱效率和能量效率的加权和为目标设计功率分配,使用改进的元启发算法求解。通过对粒子群（PSO）算法引入新的矢量成分和添加余弦扰动使算法更快收敛到全局最优值,并融合沙猫优化（SCSO）算法使算法结果更加精确。仿真结果表明,与现有算法相比,本文提出方案的频谱效率和能量效率优于传统方案,且更适合多用户情况。     

基于POMDP的信道感知接入算法

在认知无线电中,为了最大化次用户的吞吐量,同时对主用户的干扰低于预定值,提出一种基于POMDP的信道感知接入算法。次用户将主用户信道在时间轴上细分成等间隔的时隙,在每个时隙开始时,次用户从频谱感知、以较高的功率接入信道和以较低的功率接入信道三种可选策略中选择最优的策略。将次用户的选择过程建模成一个POMDP问题,并采用一些相应的最优策略求解。计算机仿真结果验证了算法的有效性。     

基于多步回溯Q学习的自动发电控制指令动态优化分配算法

单步Q学习在火电占优、机组时延较大的A动发电控制(AGC)功率指令动态优化分配中的应用表现出收敛速度慢等不足而影响最优策略的获取.具有多步预见能力的多步回溯Q学习(Q(λ))显式利用资格迹进行高效回溯操作,能够有效解决火电机组大时滞环节带来的延时回报问题,算法平均收敛时间较Q学习缩短50%以上.算法奖励函数引入调节费用...     

AF下基于DSTC多用户公平性功率分配*

研究了DSTC的无线中继网络中基于多用户公平性的功率分配策略。由于每个用户具有不同的信道状态,传统的功率分配方案不能满足各用户的QoS需求。为了满足用户之间的公平性,首先建立无线中继AF模式下的网络模型,然后结合LD空时码,运用最优机会中继策略,得到用户最大即时接收SNR,并在基站与中继分配功率受限条件下建立最大最差用户信道容量的功率分配方案。因为该问题是非线性、非凸优化问题,所以把优化问题转换为GP问题进行求解。仿真结果表明,所提功率分配方案与等功率分配、功率与信道状态成正比方案相比,不但改善了最差用户     

移动机器人路径规划强化学习的初始化

针对现有机器人路径规划强化学习算法收敛速度慢的问题,提出了一种基于人工势能场的移动机器人强化学习初始化方法.将机器人工作环境虚拟化为一个人工势能场,利用先验知识确定场中每点的势能值,它代表最优策略可获得的最大累积回报.例如障碍物区域势能值为零,目标点的势能值为全局最大.然后定义Q初始值为当前点的立即回报加上后继点的最大折算累积回报.改进算法通过Q值初始化,使得学习过程收敛速度更快,收敛过程更稳定.最后利用机器人在栅格地图中的路径对所提出的改进算法进行验证,结果表明该方法提高了初始阶段的学习效率,改善了算法性能.     

基于禁忌搜索和Q-learning的CR-NOMA系统的功率分配算法

针对下一代移动通信对于高速率和大规模连接的需求,对认知无线电(CR)-非正交多址接入(NOMA)混合系统中通过优化功率分配来提升次用户总传输速率进行研究,提出一种基于禁忌搜索和Q-learning的功率分配(PATSQ)算法.首先,认知基站在系统环境中观测并学习用户的功率分配,次用户采用NOMA方式接入授权信道.其次,...     

电力线通信系统中跨层的用户调度和资源分配

针对多用户多业务基于正交频分多址的电力线通信系统,提出一种在数据链路控制层进行用户调度和在物理层进行资源分配的多层多目标最优的跨层资源分配算法,其用户调度根据所有用户的服务质量(QoS)满意程度、QoS要求、业务包模型、信道状态信息和队列状态信息,从所有用户中选出要服务的用户和确定这些用户的最优跨层参数;其资源分配则根据所有调度用户的QoS要求、最优跨层参数和信道状态信息,先把功率按地窖注水原理分给每个子载波,再把每个子载波最优地分给调度用户并采用逐比特加载查表算法调整其上分配的功率和比特。最后在典型的电力线信道环境下对算法进行仿真,结果表明新算法在系统资源大范围变化时也能保障用户的服务质量,同时有效地提高系统资源的利用。     

基于朴素贝叶斯的室内VLC网络天线选择方法

在室内多天线多用户可见光通信(VLC)网络中,为了改善在发射天线和用户数量增多的情况下,最优天线选择算法存在时间复杂度过高问题,将朴素贝叶斯(NB)方法应用于室内多用户VLC网络下行链路发光二极管(LED)选择问题中.首先,将该LED选择任务建模为多分类问题,利用用户已知信道状态信息生成训练样本集,并通过VLC网络多用户通信和速率最大生成对应类标签;其次,利用生成的训练样本集,通过NB方法得到分类器模型;最后,将训练得到的分类器模型应用于新用户的LED选择.仿真分析表明,与最优多用户VLC网络LED选择算法相比,所提出的基于NB的LED选择方案可以有效地降低时间复杂度,在算法复杂度和用户传输和速率之间实现了较好的平衡.     

样本有限关联值递归Q学习算法及其收敛性证明

一个激励学习Agent通过学习一个从状态到动作映射的最优策略来解决问题，求解最优决策一般有两种途径：一种是求最大奖赏方法，另一种最求最优费用方法，利用求解最优费用函数的方法给出了一种新的Q学习算法，Q学习算法是求解信息不完全Markov决策问题的一种有效激励学习方法。Watkins提出了Q学习的基本算法，尽管他证明了在满足一定条件下Q值学习的迭代公式的收敛性，但是在他给出的算法中，没有考虑到在迭代过程中初始状态与初始动作的选取对后继学习的影响，因此提出的关联值递归Q学习算法改进了原来的Q学习算法，并且这种算法有比较好的收敛性质，从求解最优费用函数的方法出发，给出了Q学习的关联值递归算法，这种方法的建立可以使得动态规划（DP）算法中的许多结论直接应用到Q学习的研究中来。     

雾计算中基于DQL算法的伪装攻击检测方案

雾计算是一种在云数据中心和物联网（Internet of Things,IoT）设备之间提供分布式计算、存储等服务的技术,它能利用网络边缘进行认证并提供与云交互的方法。雾计算中以传统的安全技术实现用户与雾节点间安全性的方法不够完善,它仍然面对着窃听攻击、伪装攻击等安全威胁,这对检测技术提出了新的挑战。针对这一问题,提出了一种基于DQL（Double Q-learning）算法的雾计算伪装攻击检测方案。该方案借助物理层安全技术中的信道参数,首先在Q-learning算法的基础上处理Q值过度估计问题,获取最佳的伪装攻击测试阈值,然后通过阈值实现了用户与雾节点间的伪装攻击检测。实验结果表明,该算法检测伪装攻击的性能优于传统的Q-learning算法,具有在雾计算安全防护方面的优越性。     

基于有限样本的最优费用关联值递归Q学习算法

一个激励学习Agent通过学习一个从状态到动作映射的最优策略来求解决策问题。求解最优决策一般有两种途径,一种是求最大奖赏方法,另一种是求最优费用方法。该文利用求解最优费用函数的方法给出了一种新的Q学习算法。Q学习算法是求解信息不完全Markov决策问题的一种有效激励学习方法。文章从求解最优费用函数的方法出发,给出了Q学习的关联值递归算法,这种方法的建立,可以使得动态规划(DP)算法中的许多结论直接应用到Q学习的研究中来。     

基于博弈论的多服务器多用户视频分析任务卸载算法

在过去的近10年中,人工智能相关的服务和应用大规模出现,它们要求高算力、高带宽和低时延.边缘计算目前被认为是这些应用最适合的计算模式,尤其是视频分析相关应用.研究多服务器多用户异构视频分析任务卸载问题,其中用户选择合适的边缘服务器,并将他们的原始视频数据上传至服务器进行视频分析.为了有效处理众多用户对有限网络资源的竞争和共享,并且能够获得稳定的网络资源分配局面,即每个用户不会单方面地改变自己的任务卸载决策,该多服务器多用户异构视频分析任务卸载问题被建模为一个多玩家的博弈问题.基于最小化整体时延的优化目标,先后研究非分布式视频分析场景和分布式视频分析场景两种情形,分别提出基于博弈论的潜在最优服务器选择算法和视频单元分配算法.通过严格的数学证明,两种情形下提出的算法均可以达到纳什均衡,同时保证较低的整体时延.最后,基于真实数据集的大量实验表明,所提方法比其他现有算法降低了平均26.3%的整体时延.     

基于演化博弈的多用户网络选择算法

无线通信技术的发展和演进,使得多种广域蜂窝网和大量无线局域网共存、重叠。针对热点区域,密集分布的大量用户同时发起同种业务请求应用场景,提出一种基于演化博弈的多用户网络选择算法,依据选择网络的用户数设计效用函数,给出了演化博弈的复制动态方程。与RSSI算法的对比仿真结果表明：该算法能快速达到演化均衡,用户平均收益高于RSSI算法,接入网络的用户分布更均衡,能合理利用网络资源。     

异构蜂窝网络中联合功率控制的终端直通通信资源分配

针对异构蜂窝网络中终端直通（D2D）用户和小蜂窝用户复用宏蜂窝用户资源产生的干扰问题,提出一种联合功率控制的资源分配方案。首先,在满足用户信号干扰噪声比（SINR）和发射功率约束条件的前提下,根据系统干扰模型推导出每个D2D用户和小蜂窝用户复用宏蜂窝用户信道资源时的最优发射功率;其次,将用户的信道选择规划成用户和信道之间的双边匹配问题,采用延迟接受（Gale-Shapley）算法得到一个稳定的匹配解;最后,以所得的匹配解为初始条件,通过交换搜索算法进一步优化分配方案。仿真结果表明,该方案的系统总容量和能量效率分别是最优解的93.62%和92.14%,与随机资源分配方案、无功率控制和交换搜索的分配方案,以及有功率控制无交换搜索的分配方案相比,系统容量平均增幅分别为48.29%、15.97%和4.8%,系统能量效率平均增幅分别为62.72%、44.48%和4.45%。该方案能够达到近似最优的系统总容量,有效提高频率利用率和能量效率。