基于强化学习的5G网络切片虚拟网络功能迁移算法

针对5G网络切片架构下业务请求动态性引起的虚拟网络功能(VNF)迁移优化问题,该文首先建立基于受限马尔可夫决策过程(CMDP)的随机优化模型以实现多类型服务功能链(SFC)的动态部署,该模型以最小化通用服务器平均运行能耗为目标,同时受限于各切片平均时延约束以及平均缓存、带宽资源消耗约束。其次,为了克服优化模型中难以准确掌握系统状态转移概率及状态空间过大的问题,该文提出了一种基于强化学习框架的VNF智能迁移学习算法,该算法通过卷积神经网络(CNN)来近似行为值函数,从而在每个离散的时隙内根据当前系统状态为每个网络切片制定合适的VNF迁移策略及CPU资源分配方案。仿真结果表明,所提算法在有效地满足各切片QoS需求的同时,降低了基础设施的平均能耗。

     

一种联合链路持续时间与平均速率的中继选择方法

针对中继系统中节点快速移动时采用传统中继选择方法造成系统可传输数据量较低的问题,提出一种联合链路持续时间与平均速率的中继选择方法.该方法首先分析了系统采用两跳传输及协作传输两种模式下的链路持续时间,分别给出了节点速度及相互之间距离满足不同条件时的链路持续时间表达式,然后计算两种模式下的链路平均可达速率,最后基于所提出的准则完成中继选择.仿真结果表明,与传统的中继选择方法相比,该方法可以使系统获得更多的数据传输,同时具有较低的中断概率.     

面向可靠性的5G网络切片重构及映射算法

针对传统网络切片映射方法资源利用率低且可靠性差的问题,该文提出了可靠性感知的网络切片(NS)重构及映射策略(RNSRE)。首先,建立了面向可靠性和资源的网络切片可靠映射效用函数。其次,综合考虑虚拟网络功能(VNF)的资源需求和位置约束,提出了一种VNF可靠性需求的度量方法。在此基础上,以最大化VNF可靠部署收益的同时最小化链路带宽资源开销为目标,建立了切片可靠映射整数线性规划模型。最后,针对不同的网络切片类型,提出了基于邻域搜索的网络切片映射算法和关键VNF备份的网络切片重构映射算法。仿真结果表明,所提算法在满足VNF可靠性需求的同时,提高了资源利用率,降低了映射的开销。

     

基于深度强化学习的异构云无线接入网自适应无线资源分配算法

为了满足无线数据流量大幅增长的需求,异构云无线接入网(H-CRAN)的资源优化仍然是亟待解决的重要问题。该文在H-CRAN下行链路场景下,提出一种基于深度强化学习(DRL)的无线资源分配算法。首先,该算法以队列稳定为约束,联合优化拥塞控制、用户关联、子载波分配和功率分配,并建立网络总吞吐量最大化的随机优化模型。其次,考虑到调度问题的复杂性,DRL算法利用神经网络作为非线性近似函数,高效地解决维度灾问题。最后,针对无线网络环境的复杂性和动态多变性,引入迁移学习(TL)算法,利用TL的小样本学习特性,使得DRL算法在少量样本的情况下也能获得最优的资源分配策略。此外,TL通过迁移DRL模型的权重参数,进一步地加快了DRL算法的收敛速度。仿真结果表明,该文所提算法可以有效地增加网络吞吐量,提高网络的稳定性。

     

基于深度确定性策略梯度的虚拟网络功能迁移优化算法

针对NFV/SDN架构下,服务功能链(SFC)的资源需求动态变化引起的虚拟网络功能(VNF)迁移优化问题,该文提出一种基于深度强化学习的VNF迁移优化算法。首先,在底层CPU、带宽资源和SFC端到端时延约束下,建立基于马尔可夫决策过程(MDP)的随机优化模型,该模型通过迁移VNF来联合优化网络能耗和SFC端到端时延。其次,由于状态空间和动作空间是连续值集合,提出一种基于深度确定性策略梯度(DDPG)的VNF智能迁移算法,从而得到近似最优的VNF迁移策略。仿真结果表明,该算法可以实现网络能耗和SFC端到端时延的折中,并提高物理网络的资源利用率。

     

酸性铁基离子液体催化氧化硫化氢的性能研究

为了获得催化氧化硫化氢性能最优的铁基离子液体体系,改变FeCl_3·6H_2O与[bmim]Cl的物质的量比(M值)合成不同的酸性的铁基离子液体,发现M值从0.1∶1增加至2∶1时,铁在离子液体中均以[bmim]FeCl_4的形式存在,且黏度和表面张力逐渐减小,但密度和稳定性逐渐增加。此外,升高温度均能急剧降低离子液体的黏度,合成的酸性离子液体在80℃下都能够稳定存在。在80℃下铁基离子液体催化氧化硫化氢的研究表明,随着M值的增加,硫磺的产量先增加后减小,在M值为0.3∶1时,硫磺产量最高,催化氧化性能最优。此外,铁基离子液体的酸性和低表面张力的特点使得硫磺颗粒较大,中位径达到22.42μm,可以有效避免硫堵。     

基于深度确定性策略梯度的虚拟网络功能迁移优化算法

针对NFV/SDN架构下,服务功能链(SFC)的资源需求动态变化引起的虚拟网络功能(VNF)迁移优化问题,该文提出一种基于深度强化学习的VNF迁移优化算法.首先,在底层CPU、带宽资源和SFC端到端时延约束下,建立基于马尔可夫决策过程(MDP)的随机优化模型,该模型通过迁移VNF来联合优化网络能耗和SFC端到端时延.其次,由于状态空间和动作空间是连续值集合,提出一种基于深度确定性策略梯度(DDPG)的VNF智能迁移算法,从而得到近似最优的VNF迁移策略.仿真结果表明,该算法可以实现网络能耗和SFC端到端时延的折中,并提高物理网络的资源利用率.     

5G电力虚拟专网中基于联邦对抗学习的分布式异常检测算法

针对5G电力虚拟专网中高维、不均衡和分布式的数据特征,提出了一种基于联邦对抗学习的分布式异常检测算法。首先,鉴于生成对抗网络在获取高维复杂数据分布方面的优势,采用具有梯度惩罚的Wasserstien生成对抗网络(WGAN-GP)模型对网元中的多维运行数据进行分析和监控并获取其分布情况。其次,基于5G电力虚拟专网的管理架构,设计了一种基于联邦对抗学习的分布式异常检测框架,使分布式电力切片管理器能够协同训练全局异常检测模型,增强模型泛化能力。最后,通过数值仿真验证了基于联邦对抗学习的分布式异常检测算法的训练效率和检测性能。     

TCP-H：基于三重判决的TCP拥塞控制

在异构无线网络中存在高误码、切换、信号衰落等链路特性,使传统的TCP拥塞控制机制受到了挑战。在不增加开销的情况下,基于丢包检测、RTT时间和ACK返回速率三重判决,提出了一种新的TCP拥塞控制机制（TCP—H）。仿真结果表明,TCP—H增强了对拥塞和随机差错的区分能力,满足公平性要求,改进的最小RTT计算方法解决了在低延迟向高延迟网络切换的时Vegas,Westwood等算法存在的最小RTT更新问题,有效提高了在异构无鲅网络环埔下TCP的性能．     

面向能效的低轨卫星联合跳波束调度和功率分配算法

该文针对低轨(LEO)卫星载荷容量受限且功率资源稀缺的问题,面向搭载跳波束(BH)天线的低轨卫星通信系统,提出一种联合跳波束调度和功率分配机制,在满足用户服务质量需求的前提下降低卫星通信载荷功耗,提高卫星通信系统能效。首先建立时延受限下联合考虑波束调度和功率分配的卫星功耗最小化模型。针对网络拓扑的时变特性,基于李雅普诺夫优化方法,将原多时隙优化问题转化为单时隙优化问题,然后采用交替优化的方法获得单时隙问题的次优解。其中,证明波束调度子问题是凸问题,同时通过逐次凸近似和对数变换将功率分配子问题转为凸问题,并提出相应算法获得子问题最优解。仿真结果表明,提出的策略在保证用户平均时延要求的同时,降低了低轨卫星系统平均功耗,并且可通过调整控制参数实现时延和功耗的动态平衡。