基于深度强化学习的多用户计算卸载优化模型和算法

在移动边缘计算(MEC)密集部署场景中,边缘服务器负载的不确定性容易造成边缘服务器过载,从而导致计算卸载过程中时延和能耗显著增加。针对该问题,该文提出一种多用户计算卸载优化模型和基于深度确定性策略梯度(DDPG)的计算卸载算法。首先,考虑时延和能耗的均衡优化建立效用函数,以最大化系统效用作为优化目标,将计算卸载问题转化为混合整数非线性规划问题。然后,针对该问题状态空间大、动作空间中离散和连续型变量共存,对DDPG深度强化学习算法进行离散化改进,基于此提出一种多用户计算卸载优化方法。最后,使用该方法求解非线性规划问题。仿真实验结果表明,与已有算法相比,所提方法能有效降低边缘服务器过载概率,并具有很好的稳定性。     

基于5G边缘计算的深度学习架构与应用

针对深度神经模型在网络边缘难以训练的问题,构建了一种基于5G边缘计算的深度学习模型训练架构。架构利用5G边缘计算接入网打通边缘智能设备与边缘计算层的数据通信,模型训练过程采用各边缘计算节点利用本地数据进行全模型训练,再由中心服务器进行模型参数汇集和更新的分布式训练模式,既保证了模型训练的数据集多样性,又减少了网络压力和保障了本地数据隐私,是一种非常具有潜力的深度学习边缘计算架构。     

基于深度强化学习的无人机辅助移动边缘计算系统能耗优化

近年来,部署搭载有移动边缘计算(MEC)服务器的无人机(UAVs)为地面用户提供计算资源已成为一种新兴的技术。针对无人机辅助多用户移动边缘计算系统,该文构建了以最小化用户平均能耗为目标的模型,联合优化无人机的飞行轨迹和用户计算策略的调度。通过深度强化学习(DRL)求解能耗优化问题,提出基于柔性参与者-评论者(SAC)的优化算法。该算法应用最大熵的思想来探索最优策略并使用高效迭代更新获得最优策略,通过保留所有高回报值的策略,增强算法的探索能力,提高训练过程的收敛速度。仿真结果表明与已有算法相比,所提算法能有效降低用户的平均能耗,并具有很好的稳定性和收敛性。     

深度强化学习在物联网边缘计算中的应用研究

针对传统的物联网边缘计算方法存在计算成本过高,计算时间过长等问题,文中引入了深度强化学习技术,对物联网边缘计算方法进行优化.通过物联网拓扑结构设定物联网边缘计算周期,获取数据上传速度.设计边缘计算执行过程,提升边缘计算资源分配效率.引入深度强化学习技术中的CNN模型实现卷积计算,完成物联网边缘计算的资源分配.至此,实现...     

基于深度强化学习的边缘视频任务卸载策略

随着物联网的发展以及智能设备的普及,视频处理技术已广泛应用于生活中。自动驾驶、产品质检等应用场景对视频处理技术的实时性需求逐步提高,移动边缘计算为计算能力不足和能源受限的设备提供计算资源以执行时延敏感性任务,为实时视频处理提供了新的计算架构。本文搭建了一个视频计算卸载场景,并以视频检测为任务,以系统时延为优化目标,建立了计算卸载模型和马尔可夫决策模型;考虑到计算卸载场景的复杂动态因素,如带宽波动、设备数量、任务大小等,以最小化系统时延为目标,提出了一种基于深度强化学习的计算卸载策略进行求解。实验表明,与其他基线方案相比,该卸载策略能够适应较复杂卸载场景,有效降低系统时延。     

移动边缘计算中基于内容流行度的深度强化学习缓存机制

随着5G商用的推进,涌现出大量依赖高速率、低时延的新应用,混合现实(Mixed Reality,MR)就是其中之一.考虑到从中心云传输服务内容到MR设备会带来很大时延和能耗问题,引入移动边缘计算(Mobile Edge Compu?ting,MEC)技术,通过在MEC服务器上缓存用户的预渲染环境帧,以减少延迟和能耗.针...     

基于DRL的无人机辅助边缘计算服务质量优化

针对无人机（Unmanned Aerial Vehicle, UAV）搭载移动边缘服务器为地面用户进行服务时的服务质量（Quality of Service, QoS）问题,提出了一种基于深度强化学习的优化方案,旨在优化UAV飞行轨迹和卸载方案以最大化UAV为用户服务时的QoS。首先,定义了任务延迟来表征任务新鲜度,在任务延迟的基础上提出了一种新的QoS评价指标;其次,将最大化QoS问题建模为一个无转移概率的马尔可夫决策过程,并定义了该过程的状态空间、动作空间和奖励函数;最后,UAV通过所提出的算法进行训练,优化任务卸载方案并寻找最优飞行轨迹为地面用户进行服务以提高QoS。仿真结果表明所提算法较于其他算法能有效提高UAV为地面用户服务过程中的QoS且提高任务新鲜度。      

基于深度强化学习的云边协同计算迁移研究

基于单一边缘节点计算、存储资源的有限性及大数据场景对高效计算服务的需求,本文提出了一种基于深度强化学习的云边协同计算迁移机制.具体地,基于计算资源、带宽和迁移决策的综合性考量,构建了一个最小化所有用户任务执行延迟与能耗权重和的优化问题.基于该优化问题提出了一个异步云边协同的深度强化学习算法,该算法充分利用了云边双方的计...     

移动边缘计算中基于图到序列深度强化学习的复杂任务部署策略

借助于移动边缘计算（MEC）和网络虚拟化技术,可使移动端将执行各类复杂应用所需的算力、存储和传输等资源需求就近卸载至边缘服务节点,从而获得更高效的服务体验。面向边缘服务商,研究其在进行复杂任务部署时所面临的能耗优化决策问题。首先将复杂任务部署于多个边缘服务节点的问题建模为混合整数规划（MIP）模型,然后提出了一种融合图到序列的深度强化学习（DRL）求解策略。该策略通过基于图的编码器设计提取并学习子任务间潜在的依赖关系,从而根据边缘服务节点的可用资源状态及使用率自动发现任务部署的通用模式,最终快速获得能耗优化的部署策略。在不同的网络规模中,将所提策略与具代表性的基准策略进行了全面对比。实验结果表明,所提策略在任务部署错误率、MEC系统总功耗和算法求解效率等方面均显著优于基准策略。     

协同边缘网络中智能计算卸载与资源优化算法

针对具有依赖关系的计算密集型应用任务面临的卸载决策难题,提出了一种基于优先级的深度优先搜索调度策略。考虑到用户能量受限和移动性,构建了一种联合用户下行能量捕获和上行计算任务卸载的网络模型,并在此基础上建立了端到端优化目标函数。结合任务优先级及时延约束,利用深度强化学习自学习的优势,将任务卸载决策问题建模为马尔科夫模型,并设计了基于任务相关性的Dueling Double DQN(D3QN)算法对问题进行求解。仿真数据表明,所提算法较其他算法能够满足更多用户的时延要求,并能减少9%～10%的任务执行时延。     

基于边缘计算技术的智能无人系统

智能无人系统是信息化战争中夺取信息优势、实施精确打击、完成特殊作战任务的重要手段之一,是未来军事力量的倍增器。如何应用新兴技术提升智能无人系统在未来作战场景的有效性是当前重要的研究方向之一。介绍了智能无人系统的相关背景,引入边缘计算技术以及其应用在智能无人系统中的优势,对边缘计算技术在智能无人系统中的问题进行建模及算法求解,最后通过仿真实验验证了算法的有效性。     

NDN中边缘计算与缓存的联合优化

命名数据网络（NDN）基于内容名称进行路由,且节点配备一定的缓存能力,故在架构上更易与边缘计算结合。首先,提出一个在NDN中实现网络、计算和缓存动态协调的综合框架。其次,针对不同区域内容流行度的差异性,提出基于矩阵分解的局部内容流行度预测算法;以最大化系统运营收益为目标,利用深度强化学习解决计算和缓存资源分配以及缓存放置策略的联合优化问题。最后,在ndn SIM中构建仿真环境,实验证明所提方案在提高缓存命中率、降低平均时延和远程服务器负载等方面具有明显优势。     

SDCN中基于深度强化学习的移动边缘计算任务卸载算法研究

随着网络技术的不断发展,基于Fat-Tree的网络拓扑结构分布式网络控制模式逐渐显露出其局限性,软件定义数据中心网络（software-defined data center network,SDCN）技术作为Fat-Tree网络拓扑的改进技术,受到越来越多研究者的关注。首先搭建了一个SDCN中的边缘计算架构和基于移动边缘计算（mobileedge computing,MEC）平台三层服务架构的任务卸载模型,结合移动边缘计算平台的实际应用场景,利用同策略经验回放和熵正则改进传统的深度Q网络（deep Q-leaning network,DQN）算法,优化了MEC平台的任务卸载策略,并设计了实验对基于同策略经验回放和熵正则的改进深度Q网络算法（improved DQN algorithm based on same strategy empirical playback and entropy regularization,RSS2E-DQN）和其他3种算法在负载均衡、能耗、时延、网络使用量几个方面进行对比分析,验证了改进算法在上述4个方面具有更优越的性能。     

基于强化学习的移动边缘计算资源分配方法

当前的移动边缘计算资源分配结构多为单向形式,资源分配效率较低,导致资源分配比下降,文中设计了一种基于强化学习的移动边缘计算资源分配方法,并通过实验验证了其有效性。根据当前的测试需求,首先部署了资源采集节点,然后采用多阶的方式,提升整体的资源分配效率,构建多阶迁移资源分配结构,最后设计了移动边缘计算强化学习资源分配模型,采用动态化辅助协作处理的方式来实现资源分配。测试结果表明,对于选定的5个测试周期,经过3个分配组的测定及比对,最终得出的资源分配比均可以达到5.5以上,这说明在强化学习技术的辅助下,文中设计的移动边缘计算资源分配方法更加灵活、多变,针对性较强,具有实际的应用价值。     

基于边缘计算的物联网异常流量检测模型

基于边缘计算的物联网异常流量检测技术的出现很好地弥补了传统物联网异常流量检测技术的高时延、高通信开销等问题,但现有的基于边缘计算的物联网异常流量检测存在检测率低、模型不够轻量化等问题.基于上述原因,提出了一种基于XGBoost-BLS的新的轻量级检测模型,模型位于更靠近数据源的边缘计算层,将极端梯度提升的强大特征选择能...     

一种FPGA集群轻量级深度学习计算架构设计及实现

传感器技术的发展带来了边缘、端设备功能的迅速迭代升级,也带来了战场前端的数据量成倍增长。针对边缘、端设备数据量的急剧增长和芯片计算处理能力的矛盾,结合Map/Reduce框架,提出了一种基于现场可编程门阵列(Field Programmable Gate Array,FPGA)计算集群资源的深度学习架构,能够实现多个深度学习算法的并行快捷部署和应用。该轻量级深度学习计算架构同时满足军事应用对“端”的智能处理能力提出的新要求,即不仅局限于数据采集和智能的应用,还必须具备分布式并行智能实时计算的能力。该FPGA集群轻量级深度学习计算框架部署不同类型算法容易,实时性高（ms级任务响应）,可扩展性好,在多种类异构传感器、大场景大数据吞吐量的军事场景及森林防火等民用场景有广泛的应用前景。     

基于边缘计算的人脸识别模型研究

随着对人脸识别系统要求的不断提高,为提升用户使用体验、提高识别效率、降低安全风险,借鉴边缘计算实现思路,采用MTCNN检测和MobileNet网络相结合的方式构建人脸识别模型。MTCNN具有资源要求低、精度较高等特点,而MobileNet网络基于深度可分离思路降低了网络模型参数,通过对损失函数和对比验证相似度参数进行改进,实现了在资源受限设备中的快速高效的人脸识别功能。     

面向高效通信边缘学习网络的通信计算一体化设计

面向边缘学习网络,探讨了一种新型的基于空中计算的模型聚合方案,并对其中的关键使能技术展开论述。该方案利用无线多址信道的波形叠加特性将通信与计算在空中无缝融合,能够突破现有的通信-计算分离设计框架的局限性,从而大大提高频谱利用率,缓解了制约联邦式边缘学习大规模扩展的通信时延问题。     

边缘计算下的AI检测与识别算法综述

人工智能的迅速发展深刻改变人类社会生活、改变世界。现有的AI算法过分依赖价格昂贵的GPU服务器进行后端处理,智能处理水平受限于传输链路宽带,无法实时智能处理。同时,海量数据的传输更加大网络和服务器负载。随着超低时延与超高可靠性5G时代的到来,实时、智能、安全、隐私等四大趋势催生了边缘计算与前端智能的崛起。首先,概述了边缘计算的发展,介绍了目标检测算法Faster R-CNN中anchor框的选取方式、YOLO提高性能的方式以及SSD基于不同深度特征图提高物体检测的原理,还给出了利用不同深度特征图在通道维度上合并,以及U型网络进行特征复用以提高mAP指标的M2Det算法;其次,介绍了深度卷积神经网络的轻量级优化算法,包括卷积核优化、参数剪枝和共享、知识蒸馏、张量低秩分解以及轻量级网络模型设计;同时,着重阐述了卷积核优化算法;最后,介绍了边缘计算硬件发展历程,给出了边缘计算的各种硬件平台及性能评价指标,展望了边缘计算+AI的发展趋势。