基于联邦学习的无线网络节点能量与信息管理策略

在无线通信网络环境中,分布式客户端节点在用户隐私保护、数据传输效率、能量利用效率之间较难实现平衡。针对该问题,提出一种结合联邦学习与传统集中式学习的能量与信息管理优化策略。以覆盖性强、适用性广的移动信息采集设备作为学习服务器,将分布分散、资源受限的客户端节点作为学习参与者,通过构建马尔科夫决策模型分析客户端节点在移动信息采集过程中的状态变化和行为模式,同时采用值迭代算法和深度强化学习算法对该模型进行近似求解,获得客户端节点最优的信息传输与能量管理组合策略。仿真结果表明,相比MDP、GRE、RAN策略,该策略的长期效用较高且数据延迟较小,可实现客户端节点在信息传输过程中的数据隐私性、数据可用性与能量消耗之间的最优平衡。     

能量收集无线通信系统中基于强化学习的能量分配策略

随着物联网的普及,对物联网终端设备可使用能量的要求也在提高.能量收集技术拥有广阔前景,其能通过产生可再生能量来解决设备能量短缺问题.考虑到未知环境中可再生能量的不确定性,物联网终端设备需要合理有效的能量分配策略来保证系统持续稳定工作.文中提出了一种基于DQN的深度强化学习能量分配策略,该策略通过DQN算法直接与未知环境...     

基于联邦强化学习的分布式模型剪枝

联邦学习系统中,在资源受限的边缘端进行本地模型训练存在一定的挑战.计算、存储、能耗等方面的限制时刻影响着模型规模及效果.传统的联邦剪枝方法在联邦训练过程中对模型进行剪裁,但仍存在无法根据模型所处环境自适应修剪以及移除一些重要参数导致模型性能下降的情况.本文提出基于联邦强化学习的分布式模型剪枝方法以解决此问题.首先,将模型剪枝过程抽象化,建立马尔可夫决策过程,使用DQN算法构建通用强化剪枝模型,动态调整剪枝率,提高模型的泛化性能.其次设计针对稀疏模型的聚合方法,辅助强化泛化剪枝方法,更好地优化模型结构,降低模型的复杂度.最后,在多个公开数据集上将本方法与不同基线方法进行比较.实验结果表明,本文所提出的方法在保持模型效果的同时减少模型复杂度.     

基于深度强化学习的有轨电车信号优先控制

现有的有轨电车信号优先控制系统存在诸多问题, 如无法适应实时交通变化、优化求解较为复杂等. 本文提出了一种基于深度强化学习的有轨电车信号优先控制策略. 不依赖于交叉口复杂交通建模, 采用实时交通信息作为输入, 在有轨电车整个通行过程中连续动态调整交通信号. 协同考虑有轨电车与社会车辆的通行需求, 在尽量保证有轨电车无需停车的同时, 降低社会车辆的通行延误. 采用深度Q网络算法进行问题求解, 并利用竞争架构、双Q网络和加权样本池改善学习性能. 基于SUMO的实验表明, 该模型能够有效地协同提高有轨电车与社会车辆的通行效率.     

基于深度神经网络和联邦学习的网络入侵检测

在高速网络环境中,对复杂多样的网络入侵进行快速准确的检测成为目前亟待解决的问题。联邦学习作为一种新兴技术,在缩短入侵检测时间与提高数据安全性上取得了很好的效果,同时深度神经网络（DNN）在处理海量数据时具有较好的并行计算能力。结合联邦学习框架并将基于自动编码器优化的DNN作为通用模型,建立一种网络入侵检测模型DFC-NID。对初始数据进行符号数据预处理与归一化处理,使用自动编码器技术对DNN实现特征降维,以得到DNN通用模型模块。利用联邦学习特性使得多个参与方使用通用模型参与训练,训练完成后将参数上传至中心服务器并不断迭代更新通用模型,通过Softmax分类器得到最终的分类预测结果。实验结果表明,DFC-NID模型在NSL-KDD与KDDCup99数据集上的准确率平均达到94.1%,与决策树、随机森林等常用入侵检测模型相比,准确率平均提升3.1%,在攻击类DoS与Probe上,DFC-NID的准确率分别达到99.8%与98.7%。此外,相较不使用联邦学习的NO-FC模型,DFC-NID减少了83.9%的训练时间。     

车联网中基于联邦深度强化学习的任务卸载算法

随着车联网应用服务体系日益丰富,计算资源有限的车辆难以处理这些计算密集和时延敏感的车联网应用.计算卸载作为移动边缘计算中的一种关键技术可以解决这一难题.对于车联网中动态的多车辆多路侧单元的任务卸载环境,提出了一种基于联邦深度强化学习的任务卸载算法.该算法将每辆车都看作是智能体,采用联邦学习的框架训练各智能体,各智能体分布式决策卸载方案,以最小化系统的平均响应时间.设置评估实验,在多种动态变化的场景下对提出的算法的性能进行对比分析.实验结果显示,提出的算法求解出的系统平均响应时间短于基于规则的算法和多智能体深度强化学习算法,接近于理想方案,且求解时间远短于理想方案.实验结果表明,所提算法能够在可接受的算法执行时间内求解出接近于理想方案的系统平均响应时间.     

基于联邦共识机制的多视频流带宽分配策略

针对瓶颈链路中视频带宽分配不均导致的用户QoE不公平以及带宽利用率低的问题,提出了一种基于联邦深度强化学习的分布式视频流公平调度策略。该策略能够根据客户端网络状态和视频QoE等级动态生成带宽分配权重因子,服务器端的拥塞控制算法则根据带宽分配权重因子为瓶颈链路中的每个视频流分配带宽,以保障瓶颈链路中视频流的公平传输。每个视频终端都运行一个带宽分配agent,且多个agent以联邦学习的方式周期性地训练,以便代理模型能够快速收敛。带宽分配agent通过共识机制同步联邦训练参数,实现了在异步播放请求条件下带宽分配agent模型参数的分布式聚合,并确保了agent模型参数的安全共享。实验结果表明,与最新方案相比,提出策略在QoE公平性和整体QoE效率方面分别提高了10%和7%,这表明提出策略在解决视频流带宽分配不均问题和提升用户体验方面具有潜力和有效性。     

强化学习在车辆路径问题中的研究综述

车辆路径问题是物流运输优化中的核心问题,目的是在满足顾客需求下得到一条最低成本的车辆路径规划。但随着物流运输规模的不断增大,车辆路径问题求解难度增加,并且对实时性要求也不断提高,已有的常规算法不再适应实际要求。近年来,基于强化学习算法开始成为求解车辆路径问题的重要方法,在简要回顾常规方法求解车辆路径问题的基础上,重点总结基于强化学习求解车辆路径问题的算法,并将算法按照基于动态规划、基于价值、基于策略的方式进行了分类;最后对该问题未来的研究进行了展望。     

基于深度强化学习的智能网联车匝道合并策略

针对高速公路智能网联汽车（CAV）匝道合并时的协同决策问题,提出了一种基于近端策略优化（PPO）改进的协作深度强化学习算法（C-PPO）。首先,基于强化学习构建CAV匝道合并场景下的马尔科夫决策过程（MDP）模型,接着设计了一个新颖的协作机制,即在策略更新过程中的多个时期动态考虑匝道附近CAV的策略更新信息,这一过程可以协调地调整优势值以实现匝道合并车辆之间的协作。实验结果表明,与传统的PPO算法相比,C-PPO算法在匝道合并问题中的效果显著优于基于PPO和ACKTR等主流算法。     

基于进化策略的自适应联邦学习算法

联邦学习是一种多设备参与的,保护数据隐私的深度学习技术.它能够在私有数据不出本地的同时训练全局共享模型.然而,在复杂的物联网环境中,联邦学习面临着统计异构性和系统异构性的挑战.不同的本地数据分布和高额的通信计算成本,使得过参数化的模型不适合在物联网应用中直接部署.同时,非独立同分布的数据也使采用参数平均聚合的联邦学习更加难以收敛.联邦学习场景下的研究难点在于,如何根据私有数据为每个客户端建立个性化的轻量级模型的同时,把这些模型汇总成为联合模型.为了解决这一问题,本文提出了一种基于进化策略的自适应联邦学习算法.该方法将模型结构进行编码,把每个参与者视作进化策略中的个体,通过全局优化来为每个客户端自适应地生成不同的个性化子模型.客户端根据网络单元重要性和编码在服务器端超网中抽取相应的子网来进行本地更新,而这种网络局部更新的方法天然契合dropout的思想.在真实数据集上进行的大量实验证明,本文提出的框架相比于经典的联邦学习方法,模型性能得到了显著改善.在客户端数据非独立同分布的情况下,该算法在有效降低了客户端在通信带宽和计算力受限条件下参与联邦学习门槛的同时,提高了全局模型的泛化能力.     

基于异步个性化联邦学习的DDoS攻击检测与缓解

网络流量分类在网络管理和安全中至关重要,尤其是精准识别分布式拒绝服务（Distributed Denial of Service,DDoS）攻击这一威胁。DDoS攻击会导致服务中断、资源耗尽和经济损失,严重影响服务质量（QoS）。尽管集中式模型在DDoS攻击检测中取得了一定成效,但在实际应用中存在挑战：数据分布不均、数据集中传输困难,以及异构设备和动态网络环境的限制,从而难以实现实时检测。为应对这些问题,本文提出了一种基于异步个性化联邦学习的DDoS攻击检测与缓解方法 AdaPerFed(Adaptive Personalized Federated Learning)。首先,通过定制的ResNet架构高效处理一维流量数据,并集成Net模块增强特征提取能力。然后,通过软件定义网络（SDN,Software-Defined Networking）模拟复杂动态网络环境,并引入完善的缓解系统应对多样化攻击场景。个性化联邦学习框架有效处理了非独立同分布（Non-IID,Non-Independent and Identically Distributed）数据问题,并通过异步学习机制适应异构设备和网络条件的差异,提升了系统的鲁棒性和扩展性。实验结果表明,AdaPerFed在CICDDoS2019、CIC-IDS2017和InSDN等数据集上均优于其他联邦学习算法,在不同客户端数量下展现出更快的收敛速度和更强的鲁棒性,DDoS检测准确率提升了15%～20%。消融实验进一步验证了个性化聚合模块对系统性能的显著提升。     

一种基于强化学习的微电网能量管理算法

文中建立了一个包括可再生能源发电机和公用电网双边能量流动的微电网模型,能源交易利润和电网运营成本之间的权衡制定为联合优化问题,并进一步将其转化为马尔可夫决策问题。该文提出了一种在线微电网能源调度算法,旨在最大限度提高系统在能源交易中的运营利润,并保证电力系统的运行安全;为解决电价和需求的不确定性,该算法使用基于强化学习的Q学习算法来学习最优的能量调度策略。数值仿真表明,与基线算法相比,该算法可以将系统运营利润提高10.54%。     

基于强化学习的无线自组网络多节点干扰策略

为了实现无线自组网络通信拒止的干扰需求,构建无线自组网络模型,并针对该模型提出一种基于强化学习理论的未知拓扑网络多节点干扰策略选择算法,以实时交互的方式进行在线学习.该算法无需获悉网络拓扑等先验知识,仅以网络流数目作为反馈信息,以多节点联合干扰的方式逐步学习最佳干扰节点.在不同参数的无线自组网中的仿真结果表明,所提算法在累积阻断网络流方面优于现有算法,且在新的奖赏标准下,所提算法仍具有优异的干扰性能.     

基于学习博弈和契约论的分层联邦学习隐私保护激励机制

分层联邦学习(hierarchical federated learning, HFL)旨在通过多层架构的协作学习,同时保护隐私和优化模型性能.但其效果需依赖于针对参与各方的有效激励机制及应对信息不对称的策略.为了解决上述问题,本文提出一种保护终端设备、边缘服务器及云服务器隐私的分层激励机制.在边端层,边缘服务器作为中介应用多维合约理论设计不同类型的契约项,促使终端设备在不泄露数据采集、模型训练以及模型传输成本的情况下,使用本地数据参与HFL.在云边层,云服务器与边缘服务器间关于单位数据奖励和数据量的关系通过Stackelberg博弈进行建模,在不泄露边缘服务器单位利润的情况下,进一步将其转化为马尔可夫过程,并采用保护隐私的多智能体深度强化学习(multi-agent deep reinforcement learning, MADRL)方法逐渐接近斯塔克伯格均衡(Stackelberg equilibrium, SE).实验结果表明,本文提出的分层激励机制在性能上优于基线方法,云服务器的收益提升了接近11%,单位成本获取增益提升接近18倍.     

基于数据分布的聚类联邦学习

联邦学习(federated learning)可以解决分布式机器学习中基于隐私保护的数据碎片化和数据隔离问题。在联邦学习系统中,各参与者节点合作训练模型,利用本地数据训练局部模型,并将训练好的局部模型上传到服务器节点进行聚合。在真实的应用环境中,各节点之间的数据分布往往具有很大差异,导致联邦学习模型精确度较低。为了解决非独立同分布数据对模型精确度的影响,利用不同节点之间数据分布的相似性,提出了一个聚类联邦学习框架。在Synthetic、CIFAR-10和FEMNIST标准数据集上进行了广泛实验。与其他联邦学习方法相比,基于数据分布的聚类联邦学习对模型的准确率有较大提升,且所需的计算量也更少。     

基于强化学习的认知无线网络病毒对抗策略

认知无线网络通过允许次用户访问主用户拥有的授权频带,显著提高了无线电频谱的利用率。认知无线网络存在被病毒入侵主用户占用授权频带进而降低次用户通信量的可能。提出一种基于多智能体强化学习的认知无线网络病毒对抗策略,通过优化次用户动态路由策略,把病毒攻击对次用户造成的影响降到最低。     

源荷不确定冷热电联供微网能量调度的建模与学习优化

针对含光伏,微型燃气轮机组等分布式能源的冷热电联供微网系统,研究源荷双侧不确定情况下多类型能量调度动态优化问题.首先,针对光伏出力和异类负荷的随机不确定性,将光伏和负荷的变化描述为连续马尔科夫过程;然后以决策时刻,负荷需求以及分布式能源出力的离散值为状态分量,以微型燃气轮机组启停行动和储能充放行动为动作分量,在分时电价模式下,以降低包括购电成本,燃料代价,启停代价等在内的日运行成本为调度优化目标,将源荷不确定冷热电联供微网系统调度动态优化问题描述为马尔科夫决策过程模型,并引入强化学习方法对该问题进行策略求解.最后通过算例仿真对不同策略进行了比较,验证了优化方法的有效性.     

面向多 Sink 无线传感网络负载均衡的深度强化学习算法

Sink节点通常位于网络的边缘或中心位置,用于接收数据并与外部网络进行通信。当出现多中心节点的情况下,很容易造成负载不均衡问题。为了提高无线传感网络负载均衡度和运作效率,提出了面向多Sink无线传感网络负载均衡的深度强化学习算法。分析无线传感器网络能量消耗状况,将能量消耗状态作为约束,利用马尔科夫决策过程分析网络负载分配问题,构建带有能量约束的网络负载均衡模型,通过深度强化学习算法训练智能体,在MDP模型下根据当前的状态选择最优的负载分配策略。仿真结果表明,所提算法的负载均衡因子值高达3200,网络节点平均偏差在1.5J以下,网络传输时延始终低于0.5s,死亡节点数量在3.5以下,具有良好的负载均衡能力。     

基于注意力增强元学习网络的个性化联邦学习方法

联邦学习作为一种分布式机器学习框架,客户端可以在不向服务器传输数据的情况下进行全局模型训练,解决了数据分散和数据隐私的问题. 联邦学习可以在具有相似数据特征和分布的客户端上很好地工作. 但是在很多场景中,客户端数据在分布、数量和概念上的不同,造成了全局模型训练困难. 为此,个性化联邦学习作为一种新的联邦学习范式被提出,它旨在通过客户端与服务器的协作来保证客户端个性化模型的有效性. 直观来讲,为具有相似数据特征和分布的客户端提供更紧密的协作关系可以有利于个性化模型的构建. 然而,由于客户端数据的不可见性,如何细粒度地提取客户端特征,并定义它们之间的协作关系是一个挑战. 设计了一个注意力增强元学习网络（attention-enhanced meta-learning network,AMN）来解决这个问题. AMN可以利用客户基础模型参数作为输入特征,训练元学习网络为每个客户端提供一个额外的元模型,自动分析客户特征相似性. 基于双层网络设计,有效地实现客户端个性与共性的权衡,提供了包含有益客户信息的融合模型. 考虑到训练过程中需要同时训练元学习网络和客户本地基础网络,设计了一种交替训练策略,以端到端的方式进行训练. 为了证明该方法的有效性,在2个基准数据集和8种基准方法上进行了大量实验,相较于现有表现最优的个性化联邦学习方法,该方法在2个数据集中平均分别提升了3.39%和2.45%的模型性能.     

基于联邦学习和卷积神经网络的入侵检测方法

目前基于深度学习的入侵检测算法是入侵检测研究领域的研究热点,但是大多数研究的重点集中在如何改进算法来提高入侵检测的准确率,而忽视了实际中单个机构所产生的有限的标签数据不足以训练出一个高准确率的深度模型的问题.文章提出一种基于联邦学习和卷积神经网络的入侵检测方法,可以通过多个参与方的数据集联合训练模型达到扩充数据量的目的...