基于联邦学习的无线网络节点能量与信息管理策略

在无线通信网络环境中,分布式客户端节点在用户隐私保护、数据传输效率、能量利用效率之间较难实现平衡。针对该问题,提出一种结合联邦学习与传统集中式学习的能量与信息管理优化策略。以覆盖性强、适用性广的移动信息采集设备作为学习服务器,将分布分散、资源受限的客户端节点作为学习参与者,通过构建马尔科夫决策模型分析客户端节点在移动信息采集过程中的状态变化和行为模式,同时采用值迭代算法和深度强化学习算法对该模型进行近似求解,获得客户端节点最优的信息传输与能量管理组合策略。仿真结果表明,相比MDP、GRE、RAN策略,该策略的长期效用较高且数据延迟较小,可实现客户端节点在信息传输过程中的数据隐私性、数据可用性与能量消耗之间的最优平衡。     

能量收集无线通信系统中基于强化学习的能量分配策略

随着物联网的普及,对物联网终端设备可使用能量的要求也在提高.能量收集技术拥有广阔前景,其能通过产生可再生能量来解决设备能量短缺问题.考虑到未知环境中可再生能量的不确定性,物联网终端设备需要合理有效的能量分配策略来保证系统持续稳定工作.文中提出了一种基于DQN的深度强化学习能量分配策略,该策略通过DQN算法直接与未知环境...     

基于联邦强化学习的分布式模型剪枝

联邦学习系统中, 在资源受限的边缘端进行本地模型训练存在一定的挑战. 计算、存储、能耗等方面的限制时刻影响着模型规模及效果. 传统的联邦剪枝方法在联邦训练过程中对模型进行剪裁, 但仍存在无法根据模型所处环境自适应修剪以及移除一些重要参数导致模型性能下降的情况. 本文提出基于联邦强化学习的分布式模型剪枝方法以解决此问题. 首先, 将模型剪枝过程抽象化, 建立马尔可夫决策过程, 使用DQN算法构建通用强化剪枝模型, 动态调整剪枝率, 提高模型的泛化性能. 其次设计针对稀疏模型的聚合方法, 辅助强化泛化剪枝方法, 更好地优化模型结构, 降低模型的复杂度. 最后, 在多个公开数据集上将本方法与不同基线方法进行比较. 实验结果表明, 本文所提出的方法在保持模型效果的同时减少模型复杂度.     

基于深度强化学习的有轨电车信号优先控制

现有的有轨电车信号优先控制系统存在诸多问题, 如无法适应实时交通变化、优化求解较为复杂等. 本文提出了一种基于深度强化学习的有轨电车信号优先控制策略. 不依赖于交叉口复杂交通建模, 采用实时交通信息作为输入, 在有轨电车整个通行过程中连续动态调整交通信号. 协同考虑有轨电车与社会车辆的通行需求, 在尽量保证有轨电车无需停车的同时, 降低社会车辆的通行延误. 采用深度Q网络算法进行问题求解, 并利用竞争架构、双Q网络和加权样本池改善学习性能. 基于SUMO的实验表明, 该模型能够有效地协同提高有轨电车与社会车辆的通行效率.     

基于深度神经网络和联邦学习的网络入侵检测

在高速网络环境中,对复杂多样的网络入侵进行快速准确的检测成为目前亟待解决的问题。联邦学习作为一种新兴技术,在缩短入侵检测时间与提高数据安全性上取得了很好的效果,同时深度神经网络（DNN）在处理海量数据时具有较好的并行计算能力。结合联邦学习框架并将基于自动编码器优化的DNN作为通用模型,建立一种网络入侵检测模型DFC-NID。对初始数据进行符号数据预处理与归一化处理,使用自动编码器技术对DNN实现特征降维,以得到DNN通用模型模块。利用联邦学习特性使得多个参与方使用通用模型参与训练,训练完成后将参数上传至中心服务器并不断迭代更新通用模型,通过Softmax分类器得到最终的分类预测结果。实验结果表明,DFC-NID模型在NSL-KDD与KDDCup99数据集上的准确率平均达到94.1%,与决策树、随机森林等常用入侵检测模型相比,准确率平均提升3.1%,在攻击类DoS与Probe上,DFC-NID的准确率分别达到99.8%与98.7%。此外,相较不使用联邦学习的NO-FC模型,DFC-NID减少了83.9%的训练时间。     

车联网中基于联邦深度强化学习的任务卸载算法

随着车联网应用服务体系日益丰富,计算资源有限的车辆难以处理这些计算密集和时延敏感的车联网应用。计算卸载作为移动边缘计算中的一种关键技术可以解决这一难题。对于车联网中动态的多车辆多路侧单元的任务卸载环境,提出了一种基于联邦深度强化学习的任务卸载算法。该算法将每辆车都看作是智能体,采用联邦学习的框架训练各智能体,各智能体分布式决策卸载方案,以最小化系统的平均响应时间。设置评估实验,在多种动态变化的场景下对提出的算法的性能进行对比分析。实验结果显示,提出的算法求解出的系统平均响应时间短于基于规则的算法和多智能体深度强化学习算法,接近于理想方案,且求解时间远短于理想方案。实验结果表明,所提算法能够在可接受的算法执行时间内求解出接近于理想方案的系统平均响应时间。     

基于联邦共识机制的多视频流带宽分配策略

针对瓶颈链路中视频带宽分配不均导致的用户QoE不公平以及带宽利用率低的问题,提出了一种基于联邦深度强化学习的分布式视频流公平调度策略。该策略能够根据客户端网络状态和视频QoE等级动态生成带宽分配权重因子,服务器端的拥塞控制算法则根据带宽分配权重因子为瓶颈链路中的每个视频流分配带宽,以保障瓶颈链路中视频流的公平传输。每个视频终端都运行一个带宽分配agent,且多个agent以联邦学习的方式周期性地训练,以便代理模型能够快速收敛。带宽分配agent通过共识机制同步联邦训练参数,实现了在异步播放请求条件下带宽分配agent模型参数的分布式聚合,并确保了agent模型参数的安全共享。实验结果表明,与最新方案相比,提出策略在QoE公平性和整体QoE效率方面分别提高了10%和7%,这表明提出策略在解决视频流带宽分配不均问题和提升用户体验方面具有潜力和有效性。     

强化学习在车辆路径问题中的研究综述

车辆路径问题是物流运输优化中的核心问题,目的是在满足顾客需求下得到一条最低成本的车辆路径规划。但随着物流运输规模的不断增大,车辆路径问题求解难度增加,并且对实时性要求也不断提高,已有的常规算法不再适应实际要求。近年来,基于强化学习算法开始成为求解车辆路径问题的重要方法,在简要回顾常规方法求解车辆路径问题的基础上,重点总结基于强化学习求解车辆路径问题的算法,并将算法按照基于动态规划、基于价值、基于策略的方式进行了分类;最后对该问题未来的研究进行了展望。     

基于进化策略的自适应联邦学习算法

联邦学习是一种多设备参与的,保护数据隐私的深度学习技术.它能够在私有数据不出本地的同时训练全局共享模型.然而,在复杂的物联网环境中,联邦学习面临着统计异构性和系统异构性的挑战.不同的本地数据分布和高额的通信计算成本,使得过参数化的模型不适合在物联网应用中直接部署.同时,非独立同分布的数据也使采用参数平均聚合的联邦学习更加难以收敛.联邦学习场景下的研究难点在于,如何根据私有数据为每个客户端建立个性化的轻量级模型的同时,把这些模型汇总成为联合模型.为了解决这一问题,本文提出了一种基于进化策略的自适应联邦学习算法.该方法将模型结构进行编码,把每个参与者视作进化策略中的个体,通过全局优化来为每个客户端自适应地生成不同的个性化子模型.客户端根据网络单元重要性和编码在服务器端超网中抽取相应的子网来进行本地更新,而这种网络局部更新的方法天然契合dropout的思想.在真实数据集上进行的大量实验证明,本文提出的框架相比于经典的联邦学习方法,模型性能得到了显著改善.在客户端数据非独立同分布的情况下,该算法在有效降低了客户端在通信带宽和计算力受限条件下参与联邦学习门槛的同时,提高了全局模型的泛化能力.     

一种基于强化学习的微电网能量管理算法

文中建立了一个包括可再生能源发电机和公用电网双边能量流动的微电网模型,能源交易利润和电网运营成本之间的权衡制定为联合优化问题,并进一步将其转化为马尔可夫决策问题。该文提出了一种在线微电网能源调度算法,旨在最大限度提高系统在能源交易中的运营利润,并保证电力系统的运行安全;为解决电价和需求的不确定性,该算法使用基于强化学习的Q学习算法来学习最优的能量调度策略。数值仿真表明,与基线算法相比,该算法可以将系统运营利润提高10.54%。     

基于学习博弈和契约论的分层联邦学习隐私保护激励机制

分层联邦学习(hierarchical federated learning, HFL)旨在通过多层架构的协作学习, 同时保护隐私和优化模型性能. 但其效果需依赖于针对参与各方的有效激励机制及应对信息不对称的策略. 为了解决上述问题, 本文提出一种保护终端设备、边缘服务器及云服务器隐私的分层激励机制. 在边端层, 边缘服务器作为中介应用多维合约理论设计不同类型的契约项, 促使终端设备在不泄露数据采集、模型训练以及模型传输成本的情况下, 使用本地数据参与HFL. 在云边层, 云服务器与边缘服务器间关于单位数据奖励和数据量的关系通过Stackelberg博弈进行建模, 在不泄露边缘服务器单位利润的情况下, 进一步将其转化为马尔可夫过程, 并采用保护隐私的多智能体深度强化学习(multi-agent deep reinforcement learning, MADRL)方法逐渐接近斯塔克伯格均衡(Stackelberg equilibrium, SE). 实验结果表明, 本文提出的分层激励机制在性能上优于基线方法, 云服务器的收益提升了接近11%, 单位成本获取增益提升接近18倍.     

基于强化学习的无线自组网络多节点干扰策略

为了实现无线自组网络通信拒止的干扰需求,构建无线自组网络模型,并针对该模型提出一种基于强化学习理论的未知拓扑网络多节点干扰策略选择算法,以实时交互的方式进行在线学习.该算法无需获悉网络拓扑等先验知识,仅以网络流数目作为反馈信息,以多节点联合干扰的方式逐步学习最佳干扰节点.在不同参数的无线自组网中的仿真结果表明,所提算法在累积阻断网络流方面优于现有算法,且在新的奖赏标准下,所提算法仍具有优异的干扰性能.     

源荷不确定冷热电联供微网能量调度的建模与学习优化

针对含光伏,微型燃气轮机组等分布式能源的冷热电联供微网系统,研究源荷双侧不确定情况下多类型能量调度动态优化问题.首先,针对光伏出力和异类负荷的随机不确定性,将光伏和负荷的变化描述为连续马尔科夫过程;然后以决策时刻,负荷需求以及分布式能源出力的离散值为状态分量,以微型燃气轮机组启停行动和储能充放行动为动作分量,在分时电价模式下,以降低包括购电成本,燃料代价,启停代价等在内的日运行成本为调度优化目标,将源荷不确定冷热电联供微网系统调度动态优化问题描述为马尔科夫决策过程模型,并引入强化学习方法对该问题进行策略求解.最后通过算例仿真对不同策略进行了比较,验证了优化方法的有效性.     

基于数据分布的聚类联邦学习

联邦学习(federated learning)可以解决分布式机器学习中基于隐私保护的数据碎片化和数据隔离问题。在联邦学习系统中,各参与者节点合作训练模型,利用本地数据训练局部模型,并将训练好的局部模型上传到服务器节点进行聚合。在真实的应用环境中,各节点之间的数据分布往往具有很大差异,导致联邦学习模型精确度较低。为了解决非独立同分布数据对模型精确度的影响,利用不同节点之间数据分布的相似性,提出了一个聚类联邦学习框架。在Synthetic、CIFAR-10和FEMNIST标准数据集上进行了广泛实验。与其他联邦学习方法相比,基于数据分布的聚类联邦学习对模型的准确率有较大提升,且所需的计算量也更少。     

基于注意力增强元学习网络的个性化联邦学习方法

联邦学习作为一种分布式机器学习框架,客户端可以在不向服务器传输数据的情况下进行全局模型训练,解决了数据分散和数据隐私的问题.联邦学习可以在具有相似数据特征和分布的客户端上很好地工作.但是在很多场景中,客户端数据在分布、数量和概念上的不同,造成了全局模型训练困难.为此,个性化联邦学习作为一种新的联邦学习范式被提出,它旨在通过客户端与服务器的协作来保证客户端个性化模型的有效性.直观来讲,为具有相似数据特征和分布的客户端提供更紧密的协作关系可以有利于个性化模型的构建.然而,由于客户端数据的不可见性,如何细粒度地提取客户端特征,并定义它们之间的协作关系是一个挑战.设计了一个注意力增强元学习网络（attention-enhanced meta-learning network,AMN）来解决这个问题. AMN可以利用客户基础模型参数作为输入特征,训练元学习网络为每个客户端提供一个额外的元模型,自动分析客户特征相似性.基于双层网络设计,有效地实现客户端个性与共性的权衡,提供了包含有益客户信息的融合模型.考虑到训练过程中需要同时训练元学习网络和客户本地基础网络,设计了一种交替训练策略,以端到端的方式...     

基于声誉的分布式联邦学习节点选择算法

由于隐私泄露的风险越来越大,而采集的数据中的通常包含大量隐私信息,使数据的采集者不愿意共享自己的数据,造成“数据孤岛”,联邦学习能够实现数据不离本地的数据共享,但其在多机构数据共享中还存在一些问题,一方面中央服务器集中处理信息造成昂贵的成本,易产生单点故障,另一方面,对于多机构数据共享而言,参与节点中混入恶意节点可能影响训练过程,导致数据隐私泄露,基于上述分析,本文提出了一种将区块链和联邦学习相结合的以实现高效节点选择和通信的新的分布式联邦学习架构,解放中央服务器,实现参与节点直接通信,并在此架构上提出了一种基于信誉的节点选择算法方案（RBLNS）,对参与节点进行筛选,保证参与节点的隐私安全。仿真结果表明,RBLNS能够显着提高模型的实验性能。     

深度分层强化学习研究与发展

深度分层强化学习是深度强化学习领域的一个重要研究方向,它重点关注经典深度强化学习难以解决的稀疏奖励、顺序决策和弱迁移能力等问题.其核心思想在于:根据分层思想构建具有多层结构的强化学习策略,运用时序抽象表达方法组合时间细粒度的下层动作,学习时间粗粒度的、有语义的上层动作,将复杂问题分解为数个简单问题进行求解.近年来,随着研究的深入,深度分层强化学习方法已经取得了实质性的突破,且被应用于视觉导航、自然语言处理、推荐系统和视频描述生成等生活领域.首先介绍了分层强化学习的理论基础;然后描述了深度分层强化学习的核心技术,包括分层抽象技术和常用实验环境;详细分析了基于技能的深度分层强化学习框架和基于子目标的深度分层强化学习框架,对比了各类算法的研究现状和发展趋势;接下来介绍了深度分层强化学习在多个现实生活领域中的应用;最后,对深度分层强化学习进行了展望和总结.     

安全强化学习综述

强化学习(Reinforcement learning, RL)在围棋、视频游戏、导航、推荐系统等领域均取得了巨大成功. 然而, 许多强化学习算法仍然无法直接移植到真实物理环境中. 这是因为在模拟场景下智能体能以不断试错的方式与环境进行交互, 从而学习最优策略. 但考虑到安全因素, 很多现实世界的应用则要求限制智能体的随机探索行为. 因此, 安全问题成为强化学习从模拟到现实的一个重要挑战. 近年来, 许多研究致力于开发安全强化学习(Safe reinforcement learning, SRL)算法, 在确保系统性能的同时满足安全约束. 本文对现有的安全强化学习算法进行全面综述, 将其归为三类: 修改学习过程、修改学习目标、离线强化学习, 并介绍了5大基准测试平台: Safety Gym、safe-control-gym、SafeRL-Kit、D4RL、NeoRL. 最后总结了安全强化学习在自动驾驶、机器人控制、工业过程控制、电力系统优化和医疗健康领域中的应用, 并给出结论与展望.     

基于深度强化学习的数据动态传输策略

通过分析数据中心数据传输目前存在的问题,利用深度强化学习技术设计了一种基于数据优先级的动态传输策略。该策略模型根据数据的三个特征计算每条数据流的优先级,以缩短数据流的平均等待时间为目标,实现数据的动态传输。与传统算法的对比实验表明,所提出的策略模型能够有效减少数据传输的延迟,提高了数据中心的资源使用效率。     

基于梯度检测的联邦学习标签翻转攻击防御方法

联邦学习作为一种分布式机器学习范式,解决了数据孤岛问题,并为各种学习任务提供有效的隐私保障。但是,联邦学习不直接访问用户端数据,全局模型容易受恶意客户端篡改数据的投毒攻击。其中,标签翻转攻击因隐蔽性强和危害性大的缺点成为学术界关注的热点。目前,有学者已经提出了许多减少标签翻转攻击威胁的策略,但这些策略需要较大的计算开销,缺乏健壮性,甚至会引起隐私问题。针对联邦学习中标签翻转攻击问题,提出了基于梯度检测联邦学习标签翻转攻击防御方法(A Gradient Detection-Based Defense Approach for Federated Learning Label Flipping Attacks,GDFL)。通过服务器测试数据集的准确度检测收集的梯度更新是否恶意,并使用强化学习方法提高检测效率,限制恶意客户端的参数更新,从而实现联邦学习标签翻转攻击的防御。在CIFAR-10数据集上的实验,验证了提出方法在防御标签翻转攻击的有效性。