基于类别不平衡数据联邦学习的设备选择算法

考虑移动边缘计算下的联邦学习,其中全局服务器通过网络连接大量移动设备共同训练深度神经网络模型.全局类别不平衡和设备本地类别不平衡的数据分布往往会导致标准联邦平均算法性能下降.提出了一种基于组合式多臂老虎机在线学习算法框架的设备选择算法,并设计了一种类别估计方案.通过每一轮通信中选取与前次全局模型的类别测试性能偏移最互补的设备子集,使得训练后线性组合的全局模型各类别测试性能更平衡,从而获得更快的收敛性、更稳定的训练过程以及更好的测试性能.数值实验充分探究了不同参数对基于类别不平衡联邦平均算法的影响,以及验证了所提设备选择算法的有效性.     

面向非独立同分布数据的自适应联邦深度学习算法

近些年, 联邦学习(Federated learning, FL)由于能够打破数据壁垒, 实现孤岛数据价值变现, 受到了工业界和学术界的广泛关注. 然而, 在实际工程应用中, 联邦学习存在着数据隐私泄露和模型性能损失的问题. 为此, 首先对这两个问题进行数学描述与分析. 然后, 提出一种自适应模型聚合方案, 该方案能够设定各参与者的Mini-batch值和自适应调整全局模型聚合间隔, 旨在保证模型精度的同时, 提高联邦学习训练效率. 并且, 混沌系统被首次引入联邦学习领域中, 用于构建一种基于混沌系统和同态加密的混合隐私保护方案, 从而进一步提升系统的隐私保护水平. 理论分析与实验结果表明, 提出的联邦学习算法能够保证参与者的数据隐私安全. 并且, 在非独立同分布数据的场景下, 该算法能够在保证模型精度的前提下提高训练效率, 降低系统通信成本, 具备实际工业场景应用的可行性.     

基于宽度网络架构的单模型主导联邦学习

联邦学习是一种分布式机器学习方法,它将数据保留在本地,仅将计算结果上传到客户端,从而提高了模型传递与聚合的效率和安全性.然而,联邦学习面临的一个重要挑战是,上传的模型大小日益增加,大量参数多次迭代,给通信能力不足的小型设备带来了困难.因此在本文中,客户端和服务器被设置为仅一次的互相通信机会.联邦学习中的另一个挑战是,客户端之间的数据规模并不相同.在不平衡数据场景下,服务器的模型聚合将变得低效.为了解决这些问题,本文提出了一个仅需一轮通信的轻量级联邦学习框架,在联邦宽度学习中设计了一种聚合策略算法,即FBL-LD.算法在单轮通信中收集可靠的模型并选出主导模型,通过验证集合理地调整其他模型的参与权重来泛化联邦模型. FBL-LD利用有限的通信资源保持了高效的聚合.实验结果表明, FBL-LD相比同类联邦宽度学习算法具有更小的开销和更高的精度,并且对不平衡数据问题具有鲁棒性.     

基于选择性通信策略的高效联邦学习研究

近年来,随着人工智能技术的飞速发展,人们越来越重视数据隐私与安全,世界各国也出台一系列法律法规以保护用户隐私.面对制约人工智能发展的数据孤岛以及数据隐私和安全问题,联邦学习作为一种新型的分布式机器学习技术应运而生.然而,高通信开销问题阻碍着联邦学习的进一步发展,为此,本文提出了基于选择性通信策略的高效联邦学习算法.具体地,该算法基于联邦学习的网络结构特点,采取选择性通信策略,在客户端通过最大均值差异衡量本地模型与全局模型的相关性以过滤相关性较低的本地模型,并在服务器端依据相关性对本地模型进行加权聚合.通过上述操作,所提算法在保证模型快速收敛的同时能够有效减少通信开销.仿真结果表明,与FedAvg算法和FedProx算法相比,所提算法能够在保证准确率的前提下,将通信轮次分别减少54%和60%左右.     

基于多目标优化的联邦学习进化算法

传统联邦学习存在通信成本高、结构异构、隐私保护力度不足的问题,为此提出了一种联邦学习进化算法,应用稀疏进化训练算法降低通信成本,结合本地化差分隐私保护参与方隐私,同时采用NSGA-Ⅲ算法优化联邦学习全局模型的网络结构、稀疏性,调整数据可用性与隐私保护之间的关系,实现联邦学习全局模型有效性、通信成本和隐私性的均衡。不稳定通信环境下的实验结果表明,在MNIST和CIFAR-10数据集上,与FNSGA-Ⅲ算法错误率最低的解相比,该算法所得解的通信效率分别提高57.19%和52.17%,并且参与方实现了（3.46,10-4）和（6.52,10-4）-本地化差分隐私。在不严重影响全局模型准确率的前提下,该算法有效降低了联邦学习的通信成本并保护了参与方隐私。     

一种基于注意力联邦蒸馏的推荐方法

数据隐私保护问题已成为推荐系统面临的主要挑战之一.随着《中华人民共和国网络安全法》的颁布和欧盟《通用数据保护条例》的实施,数据隐私和安全成为了世界性的趋势.联邦学习可通过不交换数据训练全局模型,不会泄露用户隐私.但是联邦学习存在每台设备数据量少、模型容易过拟合、数据稀疏导致训练好的模型很难达到较高的预测精度等问题.同时,随着5G （the 5th generation mobile communication technology）时代的到来,个人设备数据量和传输速率预计比当前提高10~100倍,因此要求模型执行效率更高.针对此问题,知识蒸馏可以将教师模型中的知识迁移到更为紧凑的学生模型中去,让学生模型能尽可能逼近或是超过教师网络,从而有效解决模型参数多和通信开销大的问题.但往往蒸馏后的学生模型在精度上会低于教师模型.提出一种面向推荐系统的联邦蒸馏方法,该方法首先在联邦蒸馏的目标函数中加入Kullback-Leibler散度和正则项,减少教师网络和学生网络间的差异性影响;引入多头注意力机制丰富编码信息,提升模型精度;并提出一个改进的自适应学习率训练策略来自动切换优化算法,选择合适的学习率,提升模型的收敛速度.实验验证了该方法的有效性：相比基准算法,模型的训练时间缩短52%,模型的准确率提升了13%,平均误差减少17%,NDCG值提升了10%.     

基于结构增强的异质数据联邦学习模型正则优化算法

联邦学习中由于不同客户端本地数据分布异质，在本地数据集上训练的客户端模型优化目标与全局模型不一致，导致出现客户端漂移现象，影响全局模型性能.为了解决非独立同分布数据带来的联邦学习模型性能下降甚至发散的问题，文中从本地模型的通用性角度出发，提出基于结构增强的异质数据联邦学习模型正则优化算法.在客户端利用数据分布异质的本地数据进行训练时，以结构化的方式采样子网络，并对客户端本地数据进行数据增强，使用不同的增强数据训练不同的子网络学习增强表示，得到泛化性较强的客户端网络模型，对抗本地数据异质带来的客户端漂移现象，在联邦聚合中得到性能更优的全局模型.在CIFAR-10、CIFAR-100、ImageNet-200数据集上的大量实验表明，文中算法性能较优.     

面向风电场景的联邦学习平台高性能通信优化

风能作为清洁能源为改善我国能源结构发挥着越来越重要的作用. 风电场机组及设备的数据可能会包含机组或风场的隐私敏感信息, 这些隐私数据一旦被泄露, 将会为风电场带来巨大的经济风险和法律风险. 联邦学习作为重要的隐私计算手段, 能够保证原始数据不出本地的情况下完成模型的建模和推理, 实现各参与方在互不泄露隐私的前提下实现联合计算, 从而有效应对风电数据分析面临的挑战. 但是, 联邦学习计算过程中存在大量的通信开销, 这成为限制联邦学习技术在风电场景下应用的关键性能瓶颈. 因此, 本文以经典的联邦学习算法XGBoost为例, 深入分析了联邦学习计算过程中的通信问题, 提出采用RDMA作为底层传输协议的解决方案, 设计并实现了一套高性能联邦学习平台通信库, 有效提升了联邦学习系统的性能.     

基于本地蒸馏联邦学习的鲁棒语音识别技术

当联邦学习（FL）算法应用于鲁棒语音识别任务时,为解决训练数据非独立同分布（Non-IID）与客户端模型缺乏个性化问题,提出基于个性化本地蒸馏的联邦学习（PLD-FLD）算法。客户端通过上行链路上传本地Logits并在中心服务器聚合后下传参数,当边缘端模型测试性能优于本地模型时,利用下载链路接收中心服务器参数,确保了本地模型的个性化与泛化性,同时将模型参数与全局Logits通过下行链路下传至客户端,实现本地蒸馏学习,解决了训练数据的Non-IID问题。在AISHELL与PERSONAL数据集上的实验结果表明,PLD-FLD算法能在模型性能与通信成本之间取得较好的平衡,面向军事装备控制任务的语音识别准确率高达91%,相比于分布式训练的FL和FLD算法具有更快的收敛速度和更强的鲁棒性。     

基于秘密共享和压缩感知的通信高效联邦学习

深度学习技术的快速发展给我们带来了极大的便利,但同时也导致大量隐私数据的泄露.联邦学习允许客户端在只共享梯度的情况下联合训练模型,这看似解决了隐私信息泄露问题,但研究表明联邦学习框架中传输的梯度依然会导致隐私信息泄露.并且,联邦学习的高通信代价的特点难以适用于资源受限的环境.为此,提出了2个通信高效且安全的联邦学习算法,算法使用Top-K稀疏及压缩感知等技术以减少梯度传输造成的通信开销,另外利用安全多方计算中的加法秘密共享对重要的梯度测量值加密,以实现在减少通信开销的同时进一步增强其安全性.2个算法的主要区别是客户端与服务器通信时传递的分别为梯度测量值与梯度测量值的量化结果.在MNIST及Fashion-MNIST数据集上的实验表明,与其他算法相比,本文所提的算法在保证通信代价较低的情况下进一步增加了安全性,同时在模型准确性上也有较好的性能.     

基于Z-Score动态压缩的高效联邦学习算法

联邦学习作为一种具有隐私保护的新兴分布式计算范式,在一定程度上保护了用户隐私和数据安全。然而,由于联邦学习系统中客户端与服务器需要频繁地交换模型参数,造成了较大的通信开销。在带宽有限的无线通信场景中,这成为了限制联邦学习发展的主要瓶颈。针对这一问题,提出了一种基于Z-Score的动态稀疏压缩算法。通过引入Z-Score,对局部模型更新进行离群点检测,将重要的更新值视为离群点,从而将其挑选出来。在不需要复杂的排序算法以及原始模型更新的先验知识的情况下,实现模型更新的稀疏化。同时随着通信轮次的增加,根据全局模型的损失值动态地调整稀疏率,从而在保证模型精度的前提下最大程度地减少总通信量。通过实验证明,在I.I.D。数据场景下,该算法与联邦平均（FedAvg）算法相比可以降低95%的通信量,精度损失仅仅为1.6%,与FTTQ算法相比可以降低40%~50%的通信量,精度损失仅为1.29%,证明了该方法在保证模型性能的同时显著降低了通信成本。     

基于改进NSGA-Ⅱ算法的多目标联邦学习

联邦学习作为一种新兴技术,可在融合多参与方数据的机器学习训练的同时,保证各参与方隐私数据的安全性,有效解决数据隐私问题以及数据孤岛问题。然而,联邦学习仍然面临着巨大的挑战,各个客户端与中心服务器的不断交互带来了巨大的通信成本。为了在保证模型精度的情况下尽量减少通信开销,论文提出一种改进的NSGA-Ⅱ算法来对联邦学习中全局模型的结构进行优化,引入快速贪婪初始化和进化后期丢弃低质量个体的策略来对传统NSGA-Ⅱ算法进行改进。实验表明,与MOEA/D算法对比,论文改进NSGA-Ⅱ算法在同等实验条件下性能更好,可获得更好的Pareto最优集,有效优化联邦学习模型结构,降低通信成本。     

不平衡数据下预算限制的联邦学习激励机制

联邦学习的提出解决了在隐私保护下完成多客户合作的机器学习问题,而激励客户参与联邦学习是模型性能提高的一个重要前提。针对客户数据非独立同分布特征会导致联邦学习性能下降这一问题,考虑预算约束下,设计了基于单位数据成本和数据特征—EMD距离的客户端筛选方式,提出一种有效的联邦学习激励机制（EMD-FLIM）,从理论上证明了机制具有诚实性,即每个客户会诚实披露数据成本和数据分布信息,同时机制具有预算可行性,个人理性及计算有效性。实验结果显示,提出的激励机制在数据分布不平衡情况下模型精度至少能达到数据量最优选择（不考虑激励）下的 94%以上,与不考虑数据分布特征的激励机制相比较,模型精度平均可提高5%以上。     

一种基于背景优化的高效联邦学习方案

联邦学习因其在客户端本地进行数据的训练,从而有效保证了数据的隐私性和安全性。对于联邦学习的研究虽然取得了很大的进展,但是,由于非独立同分布数据的存在以及数据量不平衡、数据类型不平衡等问题,客户端在利用本地数据进行训练时不可避免地存在精确度缺失、训练效率低下等问题。为了应对联邦学习背景环境的不同导致的联邦学习效率降低的问题,文中提出了一种基于背景优化的高效联邦学习方案,用于提高终端设备中本地模型的精确度,从而减小通信开销、提高整体模型的训练效率。具体来说,在不同的环境中根据精确度的差异性来选择第一设备和第二设备,将第一设备模型和全局模型的不相关性(下文统称为差异值)作为标准差异值;而第二设备是否上传本地模型则由第二设备和第一设备之间的差异值决定。实验结果表明,与传统的联邦学习相比,所提方案在普通联邦学习场景下的表现明显优于联邦平均算法,在MINIST数据集上,其精确度提高了约7.5%;在CIFAR-10数据集上,其精确度提高了约10%。     

非独立同分布数据下的去中心化联邦学习策略

区块链具有不可篡改性和去中心化的特点,其与联邦学习的结合成为人工智能领域的热门主题。目前去中心化联邦学习存在训练数据非独立同分布导致的性能下降问题,为了解决这个问题,提出一种模型相似度的计算方法,然后设计一种基于该模型相似度的去中心化联邦学习策略,并使用五个联邦学习任务进行测试,分别是CNN模型训练fashion-mnist数据集、alexnet模型训练cifar10数据集、TextRnn模型训练THUsnews数据集、Resnet18模型训练SVHN数据集和LSTM模型训练sentiment140数据集。实验结果表明,设计的策略在五个任务非独立同分布的数据下进行去中心化联邦学习,准确率分别提升了2.51、5.16、17.58、2.46和5.23个百分点。     

基于进化策略的自适应联邦学习算法

联邦学习是一种多设备参与的,保护数据隐私的深度学习技术.它能够在私有数据不出本地的同时训练全局共享模型.然而,在复杂的物联网环境中,联邦学习面临着统计异构性和系统异构性的挑战.不同的本地数据分布和高额的通信计算成本,使得过参数化的模型不适合在物联网应用中直接部署.同时,非独立同分布的数据也使采用参数平均聚合的联邦学习更加难以收敛.联邦学习场景下的研究难点在于,如何根据私有数据为每个客户端建立个性化的轻量级模型的同时,把这些模型汇总成为联合模型.为了解决这一问题,本文提出了一种基于进化策略的自适应联邦学习算法.该方法将模型结构进行编码,把每个参与者视作进化策略中的个体,通过全局优化来为每个客户端自适应地生成不同的个性化子模型.客户端根据网络单元重要性和编码在服务器端超网中抽取相应的子网来进行本地更新,而这种网络局部更新的方法天然契合dropout的思想.在真实数据集上进行的大量实验证明,本文提出的框架相比于经典的联邦学习方法,模型性能得到了显著改善.在客户端数据非独立同分布的情况下,该算法在有效降低了客户端在通信带宽和计算力受限条件下参与联邦学习门槛的同时,提高了全局模型的泛化能力.     

支持数据隐私保护的联邦深度神经网络模型研究

近些年, 人工智能技术已经在图像分类、目标检测、语义分割、智能控制以及故障诊断等领域得到广泛应用, 然而某些行业(例如医疗行业)由于数据隐私的原因, 多个研究机构或组织难以共享数据训练联邦学习模型. 因此, 将同态加密(Homomorphic encryption, HE)算法技术引入到联邦学习中, 提出一种支持数据隐私保护的联邦深度神经网络模型(Privacy-preserving federated deep neural network, PFDNN). 该模型通过对其权重参数的同态加密保证了数据的隐私性, 并极大地减少了训练过程中的加解密计算量. 通过理论分析与实验验证, 所提出的联邦深度神经网络模型具有较好的安全性, 并且能够保证较高的精度.     

基于博弈论优化的高效联邦学习方案

随着网络信息技术与互联网的发展,数据的隐私与安全问题亟待解决,联邦学习作为一种新型的分布式隐私保护机器学习技术应运而生。针对在联邦学习过程中存在个人数据信息泄露的隐私安全问题,结合Micali-Rabin随机向量表示技术,基于博弈论提出一种具有隐私保护的高效联邦学习方案。根据博弈论激励机制,构建联邦学习博弈模型,通过设置合适的效用函数和激励机制保证参与者的合理行为偏好,同时结合Micali-Rabin随机向量表示技术设计高效联邦学习方案。基于Pedersen承诺机制实现高效联邦学习的隐私保护,以保证联邦学习各参与者的利益和数据隐私,并且全局达到帕累托最优状态。在数字分类数据集上的实验结果表明,该方案不仅提高联邦学习的通信效率,而且在通信开销和数据精确度之间实现平衡。     

一种解决数据异构问题的联邦学习方法

联邦学习是一种不通过中心化的数据训练就能获得机器学习模型的系统,源数据不出本地,降低了隐私泄露的风险,同时本地也获得优化训练模型。但是由于各节点之间的身份、行为、环境等不同,导致不平衡的数据分布可能引起模型在不同设备上的表现出现较大偏差,从而形成数据异构问题。针对上述问题,提出了基于节点优化的数据共享模型参数聚类算法,将聚类和数据共享同时应用到联邦学习系统中,该方法既能够有效地减少数据异构对联邦学习的影响,也加快了本地模型收敛的速度。同时,设计了一种评估全局共享模型收敛程度的方法,用于判断节点聚类的时机。最后,采用数据集EMNIST、CIFAR-10进行了实验和性能分析,验证了共享比例大小对各个节点收敛速度、准确率的影响,并进一步分析了当聚类与数据共享同时应用到联邦学习前后各个节点的准确率。实验结果表明,当引入数据共享后各节点的收敛速度以及准确率都有所提升,而当聚类与数据共享同时引入到联邦学习训练后,与FedAvg算法对比,其准确度提高10%～15%,表明了该方法针对联邦学习数据异构问题上有着良好的效果。     

基于秘密分享和梯度选择的高效安全联邦学习

近年来,联邦学习已经成为一种新兴的协作式机器学习方法.在联邦学习中,分布式用户可以仅通过共享梯度来训练各种模型.但是一些研究表明梯度也会泄露用户的隐私信息,而安全多方计算被认为是一种保护隐私安全的有效工具.另一方面,一些研究人员提出了Top-K梯度选择算法,以减少用户之间同步梯度的通信开销.但是,目前很少有工作可以平衡这2个领域的优势.将秘密共享与Top-K梯度选择相结合,设计了高效且安全的联邦学习协议,以便在保证用户隐私和数据安全的同时,减少通信开销,并提高模型训练效率.此外,提出了一种高效的方法来构造消息验证码,以验证服务器返回的聚合结果的有效性,其中,验证码引入的通信开销与梯度的数量无关.实验结果表明：相比于同样条件下的明文训练,该文的安全技术在通信和计算方面都会引入少量额外的开销,但该方案取得了和明文训练同一水平的模型准确率.