基于数据分布的聚类联邦学习

联邦学习(federated learning)可以解决分布式机器学习中基于隐私保护的数据碎片化和数据隔离问题。在联邦学习系统中,各参与者节点合作训练模型,利用本地数据训练局部模型,并将训练好的局部模型上传到服务器节点进行聚合。在真实的应用环境中,各节点之间的数据分布往往具有很大差异,导致联邦学习模型精确度较低。为了解决非独立同分布数据对模型精确度的影响,利用不同节点之间数据分布的相似性,提出了一个聚类联邦学习框架。在Synthetic、CIFAR-10和FEMNIST标准数据集上进行了广泛实验。与其他联邦学习方法相比,基于数据分布的聚类联邦学习对模型的准确率有较大提升,且所需的计算量也更少。     

高效联邦学习：范数加权聚合算法

在联邦学习中,跨客户端的非独立同分布(non-IID)数据导致全局模型收敛较慢,通信成本显著增加。现有方法通过收集客户端的标签分布信息来确定本地模型的聚合权重,以加快收敛速度,但这可能会泄露客户端的隐私。为了在不泄露客户端隐私的前提下解决non-IID数据导致的收敛速度降低的问题,提出FedNA聚合算法。该算法通过两种方法来实现这一目标。第一,FedNA根据本地模型类权重更新的L₁范数来分配聚合权重,以保留本地模型的贡献。第二,FedNA将客户端的缺失类对应的类权重更新置为0,以缓解缺失类对聚合的影响。在两个数据集上模拟了四种不同的数据分布进行实验。结果表明,与FedAvg相比,FedNA算法达到稳定状态所需的迭代次数最多可减少890次,降低44.5%的通信开销。FedNA在保护客户端隐私的同时加速了全局模型的收敛速度,降低了通信成本,可用于需要保护用户隐私且对通信效率敏感的场景。     

基于MapReduce的分布式AP聚类算法

随着网络的普遍应用,网络中产生的数据急剧增长,大规模数据处理面临严峻挑战。本文在对AP聚类算法进行研究的基础上,利用MapReduce编程模型思想对AP聚类算法进行改进,设计在云平台Hadoop环境下运行的基于MapReduce的分布式AP聚类算法,并在实验中对不同规模的图数据进行聚类测试,实验结果表明分布式的AP聚类算法具有很好的时间效率和加速比。      

自适应AP聚类算法研究

偏向参数和阻尼因子是影响AP聚类算法聚类效果的两个重要参数,但他们均取固定值。随着数据量的改变,原有参数取值不能使算法聚类结果达到最优。鉴此,本文提出自适应AP聚类算法,当数据量发生改变时,自动调整并获取最优的偏向参数和阻尼因子,最终得到最优聚类结果。与原来算法相比,改进后的算法能自动消除震荡,还可获取最优聚类结果,提高聚类结果的准确性和算法快速性。通过人造数据集和Iris数据集实验,证明了自适应AP聚类算法的有效性。     

动态聚合权重的隐私保护联邦学习框架

在非可信中心服务器下的隐私保护联邦学习框架中,存在以下两个问题。(1)在中心服务器上聚合分布式学习模型时使用固定的权重,通常是每个参与方的数据集大小。然而,不同参与方具有非独立同分布的数据,设置固定聚合权重会使全局模型的效用无法达到最优。(2)现有框架建立在中心服务器是诚实的假定下,没有考虑中央服务器不可信导致的参与方的数据隐私泄露问题。为了解决上述问题,基于比较流行的DP-Fed Avg算法,提出了一种非可信中心服务器下的动态聚合权重的隐私保护联邦学习DP-DFL框架,其设定了一种动态的模型聚合权重,该方法从不同参与方的数据中直接学习联邦学习中的模型聚合权重,从而适用于非独立同分布的数据环境。此外,在本地模型隐私保护阶段注入噪声进行模型参数的隐私保护,满足不可信中心服务器的设定,从而降低本地参与方模型参数上传中的隐私泄露风险。在数据集CIFAR-10上的实验证明,DP-DFL框架不仅提供本地隐私保证,同时可以实现更高的准确率,相较DP-Fed Avg算法模型的平均准确率提高了2.09%。     

非独立同分布数据下联邦学习算法中优化器的对比分析

在联邦学习环境中选取适宜的优化器是提高模型性能的有效途径, 尤其在数据高度异构的情况下. 本文选取FedAvg算法与FedALA算法作为主要研究对象, 并提出其改进算法pFedALA. pFedALA通过令客户端在等待期间继续本地训练, 有效降低了由于同步需求导致的资源浪费. 在此基础上, 本文重点分析这3种算法中优化器的作用, 通过在MNIST和CIFAR-10数据集上测试, 比较了SGD、Adam、ASGD以及AdaGrad等多种优化器在处理非独立同分布(Non-IID)、数据不平衡时的性能. 其中重点关注了基于狄利克雷分布的实用异构以及极端的异构数据设置. 实验结果表明: 1) pFedALA算法呈现出比FedALA算法更优的性能, 表现为其平均测试准确率较FedALA提升约1%; 2)传统单机深度学习环境中的优化器在联邦学习环境中表现存在显著差异, 与其他主流优化器相比, SGD、ASGD与AdaGrad优化器在联邦学习环境中展现出更强的适应性和鲁棒性.     

基于改进AP聚类算法的自学习应用层DDoS检测方法

针对基于用户行为的应用层DDoS检测算法中样本训练过程繁琐以及模型更新困难2个难点,提出一种基于改进AP聚类算法的自学习应用层DDoS检测方法.首先对近邻传播聚类算法改进优化：在利用少量先验知识对数据集进行预分类的基础上,结合同类簇合并机制解决样本大小敏感问题,同时引入异类簇清除机制排除特殊类簇对检测结果所造成的干扰;其次给出用户行为属性表征用户行为特征,利用IAP聚类算法实现用户行为有效聚类,提高检测精度;然后引入Silhouette指标实时监控类簇质量,设计类簇自学习更新机制,进一步降低误检率、提高检测率,并支持检测类簇的动态抗解析.实验结果表明:与传统AP聚类、KMPCA算法相比,所提方法具有较高的运行效率和较好的检测性能,并具有一定的自主优化能力.     

基于距离测度学习的AP聚类图像标注

针对有效利用图像底层视觉特征和图像语义特征进行图像标注,提出一种改进的AP（Affinity Propagation）聚类标注模型。首先采用半监督距离测度学习算法,融合图像语义信息,训练得到新的距离测度。然后使用新的距离测度对每一类图像进行AP聚类,生成各类图像的聚类中心,计算待标注图像到各类图像聚类中心的平均距离,确定待标注图像类别。最后计算待标注图像到类内各个聚类中心的距离,确定待标注图像类内类别,统计该类别下图像的标注词,作为待标注图像的标注词。在Corel5K和NUS-WIDE数据集上进行了实验,经验证,该方法有效提高了标注精度。     

AP算法在图像聚类中的应用研究

文章提出采用分块加权颜色直方图作为图像特征,将Affinity Propagation(AP)聚类算法应用到图像聚类中,并将该算法加以实现,进行算法性能研究,实验结果表明AP聚类算法应用于图像聚类能够取得较好的效果.     

横向联邦学习中差分隐私聚类算法

聚类分析能够挖掘出数据间隐藏的内在联系并对数据进行多指标划分,从而促进个性化和精细化运营。然而,数据孤岛造成的数据碎片化和孤立化严重影响了聚类分析的应用效果。为了解决数据孤岛问题的同时保护相关数据隐私,提出本地均分扰动联邦K-means算法（ELFedKmeans）。针对横向联邦学习模式,设计了一种基于网格的初始簇心选择方法和一种隐私预算分配方案。在ELFedKmeans算法中,各站点联合协商随机种子,以较小的通信代价生成相同的随机噪声,保护了本地数据的隐私。通过理论分析证明了该算法满足差分隐私保护,并将该算法与本地差分隐私K-means(LDPKmeans)算法和混合型隐私保护K-means (HPKmeans)算法在不同的数据集上进行了对比实验分析。实验结果表明,随着隐私预算不断增大,三个算法的F-measure值均逐渐升高;误差平方和（SSE）均逐渐减小。从整体上看,ELFedKmeans算法的F-measure值比LDPKmeans算法和HPKmeans算法分别高了1.794 5%～57.066 3%和21.245 2%～132.048 8%;ELFedKmeans算法的Log...     

基于分布共识的联邦增量迁移学习

相同生产工艺的工业过程协同建模是解决工业难测参数在线软测量的有效方法,但因生产原料、设备等因素差异,所形成的分布式数据往往呈现非独立同分布特性(Nonindependent Identically Distribution, Non-IID).同时,受生产环境变化影响,数据分布特性会随时间发生变化.因此,工业建模场景对模型的个性化配置和自主调整能力提出了更高的要求.为此,本文提出一种结构与参数并行优化的联邦增量迁移学习方法(Federated Incremental Transfer Learning, FITL).所提方法在增量式联邦学习框架下,建立了基于模型输出信息的联邦共识组织,并利用横向联邦进行组内增强;进而,面向联邦共识组织,通过最小化组间共识差异增量迁移不同共识组织信息;最后,结合组内横向增强和跨组织迁移学习,构造增量迁移下的联邦学习模型.在工业数据集和基准数据集上的实验结果表明,与现有方法相比,所提模型能更好地实现不同工况Non-IID情况下的协同建模.在过程工业回归任务和公开数据集的分类任务中,FITL能在多工况环境下相较基线方法提升9%和16%的模型预测精度.     

基于联邦学习的船舶AIS轨迹谱聚类算法研究

如何实现数据的安全共享,促进多源数据的碰撞、融合是当前学术界和产业界共同面临的重要技术挑战之一,近年来,联邦学习作为应对这一挑战的新技术受到了广泛的关注,已在智慧医疗、智慧城市建设等领域得到应用,但是在充满潜力的轨迹数据挖掘领域却鲜有研究。为了解决这个问题,提出一种安全的、分布式的基于联邦学习的谱聚类算法框架FSC(federated spectral clustering),并应用于船舶AIS(automatic identification system)轨迹数据谱聚类。该算法通过加密样本对齐技术和同态加密技术,在保证用户数据安全的前提下实现了多参与方联合训练机器学习模型。实验部分以合成数据和船舶AIS轨迹数据为样本,通过与其他聚类算法对比,验证算法具有良好的聚类性能;聚类结果能够准确提取水域船舶的主要航线,可为海事监管系统智能化提供技术支撑。     

基于改进属性约简的细粒度并行AP聚类算法

Affinity Propagation(AP)聚类算法将所有数据点作为潜在的聚类中心,在相似度矩阵的基础上通过消息传递进行聚类.与传统聚类方法相比,对于规模很大的数据集,AP是一种快速、有效的聚类方法.正是这样,属性约简对于AP算法非常重要.另外,在大规模并行系统的设计中,细粒度并行是实现高性能的基本策略.提出了一种基于改进属性约简的细粒度并行AP聚类算法(IRPAP),将粒度思想引入到并行计算中.首先分析了并行计算中的粒度原理.然后用改进的属性约简算法对数据集预处理.此算法并行计算并选择差别矩阵元素,降低了时间空间复杂度,最后用AP算法聚类.整个IRPAP算法将任务划分到多个线程同时处理.实验证明,对于大规模数据集的聚类,IRPAP算法比AP算法效率更高.     

基于区块链的公平性联邦学习模型

为解决典型联邦学习框架在训练样本数据分布不均衡情况下产生的聚合模型对各个客户端模型不公平的问题,结合区块链的去中心化、不可篡改性以及智能合约的特点,提出基于本地数据特征的公平性联邦学习模型,以实现数据分布差异的客户模型可信安全共享。多个客户端通过区块链上传本地参数以及信用值,利用区块链的共识机制选择信用值最高的区块进行模型聚合,在模型聚合过程中按照节点信用依次进行融合,并根据区块链记录工作节点的本地模型参数作为证据,完成整体模型参数的聚合任务,在此基础上通过广播下传当前聚合模型参数,模型利用区块链的共识机制可降低参数在传输过程中所面临的安全风险。在开源数据集上的实验结果表明,该模型相较FedAvg模型训练精度提高40%,不仅能够优化非独立同分布下的模型训练精度,同时可以防止中间参数传输信息泄露,保证了多个客户端的利益与安全隐私,从而实现具有隐私保护的公平性模型。     

基于结构增强的异质数据联邦学习模型正则优化算法

联邦学习中由于不同客户端本地数据分布异质,在本地数据集上训练的客户端模型优化目标与全局模型不一致,导致出现客户端漂移现象,影响全局模型性能.为了解决非独立同分布数据带来的联邦学习模型性能下降甚至发散的问题,文中从本地模型的通用性角度出发,提出基于结构增强的异质数据联邦学习模型正则优化算法.在客户端利用数据分布异质的本地数据进行训练时,以结构化的方式采样子网络,并对客户端本地数据进行数据增强,使用不同的增强数据训练不同的子网络学习增强表示,得到泛化性较强的客户端网络模型,对抗本地数据异质带来的客户端漂移现象,在联邦聚合中得到性能更优的全局模型.在CIFAR-10、CIFAR-100、ImageNet-200数据集上的大量实验表明,文中算法性能较优.     

二次幂耦合的K-means聚类算法研究

在聚类研究中,通常认为数据集的对象、属性等方面是满足独立同分布的,它们之间是互不影响的,然而实际上它们之间存在着某些潜在的联系,即非独立同分布.为了更好地挖掘其存在的潜在关系,将数据集进行二次幂处理,计算皮尔森相关系数后得到二次幂耦合的数据集样本,为了解决K-means聚类算法存在选取初始中心点的敏感性问题,基于密度的...     

提升联邦学习通信效率的梯度压缩算法

联邦学习通过聚合客户端训练的模型,保证数据留在客户端本地,从而保护用户隐私.由于参与训练的设备数目庞大,存在数据非独立同分布和通信带宽受限的情况.因此,降低通信成本是联邦学习的重要研究方向.梯度压缩是提升联邦学习通信效率的有效方法,然而目前常用的梯度压缩方法大多针对独立同分布的数据,未考虑联邦学习的特性.针对数据非独立同分布的联邦场景,本文提出了基于投影的稀疏三元压缩算法,通过在客户端和服务端进行梯度压缩,降低通信成本,并在服务端采用梯度投影的聚合策略以缓解客户端数据非独立同分布导致的不利影响.实验结果表明,本文提出的算法不仅提升了通信效率,而且在收敛速度和准确率上均优于现有的梯度压缩算法.     

基于初始偏向度的AP算法聚类性能优化研究

Affinity propagation(AP)算法将所有数据点视为潜在的类代表点,通过样本数据之间的信息传递,迭代计算出最佳的类代表点。在对该算法仿真研究过程中发现,样本数据点作为类代表点的初始偏向度取值,与算法最终聚类性能有着密切的联系。为深入研究两者之间数量关系,通过建立初始偏向度多重单目标优化模型,限定算法花费时长在可设定的范围内,确定初始偏向度最优取值,使得算法聚类准确率取得最优,同时花费时长相对较小,从而有效提高算法的聚类性能。实验结果表明,对于三种经典的标准数据集4k2-far、Wine和Iris,优化后的AP算法与优化前相比,在降低花费时长的同时提高了聚类准确率。     

联邦学习中抵抗大量后门客户端的鲁棒聚合算法

随着数据的爆炸式增长以及企业和个人对隐私问题的关注,传统的集中式机器学习已经不能满足现有的需求.联邦学习是一种新兴的分布式机器学习框架,旨在不分享私有数据的前提下利用分散的客户端训练一个全局模型,解决数据隐私和数据孤岛问题.然而,由于联邦学习的分布式和隐私保护特性,其容易受到各种各样的攻击,后门攻击则是联邦学习系统受到的攻击之一.目前,业界已提出大量的鲁邦算法来抵抗联邦学习系统遭受的后门攻击.然而,现有的鲁棒算法大多有较强的假设,例如受到不同客户端数据分布和恶意后门客户端数量的限制.我们的研究表明了现有的鲁棒算法不能解决在非独立同分布场景下,大量后门客户端共同攻击的问题.为解决这一难题,本文提出了一种鲁棒算法Poly.Poly算法包含两部分:一部分利用相似度矩阵和聚类算法进行聚类分析;另一部分则基于余弦相似度选择最优的类去聚合全局模型.由于Poly算法能完全去除恶意后门模型,从而完全避免了后门污染全局模型.为了验证Poly算法的性能,实验利用了MNIST、Fashion-MNIST、CIFAR-10和Reddit四种数据集,考虑了数据不平衡和类别不平衡两种非独立同分布场景以及独立同分布...