一种提高联邦学习准确度的算法

联邦学习可以使客户端在不公开其本地数据的情况下合作训练一个共享模型,此种学习方式保证了客户端数据的隐私性。但是,与集中式学习相比,客户端数据的异构性会大大降低联邦学习的性能。数据异构使本地训练的模型向不同方向更新,导致聚合后的全局模型性能较差。为了缓解数据异构对联邦学习造成的影响,算法提出了基于模型对比和梯度投影的联邦学习算法。此算法设计了一个新的损失函数。新损失函数利用全局模型与本地模型的差异性来指导本地模型的更新方向,并且通过降低全局梯度与本地梯度的冲突来提高模型准确度。实验表明相比其他算法,此算法可以在不增加任何通信开销的情况下达到更高的准确度。     

数据新鲜度驱动的协作式无人机联邦学习智能决策优化研究

联邦学习是6G关键技术之一,其可以在保护数据隐私的前提下,利用跨设备的数据训练一个可用且安全的共享模型。然而,大部分终端设备由于处理能力有限,无法支持复杂的机器学习模型训练过程。在异构网络融合环境下移动边缘计算(MEC)框架中,多个无人机(UAVs)作为空中边缘服务器以协作的方式灵活地在目标区域内移动,并且及时收集新鲜数据进行联邦学习本地训练以确保数据学习的实时性。该文综合考虑数据新鲜程度、通信代价和模型质量等多个因素,对无人机飞行轨迹、与终端设备的通信决策以及无人机之间的协同工作方式进行综合优化。进一步,该文使用基于优先级的可分解多智能体深度强化学习算法解决多无人机联邦学习的连续在线决策问题,以实现高效的协作和控制。通过采用多个真实数据集进行仿真实验,仿真结果验证了所提出的算法在不同的数据分布以及快速变化的动态环境下都能取得优越的性能。     

基于联邦学习模型的电力客户隐私保护方法

为提升电力物联网中用户数据安全性，提出了电力物联网LDP联邦学习框架。该框架将物联网用户分为常规用户和敏感用户两部分。常规用户通过与电力供应商互通模型与数据，基于横向联邦学习技术学习局部模型并参与更新全局模型；敏感用户利用异构联邦迁移学习技术将全局模型关联到局部模型中，从而保证敏感用户数据安全性。将联邦学习框架应用于GRU、LSTM网络，验证了所提联邦学习框架能够提升网络性能。     

智能反射面赋能的联邦边缘学习及其在车联网中的应用

针对无线链路和数据分布的异构性导致在FEEL训练中很难实现无线通信和模型精度的最佳权衡的问题，提出了一种智能反射面（RIS）赋能的空中联邦边缘学习系统，其利用智能反射面的信道可重构性自适应地配置信号传播环境，并利用空中计算实现联邦边缘学习模型的快速聚合。具体来说，首先刻画无线信道和数据异构影响下的联邦优化算法收敛行为，并以此构造统一的无线资源优化问题，通过联合设计收发端波束成形方案和RIS相移来优化学习性能。仿真结果验证了所提方案的有效性，并证明RIS可以在数据异构前提下提高空中联邦边缘学习系统准确性。最后，探讨了其在车联网中应用的可能性。     

IoT的数据管理与智能处理

在物联网（IoT）中物与物、人与物的智能交互的实现要依赖于数据的智能处理,而数据管理则是数据智能处理的基础。由于物联网中的数据具有异构、海量和不确定等特点,因此要实现对其数据管理与智能处理,必须在运用已有技术的基础上进一步采用新的技术和方法。文章基于物联网中数据的特点、物联网新的数据管理与智能处理技术,提出了数据空间技术、不确定数据推理技术以及云计算在物联网中的应用思路,揭示了需要研究的关键内容。     

基于自适应梯度压缩的高效联邦学习通信机制研究

针对物联网(IoTs)场景下,联邦学习(FL)过程中大量设备节点之间因冗余的梯度交互通信而带来的不可忽视的通信成本问题,该文提出一种阈值自适应的梯度通信压缩机制。首先,引用了一种基于边缘-联邦学习的高效通信(CE-EDFL)机制,其中边缘服务器作为中介设备执行设备端的本地模型聚合,云端执行边缘服务器模型聚合及新参数下发。其次,为进一步降低联邦学习检测时的通信开销,提出一种阈值自适应的梯度压缩机制(ALAG),通过对本地模型梯度参数压缩,减少设备端与边缘服务器之间的冗余通信。实验结果表明,所提算法能够在大规模物联网设备场景下,在保障深度学习任务完成准确率的同时,通过降低梯度交互通信次数,有效地提升了模型整体通信效率。     

边缘环境下的视频行为识别

边缘智能是一种新兴的智能计算模式,其将人工智能技术和边缘嵌入式设备结合,被广泛应用于物联网系统。智能摄像机是典型的边缘设备之一,它能提供低延迟的视频处理能力,适用于智能家居、智能交通、智能监控等领域。然而,由于摄像机的计算资源有限,传统的行为识别模型难以在本地完成计算任务。为解决这一问题,文中提出了一种基于边缘计算的架构,利用深度学习目标检测算法YOLO v3对视频行为进行识别。在该架构中,智能移动终端负责数据采集和压缩,边缘服务器承担大部分目标检测任务,而检测困难的目标和模型训练则由云服务器负责。为更好地适应边缘设备,本文采用轻量化的神经网络MobileNet替换YOLO v3模型的特征提取模块。经过测试,该架构能有效提取和识别视频中的静态和动态行为,为实现边缘计算环境下低成本、大规模的行为识别提供了有益的参考。     

基于半监督联合神经网络的调制识别算法

针对基于有监督学习通信信号分类算法需要大量有标签训练样本,而在实际场合大多无法满足数量要求的问题,提出利用数据驱动模型的半监督学习方法,通过对比预测编码无监督算法预训练和有监督学习相结合,利用LSTM (long short term memory)和ResNet (residual network)联合神经网络实现小样本自动提取特征,提高小样本条件下信号识别准确率。在真实通信调制信号集上实验表明,半监督联合神经网络结构较以往方法,识别准确率提升3%-20%,小样本条件下性能提高60%,同时在低信噪比条件下识别能力突出,0dB时对11种调制信号平均识别正确率达到92%,具有明显优势。      

基于半监督学习的Web页面内容分类技术研究

针对如何使用标记和未标记数据进行Web分类这一关键性问题,探索一种生成模型和判别模型相互结合的分类器,在无标记训练集中采用最大似然估计,构造一种具有良好分类性能的半监督分类器。利用狄利克雷-多项式混合分布对文本进行建模,提出了适用于半监督学习的混合模型。针对半监督学习的EM算法收敛速度过快,容易陷入局部最优的难题,引入两种智能优化的方法——模拟退火算法和遗传算法进行分析和处理,结合这两种算法形成一种新型智能的半监督分类算法,并且验证了该算法的可行性。     

物联网系统异构数据的过滤及存储模型研究

针对物联网系统中海量的异构数据流影响数据处理效率的问题,提出一种结合RESTful WebService和MongoDB数据库的物联网系统异构数据过滤及存储模型。提出数据点的概念对设备节点的物理量进行抽象描述,通过对数据点存储状态的设置实现数据的过滤,同时采用内嵌文档形式对数据进行存储。该模型经过测试,可实现物联网系统中异构数据的选择性存储,并可有效提高数据库的存储效率及存储利用率。     

一种基于IAT和机器学习的无线设备识别机制

随着物联网(IoT)的快速发展,连接到网络的设备数量急剧增加。设备识别已成为防止恶意攻击和确保网络安全的关键。文章提出了一种基于到达时间(IAT)的设备指纹识别机制,利用IAT生成设备指纹并验证物联网设备,使用网络嗅探器捕获网络流量,提取数据包字段并计算IAT值。通过收集网络数据,建立了基于IAT的数据集,利用监督机器学习算法来识别设备。最后,在模拟和真实环境中评估了提出的设备指纹算法。结果表明,该方法在仿真中的准确率在95%以上,在实际网络中的准确率高达99%。     

基于脉冲神经网络的无线空中联邦学习

联邦学习可以在保护数据隐私的同时,快速地从大量分布式数据中提炼智能模型,已经成为实现边缘人工智能的主流解决方案。然而,现有的联邦学习工作聚焦于在无线网络边缘部署传统的深度神经网络（如卷积神经网络等）,给移动设备带来了巨大的计算负载和能量消耗。因此,提出将一种新的低消耗神经网络——脉冲神经网络,应用于联邦边缘学习中。相较于传统的深度神经网络,它训练所需的计算量和能量消耗更低。同时,为了减少通信开销,在每一轮的联邦学习训练中,提出利用空中计算技术来聚合所有局部模型的参数。整个问题是一个二次约束二次规划问题,为解决该问题,提出了一种基于分枝定界算法的算法。通过在CIFAR10数据集上的大量实验表明,该算法优于现有方法,如半正定松弛等。     

半监督多视图学习在大数据分析中的应用探讨

半监督多视图学习是机器学习领域一种极具潜力的大数据处理和分析方法,该方法能有效处理异构和半监督数据,并能方便地在线化和并行化,适合处理海量数据。该方法在大数据时代的应用前景值得研究人员和业界关注。指出未来需要通过引入其他领域新的研究技术和成果,不断丰富和完善半监督多视图学习的理论体系和算法设计,并在实验和实践中不断检验和探索。     

基于Tri-Training算法的中文电子病历实体识别研究

半监督学习是一种结合监督学习与无监督学习的学习方法,通过利用未标记数据,提高标记数据所建立模型的效果,目的是减少传统的机器学习任务中对大量标注数据的需求、降低人工成本.在中文电子病历实体识别领域,由于缺少足够的标注数据,且医学文本专业性较强、人工标注成本高,可以利用半监督学习方法,提升少量标注数据的训练效果.本文介绍了中文电子病历实体识别的研究背景和半监督学习的相关研究,并应用改进后的Tri-Training算法,提升中文电子病历实体识别模型的效果.     

AccFed:物联网中基于模型分割的联邦学习加速

随着物联网(IoT)的快速发展,人工智能(AI)与边缘计算(EC)的深度融合形成了边缘智能(Edge AI)。但由于IoT设备计算与通信资源有限,并且这些设备通常具有隐私保护的需求,那么在保护隐私的同时,如何加速Edge AI仍然是一个挑战。联邦学习(FL)作为一种新兴的分布式学习范式,在隐私保护和提升模型性能等方面,具有巨大的潜力,但是通信及本地训练效率低。为了解决上述难题,该文提出一种FL加速框架AccFed。首先,根据网络状态的不同,提出一种基于模型分割的端边云协同训练算法,加速FL本地训练;然后,设计一种多轮迭代再聚合的模型聚合算法,加速FL聚合;最后实验结果表明,AccFed在训练精度、收敛速度、训练时间等方面均优于对照组。     

一种基于优化引导的无线联邦学习异步训练机制

针对在数据异构和资源异构的无线网络中联邦学习训练效率低及训练能耗高的问题,面向图像识别任务,提出了基于优化引导的异步联邦学习算法AFedGuide。利用较高样本多样性的客户端模型的引导作用,提高单轮聚合有效性。采用基于训练状态的模型增量异步更新机制,提高模型更新实时性以及信息整合能力。设计基于模型差异性的训练决策,修正优化方向。仿真结果显示,相较于对比算法,AFedGuide的训练时长平均减少67.78%,系统能耗平均节省65.49%,客户端的准确率方差平均减少25.5%,说明在客户端数据异构和资源异构的无线网络下,AFedGuide可以在较短的训练时间内以较小的训练能耗完成训练目标,并维持较高的训练公平性和模型适用性。     

机器学习在物联网虚假用户识别中的运用

随着通信技术的发展,物联网卡和5G技术将得到大规模应用,但存在个别企业利用物联网卡资费便宜、没有实名制等特点从中非法牟利、破坏社会稳定的问题,不利于行业健康发展。因此如何识别虚假用户成为物联网行业研究的重要课题。主要研究了在实时海量的物联网终端数据中,如何运用机器学习模型高效地识别疑似虚假用户。具体来看,通过研究相关数据的特征,采用基于正样本和未标记样本的半监督式学习模型建立实时监控异常行为的模型,达到识别物联网行业中潜在虚假用户的目的。本研究成果体现在节约大量人力物力的同时,可以帮助相关部门、人员及时发现用户的异常行为,采取相应的措施避免产生较大损失,具有广泛的行业应用前景。     

基于相似度加速的自适应聚类联邦学习

为了解决联邦学习过程中数据异质性导致模型性能下降的问题,考虑对联邦模型个性化,提出了一种新的基于相似度加速的自适应聚类联邦学习（ACFL）算法,基于客户端本地更新的几何特性和客户端联邦时的正向反馈实现自适应加速聚类,将客户端划分到不同任务簇,同簇中数据分布相似的客户端协同实现聚类联邦学习（CFL）,从而提升模型性能。该算法不需要先验确定类簇数量和迭代划分客户端,在避免现有基于聚类的联邦算法计算成本过高、收敛速度慢等问题的同时保证了模型性能。在常用数据集上使用深度卷积神经网络验证了ACFL的有效性。结果表明,所提算法性能与聚类联邦学习算法相当,优于传统的迭代联邦聚类算法（IFCA）,且具有更快的收敛速度。     

联邦学习框架实现难点剖析

联邦学习是一种保护机密性的机器算法，可有效的应用于工业物联网。在联邦学习中，服务器协调多个客户端以进行模型学习。区块链在物联网和联邦学习中使用，可以有效的保持数据完整性，并吸引足够的数据和计算资源。机器学习已经发展阶段，大量高质量数据已成为限制发展的因素。在此背景下，对数据交换需求不断增长。传统的机器学习需要集中数据，对于数据孤岛和隐私要求，使各个业务部门无法做到交换数据。为了解决这个问题，联邦学习框架应运而生，本文分析了联邦学习框架的设计应用，分析了现行联邦学习框架存在的实现难点，以便相关人士更好地理解联邦学习框架。     

基于DRL的联邦学习节点选择方法

为了应对设备差异化计算能力及非独立同分布数据对联邦学习性能的影响,高效地调度终端设备完成模型聚合,提出了一种基于深度强化学习的设备节点选择方法.该方法考虑异构节点的训练质量和效率,筛选恶意节点,在提升联邦学习模型准确率的同时,优化训练时延.首先,根据联邦学习中模型分布式训练的特点,构建基于深度强化学习的节点选择系统模型...