融合联邦学习与区块链的医疗数据共享方案

随着医疗大数据的发展,医疗数据安全、个人隐私保护等问题日益突出。为在高效利用各个医疗机构医疗数据的同时保护病人的隐私,提出一种将联邦学习与区块链相结合的医疗数据共享与隐私保护方案。使用联邦学习对多源医疗数据进行建模,将训练的模型参数和医疗机构的声誉值存储于区块链上,并利用区块链对贡献高质量数据的医院进行奖励。通过分析数据源质量对联邦学习算法性能的影响,提出一种基于双重主观逻辑模型的声誉值计算算法来改进联邦学习的精确度,使用改进的声誉机制保证在数据共享中筛选数据源的效率,并利用区块链和联邦学习技术,提高共享效率和实现隐私保护。此外,利用Tensorflow搭建分布式平台并对算法性能进行对比分析,实验结果表明,所提方案能够筛选出高质量的数据源,减少边缘节点与恶意节点的交互时间,即使当声誉值在0.5以上时,也能达到0.857的学习精确度。     

基于区块链的工业物联网联邦学习系统架构

联邦学习是一种新兴的保护隐私的机器学习算法,它正在广泛应用于工业物联网(IIoT)中,在联邦学习中中心服务器协调多个客户端(如物联网设备)在本地训练模型,最后融合成一个全局模型.最近,区块链在工业物联网和联邦学习中得到了利用,以用来维护数据完整性和实现激励机制,吸引足够的客户数据和计算资源用于培训.然而,基于区块链的联邦学习系统缺乏系统的架构设计来支持系统化开发.此外,目前的解决方案没有考虑激励机制设计和区块链的可扩展性问题.因此,在本文中,我们提出了一个应用于工业物联网中基于区块链的联邦学习系统架构,在此架构中,每个客户端托管一个用于本地模型训练的服务器,并管理一个完整的区块链节点.为了实现客户端数据的可验证完整性,同时考虑到区块链的可扩展问题,因此每个客户端服务器会定期创建一个默克尔树,其中每个叶节点表示一个客户端数据记录,然后将树的根节点存储在区块链上.为了鼓励客户积极参与联邦学习,基于本地模型培训中使用的客户数据集大小,设计了一种链上激励机制,准确、及时地计算出每个客户的贡献.在实验中实现了提出的架构的原型,并对其可行性、准确性和性能进行了评估.结果表明,该方法维护了数据的完整性,并具有良好的预测精度和性能.     

基于联邦学习和区块链技术的TAP规则处理系统

触发执行编程（Trigger-Action Programming,TAP）为用户联动物联网（Internet of Things,IoT）设备提供了便捷的编程范式。利用机器学习对用户已编辑的TAP规则进行分析,实现TAP规则推荐和生成等功能可以提升用户体验。但TAP规则可能包含个人隐私信息,用户对上传和分享TAP信息存在顾虑。文章提出了基于联邦学习和区块链技术的TAP规则处理系统,用户可在本地进行TAP模型训练,无需上传隐私数据。为解决集中式服务器单点故障和防范恶意模型参数上传的问题,文章利用区块链技术改进集中式TAP联邦学习架构。用户将本地模型更新的累积梯度传输给区块链中的矿工,进行异常识别和交叉验证。矿工委员会整合正常用户提供的累积梯度,得到的全局模型作为一个新区块的数据,链接到区块链上,供用户下载使用。文章采用轻量级无监督的非负矩阵分解方法验证了提出的基于联邦学习和区块链的分布式学习架构的有效性。实验证明该联邦学习架构能有效保护TAP数据中的隐私,并且区块链中的矿工能够很好地识别恶意模型参数,确保了模型的稳定性。     

基于区块链的联邦学习技术综述

联邦学习与区块链在应用领域、架构特点、隐私保护机制等方面具有很强的共性、互补性和契合度,近年来,一些研究与应用将两种技术结合起来,在数据隐私保护强度、数据共享激励机制、计算性能等方面取得了不少进展.为了帮助研究者掌握联邦学习结合区块链的最新研究成果与发展方向,对基于区块链的联邦学习进行了综述.首先,介绍了联邦学习技术的相关研究和存在的不足;其次,详细讨论了当前基于区块链的联邦学习的相关研究,重点从架构特点、资源分配、安全机制、激励机制等方面进行了分析;最后,总结了基于区块链的联邦学习应用在人工智能领域的未来发展趋势和需要关注的问题.     

基于隐私保护联邦学习与区块链的图像分类方案

传统的中心化图像分类方法受制于数据隐私问题和计算资源限制,无法满足实际需求。现有的联邦学习框架依赖中心服务器,存在单点故障和数据中毒攻击等安全挑战。为解决这些问题,提出了一种面向隐私保护联邦学习与区块链的图像分类方案,通过将联邦学习与区块链技术相结合,实现在分布式环境下进行图像分类任务的可靠性和安全性。图像分类模型通过联邦学习进行训练,并上传至区块链网络进行验证和共识;在分类阶段,模型通过加权组合得到最终分类结果。实验结果表明,该方案在确保用户隐私的同时提高了图像分类的准确度,本方法为解决图像分类中的数据隐私和安全问题提供了一种有效途径,并为提高分类准确性作出了积极探索。     

边缘计算下基于区块链的隐私保护联邦学习算法

针对在边缘计算（EC）场景下进行的联邦学习（FL）过程中存在的模型参数隐私泄露、不可信服务器可能返回错误的聚合结果以及参与训练的用户可能上传错误或低质量模型参数的问题,提出一种边缘计算下基于区块链的隐私保护联邦学习算法。在训练过程中,每个用户首先使用全局模型参数在其本地数据集上进行训练,并将训练得到的模型参数以秘密共享的方式上传至附近的边缘节点,从而实现对用户本地模型参数的保护;然后由边缘节点在本地计算它们所收到的模型参数的份额之间的欧氏距离,并将结果上传至区块链;最后由区块链负责对模型参数之间的欧氏距离进行重构,进而在去除有毒的更新后,再进行全局模型参数的聚合。通过安全分析证明了所提算法的安全性：即使在部分边缘节点合谋的情况下,用户的本地模型参数信息也不会泄露。同时实验结果表明该算法具有较高的准确率：在投毒样本比例为30%时,它的模型准确率为94.2%,接近没有投毒样本时的联邦平均（FedAvg）算法的模型准确率97.8%,而在投毒样本比例为30%时FedAvg算法的模型准确率下降至68.7%。     

融合区块链与联邦学习的网络入侵检测算法

为了保护网络用户的数据隐私,并提升入侵检测在多变小样本数据环境下的分类效果,文章采用联邦学习机制来解决网络数据存放在各独立设备并且互不共享的问题.文章提出一种融合区块链的联邦学习机制(BFL),采用区块链网络替代中央服务器构建新型联邦学习模式.结合BFL机制,设计面向轻量级网络设备的入侵检测算法(BFL-IDS),克服...     

基于联邦增量学习的工业物联网数据共享方法

针对工业物联网（IIOT）新增数据量大、工厂子端数据量不均衡的问题,提出了一种基于联邦增量学习的IIOT数据共享方法（FIL-IIOT）。首先,将行业联合模型下发到工厂子端作为本地初始模型;然后,提出联邦优选子端算法来动态调整参与子集;最后,通过联邦增量学习算法计算出工厂子端的增量加权,从而使新增状态数据与原行业联合模型快速融合。实验结果表明,在美国凯斯西储大学（CWRU）轴承故障数据集上,所提FIL-IIOT使轴承故障诊断精度达到93.15%,比联邦均值（FedAvg）算法和无增量公式的FIL-IIOT（FIL-IIOT-NI）方法分别提高了6.18个百分点和2.59个百分点,满足了基于工业增量数据的行业联合模型持续优化的需求。     

基于区块链构建安全去中心化的联邦学习方案

联邦学习甫一问世便得到了广泛的关注,被认为是一种具有广阔前景的分布式机器学习范式.然而,传统联邦学习方案基于中央服务器的集中式设计,在效率和可扩展性上存在不足.此外,集中式设计需要有可信的中央节点协调参与者完成训练,可能导致信任和可靠性的问题,例如中央服务器被操控或是出现单点故障.为了解决上述问题,相关领域的研究人员提出了基于区块链的去中心化联邦学习方案.去中心化联邦学习修补了传统集中式联邦学习的缺陷,但与此同时也引入了全新的攻击面.具体而言,由于区块链将网络中节点发起的全部事务保存在一个公开共享的数字账本,所有区块链节点都可以获取联邦学习参与者每轮的本地训练模型副本.这一现象严重地侵害了参与者的数据隐私和自身利益.在上述困境的驱动下,本文提出了一种安全去中心化联邦学习的可行方案,能够同时解决联邦学习参与者的数据机密性问题和学习公平性问题.区别于此前的研究工作,还提出了一种基于区块链的联邦学习的生产–消费模型,用于在模型安全聚合过程中审查参与者的本地行为,防止出现参与者不劳而获或是虚假训练的情况,在此基础上本文提出APoS共识机制,提供一种激励与审查机制,确保参与者在联邦学习的过程中倾...     

区块链赋能多边缘安全联邦学习模型研究

联邦学习是一种革命性的深度学习模式,可以保护用户不暴露其私有数据,同时合作训练全局模型。然而某些客户端的恶意行为会导致单点故障以及隐私泄露的风险,使得联邦学习的安全性面临极大挑战。为了解决上述安全问题,在现有研究的基础上提出了一种区块链赋能多边缘联邦学习模型。首先,通过融合区块链替代中心服务器来增强模型训练过程的稳定性与可靠性;其次,提出了基于边缘计算的共识机制,以实现更加高效的共识流程;此外,将声誉评估融入到联邦学习训练流程中,能够透明地衡量每一个参与者的贡献值,规范工作节点的行为。最后通过对比实验证明,所提方案在恶意环境下仍然能够保持较高的准确度,与传统的联邦学习算法相比,该方案能够抵抗更高的恶意比例。     

一种面向电能量数据的联邦学习可靠性激励机制

联邦学习解决了数据安全日益受到重视条件下的数据互用难题,但是传统联邦学习缺少鼓励和吸引数据拥有方参与到联邦学习中的激励机制,联邦学习审核机制的缺失给恶意节点进行破坏攻击提供了可能性.针对这个问题,文中提出基于区块链技术的面向电能量数据的可靠的联邦学习激励机制.该方法从对数据参与方的训练参与进行奖励和对数据参与方的数据可...     

改进的联邦加权平均算法

针对基于层次分析改进的联邦平均算法在计算其数据质量时存在主观因素的影响,提出改进的联邦加权平均算法,从数据质量的角度来处理多源数据。首先,将训练样本划分为预训练样本与预测试样本;然后,使用初始全局模型在预训练数据上的精度作为该数据源的质量权重;最后,将质量权重引入到联邦平均算法中,重新进行全局模型中权重更新。仿真结果表明,在均等分割的数据集与非均等分割的数据集上,改进的联邦加权平均算法训练的模型与传统联邦平均算法训练的模型相比,准确率最高分别提升了1.59%和1.24%;改进的联邦加权平均算法训练的模型与传统整合多方数据再训练的模型相比,虽然准确率略有下降,但数据与模型的安全性有所提升。     

基于深度神经网络和联邦学习的网络入侵检测

在高速网络环境中,对复杂多样的网络入侵进行快速准确的检测成为目前亟待解决的问题。联邦学习作为一种新兴技术,在缩短入侵检测时间与提高数据安全性上取得了很好的效果,同时深度神经网络（DNN）在处理海量数据时具有较好的并行计算能力。结合联邦学习框架并将基于自动编码器优化的DNN作为通用模型,建立一种网络入侵检测模型DFC-NID。对初始数据进行符号数据预处理与归一化处理,使用自动编码器技术对DNN实现特征降维,以得到DNN通用模型模块。利用联邦学习特性使得多个参与方使用通用模型参与训练,训练完成后将参数上传至中心服务器并不断迭代更新通用模型,通过Softmax分类器得到最终的分类预测结果。实验结果表明,DFC-NID模型在NSL-KDD与KDDCup99数据集上的准确率平均达到94.1%,与决策树、随机森林等常用入侵检测模型相比,准确率平均提升3.1%,在攻击类DoS与Probe上,DFC-NID的准确率分别达到99.8%与98.7%。此外,相较不使用联邦学习的NO-FC模型,DFC-NID减少了83.9%的训练时间。     

基于信誉评估机制和区块链的移动网络联邦学习方案

联邦学习是一种新兴的分布式机器学习技术,通过将训练任务下放到用户端,仅将训练得到的模型参数发送给服务端,整个过程并不需要参与方直接共享数据,从而很大限度上规避了隐私问题.然而,这种学习模式中移动用户间没有预先建立信任关系,用户之间进行合作训练时会存在安全隐患.针对上述问题,提出一种基于信誉评估机制和区块链的移动网络联邦...     

基于GB-AEnet-FL网络的物联网设备异常检测

针对物联网场景下,传统异常检测方法在海量不均衡数据中检测准确率低、数据异构导致模型泛化能力差等问题,提出了基于联邦学习的对抗双编码异常检测网络 （GB-AEnet-FL）的物联网设备异常检测算法。首先,提出了一种基于异常数据的主动特征分布学习算法,主动学习数据的潜在特征分布,通过数据重构扩充异常数据,均衡正负样本比例。其次,在潜在特征层引入了对抗训练机制并添加一致性增强约束和收缩约束,提高特征提取的精度。最后,设计了一种基于动态模型选择的联邦学习算法,比较局部模型与全局模型的置信度评分,动态选择部分联邦体参与,加速模型的聚合,在一定程度上也保护了用户隐私。在四个不同数据集上进行验证,结果显示,所提算法在检测准确度优于传统算法,且泛化能力得到相应提升。     

基于联邦集成算法对多源数据安全性的研究

联邦学习是隐私保护领域关注的热点内容,存在难以集中本地模型参数与因梯度更新造成数据泄露的问题。提出了一种联邦集成算法,使用256 B的密钥将不同类型的初始化模型传输至各数据源并训练,使用不同的集成算法来整合本地模型参数,使数据与模型的安全性得到很大提升。仿真结果表明,对于中小数据集而言,使用Adaboost集成算法得到的模型准确率达到92.505%,标准差约为8.6×10-8,对于大数据集而言,采用stacking集成算法得到的模型的准确率达到92.495%,标准差约为8.85×10-8,与传统整合多方数据集中训练模型的方法相比,在保证准确率的同时兼顾了数据与模型的安全性。     

FedSharing：一种双区块链激励驱动的数据分享联邦学习框架

联邦学习（federated learning,FL）能够在不丢失数据所有权的同时依托隐私保护技术实现安全的分布式模型训练,但是其也具有中心化、缺乏公平激励等问题。区块链（blockchain）本质上来说是一种分布式数据库,具有去中心化、信任公证等特点,但是其也具有网络吞吐量小、资源浪费等关键问题。针对上述技术方法的问题与特点,提出了一种双区块链激励驱动的数据分享联邦学习框架,称为FedSharing。分别构建主链与侧链：主链使用交易封装联邦学习中交换的全局参数,同时结合链上智能合约和链下扩容技术建立梯度状态通道;侧链提出了一种新型的修正Shapley值工作量证明算法（PoFS）,修正传统Shapley值计算中成员平等性前提,将联邦学习中成员合作历史诚信度这一影响联盟利益的因素纳入考量。测试结果表明：梯度状态通道较智能合约去中心化方案每轮次时间平均降低4~5 s,PoFS共识下激励分配比例更符合公平实际。