基于区块链的工业物联网联邦学习系统架构

联邦学习是一种新兴的保护隐私的机器学习算法,它正在广泛应用于工业物联网(IIoT)中,在联邦学习中中心服务器协调多个客户端(如物联网设备)在本地训练模型,最后融合成一个全局模型.最近,区块链在工业物联网和联邦学习中得到了利用,以用来维护数据完整性和实现激励机制,吸引足够的客户数据和计算资源用于培训.然而,基于区块链的联邦学习系统缺乏系统的架构设计来支持系统化开发.此外,目前的解决方案没有考虑激励机制设计和区块链的可扩展性问题.因此,在本文中,我们提出了一个应用于工业物联网中基于区块链的联邦学习系统架构,在此架构中,每个客户端托管一个用于本地模型训练的服务器,并管理一个完整的区块链节点.为了实现客户端数据的可验证完整性,同时考虑到区块链的可扩展问题,因此每个客户端服务器会定期创建一个默克尔树,其中每个叶节点表示一个客户端数据记录,然后将树的根节点存储在区块链上.为了鼓励客户积极参与联邦学习,基于本地模型培训中使用的客户数据集大小,设计了一种链上激励机制,准确、及时地计算出每个客户的贡献.在实验中实现了提出的架构的原型,并对其可行性、准确性和性能进行了评估.结果表明,该方法维护了数据的完整性,并具有良好的预测精度和性能.     

区块链数据隐私保护:研究现状与展望

区块链作为一种分布式账本,集成了分布式共识、对等(peer to peer,P2P)网络、智能合约及密码学等技术,解决了"去中心化"的信任问题.区块链凭借其不可篡改、去中心化等特性,对社会各个领域产生了深远影响,掀起了区块链技术的研究与应用热潮.区块链技术应用场景十分广泛,其独特优势能够解决许多行业中的痛点.但是,区块链技术在应用过程中面临着数据隐私泄露的问题,极大地限制了区块链的应用范围和领域,区块链数据隐私保护方案已成为研究者关注的重点问题之一.基于数据隐私保护的基本概念,详细分析了区块链各技术要点面临的隐私泄露问题,探索并总结了当前区块链数据隐私保护的解决方案.最后,结合目前区块链数据隐私保护研究的最新进展,对未来区块链数据隐私保护的研究方向进行了展望.     

区块链隐私保护研究与实践综述

基于区块链的分布式账本，集成了非对称加密体系、P2P网络、共识算法、智能合约等多种技术，保证事务记录的一致性和不可篡改性.但是，区块链技术中的账本共享机制也带来了隐私威胁，用户身份、账户地址、交易内容等信息的隐私保护成为研究的关注点.讨论了区块链系统中的隐私威胁；着重分析了地址混淆、信息隐藏、通道隔离等3类隐私保护机制，详细介绍各类机制的原理、模型、特征及实现技术；最后探讨了实际应用中，区块链隐私保护技术在系统性能和可扩展性方面的挑战和发展方向.     

联邦学习研究综述

联邦学习由于能够在多方数据源聚合的场景下协同训练全局最优模型,近年来迅速成为安全机器学习领域的研究热点。首先,归纳了联邦学习定义、算法原理和分类;接着,深入分析了其面临的主要威胁与挑战;然后,重点对通信效率、隐私安全、信任与激励机制3个方向的典型研究方案对比分析,指出其优缺点;最后,结合边缘计算、区块链、5G等新兴技术对联邦学习的应用前景及研究热点进行展望。     

基于联邦学习和区块链技术的TAP规则处理系统

触发执行编程（Trigger-Action Programming,TAP）为用户联动物联网（Internet of Things,IoT）设备提供了便捷的编程范式。利用机器学习对用户已编辑的TAP规则进行分析,实现TAP规则推荐和生成等功能可以提升用户体验。但TAP规则可能包含个人隐私信息,用户对上传和分享TAP信息存在顾虑。文章提出了基于联邦学习和区块链技术的TAP规则处理系统,用户可在本地进行TAP模型训练,无需上传隐私数据。为解决集中式服务器单点故障和防范恶意模型参数上传的问题,文章利用区块链技术改进集中式TAP联邦学习架构。用户将本地模型更新的累积梯度传输给区块链中的矿工,进行异常识别和交叉验证。矿工委员会整合正常用户提供的累积梯度,得到的全局模型作为一个新区块的数据,链接到区块链上,供用户下载使用。文章采用轻量级无监督的非负矩阵分解方法验证了提出的基于联邦学习和区块链的分布式学习架构的有效性。实验证明该联邦学习架构能有效保护TAP数据中的隐私,并且区块链中的矿工能够很好地识别恶意模型参数,确保了模型的稳定性。     

基于区块链的联邦学习研究进展

联邦学习（FL）是一种能够实现用户数据不出本地的新型隐私保护学习范式。随着相关研究工作的不断深入,FL的单点故障及可信性缺乏等不足之处逐渐受到重视。近年来,起源于比特币的区块链技术取得迅速发展,它开创性地构建了去中心化的信任,为FL的发展提供了一种新的可能。对现有基于区块链的FL框架进行对比分析,深入讨论区块链与FL相结合所解决的FL重要问题,并阐述了基于区块链的FL技术在物联网（IoT）、工业物联网（IIoT）、车联网（IoV）、医疗服务等多个领域的应用前景。     

融合联邦学习与区块链的医疗数据共享方案

随着医疗大数据的发展,医疗数据安全、个人隐私保护等问题日益突出。为在高效利用各个医疗机构医疗数据的同时保护病人的隐私,提出一种将联邦学习与区块链相结合的医疗数据共享与隐私保护方案。使用联邦学习对多源医疗数据进行建模,将训练的模型参数和医疗机构的声誉值存储于区块链上,并利用区块链对贡献高质量数据的医院进行奖励。通过分析数据源质量对联邦学习算法性能的影响,提出一种基于双重主观逻辑模型的声誉值计算算法来改进联邦学习的精确度,使用改进的声誉机制保证在数据共享中筛选数据源的效率,并利用区块链和联邦学习技术,提高共享效率和实现隐私保护。此外,利用Tensorflow搭建分布式平台并对算法性能进行对比分析,实验结果表明,所提方案能够筛选出高质量的数据源,减少边缘节点与恶意节点的交互时间,即使当声誉值在0.5以上时,也能达到0.857的学习精确度。     

基于区块链技术的身份认证研究综述

区块链技术由中本聪于2008年的白皮书中提出。作为点对点网络中的一种去中心化和分布式公共账本技术,区块链应用链接块结构来验证和存储数据,用可信共识机制来同步数据变化,为身份认证的实现提供了一种可信的技术方案。与传统集中式认证方式相比,基于区块链技术的身份认证可以在保护数据真实可靠、节点隐私安全的同时实现数据共享。文中概述了基于区块链技术的身份认证研究现状及进展。首先,从区块链的技术架构、分类以及共识算法系统地介绍了区块链的一些基本理论;然后重点介绍了口令认证技术、生物识别技术、PKI技术以及其结合区块链应用的身份认证目前的研究现状;接着从物联网、车联网、智能电网、金融、医疗等应用方面介绍了基于区块链的身份认证技术的研究进展;最后分析了区块链身份认证技术目前存在的问题,并展望了未来的发展趋势。     

区块链技术在物联网工程中的应用研究

针对物联网工程设备管理难度大、工程维护成本高以及用户隐私易泄露等问题,研究了区块链技术的原理、技术特点,分析了区块链技术在物联网工程中的应用优势。建立基于区块链技术的物联网工程架构,提高设备管理效率,保障用户隐私安全,为物联网防伪溯源等应用提供技术支持,并对区块链技术与物联网工程相结合的发展前景进行展望。     

区块链密码学隐私保护技术综述

近年来,数据隐私问题日益明显,如何在区块链中实现有效的隐私保护是研究热点。针对区块链在隐私保护上的研究现状与发展态势,阐述了区块链在交易地址、预言机以及智能合约上的隐私保护方法,归纳出区块链在基本要素防护上的隐私策略。基于国内外高水平文献梳理分析了特殊密码学原语、后量子密码学两类区块链密码学防护方法及使用场景,综述其研究思路,并给出属性基加密、特殊数据签名、同态加密、安全多方计算、零知识证明、格密码等适用于区块链隐私保护的密码学技术的优缺点,得出区块链应用的隐私防护离不开密码学技术支持的结论。针对区块链隐私保护技术,从基本要素防护和密码学防护两个方面进行了分析,总结出仅从区块链的应用层、合约层出发难以有效解决隐私问题,还需要利用各类密码学技术根据需求和应用场景的不同进行优势互补。根据区块链隐私加密技术发展现状,从区块链基本要素防护和基于密码学的防护展开叙述。从内生性基本要素安全和外生性密码学隐私安全两个角度出发,先研究基本要素隐私防护,再深入分析区块链隐私密码学防护技术。在对应防护措施中以技术联合实际应用发展,考虑技术时效性的同时,衡量其隐私处理方面的优劣势以及潜在价值。展望了未来区块链隐私保护技术的发展方向,说明了需要重点解决的问题。     

联邦学习安全防御与隐私保护技术研究

联邦学习(federated learning, FL)在多个参与方不直接进行数据传输的前提下共同完成模型训练,充分发挥各方数据价值;然而,由于联邦学习的固有缺陷以及存储和通信的安全问题,其在实际应用场景中仍面临多种安全与隐私威胁。首先阐述了FL面临的安全攻击和隐私攻击;然后针对这两类典型攻击分别总结了最新的安全防御机制和隐私保护手段,包括投毒攻击防御、后门攻击防御、搭便车攻击防御、女巫攻击防御以及基于安全计算与差分隐私的防御手段。通过对联邦学习的现有风险和相应防御手段的系统梳理,展望了联邦学习未来的研究挑战与发展方向。     

基于多层次区块链的医疗数据共享模型

基于区块链的医疗数据共享能够有效地提升医疗数据的可信性,但是面临着链上存储容量有限、缺乏数据隐私保护等问题。针对这些问题,提出一个基于多层次区块链的医疗数据共享模型。对个人医疗数据进行加密后上传到链下的分布式存储中,并将数据索引信息上传到链上,利用多层次区块链协同技术和链上链下混合存储方式提高存储效率;引入差分隐私保护联邦学习中模型参数,提升数据的隐私安全。实验结果表明,相对于以太坊而言,该方案机构存储开销平均下降了60%左右,用户存储开销平均下降30%左右。     

联邦学习中的隐私保护技术研究综述

近年来,联邦学习成为解决机器学习中数据孤岛与隐私泄露问题的新思路。联邦学习架构不需要多方共享数据资源,只要参与方在本地数据上训练局部模型,并周期性地将参数上传至服务器来更新全局模型,就可以获得在大规模全局数据上建立的机器学习模型。联邦学习架构具有数据隐私保护的特质,是未来大规模数据机器学习的新方案。然而,该架构的参数交互方式可能导致数据隐私泄露。目前,研究如何加强联邦学习架构中的隐私保护机制已经成为新的热点。从联邦学习中存在的隐私泄露问题出发,探讨了联邦学习中的攻击模型与敏感信息泄露途径,并重点综述了联邦学习中的几类隐私保护技术：以差分隐私为基础的隐私保护技术、以同态加密为基础的隐私保护技术、以安全多方计算（SMC）为基础的隐私保护技术。最后,探讨了联邦学习中隐私保护中的若干关键问题,并展望了未来研究方向。     

基于博弈论优化的高效联邦学习方案

随着网络信息技术与互联网的发展,数据的隐私与安全问题亟待解决,联邦学习作为一种新型的分布式隐私保护机器学习技术应运而生。针对在联邦学习过程中存在个人数据信息泄露的隐私安全问题,结合Micali-Rabin随机向量表示技术,基于博弈论提出一种具有隐私保护的高效联邦学习方案。根据博弈论激励机制,构建联邦学习博弈模型,通过设置合适的效用函数和激励机制保证参与者的合理行为偏好,同时结合Micali-Rabin随机向量表示技术设计高效联邦学习方案。基于Pedersen承诺机制实现高效联邦学习的隐私保护,以保证联邦学习各参与者的利益和数据隐私,并且全局达到帕累托最优状态。在数字分类数据集上的实验结果表明,该方案不仅提高联邦学习的通信效率,而且在通信开销和数据精确度之间实现平衡。     

开启联邦学习的个性化时代：隐私、安全与效率的平衡探索

人工智能为公共和国防安全的发展和应用提供了巨大的机遇,然而国防安全数据包含了敏感的军事、情报和战略信息,一旦泄露或被滥用,可能对国家安全造成严重威胁,如何确保国防安全数据的隐私保护成为一项重要挑战。个性化联邦学习是近年来发展起来的一种新型的机器学习方法,它旨在通过将分布式的数据在本地进行训练和更新,从而实现在保护数据隐私的前提下提高本地模型的准确性和鲁棒性。与传统的中心化机器学习方法不同,个性化联邦学习允许不同数据拥有者之间共享模型的信息,而不是数据本身。这种方法已经在医疗、金融、物联网等领域得到了广泛的应用。本文从全局模型个性化和本地模型个性化两个方面分别介绍了个性化联邦学习的基本原理以及研究现状,总结了各个方法的优缺点,并讨论了现有方法的评价指标和常用数据集,最后展望了它在未来的发展前景。     

联邦学习综述：概念、技术、应用与挑战

在强调数据确权以及隐私保护的时代背景下,联邦学习作为一种新的机器学习范式,能够在不暴露各方数据的前提下达到解决数据孤岛以及隐私保护问题的目的。目前,基于联邦学习的建模方法已成为主流并且获得了很好的效果,因此对联邦学习的概念、技术、应用和挑战进行总结与分析具有重要的意义。首先,阐述了机器学习的发展历程以及联邦学习出现的必然性,并给出联邦学习的定义与分类;其次,介绍并分析了目前业界认可的三种联邦学习方法：横向联邦学习、纵向联邦学习和联邦迁移学习;然后,针对联邦学习的隐私保护问题,归纳并总结了目前常见的隐私保护技术;此外,还对联邦学习的现有主流开源框架进行了介绍与对比,同时给出了联邦学习的应用场景;最后,展望了联邦学习所面临的挑战和未来的研究方向。     

Cross-source Data Error Detection Approach Based on Federated Learning

With the emergence and accumulation of massive data, data governance has become an important manner to improve data quality and maximize data value. Specifically, data error detection is a crucial step to improve data quality, which has attracted wide attention from both industry and academia. At present, various detection methods tailored for a single data source have been proposed. However, in many real-world scenarios, data are not centrally stored or managed. Data from different sources but highly correlated can be employed to improve the accuracy of error detection. Unfortunately, due to privacy/security issues, cross-source data are often not allowed to be integrated centrally. To this end, this paper proposes FeLeDetect, a cross-source data error detection method based on federated learning, so as to improve the error detection accuracy by using cross-source data information on the premise of data privacy. First, a Graph-based Error Detection Model, namely GEDM, is presented to capture sufficient data features from each data source. On this basis, the paper then designs a federated co-training algorithm, namely FCTA, to collaboratively train GEDM by using different cross-source data without privacy leakage of data. Furthermore, the paper designs a series of optimization methods to reduce communication costs during federated learning and manual labeling efforts. Finally, extensive experiments on three real-world datasets demonstrate that (1) GEDM achieves an average improvement of 10.3% and 25.2% in terms of the $F1$ score in the local and centralized scenarios, respectively, outperforming all the five existing state-of-the-art methods for error detection; (2) the F1 score of the error detection by FeLeDetect is 23.2% on average higher than that by GEDM in the local scenario.     

基于自编码神经网络的半监督联邦学习模型

联邦学习是一种新型的分布式机器学习方法,可以使得各客户端在不分享隐私数据的前提下共同建立共享模型。然而现有的联邦学习框架仅适用于监督学习,即默认所有客户端数据均带有标签。由于现实中标记数据难以获取,联邦学习模型训练的前提假设通常很难成立。为解决此问题,对原有联邦学习进行扩展,提出了一种基于自编码神经网络的半监督联邦学习模型ANN-SSFL,该模型允许无标记的客户端参与联邦学习。无标记数据利用自编码神经网络学习得到可被分类的潜在特征,从而在联邦学习中提供无标记数据的特征信息来作出自身贡献。在MNIST数据集上进行实验,实验结果表明,提出的ANN-SSFL模型实际可行,在监督客户端数量不变的情况下,增加无监督客户端可以提高原有联邦学习精度。     

一种面向电能量数据的联邦学习可靠性激励机制

联邦学习解决了数据安全日益受到重视条件下的数据互用难题,但是传统联邦学习缺少鼓励和吸引数据拥有方参与到联邦学习中的激励机制,联邦学习审核机制的缺失给恶意节点进行破坏攻击提供了可能性.针对这个问题,文中提出基于区块链技术的面向电能量数据的可靠的联邦学习激励机制.该方法从对数据参与方的训练参与进行奖励和对数据参与方的数据可...