基于区块链隐私增强的联邦学习可验证安全存储方案

在传统的联邦学习系统中,中央服务器在接收到参与方上传的本地模型后,没有对本地模型的合法性进行验证,可能导致后续模型不可靠即模型存储可靠性问题。针对该问题提出一种基于区块链隐私增强的联邦学习可验证安全存储方案(blockchain-based federated learning for model verified security storage, BFL4MVSS)。利用区块链技术,提出验证者投票机制,保证存储模型的可靠性;引入一种奖励机制,允许系统在一定数量的恶意节点存在下正常运行。采用PyTorch框架在MNIST数据集上进行仿真验证,结果表明,其能够在15%的恶意节点的参与下确保模型具有良好的表现。     

FedSharing：一种双区块链激励驱动的数据分享联邦学习框架

联邦学习（federated learning,FL）能够在不丢失数据所有权的同时依托隐私保护技术实现安全的分布式模型训练,但是其也具有中心化、缺乏公平激励等问题。区块链（blockchain）本质上来说是一种分布式数据库,具有去中心化、信任公证等特点,但是其也具有网络吞吐量小、资源浪费等关键问题。针对上述技术方法的问题与特点,提出了一种双区块链激励驱动的数据分享联邦学习框架,称为FedSharing。分别构建主链与侧链：主链使用交易封装联邦学习中交换的全局参数,同时结合链上智能合约和链下扩容技术建立梯度状态通道;侧链提出了一种新型的修正Shapley值工作量证明算法（PoFS）,修正传统Shapley值计算中成员平等性前提,将联邦学习中成员合作历史诚信度这一影响联盟利益的因素纳入考量。测试结果表明：梯度状态通道较智能合约去中心化方案每轮次时间平均降低4~5 s,PoFS共识下激励分配比例更符合公平实际。     

存储容量可扩展区块链系统的高效查询模型

区块链技术是目前计算机领域的研究热点,其实现了去中心化,并且能够安全地存储数字信息,有效降低现实经济的信任成本.提出一种区块链存储容量可扩展模型的高效查询方法——ElasticQM.此查询模型由用户层、查询层、存储层和数据层这4个模块组成.在用户层,模型将查询结果缓存,加快再次查询相同数据时的查询速度;在查询层,模型采用容量可扩展区块链模型的全局查询优化算法,增加了查询超级节点、查询验证节点和查询叶子节点这3种节点角色,提高了查询效率;在存储层,模型改进了区块链的容量可扩展模型ElasticChain的数据存储过程,实现了存储的可扩展性,并减少了占用的存储空间;在数据层,提出一种基于B-M树的区块链存储结构,并给出了B-M树的建立算法和基于B-M树的查找算法,基于B-M树的存储结构,区块链会在进行块内局部查找时提高区块链的查询速度.最后,通过在多节点不同数据量的区块链中查询的实验结果表明,ElasticQM查询方法具有高效的查询效率.     

联邦学习安全防御与隐私保护技术研究

联邦学习(federated learning, FL)在多个参与方不直接进行数据传输的前提下共同完成模型训练,充分发挥各方数据价值;然而,由于联邦学习的固有缺陷以及存储和通信的安全问题,其在实际应用场景中仍面临多种安全与隐私威胁。首先阐述了FL面临的安全攻击和隐私攻击;然后针对这两类典型攻击分别总结了最新的安全防御机制和隐私保护手段,包括投毒攻击防御、后门攻击防御、搭便车攻击防御、女巫攻击防御以及基于安全计算与差分隐私的防御手段。通过对联邦学习的现有风险和相应防御手段的系统梳理,展望了联邦学习未来的研究挑战与发展方向。     

基于区块链的工业物联网联邦学习系统架构

联邦学习是一种新兴的保护隐私的机器学习算法,它正在广泛应用于工业物联网(IIoT)中,在联邦学习中中心服务器协调多个客户端(如物联网设备)在本地训练模型,最后融合成一个全局模型.最近,区块链在工业物联网和联邦学习中得到了利用,以用来维护数据完整性和实现激励机制,吸引足够的客户数据和计算资源用于培训.然而,基于区块链的联邦学习系统缺乏系统的架构设计来支持系统化开发.此外,目前的解决方案没有考虑激励机制设计和区块链的可扩展性问题.因此,在本文中,我们提出了一个应用于工业物联网中基于区块链的联邦学习系统架构,在此架构中,每个客户端托管一个用于本地模型训练的服务器,并管理一个完整的区块链节点.为了实现客户端数据的可验证完整性,同时考虑到区块链的可扩展问题,因此每个客户端服务器会定期创建一个默克尔树,其中每个叶节点表示一个客户端数据记录,然后将树的根节点存储在区块链上.为了鼓励客户积极参与联邦学习,基于本地模型培训中使用的客户数据集大小,设计了一种链上激励机制,准确、及时地计算出每个客户的贡献.在实验中实现了提出的架构的原型,并对其可行性、准确性和性能进行了评估.结果表明,该方法维护了数据的完整性,并具有良好的预测精度和性能.     

基于区块链构建安全去中心化的联邦学习方案

联邦学习甫一问世便得到了广泛的关注,被认为是一种具有广阔前景的分布式机器学习范式.然而,传统联邦学习方案基于中央服务器的集中式设计,在效率和可扩展性上存在不足.此外,集中式设计需要有可信的中央节点协调参与者完成训练,可能导致信任和可靠性的问题,例如中央服务器被操控或是出现单点故障.为了解决上述问题,相关领域的研究人员提出了基于区块链的去中心化联邦学习方案.去中心化联邦学习修补了传统集中式联邦学习的缺陷,但与此同时也引入了全新的攻击面.具体而言,由于区块链将网络中节点发起的全部事务保存在一个公开共享的数字账本,所有区块链节点都可以获取联邦学习参与者每轮的本地训练模型副本.这一现象严重地侵害了参与者的数据隐私和自身利益.在上述困境的驱动下,本文提出了一种安全去中心化联邦学习的可行方案,能够同时解决联邦学习参与者的数据机密性问题和学习公平性问题.区别于此前的研究工作,还提出了一种基于区块链的联邦学习的生产–消费模型,用于在模型安全聚合过程中审查参与者的本地行为,防止出现参与者不劳而获或是虚假训练的情况,在此基础上本文提出APoS共识机制,提供一种激励与审查机制,确保参与者在联邦学习的过程中倾...     

高稳定性区块链节点存储数据防篡改仿真

与一般的区块链相比，高稳定性区块链中的节点存储数据更容易受到防篡改威胁，为了保证数据的安全性，进行了高稳定性区块链节点存储数据防篡改仿真研究。通过滑动窗口分段将区块链节点存储的数据分割成多个子序列，通过判断子序列的变化趋势给出特征函数，利用字符串的方式表示区块链节点存储数据的时间序列组成，基于变步长计算，通过匹配测度的计算提取出区块链节点存储数据的关键特征。通过用户信息的加密生成用户密钥，得到区块链节点存储数据的密文，完成数据加密。引入水印防篡改算法，分割嵌入数据中的水印信息，通过水印信息与二进制信息之间的转换，结合矩阵置乱实现区块链节点存储数据防篡改。实验结果表明，本文方法能够有效防止区块链节点存储的数据被篡改，保证数据的隐蔽性和安全性。     

融合联邦学习与区块链的医疗数据共享方案

随着医疗大数据的发展,医疗数据安全、个人隐私保护等问题日益突出。为在高效利用各个医疗机构医疗数据的同时保护病人的隐私,提出一种将联邦学习与区块链相结合的医疗数据共享与隐私保护方案。使用联邦学习对多源医疗数据进行建模,将训练的模型参数和医疗机构的声誉值存储于区块链上,并利用区块链对贡献高质量数据的医院进行奖励。通过分析数据源质量对联邦学习算法性能的影响,提出一种基于双重主观逻辑模型的声誉值计算算法来改进联邦学习的精确度,使用改进的声誉机制保证在数据共享中筛选数据源的效率,并利用区块链和联邦学习技术,提高共享效率和实现隐私保护。此外,利用Tensorflow搭建分布式平台并对算法性能进行对比分析,实验结果表明,所提方案能够筛选出高质量的数据源,减少边缘节点与恶意节点的交互时间,即使当声誉值在0.5以上时,也能达到0.857的学习精确度。     

基于门限秘密共享的区块链分片存储模型

针对存储原因所导致的区块链技术难以在大型业务场景应用的问题,提出了一种基于门限秘密共享的区块链分片存储模型。首先由共识节点使用改进的Shamir门限,将要上链的交易数据进行分片处理;其次,共识节点基于分片数据构造不同的区块,并分发给现存于区块链网络中的其他节点进行存储;最后,当节点要读取交易数据时,在从分发到交易数据分片的n个节点中的k个节点请求数据,并利用拉格朗日插值算法进行交易数据的恢复。实验结果表明,该模型在保证了上链数据安全性、可靠性、隐私性的同时,每个节点的数据存储量约为传统存储方法的1/（k-1）,从而有利于区块链技术在大型业务场景的应用。     

基于区块链的隐私保护可信联邦学习模型

基于联邦学习的智能边缘计算在物联网领域有广泛的应用前景.联邦学习是一种将数据存储在参与节点本地的分布式机器学习框架,可以有效保护智能边缘节点的数据隐私.现有的联邦学习通常将模型训练的中间参数上传至参数服务器实现模型聚合,此过程存在两方面问题:一是中间参数的隐私泄露,现有的隐私保护方案通常采用差分隐私给中间参数增加噪声,但过度加噪会降低聚合模型质量;另一方面,节点的自利性与完全自治化的训练过程可能导致恶意节点上传虚假参数或低质量模型,影响聚合过程与模型质量.基于此,本文将联邦学习中心化的参数服务器构建为去中心化的参数聚合链,利用区块链记录模型训练过程的中间参数作为证据,并激励协作节点进行模型参数验证,惩罚上传虚假参数或低质量模型的参与节点,以约束其自利性.此外,将模型质量作为评估依据,实现中间参数隐私噪声的动态调整以及自适应的模型聚合.原型搭建和仿真实验验证了模型的实用性,证实本模型不仅能增强联邦学习参与节点间的互信,而且能防止中间参数隐私泄露,从而实现隐私保护增强的可信联邦学习模型.     

基于区块链的分布式离链存储框架设计

随着分布式存储技术的不断发展,越来越多的企业、政府机构用户将数据保存在云端,实现大数据的分布式存储和数据资源共享。区块链技术的去中心化、可追溯、不可篡改、数据一致性等特点,为解决云存储存在的隐私和安全挑战问题带来了新的契机。文章提出了一种基于区块链的分布式离链存储框架。在区块链中部署区块节点和存储节点,其中区块节点用于执行底层区块链运行机制,存储节点用于存储数据和文件,通过将区块和存储功能区分开实现了离链存储,保证了区块链的运行效率。此外,文章还提出了一个使用基于经典数据占有机制的全局交互验证方法,以确保数据文件的分布、可靠和可证明的存储。用户向区块链中添加区块(存储文件)时会触发公平挑战机制的审核机制,从而隐式验证离链存储的所有文件是否完整。     

MAP-Vis:基于MAP模型的时空点状大数据可视化方案

目的 对于大数据挖掘，可视分析是一种非常重要的研究手段，有助于快速、直观地理解分析大数据蕴含的价值信息。但因其海量、时空、高维等特征，大数据可视化存在内存消耗大、渲染延迟高、可视效果差等问题。针对上述问题，以海量时空点数据为例，采用预处理可视化方案，设计并实现了一套高可扩展的分布式可视分析框架。方法 借鉴瓦片金字塔模型提出一种多维度聚合金字塔模型（MAP），将瓦片金字塔的2D空间层级聚合扩展到时间/空间/属性多维度，同时支持时间、空间、属性的多维层级聚合。进而以Spark集群作为并行预处理工具，以HBase分布式数据库持久化存储MAP模型数据，实现了一套开源的分布式可视化框架（MAP-Vis）。结果 以纽约出租车数据集为例，本研究实验证明能够支持时间/空间/属性多尺度、多维度联动的交互式可视化，同时具有高可扩展的预处理能力和存储能力。结论 在分布式处理能力支持下，系统能实现亚秒级的查询响应，达到良好的交互式可视化效果，证明MAP-Vis是一种有效的大数据交互式可视化方案。     

基于属性基加密的区块链数据共享模型

为确保当前区块链数据共享机制中的隐私保护及数据安全,受属性基加密技术能够有效实现云上数据安全共享与访问控制的启发,提出了基于属性基加密的区块链数据共享模型.该模型基于Waters所提出的密文策略属性基加密(CP-ABE)方案,首先,在私钥生成阶段,数据使用方委托多个节点参与联合计算并存储部分私钥,其他数据使用者则不可获取完整密钥,从而提升了私钥的生成效率;其次,为防止密钥滥用及算法中参数的管理,定义了一种密钥传递事务数据结构,实现了CP-ABE算法的可追责性;最后,通过构建具有链上链下协同计算与存储功能的共享链,实现了属性基加密与区块链系统的有效融合.安全性分析和实验仿真结果表明,所提模型在密钥生成计算效率和实际业务场景方面有一定的优化,满足工程应用的需要.     

云存储中基于MHT的动态数据完整性验证与恢复方案

针对云服务器上存储数据完整性验证过程中的高通信开销和动态数据验证问题,提出一种基于Merkle哈希树(MHT)的动态数据完整性验证与恢复方案。首先,基于MHT构建了一种新型分层认证数据结构,将数据块的每个副本块组织成副本子树,以此大幅降低多副本更新验证的通信开销。然后,在数据验证中,融入了对服务器安全索引信息的认证,以此避免服务器攻击。最后,当发现数据损坏时,通过二分查找和Shamir秘密共享机制来恢复数据。实验结果表明,该方案在验证过程中能有效降低计算和通讯开销,并能够很好地支持数据的动态操作。     

基于Paillier加密的数据多副本持有性验证方案

云存储服务中,用户将数据存储在不可信的云储存服务器上,为检查云存储中服务提供商(CSP)是否按协议完整地存储了用户的所有数据副本,提出一种 支持对数据副本进行动态操作 的基于Paillier加密的数据多副本持有性验证方案, 即DMR-PDP方案。该方案为实现多副本检查,将文件块以文件副本形式存储在云服务器上,将各副本编号与文件连接后利用Paillier密码系统生成副本文件以防止CSP各服务器的合谋攻击。利用BLS签名实现对所有副本的批量验证。将文件标志和块位置信息添加到数据块标签中,以保证本方案的安全性,支持对文件的动态更新操作。安全性分析和仿真实验结果表明,该方案在安全性、通信和计算开销方面的性能优于其他文献提出的方案,极大地提高了文件存储和验证的效率,减少了计算开销。     

基于GlusterFS的分布式数据完整性验证系统

云存储为用户提供了弹性而可靠的数据存储方案,使得用户可以在任何时刻通过网络访问云服务器存取数据,大大降低了用户自己维护数据的成本,但也引发了一系列安全问题.对于云存储而言,采取审计措施用于检查数据的完整性至关重要,但已有的大多数云数据完整性审计机制只是通过模拟实验证明了方案具有高效性,并未结合具体云存储场景进行分析实验...     

元数据在P2P网络下查询改进中的应用

针对P2P网络中由于查询条件的弱语义和粗粒度、检索效率低下以及网络带宽消耗的问题提出了一个基于元数据的高效查询算法,通过在任意P2P数据管理层的基础上建立一个统一的元数据层,各个节点自动抽取共享数据的详细的元数据信息,每个节点不仅保存本地共享数据的元数据信息,而且存储访问过的最感兴趣的数据的元数据信息,并使用数据库对元数据信息进行高效管理,从而使所有节点都具有自我学习的能力,充分利用元数据信息提高检索效率。     

联邦学习可视化:挑战与框架

联邦学习是一种保证数据隐私安全的分布式机器学习方案.与传统的机器学习的可解释性问题类似,如何对联邦学习进行解释是一个新的挑战.文中面向联邦学习方法的分布式与隐私安全性的特性,探讨联邦学习的可视化框架设计.传统的可视化任务需要使用大量的数据,而联邦学习的隐私性决定了其无法获取用户数据.因此,可用的数据主要来自服务器端的训练过程,包括服务器端模型参数和用户训练状态.基于对联邦学习可解释性的挑战的分析,文中综合考虑用户、服务器端和联邦学习模型3个方面设计可视化框架,其包括经典联邦学习模型、数据中心、数据处理和可视分析4个模块.最后,介绍并分析了2个已有的可视化案例,对未来通用的联邦学习可视分析方法提出了展望.     

区块链增强型轻量级节点模型

区块链固有的链式结构意味着其数据量无休止地线性增长,随着时间的积累,对单个节点的存储造成很大的压力,对整个系统的存储空间造成极大的浪费。在比特币白皮书中提出的SPV（Simplified Payment Verification）节点模型,大大减少节点对存储空间的需求,但是,它使得全节点的个数减少、压力增大,减弱了整个系统的去中心化程度,存在拒绝服务攻击、女巫攻击等安全隐患。通过对比特币区块数据进行分析,提出一种功能完整的增强型轻量级节点模型ESPV（Enhanced SPV）。ESPV把区块分为新区块和旧区块,对它们采用不同的存储管理策略。新区块以全部副本（每个节点保存一份）的方式保存以用于交易验证,用较少的存储空间代价让ESPV具有交易验证（挖矿）功能;旧区块分片存储在网络的节点中,通过分级区块分区路由表访问,在保证数据可用性和可靠性的前提下减少系统对存储空间的浪费。ESPV节点具有完整的节点功能,从而保证区块链系统的去中心化特性,增强其安全性和稳定性。实验结果表明,ESPV节点具有80%以上的交易验证率,在数据量和增长量上这些节点仅为全节点的10%,ESPV的数据可用性和可靠性有保障,适用于系统的整个生命周期。     

基于联盟链的物联网动态数据溯源机制

物联网动态数据安全保护的重点是拒绝非授权用户的篡改,实现对物联网动态数据操作的过程留痕和追踪溯源.为解决大量物联网设备产生的动态数据安全存储与共享问题,建立了物联网动态数据存储安全问题的数学模型,提出了用于实现操作实体多维授权与动态数据存储的双联盟链结构,设计了基于验证节点列表的共识算法,给出了一种基于联盟链的动态数据溯源机制优化方案.进行了分析及实验,物联网操作实体个数小于106,操作实体授权特征值位数取64时,攻击者篡改授权的概率几乎为0,验证了所提方案具有较强的抵抗双重输出攻击、重放攻击及隐藏攻击的能力,能够有效杜绝攻击者对物联网动态数据的篡改、伪造等非授权访问操作,具有较好的应用价值.