基于Skyline计算的社交网络关系数据隐私保护

随着社交软件的流行，越来越多的人加入社交网络产生了大量有价值的信息，其中也包含了许多敏感隐私信息。不同的用户有不同的隐私需求，因此需要不同级别的隐私保护。社交网络中用户隐私泄露等级受社交网络图结构和用户自身威胁等级等诸多因素的影响。针对社交网络数据的个性化隐私保护问题及用户隐私泄露等级评价问题，提出基于Skyline计算的个性化差分隐私保护策略（PDPS）用以发布社交网络关系数据。首先构建用户的属性向量；接着采用基于Skyline计算的方法评定用户的隐私泄露等级，并根据该等级对用户数据集进行分割；然后应用采样机制来实现个性化差分隐私，并对整合后的数据添加噪声；最后对处理后数据进行安全性和实用性的分析并发布数据。在真实数据集上与传统的个性化差分隐私方法（PDP）对比，验证了PDPS算法的隐私保护质量和数据的可用性都优于PDP算法。     

面向用户的支持用户掉线的联邦学习数据隐私保护方法

联邦学习是解决多组织协同训练问题的一种有效手段,但是现有的联邦学习存在不支持用户掉线、模型API泄露敏感信息等问题。文章提出一种面向用户的支持用户掉线的联邦学习数据隐私保护方法,可以在用户掉线和保护的模型参数下训练出一个差分隐私扰动模型。该方法利用联邦学习框架设计了基于深度学习的数据隐私保护模型,主要包含两个执行协议:服务器和用户执行协议。用户在本地训练一个深度模型,在本地模型参数上添加差分隐私扰动,在聚合的参数上添加掉线用户的噪声和,使得联邦学习过程满足(ε,δ)-差分隐私。实验表明,当用户数为50、ε=1时,可以在模型隐私性与可用性之间达到平衡。     

基于云联邦的差分隐私保护动态推荐模型

为提高推荐系统的准确性和个性化水平,同时保护用户的隐私,文章提出一种基于云联邦的差分隐私保护动态推荐模型（P2RCF）。该模型采用注意力机制动态调整融合长短期用户兴趣,增强推荐系统的灵活性,同时引入差分隐私技术和云联邦技术保护用户的隐私信息。文章在公共数据集上进行了实验,实验结果表明,该模型可以在保护用户数据隐私的同时提高推荐的准确性和个性化水平。     

基于差分隐私的分段裁剪联邦学习算法

为解决现有的差分隐私联邦学习算法中使用固定的裁剪阈值和噪声尺度进行训练,从而导致数据隐私泄露、模型精度较低的问题,提出了一种基于差分隐私的分段裁剪联邦学习算法。首先,根据客户端的隐私需求分为隐私需求高和低。对于高隐私需求用户使用自适应裁剪来动态裁剪梯度;而低隐私需求用户则采用比例裁剪。其次根据裁剪后阈值大小自适应地添加噪声尺度。通过实验分析可得,该算法可以更好地保护隐私数据,同时通信代价也低于ADP-FL和DP-FL算法,并且与ADP-FL和DP-FL相比,模型准确率分别提高了2.25%和4.41%。     

联邦学习中的隐私保护技术研究综述

近年来,联邦学习成为解决机器学习中数据孤岛与隐私泄露问题的新思路。联邦学习架构不需要多方共享数据资源,只要参与方在本地数据上训练局部模型,并周期性地将参数上传至服务器来更新全局模型,就可以获得在大规模全局数据上建立的机器学习模型。联邦学习架构具有数据隐私保护的特质,是未来大规模数据机器学习的新方案。然而,该架构的参数交互方式可能导致数据隐私泄露。目前,研究如何加强联邦学习架构中的隐私保护机制已经成为新的热点。从联邦学习中存在的隐私泄露问题出发,探讨了联邦学习中的攻击模型与敏感信息泄露途径,并重点综述了联邦学习中的几类隐私保护技术：以差分隐私为基础的隐私保护技术、以同态加密为基础的隐私保护技术、以安全多方计算（SMC）为基础的隐私保护技术。最后,探讨了联邦学习中隐私保护中的若干关键问题,并展望了未来研究方向。     

基于多目标优化的联邦学习进化算法

传统联邦学习存在通信成本高、结构异构、隐私保护力度不足的问题,为此提出了一种联邦学习进化算法,应用稀疏进化训练算法降低通信成本,结合本地化差分隐私保护参与方隐私,同时采用NSGA-Ⅲ算法优化联邦学习全局模型的网络结构、稀疏性,调整数据可用性与隐私保护之间的关系,实现联邦学习全局模型有效性、通信成本和隐私性的均衡。不稳定通信环境下的实验结果表明,在MNIST和CIFAR-10数据集上,与FNSGA-Ⅲ算法错误率最低的解相比,该算法所得解的通信效率分别提高57.19%和52.17%,并且参与方实现了（3.46,10-4）和（6.52,10-4）-本地化差分隐私。在不严重影响全局模型准确率的前提下,该算法有效降低了联邦学习的通信成本并保护了参与方隐私。     

基于差分隐私的高精度直方图发布方法

针对已有基于分组平抑差分噪声误差的隐私保护直方图发布方法无法有效均衡分组近似误差与差分隐私（DP）拉普拉斯误差,从而造成直方图可用性缺失的问题,提出基于差分隐私的高精度直方图发布方法（HPHP）。首先,采用约束推断方法,在满足DP约束的前提下实现直方图排序;然后,基于有序直方图,采用动态规划分组方法在添加噪声的直方图上生成具有最小总误差的分组;最后,在各组均值上添加拉普拉斯噪声。方便对比分析起见,提出具有理论最小误差的隐私保护直方图发布方法（Optimal）。将HPHP与直接添加噪声的DP方法、AHP方法以及Optimal进行实验分析,实验结果表明：相较于AHP方法,HPHP所发布直方图的Kullback-Leibler散度（KLD）能够降低90%,接近Optimal的效果。因此,在相同的预置条件下,HPHP可以在保证满足DP的前提下发布更高精度的直方图。     

基于差分隐私的高精度直方图发布方法

针对已有基于分组平抑差分噪声误差的隐私保护直方图发布方法无法有效均衡分组近似误差与差分隐私（DP）拉普拉斯误差，从而造成直方图可用性缺失的问题，提出基于差分隐私的高精度直方图发布方法（HPHP）。首先，采用约束推断方法，在满足DP约束的前提下实现直方图排序；然后，基于有序直方图，采用动态规划分组方法在添加噪声的直方图上生成具有最小总误差的分组；最后，在各组均值上添加拉普拉斯噪声。方便对比分析起见，提出具有理论最小误差的隐私保护直方图发布方法（Optimal）。将HPHP与直接添加噪声的DP方法、AHP方法以及Optimal进行实验分析，实验结果表明：相较于AHP方法，HPHP所发布直方图的Kullback-Leibler散度（KLD）能够降低90%，接近Optimal的效果。因此，在相同的预置条件下，HPHP可以在保证满足DP的前提下发布更高精度的直方图。     

基于差分隐私保护的兴趣点推荐算法设计

兴趣点推荐算法收集用户的历史行为记录,根据收集到的记录推测用户偏好,结合用户偏好向用户推荐新的兴趣点。针对传统的兴趣点推荐过程中,用户的隐私信息容易被泄露的问题,利用差分隐私保护机制对用户信息进行保护,防止被恶意攻击。差分隐私保护实现机制主要包括指数机制和拉普拉斯机制,均被使用于地理位置隐私保护算法中。基于差分隐私保护的地理位置隐私保护算法根据数据集中各项记录的相互关系建立位置搜索树;运用指数机制并结合树的结构挑选出经常访问的k项纪录;对这k项记录添加拉普拉斯噪声,发布加噪后的位置搜索树。实验表明,该算法能在推荐效果不变的情况下,有效地保护用户的隐私信息。     

基于梯度选择的轻量化差分隐私保护联邦学习

为了应对机器学习过程中可能出现的用户隐私问题，联邦学习作为首个无需用户上传真实数据、仅上传模型更新的协作式在线学习解决方案，已经受到人们的广泛关注与研究。然而，它要求用户在本地训练且上传的模型更新中仍可能包含敏感信息，从而带来了新的隐私保护问题。与此同时，必须在用户本地进行完整训练的特点也使得联邦学习过程中的运算与通信开销问题成为一项挑战，亟需人们建立一种轻量化的联邦学习架构体系。出于进一步的隐私需求考虑，文中使用了带有差分隐私机制的联邦学习框架。另外，首次提出了基于Fisher信息矩阵的Dropout机制——FisherDropout,用于对联邦学习过程中在客户端训练产生梯度更新的每个维度进行优化选择，从而极大地节约运算成本、通信成本以及隐私预算，建立了一种兼具隐私性与轻量化优势的联邦学习框架。在真实世界数据集上的大量实验验证了该方案的有效性。实验结果表明，相比其他联邦学习框架，FisherDropout机制在最好的情况下可以节约76.8%～83.6%的通信开销以及23.0%～26.2%的运算开销，在差分隐私保护中隐私性与可用性的均衡方面同样具有突出优势。     

边缘计算下基于区块链的隐私保护联邦学习算法

针对在边缘计算（EC）场景下进行的联邦学习（FL）过程中存在的模型参数隐私泄露、不可信服务器可能返回错误的聚合结果以及参与训练的用户可能上传错误或低质量模型参数的问题,提出一种边缘计算下基于区块链的隐私保护联邦学习算法。在训练过程中,每个用户首先使用全局模型参数在其本地数据集上进行训练,并将训练得到的模型参数以秘密共享的方式上传至附近的边缘节点,从而实现对用户本地模型参数的保护;然后由边缘节点在本地计算它们所收到的模型参数的份额之间的欧氏距离,并将结果上传至区块链;最后由区块链负责对模型参数之间的欧氏距离进行重构,进而在去除有毒的更新后,再进行全局模型参数的聚合。通过安全分析证明了所提算法的安全性：即使在部分边缘节点合谋的情况下,用户的本地模型参数信息也不会泄露。同时实验结果表明该算法具有较高的准确率：在投毒样本比例为30%时,它的模型准确率为94.2%,接近没有投毒样本时的联邦平均（FedAvg）算法的模型准确率97.8%,而在投毒样本比例为30%时FedAvg算法的模型准确率下降至68.7%。     

联邦学习及其安全与隐私保护研究综述

联邦学习(FL)是一种新兴的分布式机器学习技术,只需将数据留在本地即可通过各方协作训练一个共有模型,解决了传统机器学习中数据难以采集和隐私安全的问题。随着联邦学习技术的应用和发展,相关研究发现联邦学习仍可能受到各类攻击。为了确保联邦学习的安全性,研究联邦学习中的攻击方式及相应的隐私保护技术显得尤为重要。首先介绍了联邦学习的背景知识及相关定义,总结概括了联邦学习的发展历程及分类;接着阐述了联邦学习的安全三要素,从基于安全来源和基于安全三要素2个角度分类概述了联邦学习中的安全问题及研究进展;然后对隐私保护技术进行分类,结合相关研究应用综述了联邦学习中安全多方计算(SMC)、同态加密(HE)、差分隐私(DP)、可信执行环境(TEE)4种常用隐私保护技术;最后对联邦学习的未来研究方向进行展望。     

融合知识图谱和差分隐私的新闻推荐方法

针对现有融合知识图谱和隐私保护的推荐方法不能有效平衡差分隐私（DP）噪声与推荐系统性能的问题,提出了一种融合知识图谱和隐私保护的新闻推荐方法（KGPNRec）。首先,采用多通道知识感知的卷积神经网络（KCNN）模型融合新闻标题、知识图谱中实体和实体上下文等多维度的特征向量,以提高推荐的准确度;其次,利用注意力机制为不同敏感程度的特征向量添加不同程度的噪声,从而降低噪声对数据分析的影响;然后,对加权的用户特征向量添加统一的拉普拉斯噪声,以保证用户数据的安全性;最后,在真实的新闻数据集上进行实验分析。实验结果表明,与隐私保护的多任务推荐方法（PPMTF）和基于深度知识感知网络（DKN）的推荐方法等相比,所提KGPNRec在保护用户隐私的同时能保证方法的预测性能。在Bing News数据集上,所提方法的曲线下面积（AUC）值、准确率和F1分数与PPMTF相比分别提高了0.019、0.034和0.034。     

基于区块链的隐私保护可信联邦学习模型

基于联邦学习的智能边缘计算在物联网领域有广泛的应用前景.联邦学习是一种将数据存储在参与节点本地的分布式机器学习框架,可以有效保护智能边缘节点的数据隐私.现有的联邦学习通常将模型训练的中间参数上传至参数服务器实现模型聚合,此过程存在两方面问题:一是中间参数的隐私泄露,现有的隐私保护方案通常采用差分隐私给中间参数增加噪声,但过度加噪会降低聚合模型质量;另一方面,节点的自利性与完全自治化的训练过程可能导致恶意节点上传虚假参数或低质量模型,影响聚合过程与模型质量.基于此,本文将联邦学习中心化的参数服务器构建为去中心化的参数聚合链,利用区块链记录模型训练过程的中间参数作为证据,并激励协作节点进行模型参数验证,惩罚上传虚假参数或低质量模型的参与节点,以约束其自利性.此外,将模型质量作为评估依据,实现中间参数隐私噪声的动态调整以及自适应的模型聚合.原型搭建和仿真实验验证了模型的实用性,证实本模型不仅能增强联邦学习参与节点间的互信,而且能防止中间参数隐私泄露,从而实现隐私保护增强的可信联邦学习模型.     

面向联邦算力网络的隐私计算自适激励机制

面对“人-机-物”超融合与万物智能互联远景的现实需求,联邦算力网络充分发挥联邦学习等分布式智能技术的数据聚合优势以及“信息高铁（低熵算力网）”的计算协同优势,高效利用网络中泛在离散部署的海量数据与算力资源,从而最大化满足多种高性能、智能化计算任务需求瓶颈.同时,为建立用户泛在协作计算过程中的全生命周期安全保障和对联邦算力网络的互信任基础,差分隐私等隐私计算技术的引入成为基础性需求之一.因此,在用户自身安全和隐私不受模型逆转、梯度泄露等新兴攻击威胁的前提下,如何对大量的个性化参与用户进行有效激励,促使其积极参与并真实共享本地数据和算力,是实现联邦算力任务实际部署的关键步骤之一.然而,当前联邦算力网络的激励机制大多主要侧重于用户数据评估与公平性等计算性能相关指标研究,缺少对用户隐私需求的关注,无法有效规约隐私噪声注入过程.边缘算力节点出于自身利益考量,往往夸大隐私预算需求,造成严重的冗余精度损失.针对这一问题,本文基于改进的斯塔克伯格主从博弈模型,提出一种面向联邦算力网络的隐私计算自适应激励方法,通过两阶段的动态博弈根据分布式计算过程中隐私注入尺度进行差异化定价激励.基于反向归纳法,参与用...     

面向用电数据的周期敏感度差分隐私保护方法

针对查询函数在用户用电数据上的全局敏感度较大、计算复杂度较高且独立噪声易被滤除的问题,提出了一种基于周期敏感度的差分隐私保护方法（Period Sensitivity Method,PSM）。PSM将用电序列分解为稳定期序列集和活跃期序列集,并根据数据稀疏度和相关性的差异使用两种隐私保护策略。向稳定期序列添加独立同分布噪声,并使用平滑滤波器对加噪后的稳定期序列进行平滑处理;向活跃期序列添加与活跃期序列的自相关函数相同的相关性噪声。理论分析与实验结果表明,PSM满足差分隐私,并且具有更好的可用性和更小的计算复杂度。     

基于差分隐私保护和近邻优化的微博僵尸用户检测

僵尸用户导致的数据造假现象严重影响了微博的健康发展。针对采用基于密度的DPC算法进行僵尸用户检测时存在泄露正常用户隐私信息,以及在密度分布不均匀的微博数据中检测结果不理想的问题,提出一种基于差分隐私技术和近邻优化的僵尸用户检测方法。该方法将满足差分隐私的Laplace噪声添加至检测过程中,以实现基于隐私保护的僵尸用户检测。并通过引入反向k近邻的概念重新定义样本密度,从而更准确地反映样本点的局部信息,提高在非均匀分布的数据中僵尸用户检测的准确率。实验结果表明,该方法在实现正常用户隐私保护的同时,僵尸用户检测的准确率提高约4百分点。     

基于博弈论优化的高效联邦学习方案

随着网络信息技术与互联网的发展,数据的隐私与安全问题亟待解决,联邦学习作为一种新型的分布式隐私保护机器学习技术应运而生。针对在联邦学习过程中存在个人数据信息泄露的隐私安全问题,结合Micali-Rabin随机向量表示技术,基于博弈论提出一种具有隐私保护的高效联邦学习方案。根据博弈论激励机制,构建联邦学习博弈模型,通过设置合适的效用函数和激励机制保证参与者的合理行为偏好,同时结合Micali-Rabin随机向量表示技术设计高效联邦学习方案。基于Pedersen承诺机制实现高效联邦学习的隐私保护,以保证联邦学习各参与者的利益和数据隐私,并且全局达到帕累托最优状态。在数字分类数据集上的实验结果表明,该方案不仅提高联邦学习的通信效率,而且在通信开销和数据精确度之间实现平衡。     

差分隐私保护下的数据分级发布机制

隐私保护技术解决了数据发布过程中的隐私泄露问题,然而当前的数据发布技术大多只面向查询用户发布同一隐私保护级别的数据,并未考虑查询用户等级不同的情况。在所提出的满足差分隐私的数据分级发布机制中,数据发布方利用隐私预算参数不同的拉普拉斯机制对数据查询结果进行隐私保护处理,实现了输出隐私保护程度不同的查询结果。在依据付费或权限对查询用户分级后,数据发布方为等级较高（低）的查询用户发布隐私保护程度较低（高）的查询结果,使得查询用户可使用错误率较低（高）的数据,达到了隐私数据分级发布的效果。实验结果与安全性分析表明该机制在抵抗背景知识攻击的同时还可有效地实现输出错误率不同的分级查询结果。     

一种结合差分隐私的仿真数据生成方案

机器学习任务中通常将真实数据直接作为训练集会造成隐私泄露的风险，针对这一问题，本文以研究序列对抗网络模型（Seq GAN,Sequence Generative adversarial networks）结合差分隐私（DP,Differential privacy）来保护真实数据的方法上，提出了基于差分隐私保护的仿真数据生成方案。首先，对获取的数据采用满足差分隐私的加噪策略获得噪声数据，从源头防范原始数据在生成模型训练过程中的隐私风险；其次，提出了一种基于GRU的改进SeqGAN模型：GRU-SeqGAN，来提高生成的噪声仿真数据可用性；最后，以高校学业预警为背景来生成安全的学生仿真数据作为完成下游任务的训练集。实验证明，仿真数据原理上保障了隐私安全的同时，GRUSeqGAN生成的噪声仿真数据相比SeqGAN可用性更高，模型训练效率更高。