支持数据隐私保护的联邦深度神经网络模型研究

近些年, 人工智能技术已经在图像分类、目标检测、语义分割、智能控制以及故障诊断等领域得到广泛应用, 然而某些行业(例如医疗行业)由于数据隐私的原因, 多个研究机构或组织难以共享数据训练联邦学习模型. 因此, 将同态加密(Homomorphic encryption, HE)算法技术引入到联邦学习中, 提出一种支持数据隐私保护的联邦深度神经网络模型(Privacy-preserving federated deep neural network, PFDNN). 该模型通过对其权重参数的同态加密保证了数据的隐私性, 并极大地减少了训练过程中的加解密计算量. 通过理论分析与实验验证, 所提出的联邦深度神经网络模型具有较好的安全性, 并且能够保证较高的精度.     

支持K-近邻搜索的移动社交网络隐私保护方案

聚焦移动社交网络特征和用户隐私保护的多元需求,本文首次提出一种支持K-近邻搜索的移动社交网络隐私保护方案.方案首先构建融合细粒度访问控制的位置隐私安全模型,在此模型下设计面向移动终端的轻量级位置加密算法,并基于同态加密机制以及安全多方计算思想设计位置密文重加密协议以及K-近邻搜索协议,从而构建安全可信的协同搜索架构,保...     

支持隐私保护训练的高效同态神经网络

针对基于同态加密的隐私保护神经网络中存在的计算效率低和精度不足问题,提出一种三方协作下支持隐私保护训练的高效同态神经网络（HNN）。首先,为降低同态加密中密文乘密文运算产生的计算开销,结合秘密共享思想设计了一种安全快速的乘法协议,将密文乘密文运算转换为复杂度较低的明文乘密文运算;其次,为避免构建HNN时产生的密文多项式多轮迭代,并提高非线性计算精度,研究了一种安全的非线性计算方法,从而对添加随机掩码的混淆明文消息执行相应的非线性算子;最后,对所设计协议的安全性、正确性及效率进行了理论分析,并对HNN的有效性及优越性进行了实验验证。实验结果表明,相较于双服务器方案PPML,HNN的训练速度提高了18.9倍,模型精度提高了1.4个百分点。     

面向分类任务的隐私保护协作学习技术

随着相关法律法规的发布和人们隐私意识的觉醒,隐私保护要求不断提高。针对分类任务场景,提出了一种隐私性与效用性并重的面向分类任务的隐私保护协作技术(PCTC)。在隐私安全方面,将同态加密和差分隐私相结合,并设计了一种安全聚合机制,实现更加健壮的隐私保护;在效用性方面,引入信息熵的计算因子对标签可信度进行度量,降低标注噪声对模型性能的影响。最后对所提出的方案进行了安全性分析,并在公开数据集上进行了实验验证。结果表明PCTC在保证数据隐私安全的同时大幅度提升了模型性能,具有较为广阔的应用前景。     

联邦学习中的隐私保护技术

联邦学习是顺应大数据时代和人工智能技术发展而兴起的一种协调多个参与方共同训练模型的机制.它允许各个参与方将数据保留在本地,在打破数据孤岛的同时保证参与方对数据的控制权.然而联邦学习引入了大量参数交换过程,不仅和集中式训练一样受到模型使用者的威胁,还可能受到来自不可信的参与设备的攻击,因此亟需更强的隐私手段保护各方持有的...     

分布式决策树挖掘的隐私保护研究

数据挖掘中的隐私保护是试图在不精确访问原始数据值的前提下,挖掘出准确的模式与规则.围绕分布式决策树挖掘的隐私保护问题展开研究,提出一种基于同态加密技术的决策树挖掘算法,使各参与方在不共享其隐私信息的前提下达到集中式挖掘的效果.理论分析和实验结果表明,该算法具有很好的隐私性、准确性和适用性.     

边缘计算下的轻量级联邦学习隐私保护方案

随着物联网和大数据技术的高速发展,以传统云计算模式为代表的集中式学习效率低下,且易受到单点攻击、共谋攻击、中间人攻击等一系列攻击手段,造成数据安全的隐患。边缘计算模式使得分布式联邦学习成为了可能,然而,联邦学习虽然能够保证数据在本地的安全和隐私,但是也面临众多安全威胁,如梯度泄露攻击,此外,效率问题也是联邦学习的痛点所在。为了保障边缘计算场景下的模型训练安全,提出了一种边缘计算下的轻量级联邦学习隐私保护方案(Lightweight Federated Learning Privacy Protection Scheme Under Edge Computing, LFLPP)。首先,提出一种云-边-端分层的联邦学习框架;其次,对不同层进行隐私保护;最后,提出一种周期性更新策略,极大地提高了收敛速度。使用乳腺癌肿瘤数据集和CIFAR10数据集在LR模型和Resnet18残差模型上进行训练和测试,同时使用CIFAR10数据集与FedAvg和PPFLEC(Privacy-Preserving Federated Learning for Internet of Medical Things ...     

基于Voronoi-R*的隐私保护路网k近邻查询方法

针对已有的保护位置隐私路网k近邻查询依赖可信匿名服务器造成的安全隐患,以及服务器端全局路网索引利用效率低的缺陷,提出基于路网局部索引机制的保护位置隐私路网近邻查询方法.查询客户端通过与LBS服务器的一轮通信获取局部路网信息,生成查询位置所在路段满足l-路段多样性的匿名查询序列,并将匿名查询序列提交LBS服务器,从而避免保护位置隐私查询对可信第三方服务器的依赖.在LBS服务器端,提出基于路网基本单元划分的分段式近邻查询处理策略,对频繁查询请求路网基本单元,构建基于路网泰森多边形和R^*树的局部Vor-R^*索引结构,实现基于索引的快速查找.对非频繁请求路网基本单元,采用常规路网扩张查询处理.有效降低索引存储规模和基于全局索引进行无差异近邻查询的访问代价,在保证查询结果正确的同时,提高了LBS服务器端k近邻查询处理效率.理论分析和实验结果表明,所提方法在兼顾查询准确性的同时,有效地提高了查询处理效率.     

联邦学习中的隐私保护技术研究综述

近年来,联邦学习成为解决机器学习中数据孤岛与隐私泄露问题的新思路。联邦学习架构不需要多方共享数据资源,只要参与方在本地数据上训练局部模型,并周期性地将参数上传至服务器来更新全局模型,就可以获得在大规模全局数据上建立的机器学习模型。联邦学习架构具有数据隐私保护的特质,是未来大规模数据机器学习的新方案。然而,该架构的参数交互方式可能导致数据隐私泄露。目前,研究如何加强联邦学习架构中的隐私保护机制已经成为新的热点。从联邦学习中存在的隐私泄露问题出发,探讨了联邦学习中的攻击模型与敏感信息泄露途径,并重点综述了联邦学习中的几类隐私保护技术：以差分隐私为基础的隐私保护技术、以同态加密为基础的隐私保护技术、以安全多方计算（SMC）为基础的隐私保护技术。最后,探讨了联邦学习中隐私保护中的若干关键问题,并展望了未来研究方向。     

多数据源下机器学习的隐私保护研究

在多数据源的情况下,隐私保护机器学习是一个具有重要现实意义的研究课题,直接影响着人工智能在现实社会中的发展和推广。目前,已有许多致力于解决机器学习算法中隐私问题的方案,文章阐述并分析了四种常见的隐私保护技术,它们包括同态加密、秘密共享、乱码电路和差分隐私。介绍了近年来一种流行的联合学习解决方案框架—联邦学习,并对其存在的不足进行了讨论。基于对现有技术和方案的分析,文章提出了一种适用于多数据源场景的隐私保护方案,方案具有良好的安全性、健壮性和可校验性三个特点。     

联邦学习下高效的隐私保护安全聚合方案

联邦学习能使用户不共享原始数据的情况下, 允许多个用户协同训练模型. 为了确保用户本地数据集不被泄露, 现有的工作提出安全聚合协议. 但现有的多数方案存在未考虑全局模型隐私、系统计算资源与通信资源耗费较大等问题. 针对上述问题, 提出了联邦学习下高效的强安全的隐私保护安全聚合方案. 该方案利用对称同态加密技术实现了用户模型与全局模型的隐私保护, 利用秘密共享技术解决了用户掉线问题. 同时, 该方案利用Pedersen承诺来验证云服务器返回聚合结果的正确性, 利用BLS签名保护了用户与云服务器交互过程中的数据完整性. 此外, 安全性分析表明该方案是可证明安全的; 性能分析表明该方案是高效且实用的, 适用于大规模用户的联邦学习系统.     

一种基于k近邻图的稀有类检测算法

稀有类检测的目标是为无类别标签的数据集中的每个类,特别是仅含少量数据样本的稀有类,寻找到至少一个数据样本以证明数据集中存在这些类.该技术在金融欺诈检测及网络入侵检测等现实问题中具有广泛的应用场景.但是,现有的稀有类检测算法往往存在以下问题：（1）时间复杂度比较高;或（2）对原始数据集需要一定的先验知识,如数据集中各类数据样本所占比例等.提出了一种基于k邻近图的无先验快速稀有类检测算法KRED,通过利用稀有类数据样本在小范围内紧密分布所造成的与周边数据分布的不一致性来定位稀有类.为此,KRED将给定数据集转化为k邻近图,并计算图中各顶点入度和边长的变化.最后,将以上变化最大的顶点对应的数据样本作为稀有类的候选样本.实验结果表明：KRED有效提高了发现数据集中各个类的效率,明显缩短了算法运行所需时间.     

同态加密的硬件卸载及其在隐私保护计算中的应用

同态加密可以满足计算外包、数据共享、数据交易等应用对隐私保护计算的需要,但是同态加密的高计算开销限制了它在实际生产中的应用.本文从硬件卸载的角度解决同态加密的高性能计算问题,基于Intel QAT加速卡实现了一个半同态加密的高性能异步卸载框架QHCS.QHCS通过重构同态加密应用的软件栈来实现高效的异步卸载,并通过引入...     

隐私保护集合交集计算协议

隐私保护集合交集计算属于安全多方计算领域的特定应用问题,具有重要的研究价值和广泛的应用范围。在信息高速发展的时代,对该问题的研究满足了人们在日常生活中享受各种便利的同时隐私得到保护的需求。文章考虑的是两个参与者隐私保护集合交集计算的情形,首先将集合表示成多项式,把求解两个集合的交集问题转化为求解两个多项式的最大公因式问题;在此基础上,根据多项式的数学性质和Pailliar同态加密算法提出一种保护隐私的两方集合交集计算协议,并给出协议的正确性和安全性分析;最后通过与相关文献的比较分析,得出文章协议的计算复杂度和通信复杂度较低的结论,且能够很好地保护参与方集合的元素个数。     

面向复杂时间序列的k近邻分类器

基于时序对齐的k近邻分类器是时间序列分类的基准算法.在实际应用中,同类复杂时间序列经常展现出不同的全局特性.由于传统时序对齐方法平等对待实例特征并忽略其局部辨别特性,因此难以准确、高效地处理此类具有挑战性的时间序列.为了有效对齐并分类复杂时间序列,提出了一种具有辨别性的局部加权动态时间扭曲方法,用于发现同类复杂时间序列的共同点以及异类序列间的不同点.同时,通过迭代学习时间序列对齐点的正例集与负例集,获取每条复杂时间序列中每个特征的辨别性权重.在多个人工和真实数据集上的实验结果表明了基于局部加权对齐策略的k近邻分类器所具有的可解释性与有效性,并将所提出方法扩展至多变量时间序列分类问题中.     

Evaluation of k-Nearest Neighbor classifier performance for direct marketing

Text data mining is a process of exploratory data analysis. Classification maps data into predefined groups or classes. It is often referred to as supervised learning because the classes are determined before examining the data. This paper describes the proposed k-Nearest Neighbor classifier that performs comparative cross-validation for the existing k-Nearest Neighbor classifier. The feasibility and the benefits of the proposed approach are demonstrated by means of data mining problem: direct marketing. Direct marketing has become an important application field of data mining. Comparative cross-validation involves estimation of accuracy by either stratified k-fold cross-validation or equivalent repeated random subsampling. While the proposed method may have a high bias; its performance (accuracy estimation in our case) may be poor due to a high variance. Thus the accuracy with the proposed k-Nearest Neighbor classifier was less than that with the existing k-Nearest Neighbor classifier, and the smaller the improvement in runtime the larger the improvement in precision and recall. In our proposed method we have determined the classification accuracy and prediction accuracy where the prediction accuracy is comparatively high.     

一种障碍空间数据库中的连续反k近邻查询方法

随着智能移动设备和无线定位技术的飞速发展,使用基于位置服务应用的用户越来越多.特别地,不同于传统的针对固定位置的快照查询,移动的用户往往基于移动轨迹发出连续的查询.在真实和虚拟的空间环境中,障碍物的影响都是广泛存在的,障碍空间内的查询处理技术得到了越来越多的关注,其中,障碍空间内的连续反k近邻查询处理有着重要的应用.对障碍空间中的连续反k近邻查询问题进行了定义和系统的研究,通过定义控制点和分割点,提出了针对该问题的处理框架.进一步地,提出了一系列的过滤和求精算法,包括剪枝数据集、获取障碍物、剪枝和计算控制点和更新结果集等处理策略.基于多种数据集对所提出的算法进行了实验评估.与针对每个数据点进行k 近邻计算的基本方法相比,这些方法可以大幅度提高查询处理的CPU 和I/O 效率.     

基于拉普拉斯特征映射的分类器设计

引用监督学习策略,定义类内和类间不同的距离度量方式,以替代原来的欧式距离度量,实现对拉普拉斯特征映射算法的改进。将降维之后的结果作为BP神经网络的输入,实现分类。实验结果表明,基于改进的拉普拉斯特征映射算法降维之后的结果,减少了神经网络的训练时间,具有较好的分类正确率。     

智慧城市中隐私保护性广播加密算法

现代化城市公共部门和市民社交网络会产生大量的数据,这些海量数据的使用和处理主要依赖现代化信息通信技术和网络技术。为了保护用户隐私和数据安全,在数据传输过程中采用加密算法对数据进行加密,广播加密是多用户环境下最有效的方法。传统算法中,基于身份的广播加密密文可以广播到一组接收方,接收方的身份包含在密文中,当多个接收方解密密文时会泄露其他用户的身份信息。为了保护接收方用户之间的身份隐私,提出一种基于身份的隐私保护性广播加密算法,实现了接收方用户之间的匿名性。此外,考虑了如何从匿名广播的密文中撤销指定目标的接收者,根据数据访问控制策略决定用户的数据访问权限,为用户提供密文撤销操作,撤销过程不泄露明文和接收者的身份信息。在随机预言模型下,基于BDH困难性问题证明了该算法的安全性,并通过实际数据集的仿真实验验证了算法的有效性和可行性。