差分隐私保护约束下集成分类算法的研究

机器学习中的隐私保护问题是目前信息安全领域的研究热点之一。针对隐私保护下的分类问题,该文提出一种基于差分隐私保护的AdaBoost集成分类算法：CART-DPsAdaBoost （CART-Differential Privacy structure of AdaBoost）。算法在Boosting过程中结合Bagging的基本思想以增加采样本的多样性,在基于随机子空间算法的特征扰动中利用指数机制选择连续特征分裂点,利用Gini指数选择最佳离散特征,构造CART提升树作为集成学习的基分类器,并根据Laplace机制添加噪声。在整个算法过程中合理分配隐私预算以满足差分隐私保护需求。在实验中分析不同树深度下隐私水平对集成分类模型的影响并得出最优树深值和隐私预算域。相比同类算法,该方法无需对数据进行离散化预处理,用Adult、Census Income两个数据集实验结果表明,模型在兼顾隐私性和可用性的同时具有较好的分类准确率。此外,样本扰动和特征扰动两类随机性方案的引入能有效处理大规模、高维度数据分类问题。     

面向去中心化双重差分隐私的谱图卷积神经网络

图卷积神经网络是一种面向多任务且应用广泛的深度学习模型。文章研究了去中心化场景中谱域图卷积神经网络节点关系信息和节点特征信息的保护问题,提出双重差分隐私保护机制下的谱图卷积神经网络DDPSGCN。在给定隐私预算总额的条件下对拉普拉斯机制和高斯机制进行隐私预算分配,并通过隐私损失和Chernoff界理论进行参数估计。在两大分布噪声扰动作用基于不同图数据信息的隐私保护下,文章提出基于区块链去中心化差分隐私处理机制的图卷积神经网络训练算法。实验表明文章采用的去中心化双重差分隐私机制,能够在半监督节点分类任务准确率下降1%以内的前提下确保原始数据隐私不泄露,相较于单隐私保护机制有着更高的隐私保护效率和更强的对抗攻击鲁棒性。     

不完全数据集的差分隐私保护决策树研究

主要研究在对不完全数据集进行决策树分析时,如何加入差分隐私保护技术。首先简单介绍了差分隐私ID3算法和差分隐私随机森林决策树算法;然后针对上述算法存在的缺陷和不足进行了修改,提出指数机制的差分隐私随机森林决策树算法;最后对于不完全数据集提出了一种新的WP(Weight Partition)缺失值处理方法,能够在不需要插值的情况下,使决策树分析算法既能满足差分隐私保护,也能拥有更高的预测准确率和适应性。实验证明,无论是Laplace机制还是指数机制,无论是ID3算法还是随机森林决策树算法,都能适用于所提方法。     

面向深度神经网络训练的数据差分隐私保护随机梯度下降算法

针对传统深度神经网络所采用的随机梯度下降算法忽略了对数据集隐私性保护的缺点,提出一种基于数据差分隐私保护的随机梯度下降算法。引入范数剪切与附加高斯噪声操作,对传统梯度更新策略进行改进。为衡量每次迭代过程中对数据隐私性的破坏,提出隐私损失累积函数在迭代过程中对数据隐私性的侵犯程度进行度量。MNIST手写数字识别和CIFAR-10图像分类实验表明,该算法在保护数据集隐私性的同时,对手写数字以及图像分类的识别准确率分别超过了90%和70%,且相较于传统的随机梯度下降算法,其准确率提升了5%以上。该算法在实际工程中能够有效兼顾数据隐私性保护与神经网络辨识准确度。     

一种面向决策树构建的差分隐私保护算法

对差分隐私的基本概念和实现方法进行了介绍,提出了一种用于决策树分析的差分隐私保护数据发布算法.该算法首先将数据完全泛化,然后在给定的隐私保护预算下采用指数机制将数据逐步精确化,最后根据拉普拉斯机制向数据中加入噪声,保证整个算法过程满足差分隐私保护要求;对指数机制中方案选择的方法进行了有效的改进.相对于已有的算法,本算法可在给定的隐私保护预算下使数据泛化程度更小,使所发布数据建立的决策树模型具有更高的分类准确率.实验结果验证了本算法的有效性和相对于其他算法的优越性.     

一种基于ExtraTrees的差分隐私保护算法

为在同等隐私保护级别下提高模型的预测准确率并降低误差,提出一种基于ExtraTrees的差分隐私保护算法DiffPETs。在决策树生成过程中,根据不同的准则计算出各特征的结果值,利用指数机制选择得分最高的特征,通过拉普拉斯机制在叶子节点上进行加噪,使算法能够提供ε-差分隐私保护。将DiffPETs算法应用于决策树分类和回归分析中,对于分类树,选择基尼指数作为指数机制的可用性函数并给出基尼指数的敏感度,在回归树上,将方差作为指数机制的可用性函数并给出方差的敏感度。实验结果表明,与决策树差分隐私分类和回归算法相比,DiffPETs算法能有效降低预测误差。     

基于谱聚类的社交网络差分隐私保护算法研究

针对权重社交网络差分隐私保护算法中噪声添加量过大以及隐私保护不均衡问题,提出了一种结合谱聚类算法与差分隐私保护模型的隐私保护算法SCDP。首先针对传统差分隐私保护算法直接向社交网络边权重添加噪声方式带来的噪声添加量过大的问题,结合谱聚类算法,将权重社交网络聚类成为不同的簇,对不同的簇采取随机添加噪声的方式,降低噪声的添加量,提高数据的可用性;其次设计新的隐私预算参数,根据社交网络边权重的大小决定噪声的添加量,实现更均衡的隐私保护;最后通过理论推导和实验证明了SCDP算法处理后的数据可用性更高。     

基于个性化差分隐私的联邦学习算法

联邦学习（FL）可以有效保护用户的个人数据不被攻击者获得,而差分隐私（DP）则可以实现FL的隐私增强,解决模型训练参数导致的隐私泄露问题。然而,现有的基于DP的FL方法只关注统一的隐私保护预算,而忽略了用户的个性化隐私需求。针对此问题,提出了一种两阶段的基于个性化差分隐私的联邦学习（PDP-FL）算法。在第一阶段,依据用户的隐私偏好对用户隐私进行分级,并添加满足用户隐私偏好的噪声,以实现个性化隐私保护,同时上传隐私偏好对应的隐私等级给中央聚合服务器;在第二阶段,为实现对全局数据的充分保护,采取本地和中心同时保护的策略,并根据用户上传的隐私等级,添加符合全局DP阈值的噪声,以量化全局的隐私保护水平。实验结果表明,在MNIST和CIFAR-10数据集上,PDP-FL算法的分类准确度分别为93.8%～94.5%和43.4%～45.2%,优于基于本地化差分隐私的联邦学习（LDP-Fed）和基于全局差分隐私的联邦学习（GDP-FL）,同时满足了个性化隐私保护的需求。     

基于k-prototype聚类的差分隐私混合数据发布算法

差分隐私是一种提供强大隐私保护的模型。在非交互式框架下,数据管理者可发布采用差分隐私保护技术处理的数据集供研究人员进行挖掘分析。但是在数据发布过程中需要加入大量噪声,会破坏数据可用性。因此,提出了一种基于k-prototype聚类的差分隐私混合数据发布算法。首先改进k-prototype聚类算法,按数据类型的不同,对数值型属性和分类型属性分别选用不同的属性差异度计算方法,将混合数据集中更可能相关的记录分组,从而降低差分隐私敏感度;结合聚类中心值,采用差分隐私保护技术对数据记录进行处理保护,针对数值型属性使用Laplace机制,分类型属性使用指数机制;从差分隐私的概念及组合性质两方面对该算法进行隐私分析证明。实验结果表明:该算法能够有效提高数据可用性。     

卷积神经网络中基于差分隐私的动量梯度下降算法

针对卷积神经网络（CNN）模型的训练过程中，模型参数记忆数据部分特征导致的隐私泄露问题，提出一种CNN中基于差分隐私的动量梯度下降算法（DPGDM）。首先，在模型优化的反向传播过程中对梯度添加满足差分隐私的高斯噪声，并用加噪后的梯度值参与模型参数的更新过程，从而实现对模型整体的差分隐私保护；其次，为了减少引入差分隐私噪声对模型收敛速度的影响，设计学习率衰减策略，改进动量梯度下降算法；最后，为了降低噪声对模型准确率的影响，在模型优化过程中动态地调整噪声尺度的值，从而改变在每一轮迭代中需要对梯度加入的噪声量。实验结果表明，与DP-SGD (Differentially Private Stochastic Gradient Descent)相比，所提算法可以在隐私预算为0.3和0.5时，模型准确率分别提高约5和4个百分点。可见，所提算法提高了模型的可用性，并实现了对模型的隐私保护。