采用分数阶动量的卷积神经网络随机梯度下降法

针对随机梯度下降法可能会收敛到局部最优的问题,文中提出采用分数阶动量的随机梯度下降法,提高卷积神经网络的识别精度和学习收敛速度.结合基于动量的随机梯度下降法和分数阶差分运算,改进参数更新方法,讨论分数阶阶次对网络参数训练效果的影响,给出阶次调整方法.在MNIST、CIFAR-10数据集上的实验表明,文中方法可以提高卷积神经网络的识别精度和学习收敛速度.     

基于动量分数阶梯度的卷积神经网络优化方法

针对采用传统梯度下降算法训练卷积神经网络收敛速度慢的问题,提出了动量分数阶梯度下降算法.介绍了分数阶微积分的定义,并依据问题描述,通过算法推导,将整数阶梯度下降算法中的动量思想应用到分数阶梯度下降算法中,设计出动量分数阶梯度下降算法.使用测试函数验证算法的收敛性,并分析不同分数阶阶次和动量项系数对算法收敛性的影响.在三...     

面向深度神经网络训练的数据差分隐私保护随机梯度下降算法

针对传统深度神经网络所采用的随机梯度下降算法忽略了对数据集隐私性保护的缺点,提出一种基于数据差分隐私保护的随机梯度下降算法。引入范数剪切与附加高斯噪声操作,对传统梯度更新策略进行改进。为衡量每次迭代过程中对数据隐私性的破坏,提出隐私损失累积函数在迭代过程中对数据隐私性的侵犯程度进行度量。MNIST手写数字识别和CIFAR-10图像分类实验表明,该算法在保护数据集隐私性的同时,对手写数字以及图像分类的识别准确率分别超过了90%和70%,且相较于传统的随机梯度下降算法,其准确率提升了5%以上。该算法在实际工程中能够有效兼顾数据隐私性保护与神经网络辨识准确度。     

基于差分隐私的广告推荐算法

随着移动互联网行业进入快速发展阶段,用户数据以及浏览数据大幅增加,所以准确把握用户潜在需求和提高广告推荐效果显得极其重要。DeepFM模型作为目前较为先进的推荐方法,可以从原始特征中抽取到各种复杂度特征,但模型没有对数据进行防护。为了在DeepFM模型中实现隐私保护,提出一种基于差分隐私的DeepFM模型——DP-DeepFM,在模型训练过程中将高斯噪声加入Adam优化算法中,并进行梯度裁剪,防止加入噪声过大引发模型性能下降。在广告Criteo数据集上的实验结果表明,与DeepFM相比,DP-DeepFM的准确率仅下降了0.44个百分点,但它能提供差分隐私保护,更具安全性。     

随机梯度下降算法研究进展

在机器学习领域中, 梯度下降算法是求解最优化问题最重要、最基础的方法. 随着数据规模的不断扩大, 传统的梯度下降算法已不能有效地解决大规模机器学习问题. 随机梯度下降算法在迭代过程中随机选择一个或几个样本的梯度来替代总体梯度, 以达到降低计算复杂度的目的. 近年来, 随机梯度下降算法已成为机器学习特别是深度学习研究的焦点. 随着对搜索方向和步长的不断探索, 涌现出随机梯度下降算法的众多改进版本, 本文对这些算法的主要研究进展进行了综述. 将随机梯度下降算法的改进策略大致分为动量、方差缩减、增量梯度和自适应学习率等四种. 其中, 前三种主要是校正梯度或搜索方向, 第四种对参数变量的不同分量自适应地设计步长. 着重介绍了各种策略下随机梯度下降算法的核心思想、原理, 探讨了不同算法之间的区别与联系. 将主要的随机梯度下降算法应用到逻辑回归和深度卷积神经网络等机器学习任务中, 并定量地比较了这些算法的实际性能. 文末总结了本文的主要研究工作, 并展望了随机梯度下降算法的未来发展方向.     

基于梯度下降算法的神经网络模型研究

神经网络的研究与应用已经取得了巨大的成功,但是在网络的收敛性和稳定性方面还有很多问题。本文对神经网络的核心算法BP算法进行了改进,使用梯度下降算法对神经网络的原始输入变量进行预处理,选择输入变量的主成分作为网络输入,使变量维度和相关性同时减小,从而实现神经网络的结构简化、高收敛性和高稳定性。     

面向去中心化双重差分隐私的谱图卷积神经网络

图卷积神经网络是一种面向多任务且应用广泛的深度学习模型。文章研究了去中心化场景中谱域图卷积神经网络节点关系信息和节点特征信息的保护问题,提出双重差分隐私保护机制下的谱图卷积神经网络DDPSGCN。在给定隐私预算总额的条件下对拉普拉斯机制和高斯机制进行隐私预算分配,并通过隐私损失和Chernoff界理论进行参数估计。在两大分布噪声扰动作用基于不同图数据信息的隐私保护下,文章提出基于区块链去中心化差分隐私处理机制的图卷积神经网络训练算法。实验表明文章采用的去中心化双重差分隐私机制,能够在半监督节点分类任务准确率下降1%以内的前提下确保原始数据隐私不泄露,相较于单隐私保护机制有着更高的隐私保护效率和更强的对抗攻击鲁棒性。     

差分隐私保护WGAN-GP算法研究

针对攻击者利用生成式对抗网络技术(GAN)还原出训练集中的数据,泄露用户隐私信息的问题,提出了一种差分隐私保护梯度惩罚Wasserstein生成对抗网络(WGAN-GP)的方法.该方法在深度学习训练过程中对梯度添加精确计算后的高斯噪声,并使用梯度惩罚进行梯度修正,实现差分隐私保护.利用梯度惩罚Wasser-stein生成对抗网络与原始数据相似的数据.实验结果表明,在保证数据可用性的前提下,该方法可以有效保护数据的隐私信息,且生成数据具有较好的质量.     

基于差分隐私的K-means算法优化研究综述

差分隐私K-means算法(Differential Privacy K-means Algorithm,DP K-means)作为一种基于差分隐私技术的隐私保护数据挖掘(Privacy Preserving Data Mining,PPDM)模型,因简单高效且可保障数据的隐私而备受研究者的关注。文中首先阐述了差分隐私K-means算法的原理、隐私攻击模型,以分析算法的不足。然后从数据预处理、隐私预算分配、聚簇划分等3个角度讨论分析DP K-means算法改进研究的优缺点,并对研究中的相关数据集和通用评价指标进行了总结。最后指出DP K-means算法改进研究中亟待解决的挑战性问题,并展望了DP K-means算法的未来发展趋势。     

基于反卷积特征提取的深度卷积神经网络学习

在深度卷积神经网络的学习过程中,卷积核的初始值通常是随机赋值的.另外,基于梯度下降法的网络参数学习法通常会导致梯度弥散现象.鉴于此,提出一种基于反卷积特征提取的深度卷积神经网络学习方法.首先,采用无监督两层堆叠反卷积神经网络从原始图像中学习得到特征映射矩阵;然后,将该特征映射矩阵作为深度卷积神经网络的卷积核,对原始图像进行逐层卷积和池化操作;最后,采用附加动量系数的小批次随机梯度下降法对深度卷积网络微调以避免梯度弥散问题.在MNIST、CIFAR-10和CIFAR-100数据集上的实验结果表明,所提出方法可有效提高图像分类精度.     

卷积神经网络中具有隐私保护属性的预测分类算法

在用户将其数据上传到公共平台并利用卷积神经网络进行相关操作以得到运算结果的过程中如何保证用户敏感数据的私密性就成为了一个亟待解决的问题.对此采用密码学中的同态加密算法对用户输入数据进行加密处理,在已训练过的卷积神经网络模型中对加密的数据进行预测分类,并得到最终的分类结果,输出的结果是加密形式的,为进一步保护数据的机密性...     

基于个性化差分隐私的联邦学习算法

联邦学习（FL）可以有效保护用户的个人数据不被攻击者获得,而差分隐私（DP）则可以实现FL的隐私增强,解决模型训练参数导致的隐私泄露问题。然而,现有的基于DP的FL方法只关注统一的隐私保护预算,而忽略了用户的个性化隐私需求。针对此问题,提出了一种两阶段的基于个性化差分隐私的联邦学习（PDP-FL）算法。在第一阶段,依据用户的隐私偏好对用户隐私进行分级,并添加满足用户隐私偏好的噪声,以实现个性化隐私保护,同时上传隐私偏好对应的隐私等级给中央聚合服务器;在第二阶段,为实现对全局数据的充分保护,采取本地和中心同时保护的策略,并根据用户上传的隐私等级,添加符合全局DP阈值的噪声,以量化全局的隐私保护水平。实验结果表明,在MNIST和CIFAR-10数据集上,PDP-FL算法的分类准确度分别为93.8%～94.5%和43.4%～45.2%,优于基于本地化差分隐私的联邦学习（LDP-Fed）和基于全局差分隐私的联邦学习（GDP-FL）,同时满足了个性化隐私保护的需求。     

一种基于分布式编码的同步梯度下降算法

基于数据并行化的异步随机梯度下降(ASGD)算法由于需要在分布式计算节点之间频繁交换梯度数据,从而影响算法执行效率.提出基于分布式编码的同步随机梯度下降(SSGD)算法,利用计算任务的冗余分发策略对每个节点的中间结果传输时间进行量化以减少单一批次训练时间,并通过数据传输编码策略的分组数据交换模式降低节点间的数据通信总量...     

基于差分孪生卷积神经网络的大规模不平衡数据分类算法

传统基于支持向量机的不平衡数据分类算法包含矩阵运算,无法应用于大规模的不平衡数据集。针对这种情况,提出基于差分孪生卷积神经网络的大规模不平衡数据分类算法。设计差分卷积机制增强卷积神经网络的深度结构表示能力,在不改变滤波器数量的情况下提高模型的判别能力。通过差分孪生卷积神经网络分别优化每个类的特征图,每个类关联多个超平面,根据输入样本与超平面的距离决定输出样本的类标签。基于多组不平衡数据集的实验结果表明,该算法实现了较好的分类性能。     

面向差分隐私保护的聚类算法

大数据时代的数据挖掘技术在研究和应用等领域取得了较大发展,但大量敏感信息披露给用户带来了众多威胁和损失。因此,在聚类分析过程中如何保护数据隐私成为数据挖掘和数据隐私保护领域的热点问题。传统差分隐私保护k-means算法对其初始中心点的选择较为敏感,而且在聚簇个数k值的选择上存在一定的盲目性,降低了聚类结果的可用性。为了进一步提高差分隐私k-means聚类方法聚类结果的可用性,研究并提出一种新的基于差分隐私的DPk-means-up聚类算法,同时进行了理论分析和比较实验。理论分析表明,该算法满足ε-差分隐私,可适用于不同规模和不同维度的数据集。此外,实验结果表明,在相同隐私保护级别下,与其他差分隐私k-means聚类方法相比,所提算法有效提高了聚类的可用性。     

基于卷积神经网络算法的纺织品毛球评定研究

纺织品起毛起球等级难以做到精确评定,且主观因素会影响判定结果,为了实现纺织品起毛起球的人工智能评定,论文设计了一种基于卷积神经网络算法的纺织品毛球评定方法.建立了11层结构的CNN毛球评定模型,通过合理设计卷积层和池化层,实现了对纺织品毛球的有效智能评定.实验结果表明该评定模型综合准确率达到84.87％,具有客观性和实用性.     

基于卷积神经网络的肺结节分类算法

肺部的检查是每年体检的重要一部分。体检中有成百上千的病例,而每个病例中含有许多的肺部横切面CT图像。这些都需要专业医生去逐个筛查出存在肺结节的病例,不仅工作量大而且存在误筛的可能。针对上述问题,把卷积神经网络（CNN）引入筛查存在肺结节的CT图像诊断,提出一种基于CNN的分类算法。在LIDC数据库的实验结果表明,对比应用广泛的lenet-5网络和传统方法等,使用自定义的卷积神经网络将分类的正确率提升了4到10个百分点不等。AUC值为0.821?6,也是几个分类器中最大的。相比于其他方法,该方法能较为准确地识别肺部CT图像,可以为临床诊断提供较为客观的参考。