面向差分隐私保护的随机森林算法

数据挖掘中的隐私保护问题是目前信息安全领域的研究热点之一。针对隐私保护要求下的分类问题,提出一种面向差分隐私保护的随机森林算法RFDPP-Gini。将随机森林与差分隐私保护相结合,在隐私信息得到保护的同时提高分类的准确率。以CART分类树作为随机森林中的单棵决策树,使用Laplace机制和指数机制添加噪声并选择最佳分裂特征。实验结果表明,RFDPP-Gini算法既能处理离散型特征又能处理连续型特征,在Adult和Mushroom数据集上的分类准确率最高分别达86.335%和100%,且在加入噪声后算法的分类准确率下降幅度极小。     

卷积神经网络中基于差分隐私的动量梯度下降算法

针对卷积神经网络（CNN）模型的训练过程中，模型参数记忆数据部分特征导致的隐私泄露问题，提出一种CNN中基于差分隐私的动量梯度下降算法（DPGDM）。首先，在模型优化的反向传播过程中对梯度添加满足差分隐私的高斯噪声，并用加噪后的梯度值参与模型参数的更新过程，从而实现对模型整体的差分隐私保护；其次，为了减少引入差分隐私噪声对模型收敛速度的影响，设计学习率衰减策略，改进动量梯度下降算法；最后，为了降低噪声对模型准确率的影响，在模型优化过程中动态地调整噪声尺度的值，从而改变在每一轮迭代中需要对梯度加入的噪声量。实验结果表明，与DP-SGD (Differentially Private Stochastic Gradient Descent)相比，所提算法可以在隐私预算为0.3和0.5时，模型准确率分别提高约5和4个百分点。可见，所提算法提高了模型的可用性，并实现了对模型的隐私保护。     

基于人工蜂群算法的Tor流量在线识别方法

Tor等匿名流量的分类与识别对运营商监管网络安全具有重要意义,但目前Tor流量的分类检测技术普遍存在识别准确率低、缺乏实时性、无法有效处理高维数据等问题。为此,提出一种Tor流量在线识别方法。通过搭建基于逻辑回归的深度神经网络,提取Tor流量特征匹配度以实现特征增强,并使用人工蜂群机制代替梯度下降等常见迭代算法,得到流量分类及识别结果。在此基础上,构建一套实时流量检测工具应用于实际生产环境中。在公开Tor数据集上的实验结果表明,与逻辑回归、随机森林、KNN算法相比,该算法的精确率和召回率分别提高了10%~50%,相比梯度下降的迭代算法准确率提高了7%~8%。     

基于改进Sigmoid卷积神经网络的手写体数字识别

深度学习技术在数字识别领域有着普遍的应用。通过深度学习技术构造神经网络模型,运用不同的激活函数搭配不同的参数初始化策略,对MINIST手写数据集进行训练;构建分析模型,识别图像中的数字,将大数据量的图片降维成小数据量图片,同时保证能够有效保留图片特征;通过对图片数据的分析,加入特征转换过程,利用梯度下降优化器,搭建网络结构,将数据降维,有效地避免过拟合;利用交叉熵验证对模型进行编译和训练,对输出的分类结果进行进一步分析,在Sigmoid激活函数的输出层,通过K最近邻分类算法,设置KNN分类器,进一步提高了分类预测的准确率。MNIST数据集上的实验结果显示识别率为96.2%,在输出层引入K最近邻算法KNN(K-Nearst Neighbors)结合传统卷积神经网络(Convolutional Neural Network, CNN)的全连接层与softmax层,经交叉验证得到99.6%的识别率。     

基于FPGA的手写数字BP神经网络研究与设计

手写数字逆向传播（Back Propagation,BP）神经网络由输入层、隐藏层、输出层构成。训练数据是MNIST开源手写数字集里60?000个样本,BP算法由随机梯度下降算法和反向传播算法构成,采用network小批量数据迭代30次的网络学习过程,训练出合适的权重和偏置。利用现场可编程门阵列（Field Programmable Gate Array,FPGA）硬件平台,Verilog代码实现BP算法、时序控制各层网络训练状态、Sigmoid（S型）函数及导数线性拟合是设计重点。初始化均值为0,方差为1的高斯分布网络权重和偏置,采用小批量数据个数[m]为10,学习系数[η]为3,在系统中输入样本及标签利用Quartus13.0和modelsim仿真与分析,工程运行迭代30次时间是4.5 s,样本识别正确率是91.6%,与软件python2.7相比满足了硬件设计的实时性和手写数字识别的高准确率。     

基于改进inception的脱机手写汉字识别

由于字形的复杂多变,脱机手写汉字的识别一直是模式识别的难题,深度卷积神经网络的发展为其提供了一种直接有效的解决方案。研究基于inceptions 结构神经网络的脱机手写汉字识别,提出了一种inception结构的改进方法,它具有结构更加简单、网络深度扩展更加容易、需要的训练参数量更少的优点。该方法在数据集CISIA-HWDB1.1 上进行了实验验证,采用随机梯度下降优化算法,模型达到了96.95%的平均准确率。实验结果表明,使用改进的inception结构在图像分类上具有更好的鲁棒性,更容易扩展到其他应用领域。     

基于LDA降维和BP神经网络的手写数字识别

手写数字数据集是机器学习分类领域的优质数据集,文章以反向传播（Back Propagation,BP）神经网络为基础,对手写数字进行分类识别。为减少BP神经网络的计算开支,实验前,对比了过滤卡方检验法、主成分分析（Principal Component Analysis,PCA）降维、线性判别式分析（Linear Discriminant Analysis,LDA）降维以及多维尺度变换（Multidimensional Scaling,MDS）降维对特征选取的训练测试效果,从而确定了神经网络拟合之前的最优特征提取方法。实验中,利用Bagging对BP神经网络进行集成处理,分类识别了手写数字。实验后,将文中方法与朴素贝叶斯、决策树、随机森林、LDA多分类进行对比。结果表明,采取LDA降维方法时,降到9维的特征提取方式最优,单个BP神经网络对手写数字数据识别的准确率为92%左右,而基于Bagging集成的BP神经网络在识别准确率方面高达95%。     

基于深度卷积自编码神经网络的手写数字识别研究

针对提高不同笔体下的手写识别准确率进行了研究,将深度卷积神经网络与自动编码器相结合,设计卷积自编码器网络层数,形成深度卷积自编码神经网络。首先采用双线性插值方法分别对MNIST数据集与一万幅自制中国大学生手写数字图片进行图像预处理,然后先使用单一MNIST数据集对深度卷积自编码神经网络进行训练与测试;最后使用MNIST与自制数据集中5 000幅混合,再次训练该网络,对另外5 000幅进行测试。实验数据表明,所提深度卷积自编码神经网络在MNIST测试集正确率达到99.37%,有效提高了准确率;且5 000幅自制数据集模型测试正确率达99.33%,表明该算法实用性较强,在不同笔体数字上得到了较高的识别准确率,模型准确有效。     

基于特征映射的差分隐私保护机器学习方法

图像分类中的差分隐私算法在通过添加噪声的方式提高机器学习模型的隐私保护能力的同时,容易造成模型分类准确度的下降。针对以上问题,提出了一种基于特征映射的差分隐私保护机器学习方法,该方法结合预训练神经网络和影子模型训练技术,以差分向量的形式将原数据样本的特征向量映射到高维向量空间,缩短样本在高维向量空间的距离,以减小模型更新造成的隐私信息泄露风险,同时提高机器学习模型的隐私保护能力和分类能力。由MNIST和CIFAR-10数据集上的实验结果表明,ε分别等于0.01和0.11的ε 0-差分隐私的模型的分类准确度分别提高到了99%和96%,说明所提方法训练的模型相比DP-SGD等现有多种常用差分隐私算法,能在更低隐私预算下保持更强的分类能力;且在两个数据集上针对该模型的推理攻击成功率降低为10%,其对推理攻击的防御能力相比传统图像分类的CNN模型有较大幅度的提升。     

自适应增强卷积神经网络图像识别

目的 为了进一步提高卷积神经网络的收敛性能和识别精度,增强泛化能力,提出一种自适应增强卷积神经网络图像识别算法。方法 构建自适应增强模型,分析卷积神经网络分类识别过程中误差产生的原因和误差反馈模式,针对分类误差进行有目的地训练,实现分类特征基于迭代次数和识别结果的自适应增强以及卷积神经网络权值的优化调整。自适应增强卷积神经网络与多种算法在收敛速度和识别精度等性能上进行对比,并在多种数据集上检测自适应卷积神经网络的泛化能力。结果 通过对比实验可知,自适应增强卷积神经网络算法可以在很大程度上优化收敛效果,提高收敛速度和识别精度,收敛时在手写数字数据集上的误识率可降低20.93%,在手写字母和高光谱图像数据集上的误识率可降低11.82%和15.12%;与不同卷积神经网络优化算法对比,误识率比动态自适应池化算法和双重优化算法最多可降低58.29%和43.50%;基于不同梯度算法的优化,误识率最多可降低33.11%;与不同的图像识别算法对比,识别率也有较大程度提高。结论 实验结果表明,自适应增强卷积神经网络算法可以实现分类特征的自适应增强,对收敛性能和识别精度有较大的提高,对多种数据集有较强的泛化能力。这种自适应增强模型可以进一步推广到其他与卷积神经网络相关的深度学习算法中。     

采用分数阶动量的卷积神经网络随机梯度下降法

针对随机梯度下降法可能会收敛到局部最优的问题,文中提出采用分数阶动量的随机梯度下降法,提高卷积神经网络的识别精度和学习收敛速度.结合基于动量的随机梯度下降法和分数阶差分运算,改进参数更新方法,讨论分数阶阶次对网络参数训练效果的影响,给出阶次调整方法.在MNIST、CIFAR-10数据集上的实验表明,文中方法可以提高卷积神经网络的识别精度和学习收敛速度.     

改进LeNet-5网络在图像分类中的应用

LeNet-5卷积神经网络（CNN）虽然在手写数字识别上取得很好的分类效果,但在具有复杂纹理特征的数据集上分类精度不高。为提高网络在复杂纹理特征图像上分类的正确率,提出一种改进的LeNet-5网络结构。引入跨连思想,充分利用网络提取的低层次特征;把Inception V1模块嵌入LeNet-5卷积神经网络,提取图像的多尺度特征;输出层使用softmax函数对图像进行分类。在Cifar-10和Fashion MNIST数据集上进行的实验结果表明,改进的卷积神经网络在复杂纹理特征数据集上具有很好的分类能力。     

基于改进的三向流Faster R-CNN的篡改图像识别

为了进一步提高对拼接、缩放旋转、复制粘贴三种主要篡改手段的识别准确率,增强算法普适性,提出了一个基于三向流特征提取的卷积神经网络篡改图像识别系统。首先,分别根据图像局部彩色不变量特性比较特征子块相似度,根据噪声相关性比较篡改区域边缘的噪声相关系数,以及根据图像重采样痕迹计算子块标准偏差对比度,完成了对图像RGB流、噪声流和信号流的特征提取;然后,通过多线性池化,结合改进的分段AdaGrad梯度算法,实现了特征降维和参数自适应更新;最后,通过网络训练和分类,完成了对拼接、缩放旋转、复制粘贴这三种主要的图像篡改手段的识别与相应的篡改区域的定位。为衡量所提模型的效果,在VOC2007和CIFAR-10两个数据集上进行了实验。在约9000张图像上的实验结果表明,该模型对拼接、缩放旋转、复制粘贴这三种篡改手段均能进行较准确的识别与定位,识别率分别为0.962、0.956和0.935。与对照文献的双向流特征提取方法相比,该模型的识别率分别提高了1.050%、2.137%、2.860%。三向流特征提取模型丰富了卷积神经网络对图像的特征信息采集,提高了网络的学习性能与识别精度,同时改进的梯度算法通过分段控制参数学习率的下降速度,降低了过拟合,减少了收敛震荡,提高了收降速度,实现了算法的优化设计。     

基于改进BP神经网络的尿液中红白细胞识别算法

对显微图像中的尿液有形成分包括红白细胞等进行分析,可以帮助医生对有肾脏和泌尿系统疾病的患者进行评估。针对无染色、无标记的尿液图像中红白细胞存在对比度低、边缘模糊等问题,提出一种基于改进BP神经网络的识别方法。首先,将遗传算法引入BP神经网络对网络权值和阈值进行优化,解决训练过程中网络容易陷入局部极值等问题,提高BP神经网络的识别精度;其次,使用动量梯度下降法消除网络在梯度下降中产生的摆动,加快网络的收敛,提高BP神经网络的学习速度。与基础BP神经网络相比,改进方法对红白细胞的识别准确度分别提高了6.9%和9.5%,且识别时间分别缩短了19.3 s和42.1 s;与CNN识别算法相比,改进算法对白细胞的识别准确度提高了1.7%;与SVM识别算法相比,改进算法对红白细胞的识别准确度分别提高了12.9%和12.7%。验证实验和对照实验的结果表明,改进方法能以较高的准确率和较快的速度实现红白细胞的识别。     

基于VGG-16卷积神经网络的海水养殖病害诊断

海水养殖生物在养殖过程中会受到各种病害的影响, 病斑特征的差异性非常适合利用图像识别技术做诊断. 基于以上需求, 本文设计了一种基于VGG-16卷积神经网络的海水养殖病害诊断模型, 并采用随机梯度下降算法、防止过拟合技术来改进模型. 实验结果显示, 本研究模型相比其他传统网络模型效果更好, 具有很高的识别精度、鲁棒性和泛化能力, 可以准确快速地进行病害诊断, 具有一定的扩展性和推广价值.     

基于Attention的弱监督多标号图像分类

深度学习依赖于大数据在很多的任务中取得巨大成功,但目前大部分方法都依赖于严格标注的数据,或者假定仅含一个物体大致位于图片近中心位置且背景较少。而现实场景中背景复杂,出现的物体多样,增加了分类的难度,而且标注的代价很大。本文关注于弱监督场景下的分类任务,提出了基于注意力机制（Attention）结合递归神经网络的深度模型,利用图片级的标注进行多标号学习,利用损失函数进行梯度下降训练自动调整关注区域,使模型每次关注图片的局域区域,并在数据集PASCAL VOC 2007/2012上验证算法的有效性,与其他方法相比具有更强的可解释性。