基于显著图的高隐蔽性模型指纹算法

在核心任务场景下训练深度神经网络(DNN)需要越来越多的算力资源,这刺激了基于云端预测API接口的模型的窃取与盗用,同时也违反了模型所有者的知识产权.为了追踪公开的非法模型副本,深度神经网络的模型指纹技术为希望保持模型完整性的模型所有者提供了一种强大的版权验证方案.然而,现有的模型指纹方案主要基于输出层面的内在痕迹(例如:特定输入样本下的错误预测行为),这导致在模型指纹验证阶段缺乏隐蔽性.本文基于模型预测时的显著图(saliency map)痕迹,提出了一种全新的任意下游任务通用的模型指纹方案.本文的方案提出了受约束的显著图操控目标,构建标签不变和自然的指纹样本,显著提高了模型指纹的隐蔽性.根据对3种典型任务场景下全面的评估结果,本文提出的方法被证明能够显著地增强现有方案的指纹版权验证的效果,同时保持高度的模型指纹隐蔽性.     

面向个人信息保护的对抗性图像扰动算法研究

通过研究对抗性图像扰动算法,应对深度神经网络对图像中个人信息的挖掘和发现以保护个人信息安全.将对抗样本生成问题转换为一个含有限制条件的多目标优化问题,考虑神经网络的分类置信度、扰动像素的位置以及色差等目标,利用差分进化算法迭代得到对抗样本.在MNIST和CIFAR-10数据集上,基于深度神经网络LeNet和ResNet进行了对抗样本生成实验,并从对抗成功率、扰动像素数目、优化效果和对抗样本的空间特征等方面进行了对比和分析.结果表明,算法在扰动像素极少的情况下(扰动均值为5)依然可以保证对深度神经网络的有效对抗,并显著优化了扰动像素的位置及色差,达到不破坏原图像的情况下保护个人信息的目的.该研究有助于促进信息技术红利共享与个人信息安全保障之间的平衡,也为对抗样本生成及深度神经网络中分类空间特征的研究提供了技术支撑.     

结合批归一化的直通卷积神经网络图像分类算法

为解决深度卷积神经网络由于梯度消失而导致训练困难的问题,提出一种基于批归一化的直通卷积神经网络算法.首先对网络所有卷积层的激活值进行批归一化处理,然后利用可学习的重构参数对归一化后的数据进行还原,最后对重构参数进行训练.在CIFAR-10,CIFAR-100和MNIST这3个标准图像数据集上进行实验的结果表明,文中算法分别取得了94.53%,73.40%和99.74%的分类准确率,明显优于其他深度神经网络算法;该算法能够有效地克服传统卷积神经网络中梯度消失的问题.     

基于特征映射的差分隐私保护机器学习方法

图像分类中的差分隐私算法在通过添加噪声的方式提高机器学习模型的隐私保护能力的同时,容易造成模型分类准确度的下降。针对以上问题,提出了一种基于特征映射的差分隐私保护机器学习方法,该方法结合预训练神经网络和影子模型训练技术,以差分向量的形式将原数据样本的特征向量映射到高维向量空间,缩短样本在高维向量空间的距离,以减小模型更新造成的隐私信息泄露风险,同时提高机器学习模型的隐私保护能力和分类能力。由MNIST和CIFAR-10数据集上的实验结果表明,ε分别等于0.01和0.11的ε 0-差分隐私的模型的分类准确度分别提高到了99%和96%,说明所提方法训练的模型相比DP-SGD等现有多种常用差分隐私算法,能在更低隐私预算下保持更强的分类能力;且在两个数据集上针对该模型的推理攻击成功率降低为10%,其对推理攻击的防御能力相比传统图像分类的CNN模型有较大幅度的提升。     

基于贝叶斯优化的无标签网络剪枝算法

针对深度神经网络（DNN）的参数和计算量过大问题,提出一种基于贝叶斯优化的无标签网络剪枝算法。首先,利用全局剪枝策略来有效避免以逐层方式修剪而导致的模型次优压缩率;其次,在网络剪枝过程中不依赖数据样本标签,并通过最小化剪枝网络与基线网络输出特征的距离对网络每层的压缩率进行优化;最后,利用贝叶斯优化算法寻找网络每一层的最优剪枝率,以提高子网搜索的效率和精度。实验结果表明,使用所提算法在CIFAR-10数据集上对VGG-16网络进行压缩,参数压缩率为85.32%,每秒浮点运算次数（FLOPS）压缩率为69.20%,而精度损失仅为0.43%。可见,所提算法可以有效地压缩DNN模型,且压缩后的模型仍能保持良好的精度。     

基于可攻击空间假设的陷阱式集成对抗防御网络

如今,深度神经网络在各个领域取得了广泛的应用.然而研究表明,深度神经网络容易受到对抗样本的攻击,严重威胁着深度神经网络的应用和发展.现有的对抗防御方法大多需要以牺牲部分原始分类精度为代价,且强依赖于已有生成的对抗样本所提供的信息,无法兼顾防御的效力与效率.因此基于流形学习,从特征空间的角度提出可攻击空间对抗样本成因假设,并据此提出一种陷阱式集成对抗防御网络Trap-Net. Trap-Net在原始模型的基础上向训练数据添加陷阱类数据,使用陷阱式平滑损失函数建立目标数据类别与陷阱数据类别间的诱导关系以生成陷阱式网络.针对原始分类精度损失问题,利用集成学习的方式集成多个陷阱式网络以在不损失原始分类精度的同时,扩大陷阱类标签于特征空间所定义的靶标可攻击空间.最终, Trap-Net通过探测输入数据是否命中靶标可攻击空间以判断数据是否为对抗样本.基于MNIST、K-MNIST、F-MNIST、CIFAR-10和CIFAR-100数据集的实验表明, Trap-Net可在不损失干净样本分类精确度的同时具有很强的对抗样本防御泛化性,且实验结果验证可攻击空间对抗成因假设.在低扰动的白盒攻击场景中, T...     

基于稀疏正则化的卷积神经网络模型剪枝方法

现有卷积神经网络模型剪枝方法仅依靠自身参数信息难以准确评估参数重要性,容易造成参数误剪且影响网络模型整体性能。提出一种改进的卷积神经网络模型剪枝方法,通过对卷积神经网络模型进行稀疏正则化训练,得到参数较稀疏的深度卷积神经网络模型,并结合卷积层和BN层的稀疏性进行结构化剪枝去除冗余滤波器。在CIFAR-10、CIFAR-100和SVHN数据集上的实验结果表明,该方法能有效压缩网络模型规模并降低计算复杂度,尤其在SVHN数据集上,压缩后的VGG-16网络模型在参数量和浮点运算量分别减少97.3%和91.2%的情况下,图像分类准确率仅损失了0.57个百分点。     

基于模型的深度学习通信信号鲁棒识别算法

深度学习现在是计算机视觉和自然语言处理的热门话题.在许多应用中,深度神经网络(DNN)的性能都优于传统的方法,并且已经成功应用于调制分类和无线电信号表示等任务的学习.近几年研究发现深度神经网络极易受到对抗性攻击,对“对抗性示例”缺乏鲁棒性.笔者就神经网络的通信信号识别算法的鲁棒性问题,将经过PGD攻击的数据看作基于模型...     

基于样本选择的标签含噪图像分类

标签噪声广泛存在、无法避免且影响深度网络模型的性能. 利用神经网络的“记忆效应”, 基于小损失原则的样本选择方法能简单有效地处理标签噪声. 本文基于特征空间中样本距离越近越相似的原则, 结合样本的高低置信度假设, 提出了新的样本选择原则以及二阶段加权样本选择重标签方法(WSSR-2s). (1)在训练前期阶段, 对于高置信度样本, 在特征空间中对其票权进行加权, 更好地引导训练; (2)在训练中后期阶段, 对于低置信度样本, 将其票权转移给其最相似的特征样本, 以更正确地训练. 在合成噪声数据集CIFAR-10、CIFAR-100以及真实噪声数据集ANIMAL-10N、WebVision的实验结果表明, 本文提出的方法取得更高的精度, 能够更好地处理标签噪声问题.     

基于隐层生长策略的前馈神经网络隐层性能评测

针对最佳平方逼近三层前馈神经网络模型,讨论了以逐一增加隐单元方式构建隐层时隐层性能的评测方法。分析了影响前馈神经网络性能的相关空间,引入了表示空间、误差空间、目标空间和耗损空间的概念,研究了每个隐单元的误差补偿性能,提出了网络隐层性能的评测参数,并通过对传统BP算法和正交化算法的考查验证了其合理性与有效性。     

结合自适应融合网络与哈希的图像检索算法

卷积神经网络因其对图像识别准确率高而在图像检索领域备受青睐,但处理大规模数据集时,基于卷积神经网络提取的深度特征维度高,容易引发"维度灾难".针对图像检索中深度特征维度高的问题,提出一种基于自适应融合网络特征提取与哈希特征降维的图像检索算法.由于传统哈希处理高维特征复杂度高,因此本文在卷积神经网络中加入自适应融合模块对特征进行重新整合,增强特征表征能力的同时降低特征维度;然后应用稀疏化优化算法对深度特征进行第2次降维,并通过映射获得精简的哈希码;最后,实验以Inception网络作为基础模型,在数据集CIFAR-10和ImageNet上进行了丰富的实验.实验结果表明,该算法能有效提高图像检索效率.     

基于深度学习的小面积指纹匹配方法

针对传统的基于细节特征点的指纹匹配方法多适用于采集面积较大的指纹,在面向智能手机端的小采集面积指纹时准确率明显下降的问题,提出一种基于深度学习的小面积指纹匹配方法。首先,提取指纹图像的细节特征点信息;其次,搜索和标定感兴趣纹理区域（ROI）;然后,构建并改进基于残差结构的轻量级深度神经网络,通过采用二值化特征模式优化网络和Triplet Loss方式训练模型;最后,制定一种智能手机端注册-匹配策略实现小面积指纹匹配。实验结果表明,提出方法在公开库FVCDB1与自建数据库上的等错率（EER）分别仅为0.50%与0.58%,远低于传统的基于细节特征点的指纹匹配方法,能够有效提升小面积指纹匹配的性能,更好地满足智能手机端的应用需求。     

基于细节点柱形编码和深度卷积特征的指纹检索方法

指纹检索方法使用细节点柱形编码作为特征,充分考虑指纹细节点的局部结构特征,却忽略指纹的整体结构特征,限制指纹检索的准确率.基于此种问题,文中提出基于细节点柱形编码和深度卷积特征的指纹检索方法.使用深度卷积网络学习指纹的整体结构特征(深度卷积特征),并结合深度卷积特征和细节点柱形编码,提升指纹检索的准确率.在3个经典指纹检索数据库上通过实验分析深度卷积特征的特性.实验表明,文中方法有效提升指纹检索的准确率.     

面向深度卷积网络的多目标神经演化算法

传统的深度卷积神经网络设计方法依赖于人工设计以及反复试错,只能采用形式单一的网络结构,导致其参数过分冗余,乘法次数巨大.为了自动化地设计出结构灵活多变,网络规模及计算量较小的深度卷积神经网络,本文提出了一种面向深度卷积网络的多目标神经演化算法.该算法将深度神经网络表达成有向图,使用神经演化和多目标优化算法实现了深度、计算量和识别率下的多目标同时优化,同时还引入了线性规划用于将基因编码翻译为卷积层的配置参数,使得演化算法可以自动调整各个网络层的具体配置.演化得到的模型其最深路径上含有36个卷积层,CIFAR-100上Top5精度为86.1%,Top1精度为60.2%,与识别率相近的网络相比,具有结构新颖,乘法次数低等特点.综上,本文提出的方法能够自动生成一系列各具特色的深度神经网络,可根据在深度、计算量和识别率3个指标上的不同应用需求选择适合的深度神经网络,为深度神经网络部署于资源受限的无线传感器网络上提供了一种快速、经济、自动化的设计方法.     

Deep learning compact binary codes for fingerprint indexing

With the rapid growth in fingerprint databases, it has become necessary to develop excellent fingerprint indexing to achieve efficiency and accuracy. Fingerprint indexing has been widely studied with real-valued features, but few studies focus on binary feature representation, which is more suitable to identify fingerprints efficiently in large-scale fingerprint databases. In this study, we propose a deep compact binary minutia cylinder code (DCBMCC) as an effective and discriminative feature representation for fingerprint indexing. Specifically, the minutia cylinder code (MCC), as the state-of-the-art fingerprint representation, is analyzed and its shortcomings are revealed. Accordingly, we propose a novel fingerprint indexing method based on deep neural networks to learn DCBMCC. Our novel network restricts the penultimate layer to directly output binary codes. Moreover, we incorporate independence, balance, quantization-loss-minimum, and similarity-preservation properties in this learning process. Eventually, a multi-index hashing (MIH) based fingerprint indexing scheme further speeds up the exact search in the Hamming space by building multiple hash tables on binary code substrings. Furthermore, numerous experiments on public databases show that the proposed approach is an outstanding fingerprint indexing method since it has an extremely small error rate with a very low penetration rate.     

基于多尺度特征映射匹配的图像表示方法

在卷积神经网络模型中,空间金字塔池化方法将空间信息融入到深度特征的生成过程中,最终生成的图像表示可以有效地用于提高图像检索性能,但是此方法会导致生成的图像表示中不同维度之间描述的信息存在重复且相同维度描述的图像内容不匹配。为此提出了一种基于多尺度特征映射匹配（multi-scale feature map matching,MFMM）的图像表示方法,此方法首先利用深度特征的方差与协方差矩阵提出了一种特征映射选择算法,用于增强图像表示中不同维度特征的独立性。其次,依据相同通道特征映射中高响应值位置有较高匹配性的特点,结合激活映射中最大响应位置的深度特征提出了一种优化的特征映射中心点选择方法。最后,按照不同的中心点通过多尺度窗口采样的方式,从特征映射中提取出带有空间信息的深度特征用于表示图像内容。实验结果表明,提出的方法在图像检索任务中能够取得良好的效果。     

深度特征融合的非刚性三维形状局部匹配

针对海量、异构三维形状匹配与智能检索技术的需求,提出了一种基于级联卷积神经网络(F-PointCNN)深度特征融合的三维形状局部匹配方法.首先,采用特征袋模型,提出几何图像表示方法,该几何图像不仅能够有效区分同类异构的非刚性三维模型,而且能够揭示大尺度不完整三维模型的结构相似性.其次,构建级联卷积神经网络学习框架F-P...     

基于主题模型的多示例多标记学习方法

针对现有的大部分多示例多标记(MIML)算法都没有考虑如何更好地表示对象特征这一问题,将概率潜在语义分析(PLSA)模型和神经网络(NN)相结合,提出了基于主题模型的多示例多标记学习方法。算法通过概率潜在语义分析模型学习到所有训练样本的潜在主题分布,该过程是一个特征学习的过程,用于学习到更好的特征表达,用学习到的每个样本的潜在主题分布作为输入来训练神经网络。当给定一个测试样本时,学习测试样本的潜在主题分布,将学习到的潜在主题分布输入到训练好的神经网络中,从而得到测试样本的标记集合。与两种经典的基于分解策略的多示例多标记算法相比,实验结果表明提出的新方法在现实世界中的两种多示例多标记学习任务中具有更优越的性能。