面向规避僵尸网络流量检测的对抗样本生成

基于机器学习的僵尸网络流量检测是现阶段网络安全领域比较热门的研究方向,然而生成对抗网络(generative adversarial networks,GAN)的出现使得机器学习面临巨大的挑战.针对这个问题,在未知僵尸网络流量检测器模型结构和参数的假设条件下,基于生成对抗网络提出了一种新的用于黑盒攻击的对抗样本生成方法...     

机器学习模型安全与隐私研究综述

在大数据时代下,深度学习、强化学习以及分布式学习等理论和技术取得的突破性进展,为机器学习提供了数据和算法层面的强有力支撑,同时促进了机器学习的规模化和产业化发展.然而,尽管机器学习模型在现实应用中有着出色的表现,但其本身仍然面临着诸多的安全威胁.机器学习在数据层、模型层以及应用层面临的安全和隐私威胁呈现出多样性、隐蔽性和动态演化的特点.机器学习的安全和隐私问题吸引了学术界和工业界的广泛关注,一大批学者分别从攻击和防御的角度对模型的安全和隐私问题进行了深入的研究,并且提出了一系列的攻防方法.在本综述中,我们回顾了机器学习的安全和隐私问题,并对现有的研究工作进行了系统的总结和科学的归纳,同时明确了当前研究的优势和不足.最后,我们探讨了机器学习模型安全与隐私保护研究当前所面临的挑战以及未来潜在的研究方向,旨在为后续学者进一步推动机器学习模型安全与隐私保护研究的发展和应用提供指导.     

基于动态批量评估的绿色无梯度优化方法研究

在基于语言模型即服务的提示词黑盒微调、机器学习模型超参数调节等优化任务中,由于解空间到性能指标之间的映射关系复杂多变,难以显式地构建目标函数,故常采用无梯度优化方法来实现寻优.解的准确、稳定评估是有效实施无梯度优化方法的关键,完成一次解的质量评估常要求在整个数据集上完整运行一次模型,且优化过程有时需要大量评估解的质量,随着机器学习模型复杂度以及训练样本量的不断增加,准确、稳定的解的质量评估时间成本与计算代价越来越高昂,这与绿色低碳机器学习与优化理念背道而驰.有鉴于此,本文提出了一种基于动态批量评估的绿色无梯度优化方法框架(Green Derivative-free Optimization with Dynamic Batch Evaluation,GRACE),基于训练子集的相似性,在优化过程中自适应动态调节评估解时使用的样本量,使得GRACE在保证优化性能的同时,降低优化成本与代价,达到绿色低碳高效的目标.本文在语言模型即服务提示词黑盒微调、模型超参数优化等实际任务上进行了实验验证,通过与一系列对比方法以及GRACE消融退化版算法进行比较分析,表明了GRACE的有效性、高效性、绿色低碳性.超参数分析结果表明了其具备超参数稳健性.     

基于迁移学习的敏感数据隐私保护方法

机器学习涉及一些隐含的敏感数据,当受到模型查询或模型检验等模型攻击时,可能会泄露用户隐私信息。针对上述问题,本文提出一种敏感数据隐私保护“师徒”模型PATE-T,为机器学习模型的训练数据提供强健的隐私保证。该方法以“黑盒”方式组合了由不相交敏感数据集训练得到的多个“师父”模型,这些模型直接依赖于敏感训练数据。“徒弟”由“师父”集合迁移学习得到,不能直接访问“师父”或基础参数,“徒弟”所在数据域与敏感训练数据域不同但相关。在差分隐私方面,攻击者可以查询“徒弟”,也可以检查其内部工作,但无法获取训练数据的隐私信息。实验表明,在数据集MNIST和SVHN上,本文提出的隐私保护模型达到了隐私/实用准确性的权衡,性能优越。     

机器学习中的隐私攻击与防御

大数据时代丰富的信息来源促进了机器学习技术的蓬勃发展,然而机器学习模型的训练集在数据采集、模型训练等各个环节中存在的隐私泄露风险,为人工智能环境下的数据管理提出了重大挑战.传统数据管理中的隐私保护方法无法满足机器学习中多个环节、多种场景下的隐私保护要求.分析并展望了机器学习技术中隐私攻击与防御的研究进展和趋势.首先介绍了机器学习中隐私泄露的场景和隐私攻击的敌手模型,并根据攻击者策略分类梳理了机器学习中隐私攻击的最新研究;介绍了当前机器学习隐私保护的主流基础技术,进一步分析了各技术在保护机器学习训练集隐私时面临的关键问题,重点分类总结了5种防御策略以及具体防御机制;最后展望了机器学习技术中隐私防御机制的未来方向和挑战.     

非经典条件下的机器学习方法专题前言

近年来,随着学术界与工业界在机器学习和人工智能领域投入的关注越来越多,相关技术飞速发展,机器学习已经在社会生活的方方面面获得广泛应用,并产生了巨大价值.随着机器学习模型应用场景的不断扩大,越来越多的问题难以被经典条件下的机器学习方法所解决.新兴的应用场景下,人们往往面临数据模式发生变化、数据特征发生变化、学习任务目标发生变化等动态场景;数据标记不完备或采样存在偏差等弱监督场景;以及设备存储空间较小、计算能力有限等资源受限场景,等等.     

针对机器学习的成员推断攻击综述

近年来，机器学习不仅在计算机视觉、自然语言处理等领域取得了显著成效，也被广泛应用于人脸图像、金融数据、医疗信息等敏感数据处理领域。最近，研究人员发现机器学习模型会记忆它们训练集中的数据，导致攻击者可以对模型实施成员推断攻击，即攻击者可以推断给定数据是否存在于某个特定机器学习模型的训练集。成员推断攻击的成功，可能导致严重的个人隐私泄露。例如，如果能确定某个人的医疗记录属于某医院的数据集，则表明这个人曾经是那家医院的病人。首先介绍了成员推断攻击的基本原理；然后系统地对近年来代表性攻击和防御的研究进行了总结和归类，特别针对不同条件设置下如何进行攻击和防御进行了详细的阐述；最后回顾成员推断攻击的发展历程，探究机器学习隐私保护面临的主要挑战和未来潜在的发展方向。     

大数据下的机器学习算法综述

随着产业界数据量的爆炸式增长,大数据概念受到越来越多的关注.由于大数据的海量、复杂多样、变化快的特性,对于大数据环境下的应用问题,传统的在小数据上的机器学习算法很多已不再适用.因此,研究大数据环境下的机器学习算法成为学术界和产业界共同关注的话题.文中主要分析和总结当前用于处理大数据的机器学习算法的研究现状.此外,并行是处理大数据的主流方法,因此介绍一些并行算法,并引出大数据环境下机器学习研究所面临的问题.最后指出大数据机器学习的研究趋势.     

机器学习方法赋能系统软件：挑战、实践与展望

机器学习方法为构建系统软件带来了新的机遇.为充分利用硬件资源支撑新型应用，系统软件的设计与实现需要不断改进与演化，以适应不同场景的需求.机器学习方法具有从数据中提取规律并自动优化系统性能的潜力.然而，使用机器学习方法赋能系统软件面临一些挑战，包括设计面向系统软件的定制化模型、获取足量且高质量的训练数据、降低模型开销对系统性能的影响，以及消除模型误差对系统正确性的影响等.介绍了上海交通大学并行与分布式系统研究所在索引结构、键值存储系统、并发控制协议等方面应用机器学习方法优化系统软件的实践，并从模型设计、系统集成和实践者自身知识储备等方面总结了经验与教训.此外，还回顾了国内外相关研究，并对此研究方向提出了展望与建议，希望为未来的研究提供参考与帮助.     

机器学习中成员推理攻击和防御研究综述

机器学习被广泛应用于各个领域, 已成为推动各行业革命的强大动力, 极大促进了人工智能的繁荣与发展。同时, 机器学习模型的训练和预测均需要大量数据, 而这些数据可能包含隐私信息, 导致其隐私安全面临严峻挑战。成员推理攻击主要通过推测一个数据样本是否被用于训练目标模型来破坏数据隐私, 其不仅可以破坏多种机器学习模型(如, 分类模型和生成模型)的数据隐私, 而且其隐私泄露也渗透到图像分类、语音识别、自然语言处理、计算机视觉等领域, 这对机器学习的长远发展产生了极大的安全威胁。因此, 为了提高机器学习模型对成员推理攻击的安全性, 本文从机器学习隐私安全攻防角度, 全面系统性分析和总结了成员推理攻击和防御的基本原理和特点。首先, 介绍了成员推理攻击的定义、威胁模型, 并从攻击原理、攻击场景、背景知识、攻击的目标模型、攻击领域、攻击数据集大小六个方面对成员推理攻击进行分类, 比较不同攻击的优缺点; 然后, 从目标模型的训练数据、模型类型以及模型的过拟合程度三个角度分析成员推理攻击存在原因, 并从差分隐私、正则化、数据增强、模型堆叠、早停、信任分数掩蔽和知识蒸馏七个层面对比分析不同防御措施; 接着, 归纳总结了成员推理攻击和防御常用的评估指标和数据集, 以及其在其他方面的应用。最后, 通过对比分析已有成员推理攻击和防御的优缺点, 对其面临的挑战和未来研究方向进行了展望。     

敌对攻击环境下基于移动目标防御的算法稳健性增强方法

传统的机器学习模型工作在良性环境中,通常假设训练数据和测试数据是同分布的,但在恶意文档检测等领域该假设被打破。敌人通过修改测试样本对分类算法展开攻击,使精巧构造的恶意样本能够逃过机器学习算法的检测。为了提高机器学习算法的安全性,提出了基于移动目标防御技术的算法稳健性增强方法。实验证明,该方法通过在算法模型、特征选择、结果输出等阶段的动态变换,能够有效抵御攻击者对检测算法的逃逸攻击。     

基于改进CGANs的入侵检测方法研究

近年来,机器学习算法在入侵检测系统(IDS)中的应用获得越来越多的关注。然而,传统的机器学习算法更多的依赖于已知样本,因此需要尽可能多的数据样本来对模型进行训练。遗憾地是,随着越来越多未知攻击的出现,且用于训练的攻击样本具有不平衡性,传统的机器学习模型会遇到瓶颈。文章提出一种将改进后的条件生成对抗网络(CGANs)与深度神经网络(DNN)相结合的入侵检测模型(CGANs-DNN),通过解决样本不平衡性问题来提高检测模型对未知攻击类型或只有少数攻击样本类型的检测率。深度神经网络(DNN)具有表征数据潜在特征的能力,而经过改进后的条件CGANs,能够通过学习已知攻击样本潜在数据特征分布,来根据指定类型生成新的攻击样本。此外,与生成对抗网络(GANs)和变分自编码器(VAE)等无监督生成模型相比,CGANsDNN经过改进后加入梯度惩罚项,在训练的稳定性上有了很大地提升。通过NSL-KDD数据集对模型进行评估,与传统算法相比CGANs-DNN不仅在整体准确率、召回率和误报率等方面有更好的性能,而且对未知攻击和只有少数样本的攻击类型具有较高的检测率。     

基于输入通道拆分的对抗攻击迁移性增强算法

深度神经网络已被应用于人脸识别、自动驾驶等场景中,但容易受到对抗样本的攻击。对抗样本的生成方法被分为白盒攻击和黑盒攻击,当对抗攻击算法攻击白盒模型时存在过拟合问题,导致生成对抗样本的迁移性降低。提出一种用于生成高迁移性对抗样本的对抗攻击算法CSA。在每次迭代过程中,通过对输入RGB图片的通道进行拆分,得到三张具有一个通道的输入图片,并对其进行零值填充,获得三张具有三个通道的输入图片。将最终得到的图片与原始RGB输入图片共同传入到模型中进行梯度计算,调整原始梯度的更新方向,避免出现局部最优。在此基础上,通过符号法生成对抗样本。在ImageNet数据集上的实验验证该算法的有效性,结果表明,CSA算法能够有效提高对抗攻击的迁移性,在四种常规训练模型上的攻击成功率平均为84.2%,与DIM、TIM结合所得DI-TI-CSA算法在三种对抗训练黑盒模型上的攻击成功率平均为94.7%,对七种防御模型的攻击成功率平均为91.8%。     

基于真实数据感知的模型功能窃取攻击

目的 模型功能窃取攻击是人工智能安全领域的核心问题之一,目的是利用有限的与目标模型有关的信息训练出性能接近的克隆模型,从而实现模型的功能窃取。针对此类问题,一类经典的工作是基于生成模型的方法,这类方法利用生成器生成的图像作为查询数据,在同一查询数据下对两个模型预测结果的一致性进行约束,从而进行模型学习。然而此类方法生成器生成的数据常常是人眼不可辨识的图像,不含有任何语义信息,导致目标模型的输出缺乏有效指导性。针对上述问题,提出一种新的模型窃取攻击方法,实现对图像分类器的有效功能窃取。方法 借助真实的图像数据,利用生成对抗网络(generative adversarial net,GAN)使生成器生成的数据接近真实图像,加强目标模型输出的物理意义。同时,为了提高克隆模型的性能,基于对比学习的思想,提出一种新的损失函数进行网络优化学习。结果 在两个公开数据集CIFAR-10(Canadian Institute for Advanced Research-10)和SVHN(street view house numbers)的实验结果表明,本文方法能够取得良好的功能窃取效果。在CIFAR-10数据集上,相比目前较先进的方法,本文方法的窃取精度提高了5%。同时,在相同的查询代价下,本文方法能够取得更好的窃取效果,有效降低了查询目标模型的成本。结论 本文提出的模型窃取攻击方法,从数据真实性的角度出发,有效提高了针对图像分类器的模型功能窃取攻击效果,在一定程度上降低了查询目标模型代价。     

面向恶意软件检测模型的黑盒对抗攻击方法

深度学习方法已被广泛应用于恶意软件检测中并取得了较好的预测精度,但同时深度神经网络容易受到对输入数据添加细微扰动的对抗攻击,导致模型输出错误的预测结果,从而使得恶意软件检测失效。针对基于深度学习的恶意软件检测方法的安全性,提出了一种面向恶意软件检测模型的黑盒对抗攻击方法。首先在恶意软件检测模型内部结构参数完全未知的前提下,通过生成对抗网络模型来生成恶意软件样本;然后使生成的对抗样本被识别成预先设定的目标类型以实现目标攻击,从而躲避恶意软件检测;最后,在Kaggle竞赛的恶意软件数据集上展开实验,验证了所提黑盒攻击方法的有效性。进一步得到,生成的对抗样本也可对其他恶意软件检测方法攻击成功,这验证了其具有较强的攻击迁移性。     

基于熵及随机擦除的针对目标检测物理攻击的防御

物理攻击通过在图像中添加受扰动的对抗块使得基于深度神经网络 (DNNs) 的应用失效, 对DNNs的安全性带来严重的挑战。针对物理攻击方法生成的对抗块与真实图像块之间的信息分布不同的特点, 本文提出了能有效避免现有物理攻击的防御算法。该算法由基于熵的检测组件 (Entropy-based Detection Component, EDC) 和随机擦除组件 (Random Erasing Component,REC) 两部分组成。EDC 组件采用熵值度量检测对抗块并对其灰度替换。该方法不仅能显著降低对抗块对模型推理的影响, 而且不依赖大规模的训练数据。REC 模块改进了深度学习通用训练范式。利用该方法训练得到的深度学习模型, 在不改变现有网络结构的前提下, 不仅能有效防御现有物理攻击, 而且能显著提升图像分析效果。上述两个组件都具有较强的可转移性且不需要额外的训练数据, 它们的有机结合构成了本文的防御策略。实验表明, 本文提出的算法不仅能有效的防御针对目标检测的物理攻击(在 Pascal VOC 2007 上的平均精度 (mAP) 由 31.3% 提升到 64.0% 及在 Inria 数据集上由 19.0% 提升到 41.0%), 并且证明算法具有较好的可转移性, 能同时防御图像分类和目标检测两种任务的物理攻击。     

From zero-shot machine learning to zero-day attack detection

Machine learning (ML) models have proved efficient in classifying data samples into their respective categories. The standard ML evaluation methodology assumes that test data samples are derived from pre-observed classes used in the training phase. However, in applications such as Network Intrusion Detection Systems (NIDSs), obtaining data samples of all attack classes to be observed is challenging. ML-based NIDSs face new attack traffic known as zero-day attacks that are not used in training due to their non-existence at the time. Therefore, this paper proposes a novel zero-shot learning methodology to evaluate the performance of ML-based NIDSs in recognising zero-day attack scenarios. In the attribute learning stage, the learning models map network data features to semantic attributes that distinguish between known attacks and benign behaviour. In the inference stage, the models construct the relationships between known and zero-day attacks to detect them as malicious. A new evaluation metric is defined as Zero-day Detection Rate (Z-DR) to measure the effectiveness of the learning model in detecting unknown attacks. The proposed framework is evaluated using two key ML models and two modern NIDS data sets. The results demonstrate that for certain zero-day attack groups discovered in this paper, ML-based NIDSs are ineffective in detecting them as malicious. Further analysis shows that attacks with a low Z-DR have a significantly distinct feature distribution and a higher Wasserstein Distance range than the other attack classes.

     

基于腐蚀批归一化层的对抗攻击算法

目前在对抗样本生成研究领域,基于梯度的攻击方法由于生成速度快和资源消耗低而得到广泛应用。然而,现有大多数基于梯度的攻击方法所得对抗样本的黑盒攻击成功率并不高。最强基于梯度的攻击方法在攻击6个先进防御黑盒模型时的平均成功率只有78.2%。为此,提出一种基于腐蚀深度神经网络架构中批归一化层的对抗攻击算法来改进现有基于梯度的攻击方法,以实现所得对抗样本的黑盒攻击成功率进一步提升。在一个ImageNet兼容数据集上做了大量实验,实验结果表明所提出的算法在单模型攻击和集成模型攻击中均能与现有基于梯度的攻击方法有效组合,实现在几乎不增加额外计算开销条件下增强对抗样本的攻击性能。此外,所提算法还使得最强基于梯度的攻击方法针对6个先进防御黑盒模型的平均攻击成功率提升了9.0个百分点。     

深度学习中的后门攻击综述

随着深度学习研究与应用的迅速发展,人工智能安全问题日益突出。近年来,深度学习模型的脆弱性和不鲁棒性被不断的揭示,针对深度学习模型的攻击方法层出不穷,而后门攻击就是其中一类新的攻击范式。与对抗样本和数据投毒不同,后门攻击者在模型的训练数据中添加触发器并改变对应的标签为目标类别。深度学习模型在中毒数据集上训练后就被植入了可由触发器激活的后门,使得模型对于正常输入仍可保持高精度的工作,而当输入具有触发器时,模型将按照攻击者所指定的目标类别输出。在这种新的攻击场景和设置下,深度学习模型表现出了极大的脆弱性,这对人工智能领域产生了极大的安全威胁,后门攻击也成为了一个热门研究方向。因此,为了更好的提高深度学习模型对于后门攻击的安全性,本文针对深度学习中的后门攻击方法进行了全面的分析。首先分析了后门攻击和其他攻击范式的区别,定义了基本的攻击方法和流程,然后对后门攻击的敌手模型、评估指标、攻击设置等方面进行了总结。接着,将现有的攻击方法从可见性、触发器类型、标签类型以及攻击场景等多个维度进行分类,包含了计算机视觉和自然语言处理在内的多个领域。此外,还总结了后门攻击研究中常用的任务、数据集与深度学习模型,并介绍了后门攻击在数据隐私、模型保护以及模型水印等方面的有益应用,最后对未来的关键研究方向进行了展望。     

Enhancing the Adversarial Transferability with Channel Decomposition

The current adversarial attacks against deep learning models have achieved incredible success in the white-box scenario. However, they often exhibit weak transferability in the black-box scenario, especially when attacking those with defense mechanisms. In this work, we propose a new transfer-based black-box attack called the channel decomposition attack method (CDAM). It can attack multiple black-box models by enhancing the transferability of the adversarial examples. On the one hand, it tunes the gradient and stabilizes the update direction by decomposing the channels of the input example and calculating the aggregate gradient. On the other hand, it helps to escape from local optima by initializing the data point with random noise. Besides, it could combine with other transfer-based attacks flexibly. Extensive experiments on the standard ImageNet dataset show that our method could significantly improve the transferability of adversarial attacks. Compared with the state-of-the-art method, our approach improves the average success rate from 88.2% to 96.6% when attacking three adversarially trained black-box models, demonstrating the remaining shortcomings of existing deep learning models.