加密恶意流量检测及对抗综述

网络流量加密在保护企业数据和用户隐私的同时, 也为恶意流量检测带来新的挑战. 根据处理加密流量的方式不同, 加密恶意流量检测可分为主动检测和被动检测. 主动检测包括对流量解密后的检测和基于可搜索加密技术的检测, 其研究重点是隐私安全的保障和检测效率的提升, 主要分析可信执行环境和可控传输协议等保障措施的应用. 被动检测是在用户无感知且不执行任何加密或解密操作的前提下, 识别加密恶意流量的检测方法, 其研究重点是特征的选择与构建, 主要从侧信道特征、明文特征和原始流量等3类特征分析相关检测方法, 给出有关模型的实验评估结论. 最后, 从混淆流量特征、干扰学习算法和隐藏相关信息等角度, 分析加密恶意流量检测对抗研究的可实施性.     

基于LSTM循环神经网络的恶意加密流量检测

加密流量已经成为互联网中的主要流量,攻击者使用加密技术可以逃避传统的检测方法。在不对应用流量进行解密的情况下,网络管理者对传输内容进行深度包解析和恶意字符匹配进而检测恶意通信。针对该问题,在不对流量解密的情况下使用网络层的传输包序列和时间序列识别流量行为,使用过采样方法处理不平衡的黑白样本,基于LSTM循环神经网络建立检测模型。使用清华2017年-2018年边界网关的正常流量数据,在沙箱中采集恶意样本产生的流量数据进行检测实验,结果表明该模型能够较好地检测恶意软件的加密通信流量。     

面向后渗透攻击行为的网络恶意流量检测研究

现有的后渗透行为研究主要针对主机端进行攻击与防御反制,缺乏对流量侧的模式分析与检测方法。随着后渗透攻击框架与攻击工具的快速发展与广泛使用,基于统计特征或原始流量输入的恶意流量检测模型难以应对复杂多变场景下的后渗透攻击行为恶意流量,存在泛化能力弱、检测精度低、误报率高等问题。通过深入分析后渗透攻击恶意流量样本与正常网络流量会话流,提出后渗透攻击恶意流量的会话流级别粒度划分方法,挖掘后渗透攻击恶意流量在时间尺度上的交互行为与语义表示。引入一种基于马尔可夫模型的时间向量特征提取方法表征流序列的行为相似度,对会话流进行全局行为建模,解决单一粒度特征学习能力不足的问题,进而构建基于多粒度特征融合的后渗透攻击恶意流量检测框架。实验结果表明,该方法在后渗透攻击行为恶意流量多分类检测任务上达到了99.98%的准确率,具有较高的分类准确性与较低的误报率。     

基于Stacking与多特征融合的加密恶意流量检测

加密技术保护网络通信安全的同时,大量恶意软件也采用加密协议来隐藏其恶意行为。在现有基于机器学习的TLS加密恶意流量检测模型中,存在单模型检测算法对多粒度特征适用性差和混合流量检测误报率高的问题。提出基于Stacking策略和多特征融合的非解密TLS加密恶意流量检测方法。分析加密恶意流量特征多粒度的特点,提取流量的流特征、连接特征和TLS握手特征。对所提取的特征通过特征工程进行规约处理,从而减少计算开销。对规约处理后的3类特征分别建立随机森林、XGBoost和高斯朴素贝叶斯分类器模型学习隐藏在流量内部的规律。在此基础上,使用流指纹融合处理后的多维特征,利用Stacking策略组合3个分类器,构成DMMFC检测模型来识别网络中的TLS加密恶意流量。基于CTU-13公开数据集对构建的模型进行性能评估,实验结果表明,该方法在二分类实验上识别召回率高达99.93%,恶意流量检测的误报率低于0.10%,能够有效检测非解密的TLS加密恶意流量。     

基于多头注意力的恶意加密流量检测方法

恶意加密流量的识别是网络安全管理的一项重要内容。然而，随着网络用户的增加，网络流量的数量和种类正以指数级增加，这给网络安全管理带来了新的挑战和威胁。传统的恶意加密流量识别方法依赖专家经验，且对恶意加密流量特征区分能力不强，不适用目前复杂网络的场景。本文提出了基于多头注意力的恶意加密流量检测方法，通过多头注意力，流量特征可以被映射到多个子空间并进行高阶流量特征的提取，通过一维卷积神经网络进一步提取数据包内部的空间特征。实验结果表明，该方法在CTU数据集上对正常、恶意加密流量的二分类取得了优异的检测效果。     

多特征融合的煤矿网络加密恶意流量检测方法

针对煤矿网络面临由恶意软件所产生的安全传输层协议（TLS）加密恶意流量威胁和检测过程加密流量误报率高的问题,提出了一种基于多特征融合的煤矿网络TLS加密恶意流量检测方法。分析了TLS加密恶意流量特征多元异构的特点,提取出煤矿网络TLS加密恶意流在传输过程中的连接特征、元数据和TLS加密协议握手特征,利用流指纹方法构造煤矿网络TLS加密流量特征集,并对该特征集中的特征进行标准化、独热编码和规约处理,从而得到一个高效样本集。采用决策树（DT）、K近邻（KNN）、高斯朴素贝叶斯（GNB）、L2逻辑回归（LR）和随机梯度下降（SGD）分类器5个子模型对上述特征集进行检验。为提高检测模型的鲁棒性,结合投票法原理将5个分类器子模型结合,构建了多模型投票（MVC）检测模型：将5个分类器子模型作为投票器,每个分类器子模型单独训练样本集,按照少数服从多数原则进行投票,得到每个样本的最终预测值。实验验证结果表明：所构建的特征集降低了样本集维度,提高了TLS加密流量检测效率。DT分类器和KNN分类器在数据集上表现最好,达到了99%以上的准确率,但是它们存在过拟合风险;LR分类器和SGD分类器子模型虽然也达到...     

基于隐马尔可夫模型的加密恶意流量检测

近年来,随着网络加密技术的普及,使用网络加密技术的恶意攻击事件也在逐年增长,依赖于数据包内容的传统检测方法如今已经无法有效地应对隐藏在加密流量中的恶意软件攻击.为了能够应对不同协议下的加密恶意流量检测,提出了基于ProfileHMM的加密恶意流量检测算法.该方法利用生物信息学上的基因序列比对分析,通过匹配关键基因子序列,实现识别加密攻击流量的能力.通过使用开源数据集在不同条件下进行实验,结果表明了算法的有效性.此外,设计了两种规避检测的方法,通过实验验证了算法具有较好的抗规避检测的能力.与已有研究相比,该工作具有应用场景广泛以及检测准确率较高的特点,为基于加密流量的恶意软件检测研究领域提供了一种较为有效的解决方案.     

融合多头注意力机制的网络恶意流量检测

【目的】现有的网络恶意流量检测方法依赖统计特征进行建模,忽略了网络流量本身所具备的时序特征,通过对时序特征的提取、学习、建模,可以进一步提高网络恶意流量检测精度。【方法】将网络流量以会话为基本单元进行切分,对每个会话截取固定长度的流量字节,以词嵌入的方式为每个字节编码,通过融合多头注意力机制的特征提取算法提取其时序特征,将提取的特征输入分类器从而实现对恶意流量的检测。【结果】实验结果表明,本文提出模型对恶意流量的分类准确率达到99.97%,明显优于通过统计特征建模的恶意流量检测方法,对比LSTM和Bi-LSTM等同类模型也有提升。【结论】融合多头注意力机制的网络恶意流量检测方法能够明显提高现有算法对恶意流量的检测精度,能够有效支撑网络空间安全保卫与防护任务。     

基于多层双向SRU与注意力模型的加密流量分类方法

基于传统循环神经网络的加密流量分类方法普遍存在并行性较差、模型运行效率较低等问题。为实现加密流量的快速准确分类,提出一种基于多层双向简单循环单元（SRU）与注意力（MLBSRU-A）模型的加密流量分类方法。将特征学习和分类统一到一个端到端模型中,利用SRU模型高度并行化的序列建模能力来提高整体运行效率。为了提升MLBSRU-A模型的分类精度,堆叠多层双向SRU网络使其自动地从原始流量中提取特征,并引入注意力机制为特征赋予不同的权重,从而提高重要特征之间的区分度。实验结果表明,在公开数据集ISCX VPN-nonVPN上,MLBSRU-A模型具有较高的分类精度和运行效率,与BGRUA模型相比,MLBSRU-A的细粒度分类准确率提高4.34%,训练时间减少55.38%,在USTC-TFC 2016数据集上,MLBSRU-A模型对未知加密恶意流量的检测准确率达到99.50%,细粒度分类准确率为98.84%,其兼具对未知加密恶意流量的高精度检测能力以及对加密恶意流量的细粒度分类能力。     

基于机器学习的TLS恶意加密流量检测方案

首先介绍了安全传输层（TLS,transport layer security）协议的特点、流量识别方法;然后给出了一种基于机器学习的分布式自动化的恶意加密流量检测体系;进而从 TLS 特征、数据元特征、上下文数据特征3个方面分析了恶意加密流量的特征;最后,通过实验对几种常见机器学习算法的性能进行对比,实现了对恶意加密流量的高效检测。     

TLSmell: Direct Identification on Malicious HTTPs Encryption Traffic with Simple Connection-Specific Indicators

Internet traffic encryption is a very common traffic protection method. Most internet traffic is protected by the encryption protocol called transport layer security (TLS). Although traffic encryption can ensure the security of communication, it also enables malware to hide its information and avoid being detected. At present, most of the malicious traffic detection methods are aimed at the unencrypted ones. There are some problems in the detection of encrypted traffic, such as high false positive rate, difficulty in feature extraction, and insufficient practicability. The accuracy and effectiveness of existing methods need to be improved. In this paper, we present TLSmell, a framework that conducts malicious encrypted HTTPs traffic detection with simple connection-specific indicators by using different classifiers based online training. We perform deep packet analysis of encrypted traffic through data pre-processing to extract effective features, and then the online training algorithm is used for training and prediction. Without decrypting the original traffic, high-precision malicious traffic detection and analysis are realized, which can guarantee user privacy and communication security. At the same time, since there is no need to decrypt the traffic in advance, the efficiency of detecting malicious HTTPs traffic will be greatly improved. Combined with the traditional detection and analysis methods, malicious HTTPs traffic is screened, and suspicious traffic is further analyzed by the expert through the context of suspicious behaviors, thereby improving the overall performance of malicious encrypted traffic detection.     

基于迁移学习的加密恶意流量检测方法

现有加密恶意流量检测方法需要利用大量准确标记的样本进行训练,以达到较好的检测效果。但在实际网络环境中,加密流量数据由于其内容不可见而难以进行正确标记。针对上述问题,提出了一种基于迁移学习的加密恶意流量检测方法,首次将基于ImageNet数据集预训练的模型Efficientnet-B0,迁移到加密流量数据集上,保留其卷积层结构和参数,对全连接层进行替换和再训练,利用迁移学习的思想实现小样本条件下的高性能检测。该方法利用端到端的框架设计,能够直接从原始流量数据中提取特征并进行检测和细粒度分类,避免了繁杂的手动特征提取过程。实验结果表明,该方法对正常、恶意流量的二分类准确率能够达到99.87%,加密恶意流量细粒度分类准确率可达到98.88%,并且在训练集中各类流量样本数量减少到100条时,也能够达到96.35%的细粒度分类准确率。     

融合一维Inception结构与ViT的恶意加密流量检测

在互联网加密化背景下,传统恶意流量检测方法在加密流量上的特征区分度较差,为更好地从加密流量中检测出恶意流量,设计一个融合一维Inception-ViT的恶意加密流量检测模型。基于流量数据的时序性特点,通过一维Inception结构对GoogLeNet中的Inception结构进行改进,使用适用于序列数据的一维卷积替换二维卷积,并添加池化操作去除一些冗余信息的干扰。同时,融合ViT模型,将经过一维Inception结构处理后的数据输入到ViT模型中,利用多头注意力突出重要特征,增强特征区分度以提升模型检测结果。为验证一维Inception-ViT模型各模块的有效性,与6种变体模型进行对比,实验结果表明,一维Inception-ViT模型性能最好,平均召回率和平均F1值指标分别达到了99.42%和99.39%。此外,与其他8种现有模型进行比较,一维Inception-ViT模型具有更好的检测效果,同时在恶意加密流量Neris和Virut细粒度分类上,与性能最好的基准模型相比,一维Inception-ViT模型能够有效减少样本检测混淆,可更准确地对恶意加密流量进行识别。     

基于流量统计指纹的恶意代码检测模型

采用加密和隧道技术的恶意代码难以检测。为此,提出基于流量统计指纹的恶意代码检测模型。提取恶意代码流量中的包层特征和流层特征,对高维流层特征采用主成分分析进行降维,利用两类特征的概率密度函数建立恶意代码流量统计指纹,使用该指纹检测网络中恶意代码通信流量。实验结果表明,该模型能有效检测采用加密和隧道技术的恶意代码。     

The effects of feature selection on the classification of encrypted botnet

Many applications today are using an encrypted channel to secure their communication and transactions. Though, their security is often challenged by adversaries such as Botnet. Botnet leverages the encrypted channel to launch attacks and amplify the impact of attacks. The numbers of Botnet attacks over an encrypted channel are increasing and continue to cause a great loss of money. This study proposes an encrypted Botnet detection technique based on packet header analysis. This technique does not require deep packet inspection and intense traffic analysis. However, the proposed technique requires the analysis of the features taken from the packet header, which are essential for detection. The study endeavors to show that features selected can significantly affect the classification of encrypted Botnet. Therefore, in this paper, the researchers focus on the effects of feature selection on the classification of encrypted Botnet. The researchers use different classification mode (full training and 10-fold cross-validation) mainly by using seven features (7-features) and three features (3-features). Seven features are the number of features extracted from the packet header, and after the feature selection, only three features out of the seven features have weight (value). Therefore, the three features are the most significant features from the seven features that have been extracted. Generally, the result shows that classification with three most significant features provides higher true positive compared to the 7-features classification. Different machine learning algorithms have been used for the classification. Relatively, the results show that the True Positives are higher for 3-features classification than 7-features classification.

     

GBDT与LR融合模型在加密流量识别中的应用

随着网络应用服务类型的多样化以及网络流量加密技术的不断发展,加密流量识别已经成为网络安全领域的一个重大挑战。传统的流量识别技术如深度包检测无法有效地识别加密流量,而基于机器学习理论的加密流量识别技术则表现出很好的效果。因此,本文提出一种融合梯度提升决策树算法(GBDT)与逻辑回归(LR)算法的加密流量分类模型,使用贝叶斯优化(BO)算法进行超参数调整,利用与时间相关的流特征对普通加密流量与VPN加密流量进行识别,实现了整体高于90%的流量识别准确度,与其他常用分类模型相比拥有更好的识别效果。     

基于深度生成对抗网络的恶意TLS流量识别

恶意加密流量识别公开数据集中存在的类不平衡问题,严重影响着恶意流量预测的性能。本文提出使用深度生成对抗网络DGAN中的生成器和鉴别器,模拟真实数据集生成并扩展小样本数据,形成平衡数据集。此外,针对传统机器学习方法依赖人工特征提取导致分类准确度下降等问题,提出一种基于双向门控循环单元BiGRU与注意力机制相融合的恶意流量识别模型,由深度学习算法自动获取数据集不同时序的重要特征向量,进行恶意流量得识别。实验表明,与常用恶意流量识别算法相比,该模型在精度、召回率、F1等指标上都有较好的提升,能有效实现恶意加密流量的识别。