基于迁移学习的加密恶意流量检测方法

现有加密恶意流量检测方法需要利用大量准确标记的样本进行训练,以达到较好的检测效果。但在实际网络环境中,加密流量数据由于其内容不可见而难以进行正确标记。针对上述问题,提出了一种基于迁移学习的加密恶意流量检测方法,首次将基于ImageNet数据集预训练的模型Efficientnet-B0,迁移到加密流量数据集上,保留其卷积层结构和参数,对全连接层进行替换和再训练,利用迁移学习的思想实现小样本条件下的高性能检测。该方法利用端到端的框架设计,能够直接从原始流量数据中提取特征并进行检测和细粒度分类,避免了繁杂的手动特征提取过程。实验结果表明,该方法对正常、恶意流量的二分类准确率能够达到99.87%,加密恶意流量细粒度分类准确率可达到98.88%,并且在训练集中各类流量样本数量减少到100条时,也能够达到96.35%的细粒度分类准确率。     

基于卷积神经网络的加密网络流量分类

传统的基于端口和深度包检测系统的方法无法对加密流量进行分类,基于浅层机器学习的方法又存在需要使用人工规则构造特征集、分类性能直接受到特征集质量的影响等问题。这会消耗大量的人力资源,并使流量分类的准确性难以达到预期。近年来,研究人员逐渐将目光转移到深度学习方面。深度学习不需要查看端口和解析流量,也不需要耗费人力提取特征集,是解决流量分类的有效途径。研究基于现实网络信息安全的需求,利用深度学习的方法搭建了一种基于深度学习的加密网络流量分类模型,实现了对加密流量的分类,在准确率、训练时间等方面均取得较为良好的结果。     

加密恶意流量检测及对抗综述

网络流量加密在保护企业数据和用户隐私的同时, 也为恶意流量检测带来新的挑战. 根据处理加密流量的方式不同, 加密恶意流量检测可分为主动检测和被动检测. 主动检测包括对流量解密后的检测和基于可搜索加密技术的检测, 其研究重点是隐私安全的保障和检测效率的提升, 主要分析可信执行环境和可控传输协议等保障措施的应用. 被动检测是在用户无感知且不执行任何加密或解密操作的前提下, 识别加密恶意流量的检测方法, 其研究重点是特征的选择与构建, 主要从侧信道特征、明文特征和原始流量等3类特征分析相关检测方法, 给出有关模型的实验评估结论. 最后, 从混淆流量特征、干扰学习算法和隐藏相关信息等角度, 分析加密恶意流量检测对抗研究的可实施性.     

面向高速网络流量的加密混淆型WebShell检测

WebShell 是一种常见的 Web 脚本入侵工具。随着流量加密和代码混淆等技术的逐渐发展,使用传统的文本内容特征和网络流特征进行匹配的检测手段越来越难以防范生产环境下复杂的 WebShell 恶意攻击事件,特别是对于对抗性样本、变种样本或 0Day 漏洞样本的检测效果不够理想。搭建网络采集环境,在高速网络环境中利用数据平面开发套件（DPDK,data plane development kit）技术捕获网络数据包,标注了一套由1万余条不同平台、不同语言、不同工具、不同加密混淆方式的WebShell恶意流量与3万余条正常流量组成的数据集;通过异步流量分析系统框架和轻量型日志采集组件快速地解析原始流量,并融合专家知识深度分析几种流行的WebShell管理工具通信过程中的HTTP数据包,从而构建面向加密混淆型WebShell流量的有效特征集;基于该有效特征集使用支持向量机（SVM,support vector machine）算法实现对加密混淆型 WebShell 恶意流量的离线训练和在线检测。同时,利用遗传算法改进参数搜索方式,克服了由人工经验设置参数方位以及网格搜索陷入局部最优解的缺点,模型训练效率也得到提升。实验结果显示,在自建的WebShell攻击流量数据集上,保证了检测高效性的同时,检测模型的精确率为97.21%,召回率为98.01%,且在对抗性WebShell攻击的对比实验中表现良好。结果表明,所提方法能够显著降低WebShell攻击风险,可以对现有的安全监控体系进行有效补充,并在真实网络环境中部署和应用。     

隐私保护的加密流量检测研究

现有的加密流量检测技术缺少对数据和模型的隐私性保护,不仅违反了隐私保护法律法规,而且会导致严重的敏感信息泄露.主要研究了基于梯度提升决策树(GBDT)算法的加密流量检测模型,结合差分隐私技术,设计并实现了一个隐私保护的加密流量检测系统.在CICIDS2017数据集下检测了 DDoS攻击和端口扫描的恶意流量,并对系统性能...     

基于深度学习的入侵检测模型综述

随着深度学习技术的不断深入发展,基于深度学习的入侵检测模型已成为网络安全领域的研究热点。对网络入侵检测中常用的数据预处理操作进行了总结;重点对卷积神经网络、长短期记忆网络、自编码器和生成式对抗网络等当前流行的基于深度学习的入侵检测模型进行了分析和比较;并简单说明了基于深度学习的入侵检测模型研究中常用的数据集;指出了现有基于深度学习的入侵检测模型在数据集时效、实时性、普适性、模型训练时间等方面存在的问题和今后可能的研究重点。     

基于Attention-CNN的加密流量应用类型识别

随着流量加密技术的不断发展,加密流量已逐渐取代非加密流量成为当前网络环境的主流,其在保护用户隐私的同时,也常被各种恶意软件用来规避传统的基于端口或载荷关键字的入侵检测系统的防御,给网络安全带来了严重威胁.针对常规识别方法的局限性,研究人员尝试利用人工智能的方法来识别加密流量的应用类型,但现有研究对加密流量的特征信息的利用不够充分,导致相关方法在实际复杂的网络环境中表现不佳.为此,提出了一种基于Attention-CNN的加密流量识别方法,在加密流量数据初步特征提取的基础上,使用BiLSTM+Attention和1D-CNN模型对加密流量的时序和空间特征进行特征压缩和进一步提取,并利用基于全连接神经网络得到的混合特征进行最终的识别.文中采用通用的ISCXVPN2016开源数据集进行实验验证,结果表明所提方法的整体识别准确率达到了0.987,且相比现有研究,对不同类别流量识别结果的F1评价指标有显著提升.     

基于Stacking与多特征融合的加密恶意流量检测

加密技术保护网络通信安全的同时,大量恶意软件也采用加密协议来隐藏其恶意行为。在现有基于机器学习的TLS加密恶意流量检测模型中,存在单模型检测算法对多粒度特征适用性差和混合流量检测误报率高的问题。提出基于Stacking策略和多特征融合的非解密TLS加密恶意流量检测方法。分析加密恶意流量特征多粒度的特点,提取流量的流特征、连接特征和TLS握手特征。对所提取的特征通过特征工程进行规约处理,从而减少计算开销。对规约处理后的3类特征分别建立随机森林、XGBoost和高斯朴素贝叶斯分类器模型学习隐藏在流量内部的规律。在此基础上,使用流指纹融合处理后的多维特征,利用Stacking策略组合3个分类器,构成DMMFC检测模型来识别网络中的TLS加密恶意流量。基于CTU-13公开数据集对构建的模型进行性能评估,实验结果表明,该方法在二分类实验上识别召回率高达99.93%,恶意流量检测的误报率低于0.10%,能够有效检测非解密的TLS加密恶意流量。     

基于Attention-CNN的加密流量应用类型识别

随着流量加密技术的不断发展,加密流量已逐渐取代非加密流量成为当前网络环境的主流,其在保护用户隐私的同时,也常被各种恶意软件用来规避传统的基于端口或载荷关键字的入侵检测系统的防御,给网络安全带来了严重威胁.针对常规识别方法的局限性,研究人员尝试利用人工智能的方法来识别加密流量的应用类型,但现有研究对加密流量的特征信息的利用不够充分,导致相关方法在实际复杂的网络环境中表现不佳.为此,提出了一种基于Attention-CNN的加密流量识别方法,在加密流量数据初步特征提取的基础上,使用BiLSTM+Attention和1D-CNN模型对加密流量的时序和空间特征进行特征压缩和进一步提取,并利用基于全连接神经网络得到的混合特征进行最终的识别.文中采用通用的ISCXVPN2016开源数据集进行实验验证,结果表明所提方法的整体识别准确率达到了0.987,且相比现有研究,对不同类别流量识别结果的F1评价指标有显著提升.     

基于流量智能识别网络安全风险的技术研究

任何形式的信息传输都会面临信息丢失、攻击和窃取等风险，为此针对现阶段网络加密流量进行检测，以此实现对目标网络安全态势的感知。随着人们对网络信息安全防范意识的不断增强，HTTPS和VPN等加密形式开始逐渐应用到各种网络当中，这在一定程度上会破坏明文数据的数据格式和统计特点，导致一些恶意攻击流量可以通过防火墙的隔离危害用户网络。为此基于加密技术的加密协议随机性与网络上下报文等，研究并设计加密流量智能识别网络体系框架，提高对加密流量数据的深度检测能力，以期为加密流量的检测工作提供帮助。     

面向SSL VPN加密流量的识别方法

SSL VPN流量常常被一些非法应用利用,来绕过防火墙等安全设施的检测。因此,对SSL VPN加密流量的有效识别对网络信息安全具有重要意义。针对此,提出了一种基于Bit级DPI和深度学习的SSL VPN加密流量识别方法,所提方法分为两个步骤：利用Bit级DPI指纹生成技术识别SSL流量,缩小识别范围;再利用基于注意力机制的改进的CNN网络流量识别模型识别SSL VPN流量。该方法不仅有效解决了传统SSL加密流量指纹识别方法存在的漏识别率较高的问题,同时改进后的深度学习模型能提取网络流量中具有非常显著性的细粒度的特征,从而更加有效地捕捉网络流量中存在的依赖性。实验结果表明,该方法较现有的模型对SSL VPN加密流量的识别效果提高了6%以上。     

基于深度学习的加密恶意流量检测研究

随着网络安全防范意识增强,加密通信占据主流,加密流量快速增长。流量加密在保护隐私的同时,也掩饰非法企图,改变威胁形式。深度学习作为机器学习领域的重要分支,是流量分类的有力工具。近年来,将深度学习方法应用于入侵检测的研究不断深入,取得良好效果。在深入调研文献的基础上,将加密恶意流量检测的步骤总结归纳为“六步法”的一般检测框架模型,结合模型对数据处理及检测算法进行回顾总结,指出各类算法模型的优缺点,并对未来研究方向进行展望,以期为下一步研究提供帮助。     

GBDT与LR融合模型在加密流量识别中的应用

随着网络应用服务类型的多样化以及网络流量加密技术的不断发展,加密流量识别已经成为网络安全领域的一个重大挑战。传统的流量识别技术如深度包检测无法有效地识别加密流量,而基于机器学习理论的加密流量识别技术则表现出很好的效果。因此,本文提出一种融合梯度提升决策树算法(GBDT)与逻辑回归(LR)算法的加密流量分类模型,使用贝叶斯优化(BO)算法进行超参数调整,利用与时间相关的流特征对普通加密流量与VPN加密流量进行识别,实现了整体高于90%的流量识别准确度,与其他常用分类模型相比拥有更好的识别效果。     

TLS协议恶意加密流量识别研究综述

随着5G时代的来临,以及公众对互联网的认识日益加深,公众对个人隐私的保护也越来越重视。由于数据加密过程中存在着恶意通信,为确保数据安全,维护社会国家利益,加密流量识别的研究工作尤为重要。针对TLS流量详细的阐述,分析了早期识别方法的改进技术,包括常见的流量检测技术、DPI检测技术、代理技术以及证书检测技术。介绍了选取不同TLS加密流量特征的机器学习模型,以及无需特征选择的深度学习模型等诸多最新研究成果。对相关研究工作的不足进行总结,并对未来技术的研究工作和发展趋势进行了展望。     

基于RBF神经网络的可信加密流量分类方法

网络流量分类广泛应用于网络资源分配、流量调度、入侵检测系统等研究领域。随着加密协议的普及和网络流量快速发展,基于深度学习的流量分类器由于其自动提取特征的特性和较高的分类准确性,逐渐受到科研人员的重视,但是面向网络流量分类的可信程度方面却不曾有研究。本文提出一种基于RBF神经网络对加密网络流量进行可信分类的方法。所提算法建立在RBF网络的思想上并采用一种新的损失函数和质心更新方案来进行训练,通过使用梯度惩罚强制检测输入的变化,能够有效地检测分布外的数据。在2个公共的ISCX VPN-nonVPN和USTC-TFC2016流量数据集上,与同类算法相比,所提算法取得了最好的分布外检测结果,在AUROC指标上达到98.55%。实验结果表明所提算法在具有较高分类性能的同时,能够有效地检测出分布外的流量数据,从而提高流量分类的可信性。     

基于隐马尔可夫模型的加密恶意流量检测

近年来,随着网络加密技术的普及,使用网络加密技术的恶意攻击事件也在逐年增长,依赖于数据包内容的传统检测方法如今已经无法有效地应对隐藏在加密流量中的恶意软件攻击.为了能够应对不同协议下的加密恶意流量检测,提出了基于ProfileHMM的加密恶意流量检测算法.该方法利用生物信息学上的基因序列比对分析,通过匹配关键基因子序列,实现识别加密攻击流量的能力.通过使用开源数据集在不同条件下进行实验,结果表明了算法的有效性.此外,设计了两种规避检测的方法,通过实验验证了算法具有较好的抗规避检测的能力.与已有研究相比,该工作具有应用场景广泛以及检测准确率较高的特点,为基于加密流量的恶意软件检测研究领域提供了一种较为有效的解决方案.     

基于DAE和GRU组合的流量异常检测方法

流量异常检测能够有效识别网络流量数据中的攻击行为,是一种重要的网络安全防护手段。近年来,深度学习在流量异常检测领域得到了广泛应用,现有的深度学习模型进行流量异常检测存在两个问题:一是数据受噪声影响导致检测鲁棒性差、准确率低;二是数据特征维度高以及模型参数多导致训练和检测速度慢。为了在降低流量数据噪声影响的基础上提高检测速度和准确性,本文提出了一种基于去噪自编码器(Denoising Auto Encoder,DAE)和门控循环单元(Gated Recurrent Unit,GRU)组合的流量异常检测方法。首先设计了基于DAE的流量特征提取算法,采用小批量梯度下降算法对DAE进行训练,通过最小化含噪声数据的重构向量与原始输入向量间的差异,有效提取具有较强鲁棒性的流量特征,降低特征维度。然后设计了基于GRU的异常检测算法,利用提取的低维流量特征数据训练GRU,从而构建异常流量分类器,实现对攻击流量的准确检测。最后在NSL-KDD、UNSW-NB15、CICIDS2017数据集上的实验结果表明:与其他的机器学习、深度学习方法相比,本文所提方法的检测准确率最大提升了18.71%。同时,本文方法可以实现较高的精确率、召回率和检测效率,同时具有较低的误报率。在面对数据受到噪声破坏时,具有较强的检测鲁棒性。     

场景文字识别技术研究综述

对文字检测和识别技术进行了全面的介绍。介绍了自然场景文字识别技术的研究背景、应用领域、技术难点等;介绍了场景文字识别的预处理技术及流程,介绍了近年来出现的基于深度学习的通用检测网络、维吾尔文和中英文的深度学习文字检测网络、场景文字识别深度学习网络、端到端场景文字检测与识别深度学习网络,并总结了各类网络的结构特点、优势、局限性、应用场景以及实现成本,接着进行了综合分析;最后介绍了公开数据集,并探讨了场景文字识别技术的发展趋势及可能的研究方向。