加密恶意流量检测及对抗综述

网络流量加密在保护企业数据和用户隐私的同时, 也为恶意流量检测带来新的挑战. 根据处理加密流量的方式不同, 加密恶意流量检测可分为主动检测和被动检测. 主动检测包括对流量解密后的检测和基于可搜索加密技术的检测, 其研究重点是隐私安全的保障和检测效率的提升, 主要分析可信执行环境和可控传输协议等保障措施的应用. 被动检测是在用户无感知且不执行任何加密或解密操作的前提下, 识别加密恶意流量的检测方法, 其研究重点是特征的选择与构建, 主要从侧信道特征、明文特征和原始流量等3类特征分析相关检测方法, 给出有关模型的实验评估结论. 最后, 从混淆流量特征、干扰学习算法和隐藏相关信息等角度, 分析加密恶意流量检测对抗研究的可实施性.     

TLS协议恶意加密流量识别研究综述

随着5G时代的来临,以及公众对互联网的认识日益加深,公众对个人隐私的保护也越来越重视。由于数据加密过程中存在着恶意通信,为确保数据安全,维护社会国家利益,加密流量识别的研究工作尤为重要。针对TLS流量详细的阐述,分析了早期识别方法的改进技术,包括常见的流量检测技术、DPI检测技术、代理技术以及证书检测技术。介绍了选取不同TLS加密流量特征的机器学习模型,以及无需特征选择的深度学习模型等诸多最新研究成果。对相关研究工作的不足进行总结,并对未来技术的研究工作和发展趋势进行了展望。     

基于混合神经网络的恶意TLS流量识别研究

针对使用传统机器学习方法来识别恶意TLS流量受到专家经验的影响较大、识别与分类效果不理想的问题,提出了HNNIM（Hybrid Neural Network Identification Model）模型来进行识别与分类。模型由两层组成：第一层用于提取特征,第二层用于识别与分类。第一层中,提取的特征分为两部分,一部分特征由深度神经网络自动挖掘,另一部分特征根据专家经验选取,并由深度神经网络进一步筛选;第二层将第一层筛选出的特征进行聚合,采用全连接的深度神经网络进一步学习和拟合。通过分析大量TLS流量样本,最终选用TLS流量中的ClientHello与ServerHello消息报文与TCP协议交互信息这两部分来作为特征空间。实验的结果表明,HNNIM模型在恶意TLS流量的识别任务上关于恶意样本的F1值为0.989,较随机森林、SVM、XGBoost、卷积神经网络模型,在F1值上分别提升了0.016、0.016、0.019、0.043;在多分类任务上的平均准确率为89.28%,较随机森林、SVM、XGBoost、卷积神经网络模型分别提升了9.92%、9.09%、11.31%、7.03%。     

多特征融合的煤矿网络加密恶意流量检测方法

针对煤矿网络面临由恶意软件所产生的安全传输层协议（TLS）加密恶意流量威胁和检测过程加密流量误报率高的问题,提出了一种基于多特征融合的煤矿网络TLS加密恶意流量检测方法。分析了TLS加密恶意流量特征多元异构的特点,提取出煤矿网络TLS加密恶意流在传输过程中的连接特征、元数据和TLS加密协议握手特征,利用流指纹方法构造煤矿网络TLS加密流量特征集,并对该特征集中的特征进行标准化、独热编码和规约处理,从而得到一个高效样本集。采用决策树（DT）、K近邻（KNN）、高斯朴素贝叶斯（GNB）、L2逻辑回归（LR）和随机梯度下降（SGD）分类器5个子模型对上述特征集进行检验。为提高检测模型的鲁棒性,结合投票法原理将5个分类器子模型结合,构建了多模型投票（MVC）检测模型：将5个分类器子模型作为投票器,每个分类器子模型单独训练样本集,按照少数服从多数原则进行投票,得到每个样本的最终预测值。实验验证结果表明：所构建的特征集降低了样本集维度,提高了TLS加密流量检测效率。DT分类器和KNN分类器在数据集上表现最好,达到了99%以上的准确率,但是它们存在过拟合风险;LR分类器和SGD分类器子模型虽然也达到...     

基于深度学习的加密恶意流量检测研究

随着网络安全防范意识增强,加密通信占据主流,加密流量快速增长。流量加密在保护隐私的同时,也掩饰非法企图,改变威胁形式。深度学习作为机器学习领域的重要分支,是流量分类的有力工具。近年来,将深度学习方法应用于入侵检测的研究不断深入,取得良好效果。在深入调研文献的基础上,将加密恶意流量检测的步骤总结归纳为“六步法”的一般检测框架模型,结合模型对数据处理及检测算法进行回顾总结,指出各类算法模型的优缺点,并对未来研究方向进行展望,以期为下一步研究提供帮助。     

基于迁移学习的加密恶意流量检测方法

现有加密恶意流量检测方法需要利用大量准确标记的样本进行训练,以达到较好的检测效果。但在实际网络环境中,加密流量数据由于其内容不可见而难以进行正确标记。针对上述问题,提出了一种基于迁移学习的加密恶意流量检测方法,首次将基于ImageNet数据集预训练的模型Efficientnet-B0,迁移到加密流量数据集上,保留其卷积层结构和参数,对全连接层进行替换和再训练,利用迁移学习的思想实现小样本条件下的高性能检测。该方法利用端到端的框架设计,能够直接从原始流量数据中提取特征并进行检测和细粒度分类,避免了繁杂的手动特征提取过程。实验结果表明,该方法对正常、恶意流量的二分类准确率能够达到99.87%,加密恶意流量细粒度分类准确率可达到98.88%,并且在训练集中各类流量样本数量减少到100条时,也能够达到96.35%的细粒度分类准确率。     

基于多头注意力的恶意加密流量检测方法

恶意加密流量的识别是网络安全管理的一项重要内容。然而，随着网络用户的增加，网络流量的数量和种类正以指数级增加，这给网络安全管理带来了新的挑战和威胁。传统的恶意加密流量识别方法依赖专家经验，且对恶意加密流量特征区分能力不强，不适用目前复杂网络的场景。本文提出了基于多头注意力的恶意加密流量检测方法，通过多头注意力，流量特征可以被映射到多个子空间并进行高阶流量特征的提取，通过一维卷积神经网络进一步提取数据包内部的空间特征。实验结果表明，该方法在CTU数据集上对正常、恶意加密流量的二分类取得了优异的检测效果。     

基于隐马尔可夫模型的加密恶意流量检测

近年来,随着网络加密技术的普及,使用网络加密技术的恶意攻击事件也在逐年增长,依赖于数据包内容的传统检测方法如今已经无法有效地应对隐藏在加密流量中的恶意软件攻击.为了能够应对不同协议下的加密恶意流量检测,提出了基于ProfileHMM的加密恶意流量检测算法.该方法利用生物信息学上的基因序列比对分析,通过匹配关键基因子序列,实现识别加密攻击流量的能力.通过使用开源数据集在不同条件下进行实验,结果表明了算法的有效性.此外,设计了两种规避检测的方法,通过实验验证了算法具有较好的抗规避检测的能力.与已有研究相比,该工作具有应用场景广泛以及检测准确率较高的特点,为基于加密流量的恶意软件检测研究领域提供了一种较为有效的解决方案.     

基于机器学习的加密流量识别技术

《中国互联网发展报告（2022）》显示，我国互联网应用数量及网络用户呈现快增长的特点，这就意味着互联网通信数据量面临着大幅的增长，而网络通信安全是网络治理的重要体现，为保障通信过程不被窃取等恶意行为，加密技术应运而生，加密流量也成为了网络安全领域学者的研究关注点。本文针对加密流量的应用类型识别，采用机器学习中主流的LightGBM多分类算法中基于梯度的单方面采样GOSS算法，选用经典的ISCX 2016数据集进行Python语言大数据编程，以严谨的性能参数作为评价指标，实验证明本文算法在加密流量识别方面性能良好。     

基于深度生成对抗网络的恶意TLS流量识别

恶意加密流量识别公开数据集中存在的类不平衡问题,严重影响着恶意流量预测的性能。本文提出使用深度生成对抗网络DGAN中的生成器和鉴别器,模拟真实数据集生成并扩展小样本数据,形成平衡数据集。此外,针对传统机器学习方法依赖人工特征提取导致分类准确度下降等问题,提出一种基于双向门控循环单元BiGRU与注意力机制相融合的恶意流量识别模型,由深度学习算法自动获取数据集不同时序的重要特征向量,进行恶意流量得识别。实验表明,与常用恶意流量识别算法相比,该模型在精度、召回率、F1等指标上都有较好的提升,能有效实现恶意加密流量的识别。     

基于机器自学习的互联网加密业务流早期识别

为精确高效地识别加密类业务流,给出了一种基于机器自学习的互联网加密业务流早期识别方法.该方法利用加密前后变化不明显的流量统计特征结合机器自学习方法进行识别.首先基于特征与业务类型的互熵来遴选出最优特征用于分类;然后利用所选特征给出了加密业务流总体识别模型,并对模型中的自学习阶段及识别阶段进行了创新,仅选取最能反映协议特点的每条业务流的前几个数据包进行早期识别,达到了对加密业务流高效识别的效果;最后对识别方法进行了性能分析和实验,实验结果表明,基于所选取的最优特征,仅利用每务流前5个数据包即可得到90%以上的流识别精确度.     

基于数据流深度学习算法的Android恶意应用检测方法

目前针对未知的Android恶意应用可以采用机器学习算法进行检测,但传统的机器学习算法具有少于三层的计算单元,无法充分挖掘Android应用程序特征深层次的表达。文中首次提出了一种基于深度学习的算法DDBN （Data-flow Deep BeliefNetwork）对Android应用程序数据流特征进行分析,从而检测Android未知恶意应用。首先,使用分析工具FlowDroid和SUSI提取能够反映Android应用恶意行为的静态数据流特征;然后,针对该特征设计了数据流深度学习算法DDBN,该算法通过构建深层的模型结构,并进行逐层特征变换,将数据流在原空间的特征表示变换到新的特征空间,从而使分类更加准确;最后,基于DDBN实现了Android恶意应用检测工具Flowdect,并对现实中的大量安全应用和恶意应用进行检测。实验结果表明,Flowdect能够充分学习Android应用程序的数据流特征,用于检测未知的Android恶意应用。通过与其他基于传统机器学习算法的检测方案对比,DDBN算法具有更优的检测效果。     

基于改进极端学习机的网络流量预测

为了提高网络流量的预测精度,针对极端学习机的训练样本选择问题,提出一种改进极端学习机的网络流量预测模型（IELM）。根据最优延迟时间和嵌入维数对网络流量重构,建立网络学习样本,将学习样本输入到改进极端学习机进行训练,随新样本加入而逐步求解网络的权值,以提高学习速度,引入cholesky分解方法提高模型的泛化能力,采用具体网络流量数据进行了仿真测试。结果表明,IELM不仅可以获得较传统网络流量预测模型更高的精度,并且大幅度减少了计算时间,提高了建模效率,可以较好地满足网络流量预测要求。     

A comprehensive survey on deep learning based malware detection techniques

Recent theoretical and practical studies have revealed that malware is one of the most harmful threats to the digital world. Malware mitigation techniques have evolved over the years to ensure security. Earlier, several classical methods were used for detecting malware embedded with various features like the signature, heuristic, and others. Traditional malware detection techniques were unable to defeat new generations of malware and their sophisticated obfuscation tactics. Deep Learning is increasingly used in malware detection as DL-based systems outperform conventional malware detection approaches at finding new malware variants. Furthermore, DL-based techniques provide rapid malware prediction with excellent detection rates and analysis of different malware types. Investigating recently proposed Deep Learning-based malware detection systems and their evolution is hence of interest to this work. It offers a thorough analysis of the recently developed DL-based malware detection techniques. Furthermore, current trending malwares are studied and detection techniques of Mobile malware (both Android and iOS), Windows malware, IoT malware, Advanced Persistent Threats (APTs), and Ransomware are precisely reviewed.     

基于机器学习的移动代理应用流量识别方法

随着移动网络的迅速发展,越来越多的用户选择使用代理应用,以保护个人网络隐私,隐藏上网行为或绕开网络活动限制,给网络管理与审计带来了新的挑战。与此同时,恶意攻击者可利用代理应用隐藏身份,使得恶意行为更难以检测和防范。因此,代理应用流量识别对网络管理与安全具有重要的作用,但目前该问题并未得到充分的研究。由于代理应用流量通常经过加密或混淆处理,传统的流量识别技术无法被有效应用。为实现准确、快速的移动代理应用流量识别,提出一组与负载无关的流量特征,并首次加入TCP层option字段用于刻画流量。基于4种机器学习算法训练的分类器和2种流量识别对象,验证提出的特征对识别移动代理应用流量的有效性,并对各类特征的重要性进行分析。实验结果表明,提出的特征能有效识别代理应用流量。在识别流量是否经由代理时,基于随机森林的分类器可达到99%以上的整体准确率。识别流量所属代理应用时,整体准确率高于94%。在公开数据集ISCX VPN-nonVPN上与其他方法相比,提出的方法识别准确率更高,并具有更快的识别速度,适合实时流量识别场景。     

基于改进在线极限学习机的短时交通流预测模型研究

交通流信息预测是智能交通系统进行交通疏导管理的重要基础,为城市交通管理规划提供可靠的数据支持和科学的决策依据。由于交通流量数据是实时更新的增量流数据,每次更新历史数据集时都需要重新构建预测模型,消耗了大量计算资源和运行时间,为此提出一种基于改进在线顺序极限学习机的交通流预测模型（IOS-ELM）,通过构建新增数据的增强特征映射关系,生成交通流动态更新特征表示空间,实现短时交通流预测模型的动态更新。利用长沙市远大一路交通流数据评估该模型,实验结果表明,IOS-ELM模型在NRMSE和MAPE的预测性能上均超过其他基准预测模型（MLP、ELM、OS-ELM和SVR）,同时模型的预测耗时较小,可以保证一定实时性,满足城市道路交通流的实时准确预测的需求。     

Android恶意软件的多特征协作决策检测方法

由于智能手机使用率持续上升促使移动恶意软件在规模和复杂性方面发展更加迅速。作为免费和开源的系统,目前Android已经超越其他移动平台成为最流行的操作系统,使得针对Android平台的恶意软件数量也显著增加。针对Android平台应用软件安全问题,提出了一种基于多特征协作决策的Android恶意软件检测方法,该方法主要通过对Android 应用程序进行分析、提取特征属性以及根据机器学习模型和分类算法判断其是否为恶意软件。通过实验表明,使用该方法对Android应用软件数据集进行分类后,相比其他分类器或算法分类的结果,其各项评估指标均大幅提高。因此,提出的基于多特征协作决策的方式来对Android恶意软件进行检测的方法可以有效地用于对未知应用的恶意性进行检测,避免恶意应用对用户所造成的损害等。     

基于数据链路层特征的无线网络加密流量业务分类研究

无线通信网络已经普及到人们的生活中,并且随着大众的安全意识提高,无线网络中的加密流量所占比重越来越大,网络流量加密化已成为必然趋势,其在给用户和企业带来隐私和安全的同时,也给网络安全监管和网络流量管理带来了挑战;文章研究了有线网络和无线网络的差异性,构建无线网络加密传输环境,采集无线加密网络数据,提取出数据链路层各种业务的特征并进行分类;结果表明,对不同业务的识别率在85％以上.     

基于机器学习的流量识别技术综述与展望

流量识别是实现网络管理与网络安全的关键环节。随着基于端口号和深度包检测两种流量识别方法相继失效,基于机器学习的流量识别技术成为近十年流量识别领域最受关注的方法。鉴于流量识别技术的重要性,首先介绍流量识别技术的概况及相关基本概念,包括其应用场景、输入对象、识别类型及评价指标。然后详述机器学习背景下,流量识别过程中的数据集获取、特征提取与选择、识别模型设计等关键技术的进展,并对近年主要研究工作进行总结和比较。最后对基于机器学习的流量识别技术面临的主要挑战及未来的发展方向进行探讨与展望。