基于混合方法的IPSec VPN加密流量识别

文中提出了一种混合方法,将指纹识别与机器学习方法相结合,实现了IPSec VPN加密流量的识别。该方法首先基于负载特征从网络流量中筛选出IPSec VPN流量;接着,基于时间相关的流特征,利用随机森林算法建立了IPSec VPN流量分类模型,通过参数优化以及特征选择,整体流量识别的准确率达到了93%。实验结果验证了通过流特征提取的机器学习方法识别IPSec VPN流量的可行性;同时表明了该方法能够有效均衡识别精度与识别速度,达到了高效识别IPSec VPN加密流量的效果。     

基于DPI的应用指纹自动提取方法研究

基于DPI的流量识别方法,通过匹配应用流量报文独有的特征字符串来识别移动应用程序产生的流量,具有较好的识别效果,但特征字符串需要人为提取。对此,提出一种通过全面观察移动应用程序产生的流量报文以自动学习移动应用指纹的方法。实验结果表明,该方法用于移动网络流量识别时的应用覆盖率可达83.3%,流覆盖率、字节覆盖率均可达较高水平。     

基于聚类和流量传播图的P2P流量识别方法

为有效监管网络,快速精确识别P2P流量,通过分析P2P网络流量中节点与节点、节点与链路之间的交互和行为特征,将聚类方法与流量传播图方法相结合,提出了一种基于网络行为特征的P2P流量识别方法。该方法首先通过采集网络流的包级和流级统计特征对不同种类的网络应用的流量进行聚类,然后利用流量传播图对P2P流量进行识别。实验结果表明,提出的方法在骨干网络数据上能够有效识别P2P网络应用流量,◢F◣▼1▽-measure达到95%以上。     

一种基于图像特征的移动流量分类方法

随着移动设备的快速发展和应用激增,其产生的移动流量也迅猛增加且众多操作系统皆存在着巨大的安全风险,能够从巨大的网络流量中有效地区分出来自移动端的流量并识别其操作系统对后续的移动安全的分析有着重大的安全意义。基于传统特征的流量分析技术存在着因过分依赖特征选择而导致无法稳定有效地分类移动流量的问题,提出了一种基于图像特征的移动流量分类方法。该方法将流量样本进行可视化转换成灰度图像,从而提取其图像的GLCM特征进行分类。实验结果表明,该方法较传统方法精确率最高提升22.4%,有效地解决了传统方法的特征选择以及没有良好的扩展性等问题。此外,研究了流量研究粒度（flow到stream）、分类粒度（二分类到多分类）和数据集的均衡性（均衡与不均衡）对移动流量检测方法的影响,结果表明分类粒度对分类准确率的影响影响极小,准确率最大降低2.6%。该实验结果进一步说明了提出方法的扩展性,能够有效地用于后续的移动流量的安全研究。     

面向高速网络流量的加密混淆型WebShell检测

WebShell 是一种常见的 Web 脚本入侵工具。随着流量加密和代码混淆等技术的逐渐发展,使用传统的文本内容特征和网络流特征进行匹配的检测手段越来越难以防范生产环境下复杂的 WebShell 恶意攻击事件,特别是对于对抗性样本、变种样本或 0Day 漏洞样本的检测效果不够理想。搭建网络采集环境,在高速网络环境中利用数据平面开发套件（DPDK,data plane development kit）技术捕获网络数据包,标注了一套由1万余条不同平台、不同语言、不同工具、不同加密混淆方式的WebShell恶意流量与3万余条正常流量组成的数据集;通过异步流量分析系统框架和轻量型日志采集组件快速地解析原始流量,并融合专家知识深度分析几种流行的WebShell管理工具通信过程中的HTTP数据包,从而构建面向加密混淆型WebShell流量的有效特征集;基于该有效特征集使用支持向量机（SVM,support vector machine）算法实现对加密混淆型 WebShell 恶意流量的离线训练和在线检测。同时,利用遗传算法改进参数搜索方式,克服了由人工经验设置参数方位以及网格搜索陷入局部最优解的缺点,模型训练效率也得到提升。实验结果显示,在自建的WebShell攻击流量数据集上,保证了检测高效性的同时,检测模型的精确率为97.21%,召回率为98.01%,且在对抗性WebShell攻击的对比实验中表现良好。结果表明,所提方法能够显著降低WebShell攻击风险,可以对现有的安全监控体系进行有效补充,并在真实网络环境中部署和应用。     

基于机器学习的移动代理应用流量识别方法

随着移动网络的迅速发展,越来越多的用户选择使用代理应用,以保护个人网络隐私,隐藏上网行为或绕开网络活动限制,给网络管理与审计带来了新的挑战。与此同时,恶意攻击者可利用代理应用隐藏身份,使得恶意行为更难以检测和防范。因此,代理应用流量识别对网络管理与安全具有重要的作用,但目前该问题并未得到充分的研究。由于代理应用流量通常经过加密或混淆处理,传统的流量识别技术无法被有效应用。为实现准确、快速的移动代理应用流量识别,提出一组与负载无关的流量特征,并首次加入TCP层option字段用于刻画流量。基于4种机器学习算法训练的分类器和2种流量识别对象,验证提出的特征对识别移动代理应用流量的有效性,并对各类特征的重要性进行分析。实验结果表明,提出的特征能有效识别代理应用流量。在识别流量是否经由代理时,基于随机森林的分类器可达到99%以上的整体准确率。识别流量所属代理应用时,整体准确率高于94%。在公开数据集ISCX VPN-nonVPN上与其他方法相比,提出的方法识别准确率更高,并具有更快的识别速度,适合实时流量识别场景。     

带背景流的P2P流量识别技术研究

针对P2P(peer-to-peer,对等体网络)应用系统中对等体主机的行为特征与P2P业务流量特征多样化、复杂化,使得单纯利用一种典型特征的P2P流量分类技术的识别精度不高的问题,提出了一种新的P2P流量多阶段识别方法;该方法根据P2P应用流量的一系列固有特征,可以从聚合网络流中识别P2P流量;通过实验表明,该方法P2P流识别精度可达99.7%,同时错误分类精度0.3%。     

基于流身份识别的P2P流量检测

网络地址翻译器转发的混合流与P2P数据流呈现相似的流量外部特征。实际测试结果显示,如果数据捕获点位于网络地址翻译器之后,当前P2P流量特征识别方法（TLI）因为没有对网络地址翻译器(NAT)转发混合流进行区分而将导致虚警和漏报情况。为了解决此类问题,提出了基于流身份识别的P2P流量检测方法,首先通过分析IP标识时间序列完成对NAT转发混合流中源自不同设备数据流的身份识别,在此基础上采用流量特征检测P2P流量。以当前主要的P2P应用为例进行测试,结果说明,利用该方法可以有效识别NAT混合流中的P2P流量,较大幅度降低虚警率和漏报率。     

基于集成聚类的流量分类架构

流量分类是优化网络服务质量的基础与关键.机器学习算法利用数据流统计特征分类流量,对于识别加密私有协议流量具有重要意义.然而,特征偏置和类别不平衡是基于机器学习的流量分类研究所面临的两大挑战.特征偏置是指一些数据流统计特征在提高部分应用识别准确率的同时也降低了另外一部分应用识别的准确率.类别不平衡是指机器学习流量分类器对样本数较少的应用识别的准确率较低.为解决上述问题,提出了基于集成聚类的流量分类架构（traffic classification framework based on ensemble clustering,简称TCFEC）.TCFEC由多个基于不同特征子空间聚类的基分类器和一个最优决策部件构成,能够提高流量分类的准确率.具体而言,与传统的机器学习流量分类器相比,TCFEC的平均流准确率最高提升5%,字节准确率最高提升6%.     

基于视觉感知特征的手机应用流量识别方法

由于大多数手机应用通过HTTP协议进行通信,传统的端口识别方法已经基本失效。另外,深度包检测和基于流统计特征的机器学习方法均存在手工设计特征和标记样本的困难。借鉴计算机视觉领域的优势,提出了一种基于视觉感知特征的手机应用流量识别方法。首先,将应用层载荷数据转换为视觉上有意义的图像,并从网络关口采集真实数据,建立了样本数据集IMTD17;然后,设计了具有视觉特征提取能力的卷积感知网络模型2D-CPN,利用卷积自编码实现了对大量无标记样本的学习,并通过多类型回归建立起从隐层特征到应用类型的映射。实验结果表明,该方法的流量识别准确率满足实际使用的需求。     

基于应用层签名的P2P流媒体流量识别*

通过对P2P流量识别技术现状的研究,提出了基于应用层签名的P2P流媒体流量识别方法。分析和提取了五种主流P2P流媒体平台的应用层签名特征,并通过实验验证了基于应用层签名的P2P流媒体流量识别方法的有效性。     

基于频道签名的P2P-TV流量精细识别

提出一种基于频道签名特征的P2P-TV流量精细识别方法。该方法通过对净流量数据进行统计分析实现频道签名的挖掘,借助频道签名匹配实现精细到单个(IP, Port)、具体到某一平台某一频道的流量识别。针对PPStream、QQLive、UUSee平台的实验结果表明,该方法能有效识别P2P-TV流量对应的平台与频道,且识别精度较高。     

基于载荷特征的加密流量快速识别方法

针对加密流量难以识别的问题,提出一种快速的网络流量识别方法。该方法无需对数据包载荷进行深入分析,使用256维向量描述数据包负载中256个ASCII字节发生的频率,根据载荷特征量化后的均值和方差进行数据特征提取,采用决策树算法对加密流量进行分类识别。实验结果表明,该方法可以对常见的加密网络流量进行准确识别,并能检测部分恶意攻击产生的流量。     

TPII: tracking personally identifiable information via user behaviors in HTTP traffic

It is widely common that mobile applications collect non-critical personally identifiable information(PII)from users'devices to the cloud by application service providers(ASPs)in a positive manner to provide precise and recommending services.Meanwhile,Internet service providers(ISPs)or local network providers also have strong requirements to collect PIIs for finer-grained traffic control and security services.However,it is a challenge to locate PIIs accurately in the massive data of network traffic just like looking a needle in a haystack.In this paper,we address this challenge by presenting an efficient and light-weight approach,namely TPII,which can locate and track PIIs from the HTTP layer rebuilt from raw network traffics.This approach only collects three features from HTTP fields as users'behaviors and then establishes a tree-based decision model to dig PIIs efficiently and accurately.Without any priori knowledge,TPII can identify any types of PIIs from any mobile applications,which has a broad vision of applications.We evaluate the proposed approach on a real dataset collected from a campus network with more than 13k users.The experimental results show that the precision and recall of TPII are 91.72%and 94.51%respectively and a parallel implementation of TPII can achieve 213 million records digging and labelling within one hour,reaching near to support 1Gbps wirespeed inspection in practice.Our approach provides network service providers a practical way to collect PIIs for better services.     

移动应用特征提取算法研究

随着移动互联网的普及与发展,新的应用不断出现,移动互联网的网络安全和流量管理变得越来越重要,其应用监管与流量控制以移动应用识别为基础.深度包检测技术是准确性最高的一种应用层协议识别方法,其需要有准确的应用协议特征,应用特征产生的效率和准确度决定了应用识别系统的优劣.因此,高效、准确的自动提取应用特征具有十分重要的意义.文章从算法复杂性及敏感性两个方面,对当前主要特征提取算法进行比较和分析;并通过进行实验研究,分别给出了不同算法的性能仿真结果,为基于载荷的移动应用特征提取算法的选取提供了一个参考,具有一定的研究和应用指导价值.     

一种混合式BitTorrent流量检测方法

P2P流量已经成为互联网流量的主要部分,消耗大量的带宽,影响了服务质量,准确并实时检测出P2P流量有助于对P2P应用的监管,并研究其行为和发展。针对P2P流量中比例最大的BT流量,提出了一种混合式的检测方法。该方法由三个子方法构成,分别针对BT流量中的明文流、密文流和信令流进行检测,并预知即将发生的BT流量。实验结果表明,该方法的召回率、准确率和实时性,均优于目前实时性最好的几种机器学习方法。     

Generating regular expression signatures for network traffic classification in trusted network management

Network traffic classification is a critical foundation for trusted network management and security systems. Matching application signatures in traffic payload is widely considered to be the most reliable classifying method. However, deriving accurate and efficient signatures for various applications is not a trivial task, for which current practice is mostly manual thus error-prone and of low efficiency. In this paper, we tackle the problem of automatic signature generation. In particular, we focus on generating regular expression signatures with a certain subset of standard syntax rules, which are of sufficient expressive power and compatible with most practical systems. We propose a novel approach that takes as input a labeled training data set and produces a set of signatures for matching the application classes presented in the data. The approach involves four procedures: pre-processing to extract application session payload, tokenization to find common substrings and incorporate position constraints, multiple sequence alignment to find common subsequences, and signature construction to transform the results into regular expressions. A real life full payload traffic trace is used to evaluate the proposed system, and signatures for a range of applications are automatically derived. The results indicate that the signatures are of high quality, and exhibit low false negatives and false positives.     

基于域名关联的恶意移动应用检测研究

为实现对恶意移动应用的准确检测以保障移动设备安全,提出一种基于域名关联的恶意移动应用检测方法。以DNS域名为检测分析对象识别网络流量中的恶意域名,利用DNS请求流量的时间特征寻找恶意域名的相关联域名,并将关联域名与文本分类样本库进行比对,确定恶意移动应用名称。实验结果表明,该方法可有效用于移动设备的安全防护,其在公开测试数据集中的检测率达到97.1%,在实际网络的部署运行中共检测出13款恶意移动应用,且误报数量为0。