基于机器学习的移动代理应用流量识别方法

随着移动网络的迅速发展,越来越多的用户选择使用代理应用,以保护个人网络隐私,隐藏上网行为或绕开网络活动限制,给网络管理与审计带来了新的挑战。与此同时,恶意攻击者可利用代理应用隐藏身份,使得恶意行为更难以检测和防范。因此,代理应用流量识别对网络管理与安全具有重要的作用,但目前该问题并未得到充分的研究。由于代理应用流量通常经过加密或混淆处理,传统的流量识别技术无法被有效应用。为实现准确、快速的移动代理应用流量识别,提出一组与负载无关的流量特征,并首次加入TCP层option字段用于刻画流量。基于4种机器学习算法训练的分类器和2种流量识别对象,验证提出的特征对识别移动代理应用流量的有效性,并对各类特征的重要性进行分析。实验结果表明,提出的特征能有效识别代理应用流量。在识别流量是否经由代理时,基于随机森林的分类器可达到99%以上的整体准确率。识别流量所属代理应用时,整体准确率高于94%。在公开数据集ISCX VPN-nonVPN上与其他方法相比,提出的方法识别准确率更高,并具有更快的识别速度,适合实时流量识别场景。     

一种面向加密流量的网络应用识别方法

为实现网络流量的有效管控,提出一种基于安全套接层(SSL)协议交互字段与多输入最大化单输出隐马尔可夫模型(HMM)的加密应用并行识别方法.将来自客户端或者服务器的单向数据流SSL协议交互阶段的字段作为HMM模型的观测序列,并对所有待识别的加密应用建立HMM模型形成指纹库.在此基础上,利用前向算法计算未知观测序列被识别为HMM模型的概率,选取概率最大HMM模型所对应的加密应用作为识别结果.实验结果表明,与传统应用识别方法相比,该方法对典型加密应用具有更好的识别效果及鲁棒性.     

一种基于用户行为状态特征的流量识别方法

针对当前业务流量的分类方式过于简略、识别结果不够确切的问题,提出基于状态特征的分类识别方法以精确识别流量数据中的用户行为。定义了网络通信中的用户行为并分析其特征,通过矢量量化技术结合主题模型方法从流量序列中提取行为状态特征,利用机器学习算法对状态特征建模,并按照用户行为的分类对流量进行识别。实验结果显示按照行为分类能更加详细地描述流量特点。在相同机器学习算法下,基于状态特征的行为识别方法准确度优于传统方法。     

基于载荷特征的加密流量快速识别方法

针对加密流量难以识别的问题,提出一种快速的网络流量识别方法。该方法无需对数据包载荷进行深入分析,使用256维向量描述数据包负载中256个ASCII字节发生的频率,根据载荷特征量化后的均值和方差进行数据特征提取,采用决策树算法对加密流量进行分类识别。实验结果表明,该方法可以对常见的加密网络流量进行准确识别,并能检测部分恶意攻击产生的流量。     

基于流特征的P2P流量识别方法研究

P2P业务流量在对互联网应用起巨大推动作用的同时,也带来了因资源过度占用而引起的网络拥塞以及安全隐患等问题,妨碍了正常的网络业务的开展.为了保证网络能正常有序的运行,有必要对P2P流量进行控制.但是,随着动态端口和数据加密技术的出现,传统的流量识别方法面临着巨大的挑战.简要介绍了三种主要的流量识别技术,并且比较了它们的优缺点.着重对基于流特征的流量识别方法效率低下的原因做了详细的分析,分别指出了引起误报和漏报的原因,并且给出了相应的解决方案.实验证明:文中方法能够有效提高P2P流量识别效率.     

基于MSE协议特征的BT加密流量识别方法

P2P（Peer-to-Peer）系统在文件共享、协同计算、流媒体等领域获得了广泛应用。随着P2P技术的发展,越来越多的P2P应用对数据进行加密传输,加大了对其流量的识别难度。通过对MSE（Message Stream Encryption）协议特征的分析,提出了还原MSE协议消息流,实现BT（BitTorrent）加密流量识别的方法。修改了开源BT客户端Vuze,利用其收集的真实BT流量信息来检验本方法,结果表明该方法与现有的DPI（deep packet inspection）技术结合,对网络中BT流量进行识别,具有较高的召回率和准确率,同时保持了较低的误报率。     

基于决策树的P2P流量识别方法研究

针对新型P2P业务采用净荷加密和伪装端口等方法来逃避检测的问题,提出了一种基于决策树的P2P流量识别方法.该方法将决策树方法应用于网络流量识别领域,以适应网络流量的识别要求.决策树方法通过利用训练数据集中的信息熵来构建分类模型,并通过对分类模型的简单查找来完成未知网络流样本的分类.实验结果验证了C4.5决策树算法相比较Na(i)ve Bayes、Bayes Network算法,处理相对简单且计算量不大,具有较高的数据处理效率和分类精度,能够提高网络流量分类精度,更适用于P2P流量识别.     

基于行为特征的P2P流量快速识别

网络中P2P流量的快速识别,对于实现网络流量控制和QoS保证提供了有效的流量组成结果.本文提出了一种基于行为特征的流量识别技术,捕获流量数据,分析数据集端口与IP个数比值,上行数据量和下行数据量比值,实现P2P流量快速识别.     

基于集成深度学习的玻璃缺陷识别方法

针对玻璃缺陷形态复杂多变,难以准确识别其所属类型的特点,文章提出了一种集成深度学习模型对玻璃缺陷进行识别,该模型本质上是一种稀疏编码分类器与深度卷积神经网络的结合。该模型在自编码器的基础上引进了KL距离和L1范数作为稀疏项,构成新的稀疏自编码器。并在次通过稀疏自编码器学习输入样本特征,将训练好的权值作为卷积神经网络的卷积核从而提高了识别速度。在稀疏编码阶段用L<sub>1</sub>-L<sub>2</sub>范数代替L<sub>0</sub>范数,并在KSVD上添加了判别分类能力使其更好的进行分类运算,以此提高识别准确率。实验结果表明,该方法识别准确率达到了95%,满足了工程上的应用,并有很好的鲁棒性。     

基于样本增强的加密应用流量识别方法

为解决网络流量数据类别不平衡导致的小类别样本识别率不高问题,提出利用基于样本增强方法平衡流量数据集,提升加密网络流量分类性能。首先,在生成对抗网络中使用深层卷积网络优化生成器,通过生成器与判别器迭代对抗训练,不断优化损失。其次,利用该生成模型扩展公开数据集中的小类别数据,使得数据集类间均衡。最后设计了一种一维卷积神经网络模型,充分挖掘流量中“会话-数据包-字节”层次结构特征,进行加密流量的应用分类。结果表明,平衡后的数据集分类效果相对于原始数据集提高3%左右,准确率达到97.86%。     

基于应用层签名特征的P2P流量识别

P2P的广泛使用带来了带宽过量消耗、病毒传播迅速等严重问题。如何在享受P2P技术带来便利的同时又能有效地识别、控制P2P流量是当前的研究热点。通过基于报文TRACE的数据分析方法,获得了当前五种主流的P2P流的应用层签名特征,提出了一个基于应用层签名特征的识别算法,并通过实际实验对所提识别算法的有效性进行了验证,研究成果可直接应用于P2P流量的识别与管理。     

基于深度残差胶囊网络与注意力机制的加密流量识别方法

随着用户安全意识的提高和加密技术的发展,加密流量已经成为网络流量中的重要部分,识别加密流量成为网络流量监管的重要部分。基于传统深度学习模型的加密流量识别方法存在效果差、模型训练时间长等问题。针对上述问题,提出了一种基于深度残差胶囊网络模型（DRCN,deep residual capsule network）的加密流量识别方法。原始胶囊网络通过全连接形式堆叠导致模型耦合系数变小,无法搭建深层网络模型。针对上述问题,DRCN模型采用三维卷积算法（3DCNN）动态路由算法代替全连接动态路由算法,减少了每个胶囊层之间传递的参数,降低了运算复杂度,进而构建深层胶囊网络,提高识别的准确率和效率;引入通道注意力机制为不同的特征赋予不同的权重,减少无用特征对识别结果的影响,进一步增强模型特征提取能力;将残差网络引入胶囊网络层,搭建残差胶囊网络模块缓解了深度胶囊网络的梯度消失问题。在数据预处理方面,截取的数据包前784byte,将截取的字节转化成图像输入到DRCN模型中,该方法避免了人工特征提取,减少了加密流量识别的人工成本。在ISCXVPN2016数据集上的实验结果表明,与效果最好的BLSTM模型相比,DRCN模型的准确率提高了5.54%,模型的训练时间缩短了232s。此外,在小数据集上,DRCN模型准确率达到了94.3%。上述实验结果证明,所提出的识别方案具有较高的识别率、良好的性能和适用性。     

一种基于图像特征的移动流量分类方法

随着移动设备的快速发展和应用激增,其产生的移动流量也迅猛增加且众多操作系统皆存在着巨大的安全风险,能够从巨大的网络流量中有效地区分出来自移动端的流量并识别其操作系统对后续的移动安全的分析有着重大的安全意义。基于传统特征的流量分析技术存在着因过分依赖特征选择而导致无法稳定有效地分类移动流量的问题,提出了一种基于图像特征的移动流量分类方法。该方法将流量样本进行可视化转换成灰度图像,从而提取其图像的GLCM特征进行分类。实验结果表明,该方法较传统方法精确率最高提升22.4%,有效地解决了传统方法的特征选择以及没有良好的扩展性等问题。此外,研究了流量研究粒度（flow到stream）、分类粒度（二分类到多分类）和数据集的均衡性（均衡与不均衡）对移动流量检测方法的影响,结果表明分类粒度对分类准确率的影响影响极小,准确率最大降低2.6%。该实验结果进一步说明了提出方法的扩展性,能够有效地用于后续的移动流量的安全研究。     

P2P流量识别技术综述

在归纳P2P流量识别问题概念的基础上,对现有的P2P流量识别技术进行了较全面地分析.借助分类模型形式化地定义P2P流量识别问题,依据所采用的识别特征将已有技术分为基于端口号、基于流量特征、基于应用层签名、基于双重特征和基于统计行为特征五类方法,并对各类方法进行了介绍、分析与优劣对比.探讨了新兴的P2P流媒体流量识别问题,总结了P2P流量识别技术的发展趋势.     

基于聚类和流量传播图的P2P流量识别方法

为有效监管网络,快速精确识别P2P流量,通过分析P2P网络流量中节点与节点、节点与链路之间的交互和行为特征,将聚类方法与流量传播图方法相结合,提出了一种基于网络行为特征的P2P流量识别方法。该方法首先通过采集网络流的包级和流级统计特征对不同种类的网络应用的流量进行聚类,然后利用流量传播图对P2P流量进行识别。实验结果表明,提出的方法在骨干网络数据上能够有效识别P2P网络应用流量,◢F◣▼1▽-measure达到95%以上。     

流特征的Skype流量识别

Skype流识别的研究大多局限于在静态载荷特征和通信机制,没有考虑网络流特征在Skype流量识别中的作用.提出了一种基于朴素贝叶斯分类的Skype流量识别模型.选择流的连接特征和实时特征作为分类特征集,根据流的连接特征组织网络流,再进一步根据流的包长度、平均发送间隔和突发带宽消耗等实时流特征识别Skype流量.在北京联通骨干网络上的实验表明该模型能有效地识别Skype流,是一种有效的Skype流识别算法.     

基于趋势感知协议指纹的Skype加密流量识别算法

P2P技术极大地方便了互联网上的资源共享,在网络流量中比例最大且多以加密形式出现,但存在带宽消耗大、分享内容缺乏监管等弊端。准确快速识别基于P2P架构的Skype加密流量,对于提高网络服务质量、优化网络带宽分配、加强安全管控有着重要意义。在分析Skype信令交互和内容传输阶段流量统计特征的基础上,提出一种基于趋势感知协议指纹的Skype加密流量识别算法。通过定义趋势感知加权函数,真实反映了流量特征的变化趋势;利用异常相似度,对Skype加密流量进行实时检测。实验结果表明,该方法的精确度和实时性均优于经典的协议指纹算法和C4.5等最新的加密流量识别方法。     

基于CNN-XGBoost的短时交通流预测

为准确预测短时交通流,缓解交通拥堵提高交通运行效率,提出一种基于CNN-XGBoost的短时交通流预测方法。结合短时交通流数据的时间相关性和空间相关性,将本路段和邻近路段的历史数据一同作为输入进行预测。利用卷积神经网络(convolutional neural networks,CNN)实现特征提取以减少数据冗余性,提出一种参数经果蝇算法优化的XGBoost模型用于交通流量预测。实例验证结果表明,CNN可对时间和空间结合下的交通流数据进行有效特征提取;相比SVR、LSTM等模型,改进的XGBoost模型下的交通流量预测误差明显减小。     

基于多尺度卷积神经网络的交通标示识别研究

交通标示识别在自动驾驶领域有着广泛的应用前景。在实际场景中,光照、地理位置、检测方法等因素会对较小交通标示识别产生影响,导致识别精度降低。针对这些问题,提出一种新型多尺度融合卷积神经网络模型（SF-RCNN）。首先在基础特征提取网络中加入多尺度空洞卷积池化金字塔模块（MASPP）,在多尺度空洞卷积采样后,不改变每一个特征下的信息量,而是通过合并通道数来实现特征图的融合,这样既减少了分辨率的损失,也可以捕捉同一图像的上下文信息;其次在网络中增加两个快速拼接模块（F-concat）,融合模型中高层与低层的信息,既丰富语义信息,又可以实现不同尺度信息的重复利用;最后在每个最大池化层之前增加批标准化层（BN）,转换每一层的数据。尽管增加模块加深了网络深度,但是BN层可以加快模型收敛速度,使整个训练时间不发生较大改变。实验结果表明,该模型利用新型网络结构SF-RCNN,在CCTSDB数据集上进行特征提取,交通标示识别精度均值达到了87.48%,警告类别识别精度达到89.93%,禁令类别识别精度达到89.25%、方向类别识别精度达到81.08%、指示类别识别精度达到89.66%。