基于随机森林算法的网络流量分类方法

精确的网络流量分类是实现互联网可控可管的关键,传统的单一分类算法需要构建基于特定假设的某种模型,算法对于待分类数据的分布要求高,不能满足复杂多变的网络流量的分类要求。基于此,采用多决策树组合的随机森林算法实现网络流量分类。通过实际网络流量数据实验表明,在各种情况下,随机森林算法都能显著改善网络流量特别是小比例样本的分类效果,算法降低了单一算法过于依赖特定假设模型的要求,对于待分类样本的分布要求低,随机森林算法具有良好的分类效果和鲁棒性。     

基于AdaBoost的改进模糊分类规则集成学习

基于集成学习提出了一种新的模糊分类规则的产生算法。将分类规则的前件、后件模糊化,在自适应提升(Adaptive Boosting,AdaBoost)算法的迭代中,调整训练实例的分布,利用遗传算法产生模糊分类规则。并在规则学习的适应度函数中引入训练实例的分布,使得模糊分类规则在产生阶段就考虑相互之间的协作,产生具有互补性的分类规则集。从而改善了模糊分类规则的整体识别能力,提高了分类识别精度。     

基于节点行为特征分析的网络流量分类方法

针对基于加密分组数据的网络流量分类问题,该文提出两种基于行为特征的分析方法。结合流量矩阵和网络结构熵技术,定义了出入度熵指数等参数用于描述节点间的连接行为和数据传输特征,并利用多个周期和时间尺度下的熵指数分析不同流量特征。通过可视图建网方法将流量序列转化为连接网络,利用网络结构相关参数分析流量中蕴含的节点间交互行为的差异。实验表明不同业务流量矩阵的熵指数变化趋势差别较大,而流量序列对应连接网络的聚集系数等存在明显差异。两种方法对于不同业务流量具有较好的分类效果。     

基于序列特征的网络流分类方法研究

如今,对网络流量中各种应用进行准确分类和识别已经变得越来越重要,针对目前流量分析研究的不足,本文综合国内外相关研究成果,提出了在双向动态网络流模型的基础上,采用细粒度的Packet-Level序列特征属性对流量进行分析,建立序列特征属性与网络流类型之间的关联关系,实现了一种高效的、与端口无关的网络流分类方法.     

基于最短划分距离的网络流量决策树分类方法

对不同类别的应用数据流,根据其在最初若干分组中进行握手和参数协商的差异性,通过通信模式、载荷长度以及信息熵等特征,采用基于最短划分距离的方法构建决策树模型,对其进行流量分类。经过在4个不同类型的真实网络数据集上的离线分类实验,以及在校园网环境中的在线流量分类实验。结果表明该模型对8种常见协议的网络流量,分析其前4到6个分组的特征,能够在分类准确性和系统开销上取得较好的效果。与其他机器学习算法相比,该模型构建的决策树规模较小,分类时间较短,适合于实时流量分类问题。     

一种基于Hadoop平台CloudSVM的网络流量分类方法

大规模的netflow训练数据集是构建高质量、高稳定网络流量分类器的必然要求。但随着网络流特征维数的提高和数据集规模的扩大,无论是网络流的分析处理还是基于支持向量机(SVM)的分类器模型的训练,都无法在有效的时间内得到有效的处理结果。本文基于Hadoop云计算平台,采用MapReduce技术对SVM网络流量分类器进行分布式学习和训练,构建CloudSVM网络流量分类器。通过对来自校园网出口镜像的近2 T的大规模网络流量的跟踪文件的分布式存储和处理,对抽取的样本数据集进行分类,实验验证了基于Hadoop平台分布式存储和并行处理大规模网络数据集的高效率性,也验证了CloudSVM分类器在不降低分类准确度的情况下可以快速收敛到最佳,并随着大规模网络流样本的增加,SVM分类器训练的时间趋近平稳。     

基于SVM决策树的网络流量分类

提出一种用支持向量机(SVM)决策树来对网络流量进行分类的方法,利用SVM决策树在多类分类方面的优势,解决SVM在流量分类中存在的无法识别区域和训练时间较长的问题。对权威流量数据集进行了测试,实验结果表明,SVM决策树在流量分类中比普通的"一对一"和"一对多"SVM方法具有更短的训练时间和更好的分类性能,分类准确率可以达到98.8%。     

基于半监督学习的应用流分类方法

将半监督学习应用到应用流分类问题中,提出了一种基于半监督聚类的应用流分类算法(PSOSC).首先采用粒子群优化的K均值聚类方法对大量的无标记数据和少量的标记数据进行聚类,利用少量标记数据确定簇与应用类型的映射关系,实现应用流分类.实验表明PSOSC算法有较高的流准确率,同时,降低了对标记数据的需求.     

面向短文本的动态组合分类算法

 短文本分类是网络内容安全的一种主要方法.然而,短文本固有的关键词特征稀疏和样本高度不均衡等特点,使得难以直接使用现有针对长文本的分类算法.本文提出了一种针对短文本的动态组合分类算法.首先构造出一种树状组合分类器结构,可有效缓解短文本特征稀疏和样本高度不均衡对分类性能的影响;进一步,提出了一种动态调整策略来训练组合分类器,可以根据样本的分布特点自适应地调整分类器的组合结构.测试实验表明,相对于传统的单一分类方法和集成分类方法,动态组合分类算法在短文本分类中可以获得更好的准确率和召回率.     

Network traffic classification method basing on CNN

Since the feature selection process will directly affect the accuracy of the traffic classification based on the traditional machine learning method,a traffic classification algorithm based on convolution neural network was tailored.First,the min-max normalization method was utilized to process the traffic data and map them into gray images,which would be used as the input data of convolution neural network to realize the independent feature learning.Then,an improved structure of the classical convolution neural network was proposed,and the parameters of the feature map and the full connection layer were designed to select the optimal classification model to realize the traffic classification.The tailored method can improve the classification accuracy without the complex operation of the network traffic.A series of simulation test results with the public data sets and real data sets show that compared with the traditional classification methods,the tailored convolution neural network traffic classification method can improve the accuracy and reduce the time of classification.     

基于行为特征学习的互联网流量分类方法

基于连接图的互联网流量分类方法能反映主机间的通信行为,具有较高的分类稳定性,但是经验式总结的启发式规则有限,难以获得高分类准确率.研究分析了主机间通信行为模式和BOF方法,从具有相同{目的IP地址,目的端口号,传输层协议}网络流量中,提取主机间连接相关的行为统计特征(HCBF),采用C4.5决策树算法学习基于行为特征的分类规则,其无需人工建立启发式规则.在传统互联网和移动互联网流量数据集上,从基本分类性能和分类稳定性方面,与现有的特征集进行比较分析,实验结果表明,HCBF特征集合的类间区分能力和稳定性较高.     

基于分类算法的校园网络入侵检测系统研究

通过对入侵检测技术的分析,文中提出了一种基于分类算法的关于误用检测和异常检测的入侵检测系统模型框架。通过对决策树算法的改进,该系统的误报率和漏报率得到了有效降低,入侵检测系统的检测率得到了一定的提高。     

基于NetFlow流记录的高速应用流量分类方法

针对目前应用流量分类算法效率不高的现状,提出一种以NetFlow统计的IP流记录信息作为输入的高速应用流量分类(FATC,fast application-level traffic classification)算法。该算法采用基于简单相关系数的测度选择算法衡量测度变量间的相关关系,删除对分类无用或相互冗余的测度,而后使用基于Bayes判别法的分类算法将网络流量分至误判损失最小的应用类别中。理论分析及实验表明,FATC算法在具有超过95%的分类准确率基础上,极大降低了当前应用流量分类方法在训练和分类过程的时空复杂度,满足实时准确分类当前10Gbit/s主干信道网络流量的需求。     

基于随机子空间和AdaBoost的自适应集成方法

如何构造差异性大且精确度高的基分类器是集成学习的重点,为此提出一种新的集成学习方法——利用PSO寻找使得AdaBoost依样本权重抽取的数据集分类错误率最小化的最优特征权重分布,依据此最优权重分布对特征随机抽样生成随机子空间,并应用于AdaBoost的训练过程中.这就在增加分类器间差异性的同时保证了基分类器的准确度.最后用多数投票法融合各基分类器的决策结果,并通过仿真实验验证该方法的有效性.     

基于面向对象的极化雷达影像分类

有效的PolSAR影像分类技术是PolSAR成功应用的基础,然而相比于比较成熟的PolSAR成像技术与系统设计,PolSAR影像分类技术的发展相对滞后,针对PolSAR影像面向对象分类研究中存在的问题,提出了一种新的结合多种目标极化分解、ReliefF-PSO_SVM和集成学习的PolSAR影像面向对象分类方法。该方法首先采用多种方法对PolSAR影像进行目标极化分解;然后将利用不同极化分解方法提取的极化参数组合成一幅多通道影像;接下来对多通道影像进行分割、特征提取;采用ReliefF-PSO_SVM算法进行特征选择,并保留适应度最高的N个特征子集进行分类,每一个特征子集对应一个分类结果;最后利用集成学习技术对各分类结果进行集成。以吉林省长春市部分区域为研究区,Radarsat2影像为数据源,将提出的方法应用于土地利用分类中,取得了较好的分类效果,总体精度和Kappa系数分别达到了85.06%和0.8006。此外,还构建了3种对比方法用于分类,对比结果进一步证明了所提方法在PolSAR影像分类中的优越性。     

基于机器学习和深度学习的网络流量分类研究

随着互联网技术的不断发展以及网络规模的不断扩大,应用的类别纷繁复杂,新型应用层出不穷。为了保障用户服务质量(QoS)并确保网络安全,准确快速的流量分类是运营商及网络管理者亟须解决的问题。首先给出网络流量分类的问题定义和性能指标;然后分别介绍基于机器学习和基于深度学习的流量分类方法,分析了这些方法的优缺点,并对现存问题进行阐述;接着围绕流量分类线上部署时会遇到的3个问题:数据集问题、新应用识别问题、部署开销问题对相关工作进行阐述与分析,并进一步探讨目前网络流量分类研究面临的挑战;最后对网络流量分类下一步的研究方向进行展望。     

基于集成学习的网页主题识别算法

在海量网页中进行自动的主题识别是网页信息分析挖掘的重要研究方向,具有重要的理论和应用意义。提出一种基于集成学习的网页主题识别算法框架,由异质网页属性集构建不同的最大间隔分类器,使用集成学习对基分类器的信息进行融合。在基准数据集上进行测试,其结果表明该算法对网页主题识别是有效的。     

基于SOM神经网络的静止卫星云图分类

利用FY-2C的红外和可见光自旋扫描辐射器（VISSR）多通道云图数据对云进行分类,提出了一种利用云图红外、可见光谱段数据,基于SOM神经网络的云分类算法。设计并编写了实际云图客观云分类程序,该程序输入为9个从VISSR各通道数据中提取出的特征,将数据分为8种不同的类型,并输出分类后的图像。