适用于GIDS报文分类的P-HiCuts算法

针对HiCuts算法在NIDS应用上存在着空间异常膨胀和决策树不平衡性的问题,提出了一种P-Hi-Cuts算法.P-HiCuts(Pruned HiCuts)对原报文空间分组算法进行改进,采用覆盖规则上提和非均匀切分的技术解决原有问题,从理论上减小了决策树深度.实验结果显示,改进后决策树深度空间占用缩小到原来的10%,分类速度也提升了13.71%.     

一种基于搜索空间分解的报文分类算法

报文分类算法的关键问题是查找准确且快速,最简单的分类算法就是线性查找,该算法的时间复杂度和空间复杂度均为O(N),线性查找的思想简单、易于实现、空间复杂度好,可以和其它算法混合使用,进而提高算法的分类速度。快速的分类算法采用很复杂的数据结构,牺牲空间来换取时间,甚至过分要求分类的快速性,忽略了空间性。文章根据这一问题进行展开,详细分析了经典的报文分类hicuts算法,分析其时间复杂度和空间复杂度的关系,并提出一种不过分降低分类速度的前提下,有效降低空间复杂度和预处理时间的改进方法。     

报文分类算法的设计与实现

报文分类是网络交换设备的基础操作之一.针对目前的报文分类算法主要为小规则集或低维的分类问题,提出了一种新的多维快速报文分类算法.该算法通过压缩、分割和索引操作,设计了压缩分割规则表和索引列表结构表这两类数据存储结构,能支持上万条多维分类规则,分类速度快、存储空间小、支持快速更新,适合于软硬件实现.     

一种基于计数型Bloom Filter的报文分类算法

实现网络报文的快速分类是保证网络服务质量的前提。通过使用bloom filter查询技术和“双并行”查找策略,设计实现了一种基于双并行查找的报文分类算法DPS（double parallel search）。算法通过修改计数型bloom filter的结构来实现对收到的数据报文进行分类规则的快速查询匹配。在规则的查询过程中,算法使用“双并行”查找策略来提高查询的速度。通过与一般的bloom filter算法相比较得出,DPS算法在保证分类速度的基础上,有效降低了时空复杂度和报文分类的错误率,通过实验验证了DPS算法的有效性。     

基于依赖决策熵的决策树分类算法

针对传统的基于信息熵的决策树算法所存在的问题,本研究从粗糙集理论的角度来考虑信息熵,定义了依赖决策熵的概念,并提出一种基于依赖决策熵的决策树算法DTDDE。在DTDDE算法中,采用依赖决策熵的概念来度量每个条件属性的重要性,并选择重要性最大的属性作为当前的分离属性。通过在多个UCI数据集上的实验表明:与现有的决策树算法相比,本研究所提出的算法能够获得更好的分类性能。     

基于Web属性抽取训练分类模型的方法研究

针对通用搜索引擎信息量大、查询不准确、深度不够等问题,提出了基于Web的产品属性抽取这一新的搜索引擎服务模式。基于Web的产品属性抽取实际就是一个自动分类问题,其任务是：在给定的分类体系下,根据相关产品模板自动地判断属性的是非。完成此任务的关键在于寻找有效的特征值;确定相关分类规则,最终通过P、R和F指标来评价分类算法。     

基于范围映射和定值映射的多域报文分类算法

报文分类技术为多种高级网络服务提供支持,受到越来越多的关注。文章在分析了RFC、HSM和无冲突哈希算法这3种算法之后,在RFC算法的基础上将HSM和无冲突哈希算法进行了融合,提出了一种基于范围映射和定值映射的多域报文分类算法,适用于报文的五维分类。该算法降低了RFC算法实现过程中的空间需求,有效平衡了时间复杂度和空间复杂度,并且理论上能够扩展支持128位的IPv6地址。     

基于属性约简和相对熵的离群点检测算法

本研究结合信息熵与粗糙集理论中的属性约简技术,提出了一种新颖的离群点检测算法。这种方法通过在更小的属性子空间去获得相同或相近的离群数据集,使对离群数据的分析更加集中于较小的目标域。该算法对原属性空间进行划分,通过分析计算将具有最大相对熵与负相对势的对象集合判定为离群点集合。为了验证算法的有效性,还在通用数据集上进行了测试,理论分析和实验结果表明该离群点检测算法是有效可行的。     

分类算法中基于差别矩阵的属性约简方法

差别矩阵中会出现大量的重复元素占用大量内存,当数据太稠密时,构成的差别矩阵太大不容易操作且计算代价较高。本文提出了一种基于简化差别矩阵的属性约简算法（SDMAR）,在属性约简之前,通过计算属性相似度,对属性进行了合并操作,得到简化决策表。根据简化决策表构造差别矩阵,计算差别矩阵中出现次数最多的属性并删除包含该属性的元素,当差别矩阵为空时终止操作,以达到对决策表属性约简的目的。通过算法及实例分析得到属性约简过程的时间复杂度有所减小。     

最大熵模型的事件分类

提出了一种基于最大熵模型的事件分类方法,该方法能够综合事件表述语句中的触发词信息及各类上下文特征对事件进行分类。对其中的两个关键问题:参数估计、特征模板与特征选择进行了详细论述,采用IIS算法学习模型参数,使用增量选择方法选择特征。应用该方法对人民日报语料中的职务变动、会见、恐怖袭击、法庭宣判、自然灾害五类事件进行了分类实验,结果表明,该方法的分类效果明显优于传统的分类方法。     

基于决策树的递归包分类算法

提出了一种新的包分类算法SRC(sensitive recursive classification).它建立在决策树基础之上,在以防火墙, 访问控制列表为种子的规则库中进行实验.实验结果表明:SRC内存使用比Hicuts (hierarchical intelligent cuttings)减少3～10倍,最坏查找速度比Hicuts提高5倍以上;SRC的内存使用比EGT-PC(extended grid-of-tries and path compression)减少2～8倍,最坏查找速度比EGT-PC提高4倍以上.     

基于决策树的递归包分类算法

提出了一种新的包分类算法SRC(sensitive recursive classification).它建立在决策树基础之上,在以防火墙, 访问控制列表为种子的规则库中进行实验.实验结果表明:SRC内存使用比Hicuts (hierarchical intelligent cuttings)减少3～10倍,最坏查找速度比Hicuts提高5倍以上;SRC的内存使用比EGT-PC(extended grid-of-tries and path compression)减少2～8倍,最坏查找速度比EGT-PC提高4倍以上.     

基于数据挖掘的高校手机资费套餐研究

以某运营商的校园套餐为例,根据学生实际使用状况,基于数据挖掘中决策树ID3算法,提出合理化建议来改进套餐内容以便于更贴近学生需要.     

基于参数评估的可调节式分组流分类算法

基于决策树的启发式流分类算法目标是建立结点数目尽可能少,树深度尽可能小的数据结构,从而获得较优的时空性能。本文提出的基于参数评估的可调节式流分类算法（PEA：Parameter Evaluation Adjustable algorithm）一方面沿袭目前主流的决策树类流分类算法思想,一方面引入性能参数的概念,并采取调节参数权值的方式获得性能最佳的数据结构。大量测试结果表明,相同条件下本算法对比同类算法能够获得更优的性能结果。     

参数化最大香农熵阈值分割算法

提出了参数化最大香农熵阈值化分割算法。针对基于香农熵的图像阈值化分割算法对许多图像很难获得满意分割结果的不足,基于三角模蕴涵算子研究中常用的分式极限表达式对香农熵阈值化算法进行参数修改,得到了参数型的最大香农熵阈值化分割准则以便改善其分割性能。实验结果表明,本文的参数化修改香农熵阈值法是可行的。     

Clustering feature decision trees for semi-supervised classification from high-speed data streams

Most stream data classification algorithms apply the supervised learning strategy which requires massive labeled data.Such approaches are impractical since labeled data are usually hard to obtain in re...     

基于多特征的遥感影像决策树分类

构建了一种基于多特征的遥感影像决策树分类方法。通过对遥感影像进行波段代数运算、主成分分析和图像分割等处理,提取出影像上地物的光谱维特征、纹理特征和形状特征。在此基础上,结合试验区主要地物类型提纯后的训练样本集,采用C5.0决策树分类法进行影像分类,实现主要地物的空间分布专题信息提取,并利用该方法对Landsat-5TM影像进行了分类实验。结果表明,所提出的方法能够有效地提高分类精度。     

利用加权特征模型改进问句分类

为了减少目前大多数问句分类算法由于采用了布尔特征模型所导致的特征信息损失,提出了一个基于网络和聚类技术的加权特征模型来表达问句的特征空间.不同于以往采用的布尔特征模型将特征赋值为0或1以表示相应特征出现与否,新的加权特征模型将特征加权为一个位于区间0～10的一个实数,以区分不同的特征对于问句分类的贡献：权值越大,相应特征对于区分问句的类型做出的贡献越大.试验结果表明,该加权特征模型在问句分类领域优于之前被广泛使用的布尔特征模型.     

基于最大熵模糊聚类的快速数据关联算法

提出了一种新颖的快速数据关联算法,减少了滤波中关联概率的计算量．该算法利用多个并行改进的最大熵模糊聚类对各个目标的有效观测进行聚类,采用聚类得到的模糊隶属度来重建滤波中的联合关联概率,并在联合关联概率中引入了比例因子避免航迹的合并;此外,分析了算法中差异因子的特性,考虑了杂波密度对它的影响,使得能够有效剔除无效观测,进一步减少计算量．仿真实验结果表明,提出的方法是一种有效的快速数据关联算法,跟踪性能要优于现有的数据关联算法．