一种海量规则模式匹配方法

基于各种海量规则信息处理的需求,提出了一种海量规则模式匹配方法。设计了海量规则模式匹配方法的基本算法步骤,研究了各种规则节点的匹配处理方法。最后总结了海量规则模式匹配方法的特点。海量规则模式匹配算法部分拓展了现有规则匹配处理模式,提出了新的匹配处理方法。对比结果表明,该方法具有较好的效果。     

海量规则网维护及其优化方法

基于各种海量规则信息处理的需求,提出了海量规则网的维护与优化的基本方法。给出了海量规则网增量集成维护与删除维护的基本算法步骤,利用替代规则模块的方法进行规则网优化。最后用实例对规则网优化进行了具体说明。海量规则网维护与优化部分拓展了现有规则网处理模式,提出了新的处理方法。     

一种Snort规则的优化方法

Snort是一款基于规则发现入侵行为的网络入侵检测系统,为了提高入侵检测系统中检测引擎的速度和效益,在分析Snort的规则组织结构和规则匹配过程的基础上,提出了一种规则优化的方法。该方法充分利用了协议特征和规则内容,能有效地加快检测引擎的速度,提高入侵检测的效率。     

一种海量数据流应用并行优化模型

计算进入了多核时代,处理器的发展不再由更快的主频带动,而是依靠增加片上的多个核心.但是,对于高性能应用来说,多核平台的并行处理由于缺少适合的并行程序开发工具还处于初始阶段,对应用的优化需要对底层线程结构的深入了解和正确使用.从海量数据流应用的特点出发,提出了三级流水多线程模型,它的线程同步机制没有竞争,并且实现了不同特征数据流的差别服务.然后,在遥感图像处理和骨干网网络入侵检测系设计中,应用了海量数据流应用模型,并在多个多核平台下对骨干网网络入侵检测系统进行了性能评价.对SPARC T1平台上的线程映射方法进行研究,测试了不同映射方法的性能,并归纳出应用在体系结构方面的特征;采用Sun SPARC T1架构8核32线程服务器和曙光x86架构8处理器16核服务器对系统吞吐率进行了测试,实验结果都表现了良好的可扩展性;使用真实骨干网络流量记录文件回放产生的模拟流量,对比测试了模型应用前后数据流的服务时间,改进系统的响应时间获得了显著的提高;针对系统连接数大、负载重和处理多样性的特点,采用基于探针流的采样算法准确测试了在精确预测IP网段策略下系统的服务质量,同时也测试了增加服务质量优化后系统的延迟开销,实验结果表明,系统在引入较少延迟下提高了数据流的服务质量.     

一种基于充要强度的优化规则发现方法

提出了一种基于信息系统的优化规则的提取方法,主要目的是提取信息系统中具有一定充要性的优化规则。首先,提出了充要强度并讨论了它的性质。其次,由于搜索空间的巨大和遗传算法的全局优化的特性,设计了使用遗传算法进行优化规则搜索的方法。最后,通过实验说明方法的有效性。     

一种海量数据生成方法

目前还没有得到广泛认可的DBMS数据生成框架.本文发展已有的数据生成方法,建立一种海量数据生成框架.提供了自定义的函数和表达式,在数据序列的基础上进行迭代操作,并在数据序列迭代和RDBMS间建立联系,加入数据非一致性程度控制机制,分析了多个迭代节点简单引用和复杂引用的情况,建立起迭代模型,给出了多个迭代节点有多个引用的解决方法,尽管有一个附加的负载,但可以避免缓冲.提出把迭代可转换为SQL的数据生成语言,可灵活生成不同的数据模式以及多粒度非一致性数据.实验参照测试基准数据模式,结果表明方法是有效的.     

一种挖掘数值属性的二维优化关联规则方法

优化关联规则允许在规则中包含未初始化的属性.优化过程就是确定对这些属性进行初始化,使得某些度量最大化.最大化兴趣度因子用来发现更加有趣的规则;另一方面,允许优化规则在前提和结果中各包含一个未初始化的数值属性.对那些处理一个数值属性的算法进行直接的扩展,可以得到一个发现这种优化规则的简单算法.然而这种方法的性能很差,因此,为了改善性能,提出一种启发式方法,它发现的是近似最优的规则.在人造数据集上的实验结果表明,当优化规则包含两个数值属性时,优化兴趣度因子得到的规则比优化可信度得到的规则更有趣.在真实数据集上的实验结果表明,该算法具有近似线性的可扩展性和较好的精度.     

基于图书馆的海量数据性能优化

随着图书馆数据大规模的增长,海量数据的组织、查询和存取日益成为应用性能的关键。本文针对图书馆海量数据的情况,从几个方面进行分析研究,重点对海量数据进行查询优化研究,探寻一些能够优化海量数据性能的方法。     

海量数据查询优化算法的研究

当前,越来越多的业务部门都需要操作海量数据,如规划部门的规划数据,水利部门的水文、水利数据,气象部门的气象数据,这些部门处理的数据量通常都非常大。它包括各种空间数据、报表统计数据、文字、声音、图像、超文本等各种环境和文化数据信息。我们需要从大规模的、没有关系的数据中,在存储、管理、处理、优化等各个环节中注重效率,并提取出所需要的信息。海量数据存储管理在各行业的信息化过程中很重要,受到广泛的关注。本文综述了海量存储管理技术的研究及应用现状,以及结合大型收费系统同,介绍了一些关键的优化技术,包括数据库的存储,数据的管理,SQL语句,页面分割等,最后,结合当前海量数据存储管理技术,指出了海量数据存储管理面临的一些新的发展方向。     

面向城轨线网的海量数据查询优化方法

城轨线网数据中心汇集多条线路数据,单表记录量达数十亿条,当前系统数据查询响应时间过长、效率低下.提出利用数据库集群及中间件优化系统架构突破单库存储与处理瓶颈,多节点并行处理提升查询速度.按线路水平切分数据等方法,保证JOIN操作的局部性,满足新线路扩展需求;利用表分区、索引、物化视图、SQL语句优化等技术优化单机查询.其中,针对集群数据透明访问系统架构,设计专用数据库访问中间件,解决查询解析、路由及结果合成等关键问题.以广州城轨线路数据为例进行实验,结果表明通过本文方法各类查询响应时间至少降低90%.     

基于VC 的Apriori规则算法的优化实现

关联规则算法是数据挖掘的核心。本文首先介绍了关联规则的定义,接着在现有Apriori算法的基础上分析了存在的不足,并提出了一个关联规则算法的改进模式,从而提高Apriori算法的效率。     

一种不一致不完备信息系统的最优选择及规则约简方法研究

在分析不一致不完备信息系统规则提取的基础上,提出了先将不完备信息系统分为一致的和不一致的信息系统后再求其最优选择的方法。然后利用改进的分辨矩阵对所求得的不一致最优选择进行决策规则提取,并给出不确定决策规则的决策精度。最后,通过应用例子证明了本文提出方法的有效性。     

基于VC＋＋的Apriori规则算法的优化实现

关联规则算法是数据挖掘的核心。本文首先介绍了关联规则的定义,接着在现有Apfiori算法的基础上分析了存在的不足,并提出了一个关联规则算法的改进模式,从而提高Apriori算法的效率。     

不协调决策信息系统的知识约简及决策规则优化研究

针对不协调决策信息系统的知识约简及决策规则的优化问题,引入分布约简和最大分布约简理论,提出一种基于分布区分对象集的知识约简算法,并得到具体的优化决策规则获取方法。该算法通过求解分布区分对象集和最小析取范式从而得到知识约简集,依据属性约简集挖掘出最优决策规则集。理论分析和实例结果表明该方法的有效性和实用性。     

一种基于关联规则分类的改进方法

论文首先对一种基于关联规则分类的算法做出了分析。然后对算法中的类关联规则的提取方法进行了改进,得到了一种新的基于关联规则分类的算法。并结合棉花病虫害数据运行的结果对两种算法的运行效率和实用性进行了比较。     

广义信息系统及其决策规则

提出一类更广泛的信息系统,称其为广义信息系统．它包含了完备信息系统、不完备信息系统和多值信息系统．给出了广义信息系统集合近似的概念、方法和相关性质．讨论了广义信息决策系统的决策描述形式．这种决策描述形式易于转化为Skolem标准型,可以直接应用于人工智能的归结推理．     

基于关联规则的研讨信息分析研究

文章描述了数据挖掘中关联规则算法的基本思想,介绍了Apriori算法的过程,将其应用于研讨信息的分析,研究各个专家支持的主张之间的关系,引导专家的意见达成共识。最后通过算例说明了这个过程。     

用规则抽取句子中事件信息

信息抽取是数据挖掘的重要课题.目前的研究主要通过机器学习的方法对信息进行抽取.但是机器学习对训练数据的质量要求高,学习过程中参数设置复杂.而利用事先构建好的规则可以简单有效的从文本中提取事件信息.提出一种基于抽取规则对句子中的事件信息进行抽取的方法,摆脱了繁杂的机器学习过程.该方法利用本体对动词与事件角色匹配规则、事件角色抽取规则、时间信息抽取规则和地点信息抽取规则进行定义,用OWL对这些抽取规则进行了描述,然后应用这些规则抽取句子中的动词词义信息、事件角色信息、时间信息和地点信息,并用本文提出的一种新评测指标对事件信息进行评测.实验表明该方法从句子中抽取事件信息是有效的.