一种支持实时增量更新的并行包分类算法

UTM(unified threat management)技术的提出和应用要求多维包分类算法能够支持实时的增量更新.但由于以往的研究都侧重于加快算法的查找速度,这一需求已经成了目前包分类算法在实际应用中的一个瓶颈.提出一种二维trie树结构来组织分类规则,并给出了相应的查找及更新算法.利用trie结构的特性将各种长度的前缀组合进行分组,并依此将整个规则集分成多个子集.查找时将每一次查找过程分解成若干个可以独立运行的子任务,每个子任务处理一个子集.两级混合trie结构保持了规则之间的独立性,因此可以快速地对单条规则进行增量删除或添加.实验结果表明,本算法在保持高速查找的基础上,将单条规则的增量更新操作速度提高到了和单次查找操作同样的量级,同时并行查找使得算法对规则类型和规模的敏感度大大降低,具有较好的可扩展性.     

基于分层并行筛选样本的SVM增量学习算法

在增量学习过程中,随着训练集规模的增大,支持向量机的学习过程需要占用大量内存,寻优速度非常缓慢。在现有的一种支持向量机增量学习算法的基础上,结合并行学习思想,提出了一种分层并行筛选训练样本的支持向量机增量学习算法。理论分析和实验结果表明:与原有的算法相比,新算法能在保证支持向量机的分类能力的前提下显著提高训练速度。     

基于分层并行筛选样本的SVM增量学习算法

在增量学习过程中，随着训练集规模的增大，支持向量机的学习过程需要占用大量内存，寻优速度非常缓慢。在现有的一种支持向量机增量学习算法的基础上，结合并行学习思想，提出了一种分层并行筛选训练样本的支持向量机增量学习算法。理论分析和实验结果表明：与原有的算法相比，新算法能在保证支持向量机的分类能力的前提下显著提高训练速度。     

GPU的并行支持向量机算法(英文)

提出了一种新的并行增量式支持向量机算法来解决图形处理单元(GPU)中大规模数据集的分类问题。SVM以及核相关方法可以用来创建精确分类模型,但学习过程需要大量内存和很长时间。扩展了Suykens和Vandewalle提出的最少次方SVM(LS-SVM)方法来建立增量和并行算法。新算法使用图形处理器以低代价获得高系统性能。实现表明,在UCI和Delve数据集上,基于GPU并行增量算法较CPU实现方法快130倍,而且比现行算法,如LibSVM、SVM-perf和CB-SVM等快的多(超过2500倍)。     

基于Hash_tree的多维IP包分类算法

随着各种网络应用的发展,路由器必须能够快速完成对IP数据包的分类,以支持如防火墙、QoS等服务。文章分析了多维IP包分类中Hash算法的应用,在此基础上提出了一种基于Hash_tree的多维IP包分类算法。该算法充分发挥了Hash函数查找快速的特点,对IP数据包的分类能够以T位的线速进行处理,同时算法还具有支持较大的匹配规则集、支持增量更新等特点。     

基于聚合折叠向量的多维包分类算法*

系统地论述了目前包分类研究的相关领域:分类器的种类、分类算法的评价准则、设计分类算法的原则和现实规则库的特点等.通过对各分类算法和现实规则库的特点进行分析,采用聚合折叠向量法,提出了一种适用于多维大规则库的多域分解查找算法及其硬件实现模型,解决了高性能五维包分类问题.算法采用并行与流水相结合来实现,进一步提高了包分类的性能.     

云平台下基于粗糙集的并行增量知识更新算法

日益复杂和动态变化的海量数据处理,是当前人们普遍关注的问题,其核心内容之一是研究如何利用已有的信息实现快速的知识更新.粒计算是近年来新兴的一个研究领域,是信息处理的一种新的概念和计算范式,主要用于描述和处理不确定的、模糊的、不完整的和海量的信息,以及提供一种基于粒与粒间关系的问题求解方法.作为粒计算理论中的一个重要组成部分,粗糙集是一种处理不确定性和不精确性问题的有效数学工具.根据云计算中的并行模型MapReduce,给出了并行计算粗糙集中等价类、决策类和两者之间相关性的算法;然后,设计了用于处理大规模数据的并行粗糙近似集求解算法.为应对动态变化的海量数据,结合MapReduce模型和增量更新方法,根据不同的增量策略,设计了两种并行增量更新粗糙近似集的算法.实验结果表明,该算法可以有效地快速更新知识;而且数据量越大,效果越明显.     

基于演进向量量化聚类的增量模糊关联分类方法

为了提高动态数据集上模糊关联分类器（FAC）的建模效率,提出了一种基于演进向量量化（eVQ）聚类的增量模糊关联分类方法。首先,采用eVQ聚类算法增量更新数量属性上的高斯隶属度函数参数;然后,扩展早剪枝更新（UWEP）算法,使之适用于增量挖掘模糊频繁项;最后,以模糊相关度（FCORR）和分类规则前件长度为度量方式裁剪并更新模糊关联分类规则库。在4个UCI标准数据集上的实验结果表明,与批量模糊关联分类建模方法相比,所提方法能够在保证分类精度和解释性的前提下,减少模糊关联分类器的训练时间;基于eVQ的高斯隶属度函数的增量更新有助于提高动态数据集上模糊关联分类器的分类精度。     

基于中间件的数据仓库增量更新算法研究

数据仓库（DW）是随着时间不断变化的数据集合。因此数据增量更新技术是数据仓库技术能否成功实施的关键。在目前的数据增量更新算法基础上，给出一种采用中间件来进行数据增量更新的方案和算法。并通过实例将此方法与原增量更新算法进行了细致的比较，说明了此算法有较好的更新效率。     

三支决策朴素贝叶斯增量学习算法研究

增量学习利用增量数据中的有用信息通过修正分类参数来更新分类模型,而朴素贝叶斯算法具有利用先验信息以及增量信息的特性,因此朴素贝叶斯算法是增量学习算法设计的最佳选择。三支决策是一种符合人类认知模式的决策理论,具有主观的特性。将三支决策思想融入朴素贝叶斯增量学习中,提出一种基于三支决策的朴素贝叶斯增量学习算法。基于朴素贝叶斯算法构造了一个称为分类确信度的概念,结合代价函数,用以确定三支决策理论中的正域、负域和边界域。利用三个域中的有用信息构造基于三支决策的朴素贝叶斯增量学习算法。实验结果显示,在阈值[α]和[β]选择合适的情况下,基于该方法的分类准确性和召回率均有明显的提高。     

一种高性能包分类渐增式更新算法

包分类是第4层线速数据包输入处理的核心问题之一，当前包分类问题研究的重点是最差情况下，规则数达到百万、多维的动态算法。尝试格（grid of tries）算法的优点是查找时间复杂度与规则数无关，空间复杂度接近线性；缺点是没有支持渐增式更新的算法，即它是一种静态算法，并且仅支持二维。在此提出了一种尝试格的渐增式更新算法，使之成为动态算法。最终提高了尝试格算法的综合性能。     

Fast updating algorithms for TCAM

One popular hardware device for performing fast routing lookups and packet classification is a ternary content-addressable memory (TCAM). This paper proposes two algorithms to manage the TCAM such that incremental update times remain small in the worst case     

并行区域分割包分类算法

网络包分类技术是下一代路由器、防火墙、QoS保证机制实现、网络信息检测等设备的关键技术,在区域分割思想基础上，并在FPGA内实现的并行区域分割包分类算法是一种基于共享存储器和并行处理单元的高速网络包分类算法；它主要包括区域分割思想的存储器映射方法和两级、多通道并行处理技术两大部分．     

Optimizing Multi-Dimensional Packet Classification for Multi-Core Systems

Packet classification has been studied for decades; it classifies packets into specific flows based on a given rule set. As software-defined network was proposed, a recent trend of packet classification is to scale the five-tuple model to multi-tuple. In general, packet classification on multiple fields is a complex problem. Although most existing softwarebased algorithms have been proved extraordinary in practice, they are only suitable for the classic five-tuple model and difficult to be scaled up. Meanwhile, hardware-specific solutions are inflexible and expensive, and some of them are power consuming. In this paper, we propose a universal multi-dimensional packet classification approach for multi-core systems. In our approach, novel data structures and four decomposition-based algorithms are designed to optimize the classification and updating of rules. For multi-field rules, a rule set is cut into several parts according to the number of fields. Each part works independently. In this way, the fields are searched in parallel and all the partial results are merged together at last. To demonstrate the feasibility of our approach, we implement a prototype and evaluate its throughput and latency. Experimental results show that our approach achieves a 40% higher throughput than that of other decomposed-based algorithms and a 43% lower latency of rule incremental update than that of the other algorithms on average. Furthermore, our approach saves 39% memory consumption on average and has a good scalability.     

一种多维并行报文分类算法

位并行、位向量和聚合位向量算法通过对多个域进行并行处理加快分类速度,但三者内存占用太大,不适用于大规则集。为此,提出一种压缩位并行算法,通过报文分类压缩每个域上的重复规则并重新组织规则集,从而缩短位图中位串的长度,减少内存空间的占用。实验结果证明,该压缩位并行算法在不影响运行速度的前提下,明显减少了空间占用。     

层压缩树包分类算法研究

包分类技术是下一代网络设备的关键技术之一．研究有效的包分类算法是目前网络技术领域的热门课题．层压缩树包分类算法的基本思想是：对路径压缩之后的二叉树进行层压缩，使压缩树中的节点能够按序存储在数组中．通过对数组元素跳跃式的查找快速的对包头进行分类．仿真试验结果表明该算法在较大规则数下能够实现对包头的快速分类，分类速度可以达到每秒处理接近2M个包头，具有O（d）的时间复杂度（d为域的个数）；在中等规模规则数下具有O（dN）的空间复杂度，并且其存储量优于其他算法（如Bitmap和区域分割包分类算法）．由于层压缩树算法对包头的每个域独立查找，在硬件实现上采用并行查找各个域的处理方式将使该算法的查找性能得到更大的提高．     

基于Delaunay三角网生长法的并行图像插值方法

提出一种基于Delaunay三角网生长法的并行图像插值方法。该方法通过八邻域备选点减小了最优外接圆搜索范围,并采用了基于点存储的Delaunay边链表,加快了边更新速度,通过划分策略实现了机群环境下的并行图像插值。该方法占内存小,可以解决大数据量的图像插值问题。     

基于FIUT的并行频繁项集增量更新算法

针对目前大数据快速增加的环境下,海量数据的频繁项集挖掘在实际中所面临的增量更新问题,在频繁项超度量树算法（frequent items ultrametric trees,FIUT）的基础上,引入MapReduce并行编程模型,提出了一种针对频繁项集增量更新的面向大数据的并行算法。该算法通过检查频繁超度量树叶子节点的支持度来确定频繁项集,同时采用准频繁项集的策略来优化并行计算过程,从而提高数据挖掘效率。实验结果显示,所提出的算法能快速完成扫描和更新数据,具有较好的可扩展性,适合于在动态增长的大数据环境中进行关联规则相关数据挖掘。