基于增量DFT概要的数据流聚类算法

数据流聚类分析是数据流挖掘领域的重要分支。由于数据流海量、快速、动态到达,传统的静态数据挖掘技术不能满足在线分析的需求。数据流聚类的核心是设计单遍数据集扫描算法,在有限的内存中存储少量概要特征信息,实现数据流实时、在线聚类分析。采用数据流处理中广泛应用的滑动窗口模型,提出一种新的基于增量傅立叶变换(DFT)的数据流概要算法,并在此基础上运用k-均值(k-means)聚类,实现数据流的在线挖掘。基于增量DFT概要的数据流聚类算法可减少运行时间,节省内存空间,实际用电负荷数据证明了算法的有效性。     

数据流的不规则网格增量聚类算法

分析了数据流的特点,针对数据流聚类算法CluStream对数据流中非球形聚类效果不好的情况,提出了基于数据流的不规则网格增量聚类算法IIGStream.IIGStream算法具备了传统网格聚类算法处理速度快的优点.同时能够动态增量地调整网格结构.对新到来的数据点,通过判断网格是否相连,保证了对于不同形状聚类的聚类效果.IIGStream在聚类时无需预先指定聚类数目.且对孤立点不敏感.在真实数据集与仿真数据集上的实验结果表明,IIGStream算法具有良好的适用性和有效性,在聚类精度以及速度上均优于CluStream算法.     

基于网格结构的数据流在线快速聚类算法

针对现有的数据流聚类算法不能在线实时生成用户需要的聚类结果问题,提出一种基于滑动窗口的数据流在线聚类算法.该算法采用密度网格存储结构,实现了数据流的在线聚类过程,能实时地向用户提供聚类结果,动态地检测数据流的进化情况.实验结果表明,该方法具有快速在线聚类能力,并能保证良好的聚类质量.     

基于数据流的top-k频繁项集挖掘

对数据流进行频繁项集挖掘具有重要意义.然而传统的办法是由用户设定合适的支持度阈值,这在数据流环境中非常困难.更实际的办法是由用户设置一个参数k,输出最频繁的K个项集.讨论了数据流的top-k频繁项集的挖掘,给出了相关定义,分析了挖掘中的相关技术和性质,提出了一个数据流top-K频繁项集挖掘算法LIONET,并分析了算法的优越性.     

一种对噪音健壮的数据流分类算法

数据流挖掘中的主要问题是概念流动和噪音污染。目前的数据流挖掘算法不能有效地处理数据流中的噪音,而一个理想的学习算法应该同时拥有对概念流动的敏感性和对噪音的健壮性。文中探讨了如何使用聚类方法在数据流中区分出噪音实例和难以学习的实例,并提出了相应的概念流动检测方法。在此基础上设计了基于推进技术的集合分类器算法RobustBoosting。通过在合成数据集和实际数据集上的实验,表明文中的算法即使在高达40%的类噪音时,与AdaptiveBoosting算法[1]相比,仍能保持更高的分类准确度,更快地收敛到新的目标概念。     

一种面向数据流的频繁项集挖掘算法

与传统静态数据库中的数据不同,数据流是一个按时间到达的有序的项集,这使得经典的频繁项集挖掘算法难以适用到数据流中．根据数据流的特点,提出了数据流频繁项集挖掘算法FP—SegCount．该算法将数据流分段并利用改进的FP—growth算法挖掘分段中的频繁项集．然后,利用Count Min Sketch进行项集计数．算法解决了压缩统计和计算快速高效的问题．通过和FP—Ds算法的实验对比,FP—SegCount算法具有较好的时间效率．     

基于概要数据结构的高维数据流聚类算法

为了在高维数据流中有效地形成聚类,针对经典算法CELL-Tree存在的问题,提出一种新的概要数据结构PL-Tree以及基于此数据结构的算法PLStream,并采取衰减窗口模式来适应数据流的变化,采用剪枝策略控制内存中聚类模型的规模．实验表明,PLStream算法能较好地适应高维数据流,比CELL／Tre算法具有更好的时...     

基于Hadoop MapReduce的分布式数据流聚类算法研究

随着数据流规模的持续增大,现有基于网格的聚类算法对数据流的聚类效果不好,不能实时发现任意形状的簇,也不能及时删除数据流中的噪声点。文章提出了一种Hadoop平台环境下基于网格密度的分布式数据流聚类算法（PGDC Stream）,利于基于Hadoop的MapReduce框架对数据流进行阶段化的并行聚类分析,实时发现数据流中任意形状的簇,定义检测周期和密度阈值函数并及时删除数据流中的噪声点。算法基于网格密度对数据流初始聚类后,随着新数据的到来,使用基于密度阈值函数的噪声点处理策略,周期性检测和删除噪声点,使用基于Hadoop MapReduce框架的并行分析模型周期性地调整已经生成的簇。实验结果表明,PGDC Stream对大规模数据流的聚类质量、可伸缩性和实时性都好于CluStream。      

数据流中的频繁标记闭子树的批量挖掘

在频繁模式挖掘（FPM）的研究中,为了在海量数据流中有效地挖掘子树结构的频繁模式,根据数据流和子树模式的特点,提出了一种基于数据流的频繁标记闭子树挖掘（SFCLTreeMiner）算法. 该算法首次对动态数据流中频繁标记闭子树的挖掘进行研究,给出了在数据流中标记闭子树集合添加、删除的批量挖掘方法,并结合时间衰减模型,有效保证了结果的时效性. 实验结果表明,该算法在挖掘性能,如挖掘时间和内存占用等方面,比类似算法有较大提高.     

基于数据流频繁模式挖掘的入侵检测模型

计算机网络入侵通常具有高频度特性,因此,识别是否正常访问,对数据流中重复元素的挖掘,给出频度指标,是一种重要的依据。提出一种基于数据流频繁模式的改进型AFP算法,该算法采用滑动窗口树技术,单遍扫描数据流及时捕获网络上的最新模式信息,并将该算法应用在入侵检测模型中正常数据和异常数据的在线挖掘。解决了有限存储和无限数据流的矛盾。实验结果表明,该模型有较高的报警率和较低的误报率。     

一种基于Apriori的高效关联规则挖掘算法的研究

为了从海量的信息资源库中进行析取、识别和发现潜在正确和有用、前所未知的、最终可理解的知识,从数据挖掘技术的研究入手,对关联规则挖掘算法Apriori算法的关键思想以及性能进行了研究,在此基础上分析和探讨了Apriori Mend算法,并给出了该算法的实现思想和步骤,同时通过实例说明了算法的执行过程,该算法提高了原算法的效率。     

一种新的数据流频繁度变化趋势预测算法

针对数据对象在数据流中的频繁度变化趋势的预测问题,提出基于最大最小频率时间窗模型的最大最小频繁趋势预测算法(MM-FTP).设计一种新的最大最小频繁模式树结构(MMFP-Tree),存储数据流概要信息;提出一种新的数据对象频繁度变化趋势衡量指标———频繁度变化率(FCR),定量地对数据对象的频繁度变化趋势进行描述.该算法同样能够对数据流分类置信度变化趋势及传统的指数变化趋势进行有效预测.结果表明,在真实的网络点击数据流上,该算法能够快速准确地预测数据对象的频繁度变化趋势.     

决策树在汽车ERP系统中的应用探索

为缓解传统ERP系统把企业需求预测作为外部输入的局限性,通过分析汽车行业应用ERP系统存在的主要问题及原因,提出运用数据挖掘技术直接从汽车行业ERP系统中获取预测信息的方法,即对ID3决策树生成算法改良后运用于汽车ERP系统进行数据挖掘。并对该方法实现的有利因素和技术难点作了分析,通过数据挖掘模型实验检测了种挖掘的有效性。     

决策支持系统的集成化模型分析与研究

随着计算机和自动数据收集工具的应用,大量数据已被持续地收集和存储在数据库中,由此产生了从大量数据库中挖掘令人关注的巨大的信息需求.在现有的数据挖掘技术上,提出一种集成化的关联规则挖掘方法,这种集成化算法,把当前普遍应用的联机分析处理技术和关联规则挖掘cube_DM算法综合起来,通过决策分析工具软件DBMiner系统得到数据挖掘结果的分析.     

多维数据流最大频集挖掘模型和算法

为了挖掘到有价值的信息,需要挖掘多维数据流上的频繁项目集,因此引入多维项目和多维项目集的概念表示多维数据流上的项目.设计了一种紧凑、压缩的数据结构MaxFP-Tree用于维护多维项目集,并在MaxFP-Tree的基础上设计了挖掘多维数据流上最大频集的增量式更新算法.实验结果表明,设计的挖掘多维数据流中最大频集的模型和算法是高效的.     

一种基于频繁模式有向无环图的数据流频繁模式挖掘算法

频繁模式挖掘中基于FP-growth的算法需要扫描两次事务数据库,预先给定支持度,且不支持时间敏感型数据。本文提出了一种基于频繁模式有向无环图的数据流频繁模式挖掘算法,它根据事务到来的时间给每个事务一个序号,每个事务中的数据项在存储前按数据项的顺序进行调整,频繁模式有向无环图的构建遵循这个顺序并用序号来记录事务与数据项的包含关系,模式增长过程只需要增加有向边上的序号。通过逆向遍历带有相同序号的有向边,产生条件模式基,根据动态定义的阈值抽取条件模式基信息,一次扫描数据库得到频繁模式。实验结果表明,本文算法的执行效率优于FP-growth算法,且存储节点的数目明显减少。