数据流频繁模式挖掘技术研究

数据流挖掘是目前新一代数据挖掘研究中的热点,而数据流频繁模式是影响数据流挖掘算法效率的决定性因素。虽然目前有许多工作针对数据流频繁模式挖掘算法进行了研究,但是仍然存在许多不足。本文详细讨论了数据流频繁模式挖掘的四种主流算法,最后提出了未来的研究方向。     

一种面向数据流的频繁项集挖掘算法

与传统静态数据库中的数据不同,数据流是一个按时间到达的有序的项集,这使得经典的频繁项集挖掘算法难以适用到数据流中．根据数据流的特点,提出了数据流频繁项集挖掘算法FP—SegCount．该算法将数据流分段并利用改进的FP—growth算法挖掘分段中的频繁项集．然后,利用Count Min Sketch进行项集计数．算法解决了压缩统计和计算快速高效的问题．通过和FP—Ds算法的实验对比,FP—SegCount算法具有较好的时间效率．     

一种实时有效的AECFP数据流频繁项挖掘算法

由于数据流的高速产生性、强流动性及变化不稳定性的需求,数据流算法应在有限存储空间里实时准确分析数据,提取有用知识.在允许的误差范围内,提出一种有效的数据流频繁项挖掘算法AECFP,通过一种基于频繁项样本的数据结构记录抵达的项目集合,进行快速的保存样本,并在样本空间满时快速删除出现次数最小且最旧的非频繁项,保留相同支持数的其它频繁项.当用户查询频繁项时,快速实时准确挖掘数据流中的频繁项,适应数据波动变化.经过实验证明,该算法在挖掘频繁项时,具有快速的处理能力,满足空间消耗的低存储要求,并能保证数据频繁项的挖掘准确度.     

一种基于频繁模式有向无环图的数据流频繁模式挖掘算法

频繁模式挖掘中基于FP-growth的算法需要扫描两次事务数据库,预先给定支持度,且不支持时间敏感型数据。本文提出了一种基于频繁模式有向无环图的数据流频繁模式挖掘算法,它根据事务到来的时间给每个事务一个序号,每个事务中的数据项在存储前按数据项的顺序进行调整,频繁模式有向无环图的构建遵循这个顺序并用序号来记录事务与数据项的包含关系,模式增长过程只需要增加有向边上的序号。通过逆向遍历带有相同序号的有向边,产生条件模式基,根据动态定义的阈值抽取条件模式基信息,一次扫描数据库得到频繁模式。实验结果表明,本文算法的执行效率优于FP-growth算法,且存储节点的数目明显减少。     

数据流的不规则网格增量聚类算法

分析了数据流的特点,针对数据流聚类算法CluStream对数据流中非球形聚类效果不好的情况,提出了基于数据流的不规则网格增量聚类算法IIGStream.IIGStream算法具备了传统网格聚类算法处理速度快的优点.同时能够动态增量地调整网格结构.对新到来的数据点,通过判断网格是否相连,保证了对于不同形状聚类的聚类效果.IIGStream在聚类时无需预先指定聚类数目.且对孤立点不敏感.在真实数据集与仿真数据集上的实验结果表明,IIGStream算法具有良好的适用性和有效性,在聚类精度以及速度上均优于CluStream算法.     

基于频繁模式树的最大频繁模式挖掘算法

为减少高昂的计算代价，用挖掘最大频繁模式集代替挖掘频繁模式集是近年来提出的一个重要研究策略。由最大频繁模式集可求出所有频繁模式，但数量上却可以小几个数量级，从而可大大减少计算代价。通过对最大频繁模式挖掘的问题描述，以及关键问题的分析，针对频繁模式树(FP-tree)和最大频繁模式的特点，给出了基于频繁模式树的最大频繁模式挖掘算法(MMFP)，采取先挖掘候选最大频繁模式再判断子集的方法，经示例分析表明该算法是有效的。提出的单路径修剪和项目修剪等修剪方法大大减少了侯选最大频繁模式的个数，对算法的性能提高起到了关键作用。     

基于数据流频繁模式挖掘的入侵检测模型

计算机网络入侵通常具有高频度特性,因此,识别是否正常访问,对数据流中重复元素的挖掘,给出频度指标,是一种重要的依据。提出一种基于数据流频繁模式的改进型AFP算法,该算法采用滑动窗口树技术,单遍扫描数据流及时捕获网络上的最新模式信息,并将该算法应用在入侵检测模型中正常数据和异常数据的在线挖掘。解决了有限存储和无限数据流的矛盾。实验结果表明,该模型有较高的报警率和较低的误报率。     

基于频繁模式树的最大频繁模式挖掘算法

为减少高昂的计算代价 ,用挖掘最大频繁模式集代替挖掘频繁模式集是近年来提出的一个重要研究策略。由最大频繁模式集可求出所有频繁模式 ,但数量上却可以小几个数量级 ,从而可大大减少计算代价。通过对最大频繁模式挖掘的问题描述 ,以及关键问题的分析 ,针对频繁模式树 (FP- tree)和最大频繁模式的特点 ,给出了基于频繁模式树的最大频繁模式挖掘算法 (MMFP) ,采取先挖掘候选最大频繁模式再判断子集的方法 ,经示例分析表明该算法是有效的。提出的单路径修剪和项目修剪等修剪方法大大减少了侯选最大频繁模式的个数 ,对算法的性能提高起到了关键作用。     

分布式数据库全局最大频繁项集增量更新算法

随着分布式数据库记录的不断增加,需要对已挖掘出的全局最大频繁项集进行增量更新。在已经提出的快速挖掘全局最大频繁项集算法(FMMFI)的基础上,提出了分布式数据库全局最大频繁项集增量更新算法(IUGMFI)。IUGMFI算法利用了FMMFI算法已经挖掘出的分布式数据库全局频繁项目和全局最大频繁项集。挖掘增量数据库的全局频繁项目,构建增量数据库的FP-tree,挖掘出增量数据库的全局最大频繁项集,采用自上而下的剪枝策略更新全局最大频繁项集。理论分析和实验结果表明,IUGMFI算法是快速而有效的。     

基于可变支持度的流数据频繁模式挖掘算法

大量的动态数据使得传统数据挖掘方法难以适应流数据.频繁模式挖掘算法大多在挖掘频繁项集时使用一个固定的最小支持度,然而实际使用中支持度阈值应该随用户需求和流数据的特点而改变.针对此问题提出一种名为VSSDM的算法,用于在流数据中以可变支持度挖掘频繁项集.     

一种基于临时表的关联规则增量更新算法

对挖掘关联规则中的FUP算法的关键思想以及性能进行了研究,针对挖掘关联规则中FUP算法的不足,提出了一种基于临时表的改进算法MFUP.该算法通过建立临时表,充分利用原数据库挖掘的结果,从而大大减少了对数据的重复扫描,提高了数据挖掘算法的效率.通过实例分析,说明了MFUP算法的优越性.     

一种最大频繁项集的增量更新算法

提出了一种基于最小支持度变化的挖掘最大频繁项集的增量式更新算法MFIU(Maximum Frequent Itemsets Updating).针对最大频繁项集更新时的特性,分别对最小支持度变大和变小提出了两种不同的处理方法,对于最小支持度变大的复杂情况,采取了分块的更新策略,并为减少不必要的候选项集,利用了如果X是一个最大频繁项集,则其所有子集都是频繁项集,但都不可能是最大频繁项集,而进行了独特的剪枝方法.最后通过实例分析了该算法.     

基于网格的二次K-means聚类算法

传统的K-means算法是一种常用的聚类算法,但它对于初始聚类中心敏感,容易受到"噪声"和孤立点的影响,由此提出了一种基于网格的二次K-means聚类算法.此算法先将空间划分为多个大小相等的网格,然后根据给定的密度阈值来计算出密集网格,对密集网格中的点进行初次聚类,将初次聚类结果的均值点作为第二次聚类的初始均值点,从而消除了"噪声"和孤立点的影响,并且保证了信息的完整,实验证明此算法是有效的.     

基于潮流变化量特征的电网开断故障诊断方法研究

传统的基于保护、开关动作信息的电网故障诊断方法在实际应用中存在误动和拒动。利用SCADA系统采集的电网支路稳态潮流信息作为诊断依据,提出一种电网支路开断故障诊断的新方法,利用支路开断分布因子建立全网支路开断故障模式集,提取电网发生故障后各支路稳态潮流变化量,并运用模式识别算法对电网故障支路进行匹配识别,实现电网开断故障诊断。对某区域电网实例数据进行仿真分析,结果表明:该方法能够有效地对电网支路开断故障进行快速诊断,具有较好的工程实用价值。     

基于云计算的分布式数据挖掘平台架构

针对互联网上数量众多的网站带宽资源长期浪费或突发资源短缺、响应时间长、服务器宕机、网站受到黑客攻击等问题,提出了基于＂云＂的分布式web安全系统及基于云计算的分布式数据挖掘平台架构,并在此基础上提出了一种新型的分布式数据挖掘模式,利用云计算技术,可以方便地通过网络获取强大的计算能力和存储能力,将消耗大量资源的复杂计算通过网络路由优化和资源约束自适应策略分布到多节点上进行,然后通过组合不同数据站点上的局部数据模型,最终得到全局数据模型。     

异质环境下分布式系统数据交换研究

旨在研究异质环境下开发分布式系统时,如何解决所产生的通信数据类型不一致问题,并且以远程监测系统的服务器端和客户端分别采用Delphi7．0与VB6．0实现时。如何解决该问题为例做了详细的探讨。结果表明采用API函数CopyMemory可以很好的解决上述问题。     

智能电网能量流的时空多尺度大数据探讨

随着电力业务的飞速发展和大数据应用技术的不断完善,电力大数据时代正式到来。然而现有电力数据尚无法满足智能电网的安全稳定等发展需求,智能电网需要能够反映电力能量流可观性的立体全景信息。为此,分析智能电网能量流时空多尺度大数据的概念,通过广域电网实时宽频带时空多尺度同步测量技术,可准确、可靠获取电网能量流全景数据,该纳秒级宽频数据能精确反映电力能量流特征。能量流时空多尺度大数据可为智能电网科学研究提供更准确的全景数据信息,有助于解决电网动态安全稳定监控、复杂大电网建模降维与解耦、电网能量传递分析和暂态保护控制等电力系统科学技术难题,具有重要的理论价值和工程应用前景。     

分布式数据挖掘中基于扰乱的隐私保护方法

通过设计一种随机数值片拆分统计机制,提出分布式环境下的匿名均值统计和匿名方差统计方法;结合同态加密机制,设计了分布式环境下的随机数据交换方法,实现了分布式环境中匿名数据交换机制.结合上述两种方法,提出分布式环境下基于数据扰乱技术的隐私保护方法,支持高效的分布式隐私保护数据挖掘.共谋攻击的实验结果和分析表明：匿名数据交换机制下的数据挖掘隐私保护方法在高密度共谋攻击的半诚实环境中有较好的鲁棒性,与主流的安全多方计算相比具有显著的效率优势;同时,该方法具有较高的灵活性和通用性,能应用于关联规则挖掘、聚类多种场合.     

环境激励下大跨度连续刚构桥动力分析模型修正

为了快速准确地对黄河某特大桥进行损伤识别,采用了一种环境激励状况下,基于优化理论的有限元模型修正方法.首先通过振动测试,利用环境激励下的功率谱峰值法,获得模态参数.使用ANSYS建立桥梁的参数化有限元模型,选取灵敏度高的刚度参数,根据最优化理论进行迭代修正,最终得到了黄河某特大桥有限元修正模型.通过对有限元模型进行动力特性分析,结果表明:修正后模型的模态特征值与实测值吻合度更好,前20阶主要振型的频率误差基本在2%以下,精度较高;修正后,桥梁混凝土整体弹性模量确定在每平方毫米340 000～370 000N之间,箱梁刚度分布基本符合现场的表观损伤调查结果.在正常通车情况下即可检测桥梁,无需交通管制,相对传统的人工激励方式,不会对桥梁构成额外伤害;利用现有的有限元软件ANSYS,不用计算繁琐的质量、刚度矩阵即可进行损伤识别,适合于大跨度连续刚构桥损伤识别的应用.