关联规则快速聚焦算法研究与实现

提出了一种实用的快速聚焦关联规则更新算法。在需要反复调整最小支持度的情况下,如何充分利用以往挖掘过程中的信息,避免多次扫描数据集;在如何有针对性的产生候选项集,从而减少候选集的规模;在如何提高候选项集的支持事务计数的效率等方面进行了研究,给出了算法的具体实现。通过分析,本算法是可行的。     

基于候选项集个数上阶的增量式关联规则更新算法

提出了一种有效的增量式关联规则挖掘算法IAR,算法的特点在于:提出并采用了基于候选项集个数上阶的选择扫描数据库的机制,可有效减少数据库的扫描次数;算法是一种通用的增量式算法,提出了最小支持度和数据库均改变时,增量式挖掘中的重要性质,从而可充分利用上一次挖掘的结果,有效减少候选项集的数目.并且提出了基于组合数学和项集等价类理论的计算候选项集个数的上阶的方法.通过大量的数据实验,表明算法的效率比已有的算法有了很大提高.     

关联规则挖掘的软集包含度方法

本文在深入研究软集数据分析的基础上,将包含度引入软集数据关联规则挖掘中,利用包含度理论描述属性集之间的量化关系,给出软集上属性集间的包含度、关联规则和最大关联规则的概念,讨论包含度和可信度之间的联系.在此基础上给出利用包含度在事务数据软集中挖掘满足给定的支持度和可信度阈值的软关联规则方法,以及最大软关联规则的提取算法.理论证明和实例分析表明该关联规则挖掘方法是有效的,并通过实验对算法的性能进行了比较.     

一种改进的时态关联规则算法

针对传统关联规则挖掘中可能会忽略具有时间因素的关联规则的问题,提出了一种具有时间约束的改进时态关联规则算法.该算法通过计算模式平均支持度、数据集平均支持度、模式集中度等参数来判断Apriori算法所得到的模式是否在某一时间区域数据集上具有较高支持度,再对该数据集进行进一步挖掘,以找到更精确的和时间相关的模式,从而得到单个或不同时间区间上的关联规则以及跨时间区间和跨事务的关联规则.通过实验分析,该算法是可行的,并在实际应用中有一定的意义.     

基于位运算与海明距离的Apriori算法改进

关联规则现在已成为数据挖掘领域中非常重要的研究课题,用于发现隐藏在大型数据集中的令人感兴趣的联系。Apriori算法作为第一个关联规则挖掘算法,开创性地使用了基于支持度的剪枝技术,系统地控制了候选项集的指数增长。但是,Apriori算法仍然存在着频繁扫描数据库和产生大量候选项集的缺点。鉴于此,提出了用一个整型或整型数组来代替一项事务集和一项候选项集,通过数据压缩,可以一次性将海量数据载入内存,减少了磁盘I/O负载,并通过位运算与计算海明距离达到计算支持度的目的,同时使用了若干优化方法。     

基于位运算与海明距离的Apriori算法改进

关联规则现在已成为数据挖掘领域中非常重要的研究课题,用于发现隐藏在大型数据集中的令人感兴趣的联系。Apriori算法作为第一个关联规则挖掘算法,开创性地使用了基于支持度的剪枝技术,系统地控制了候选项集的指数增长。但是,Apriori算法仍然存在着频繁扫描数据库和产生大量候选项集的缺点。鉴于此,提出了用一个整型或整型数组来代替一项事务集和一项候选项集,通过数据压缩,可以一次性将海量数据载入内存,减少了磁盘I/O负载,并通过位运算与计算海明距离达到计算支持度的目的,同时使用了若干优化方法。     

大数据环境下并行数据流预测及优化方法

以模糊集成联机分析处理(On-Line Analytical Processing,OLAP)为基础对关联规则挖掘算法进行改进,该算法为多维联机研究提供一种关联规则计算架构。基于模糊数据立方体的知识发现,为用户提供灵活的多维数据层次抽象模式。在多维数据集的多维属性处理中,引入模糊数据立方体作为问题措施补充,并利用不同层次的模糊关联规则构造模糊数据立方体,然后利用权重和多层次的概念构建模糊加权多层次关联规则。最后,通过对所提算法在合成数据集以及2000年中国人口普查的数据仿真测试,验证了基于OLAP的挖掘方法要比离散关联规则挖掘方法、单独支持阈值关联规则及最小挖掘项集关联规则三种对比算法,在最小支持度、置信度、权重均值等指标上,性能更加优异。     

基于项权值排序挖掘的跨语言查询扩展

为了改善自然语言处理应用中长期存在的主题漂移和词不匹配问题,本文首先提出一种加权项集支持度计算方法和基于项权值排序的剪枝方法,给出面向查询扩展的基于项权值排序的加权关联规则挖掘算法,讨论关联规则混合扩展、后件扩展和前件扩展模型,最后提出基于项权值排序挖掘的跨语言查询扩展算法.该算法采用新的支持度和剪枝策略挖掘加权关联规则,根据扩展模型从规则中提取高质量扩展词实现跨语言查询扩展.实验结果表明,与现有基于加权关联规则挖掘的跨语言扩展算法比较,本文扩展算法能有效遏制查询主题漂移和词不匹配问题,可用于各种语言的信息检索以改善检索性能,扩展模型中后件扩展获得最优检索性能,混合扩展的检索性能不如后件扩展和前件扩展,支持度对后件扩展更有效,置信度更有利于提升前件扩展和混合扩展的检索性能.本文挖掘方法可用于文本挖掘、商务数据挖掘和推荐系统以提高其挖掘性能.     

基于Apriori数据挖掘算法的信息推荐图书管理系统设计

传统应用于图书管理系统的Apriori算法因数据库扫描次数过多,以及候选项集数量过大导致系统运行缓慢,为解决此问题,设计基于改进Apriori数据挖掘算法的信息推荐图书管理系统。系统结合C/S架构与B/S架构,分别向图书馆工作人员和借阅者开放图书信息。系统功能模块中数据预处理子模块从读者借阅数据库中提取借阅者以及图书相关信息数据,对数据进行清洗、转换以及集成处理后,关联规则挖掘子模块利用改进Apriori算法依据处理后的数据,挖掘出支持度大于最小支持度阈值以及置信度大于最小置信度阈值的强关联规则,生成关联规则数据库。个性化信息推荐子模块依据关联规则数据库中的借阅者同借阅者所选图书进行关联匹配,向借阅者推送与所读图书相关联图书信息,实现图书信息的个性化推荐。实验结果表明,该系统可有效推荐图书关联信息,且在50个客户端同时运行的情况下CPU占有率仅为6.58%,运行性能佳。     

关联模式挖掘与词向量学习融合的伪相关反馈查询扩展

针对自然语言处理中查询主题漂移和词不匹配问题,提出基于CSC(Copulas-based Support and Confidence)框架的关联模式挖掘与规则扩展算法,并将基于统计学分析的关联模式与具有上下文语义信息的词向量融合,提出关联模式挖掘与词向量学习融合的伪相关反馈查询扩展模型.该模型对伪相关反馈文档集挖掘规则扩展词,对初检文档集进行词嵌入学习训练得到词向量,计算规则扩展词与原查询的向量相似度,提取向量相似度不低于阈值的规则扩展词作为最终扩展词.实验结果表明,所提扩展模型能有效地减少查询主题漂移和词不匹配问题,提高检索性能,与现有基于关联模式的和基于词向量的查询扩展方法比较,MAP(Mean Average Precision)平均增幅最大可达17.52％,对短查询更有效.所提挖掘方法可用于其他文本挖掘任务和推荐系统,以提高其性能.     

多最小分类支持度算法研究

数据挖掘是指从大量数据中发现潜在、有用知识的过程。关联规则是数据挖掘的一个主要研究内容,而如何提高挖掘算法的效率是关联规则数据挖掘的核心问题。Apriori算法是关联规则挖掘的经典算法,但是在实际应用Apriori算法的时间空间开销都很大。针对Apriori算法的局限性,从实际应用出发提出了多最小支持度算法,一方面降低候选项目集中候选项的数量;另一方面减少扫描数据库的次数。这种算法不仅降低了I／O负荷,而且减少了时间开销,具有较高的效率。     

文本挖掘中同义与关联词集的构造算法研究

通过分析文本挖掘中的2个关键步骤——文本特征空间构造和相似距离度量,指出流行的文本挖掘过程中存在着大量同义和关联噪声。大量存在的同义词和关联词,造成文本特征空间无法准确表达文本语义以及高维计算复杂性问题。利用潜在语义分析和关联规则挖掘构造同义和关联词集,用于减少文本特征空间中的同义词和关联词,降低信息冗余,改进挖掘效率。文中对相应的算法进行了描述,实验结果令人满意。     

基于遗传算法的双向关联规则挖掘

关联规则挖掘是数据挖掘和知识发现中一门重要技术,但基于支持度-置信度框架的关联规则挖掘存在一些问题。文章引入了双向关联规则的概念,实现了基于遗传算法的双向关联规则挖掘算法。实验证明,它能弥补传统关联规则挖掘算法的不足。     

基于完全加权正负关联模式挖掘的越-英跨语言查询译后扩展

主题漂移和词不匹配是自然语言处理中一个难题,文本挖掘与信息检索的结合有助于解决该问题.鉴于此,本文提出一种基于完全加权正负关联模式挖掘的越-英跨语言查询译后扩展算法.该算法采用新的完全加权正负项集支持度和关联度计算方法以及模式评价框架,对初检用户相关反馈文档集挖掘与原查询词相关的正负关联模式,从模式中提取扩展词实现跨语言查询译后扩展.与现有基于伪相关反馈、加权关联模式挖掘的跨语言扩展算法比较,本文算法能有效地减少查询主题漂移和词不匹配问题,提高跨语言信息检索性能;本文模式挖掘方法可用于推荐系统,提高其准确性.     

一种无冗余的Web日志挖掘算法

Web日志挖掘是Web数据挖掘的一个重要研究领域。Web日志挖掘通过发现Web日志中用户的访问规律和模式,可以提取出其中潜在的规律和信息,人们对这个领域的研究也日益重视。然而,传统的基于关联规则的Web日志挖掘算法都是基于所有关联规则的。这种方式往往挖掘产生大量的候选规则,而且存在大量冗余的规则。提出了一种新的无冗余的Web日志挖掘算法,该算法通过引入频繁闭项集合最小关联规则的概念,从而解决了以往基于所有关联规则挖掘算法中出现的上述问题。     

一种安全事件模糊关联规则挖掘算法

随着信息技术和数据库技术的飞速发展,从大量的数据中获取有用的信息和知识变得越来越重要。模糊关联规则挖掘是数据挖掘中针对数量型属性关联规则发现的一种有效方法。提出了一种基于矩阵的模糊关联规则挖掘算法,并将其应用于网络安全事件关联分析中,通过对DARPA标准数据集的分析,得出了预期数量的关联规则,并成功验证了某些攻击场景,该模糊关联规则挖掘算法取得了较好的实验结果。