OLAP数据挖掘引擎算法的设计与实现

基于OLAP的数据挖掘，是数据挖掘的一个新的发展方向。对于如何把OLAP(联机分析处理技术)和DM(数据挖掘)统一起来，从而在数据库或数据仓库的不同层次进行挖掘，提出了OLAP数据挖掘系统的结构。通过研究数据挖掘方法和OLAP操作的特点，以及数据立方的构建和物化，对传统的DM算法进行了改进，设计并实现了更能适应OLAP数据挖掘引擎的算法。     

基于MS神经网络算法的数据挖掘应用的探讨

Microsoft神经网络算法是基于人体神经网络系统模拟而成的一种算法,它对于数据挖掘的发展有着很大的推动性.为了进一步发展基于神经网络算法的数据挖掘系统的应用,在Microsoft神经网络算法的基础上构建了一个数据挖掘商业应用实例系统,通过研究客户的一些个人属性以及办理业务的基本情况,预测客户的信誉情况、业务的办理趋向、银行开展新业务的趋向等.在实例系统的构建过程中,对神经网络数据挖掘算法的挖掘过程进行了详细的分析,促进了数据挖掘的应用实践.     

基于MapReduce的增量数据挖掘研究

频繁项集挖掘是数据挖掘过程中的重要部分,传统数据挖掘算法中常用Apriori算法和FP增长算法来挖掘频繁项集。在实际应用中,传统算法往往不能用于频繁更新的数据库,采用IMBT数据结构能从不断更新的数据库中挖掘频繁项集,但是这将导致存储空间不足和运行效率低下的问题。基于MapReduce的增量数据挖掘能够有效解决这些问题,通过对比基于MapReduce的增量数据挖掘和传统增量数据挖掘的运行时间可以证明,基于Mapeduce的增量数据挖掘更高效。     

基于Web的数据挖掘算法与数据仓库的接口设计

提出了一种基于Web的数据挖掘系统中数据挖掘算法与数据仓库的接口设计方案，解决了算法与数据仓库的接口问题，实现用户通过Web浏览器动态调用算法，算法在Web环境下对数据仓库数据进行挖掘，发现有用的知识。该接口方案的通用性增强了数据挖掘系统的扩展性，有利于系统快速添加更多的新算法，以满足各种挖掘需求。     

基于序列模式挖掘的入侵检测系统的研究

对入侵检测和数据挖掘从定义和分类等各方面等进行了基本介绍,提出了一个基于数据挖掘的入侵检测系统的总体框架,其整个系统分为训练阶段和测试阶段,对其中各个模块进行基本的功能分析。为了提高数据挖掘的效率,可以将序列模式挖掘引入该入侵检测系统中。将关联规则算法和序列模式挖掘算法同时使用,增加挖掘的粒度。对序列模式挖掘的算法进行了具体分析,并通过具体的实例来说明引入序列模式挖掘能更好地提高数据挖掘的效率。     

基于序列模式挖掘的入侵检测系统的研究

对入侵检测和数据挖掘从定义和分类等各方面等进行了基本介绍,提出了一个基于数据挖掘的入侵检测系统的总体框架,其整个系统分为训练阶段和测试阶段,对其中各个模块进行基本的功能分析.为了提高数据挖掘的效率,可以将序列模式挖掘引入该入侵检测系统中.将关联规则算法和序列模式挖掘算法同时使用,增加挖掘的粒度.对序列模式挖掘的算法进行了具体分析,并通过具体的实例来说明引入序列模式挖掘能更好地提高数据挖掘的效率.     

VISDMiner：一个交互式数据挖掘过程可视化系统

针对数据挖掘中挖掘过程不透明以及用户交互少的问题,本文设计并实现了VISDMiner系统。VISDMiner系统将可视化技术和数据挖掘技术结合在一起,提供对挖掘过程中各阶段产生的可视化子结果集的分析。用户可根据自己的领域知识和经验去调整数据挖掘算法模型的参数和可视化模型的参数,促进算法和挖掘分析过程的有效调优。为了处理高维数据集,VISDMiner系统采用一种基于最大信息系数的主成分分析改进算法MIC-PCA,该算法主要是针对传统PCA算法降维能力和分类准确率低的问题进行改进。实验结果表明,VISDMine不仅实现了数据挖掘过程的可视化,还提高了用户对数据挖掘〖JP2〗执行结果的可理解性,其采用的改进的MIC-PCA算法提高了PCA算法的降维能力和分类准确率。     

基于Web服务的数据挖掘系统算法的设计

与传统的数据挖掘系统的算法库相比,在数据挖掘系统算法库中引入Web服务可以实现数据、算法和接口的分离,极大的缩减了算法库开发的复杂性并为动态管理算法库提供了便利。此外,从标准的平台无关性的角度来看,采取Web服务的设计的系统具有了平台无关性和语言无关性的特点。我们可以通过任何语言来实现将挖掘算法封装到Web服务中,并从程序设计语言中分离出来,这样就为算法设计提供了最大的自由度,提高了维护性能。因此,基于Web服务技术的数据挖掘系统对于提高数据挖掘的效率具有非常重要的意义。     

VisualDM：一个灵活的可视化数据挖掘系统

如果要建造一个健壮的数据挖掘系统，仅仅依靠挖掘算法是不够的。目前的挖掘算法还没有完全“智能”化，所以挖掘有用的信息常常不是很有效。不过可视化技术给了我们很大的帮助，我们将挖掘算法和可视化技术结合起来，从而实现了数据挖掘系统VisualDM。     

数据挖掘工具集TH-Miner

TH-Miner是以JaVa实现的跨平台数据挖掘可视化系统。在TH-Miner中实现了多种经典的数据挖掘算法，并构造了几种新的改进算法。TH-Miner包括可视化聚类挖掘工具、分类算法工具、序列模式挖掘算法工具以及文本分类工具。     

基于电子商务的客户访问模式算法的分析研究

通过对电子商务中服务器上的日志文件等Web数据进行客户访问信息的分析，重点研究了客户分析系统的数据采集、数据处理以及跟踪客户在Web上的浏览行为并进行模式分析，并构建了用户访问模式的挖掘模型及算法的分析与实现。     

多层关联规则挖掘算法的研究及应用

针对商业银行业务系统中海量数据的分析和研究问题,提出了一种改进频繁项集挖掘算法FP-growth的多层关联规则数据挖掘算法.在对大量商业银行业务交易处理内在规律研究的基础上,依据利润度进行划分,使得该算法在满足用户需求的基础上,有效的缩小了层次结构树的规模,又加快了搜索的速度,从而提高了数据挖掘的效率.模拟算例表明,该算法有效可行,能够更好地适应商业银行交易系统层次结构在大型数据集的数据挖掘.     

基于MapReduce的Web日志挖掘

针对单一CPU节点的Web数据挖掘系统在挖掘Web海量数据源时存在的计算瓶颈问题,利用云计算的分布式处理和虚拟化技术优势以及蚁群算法并行性的优点,设计一种基于Map/Reduce架构的Web日志挖掘算法。为进一步验证该算法的高效性,通过搭建Hadoop平台,利用该算法挖掘Web日志中用户的偏爱访问路径。实验结果表明,充分利用了集群系统的分布式计算能力处理大量的Web日志文件,可以大大地提高Web数据挖掘的效率。     

约束关联规则的增量式维护算法

关联规则的挖掘是一个重要的数据挖掘问题,在关联规则的挖掘过程中加入约束条件,是实现用户参与挖掘的一种方式。在有约束的关联规则挖掘过程中,用户会不断调整约束条件,并要求更新挖掘结果。针对这种情况,提出了约束关联规则的增量式维护算法Separate_M,当约束条件发生变化时,在原有挖掘结果的基础上实现增量式更新,较重新运行Separate算法而言,减小了搜索空间,节约了时间,提高了挖掘效率。     

一种应用于推荐系统的Web挖掘算法:AIR算法

针对互联网站点信息海量和结构复杂的趋势,推荐系统被用来协助互联网用户方便快捷地找到所需信息,培养用户忠诚度。Web挖掘技术在处理海量数据和稀疏数据上有着先天的优势,所以Web挖掘技术在推荐系统中得到了越来越广泛的研究和应用。基于Web挖掘的推荐系统所使用的主要技术有聚类、关联规则、序列模式等等。然而,这些技术往往不能在推荐的准确性和覆盖范围方面做到两全。综合这几种技术,取其优点去其缺点,提出了一种新的算法(AIR算法)。通过基于实际使用数据的详尽的实验评估,可以证明该算法能够在准确性和覆盖范围方面明显提高推荐系统的整体性能。     

基于模糊聚类的Web日志挖掘的应用研究

在Web数据挖掘研究领域中，Web日志挖掘是Web数据研究领域中一个最重要的应用方面。本文对Web日志挖掘作了系统的研究。包括对服务器上日志结构的分析和对数据预处理过程的描述。文中着重讨论了用户模糊聚类的算法，并用实例证明了模糊聚类在web用户聚类应用中的可行性。在此基础上还提出了一个Web站点的个性化服务模型，通过对Web服务器中日志的挖掘，发现具有相似访问兴趣的用户群，进而为用户作个性化的推荐。     

基于模糊聚类的Web日志挖掘的应用研究

在Web数据挖掘研究领域中,Web日志挖掘是Web数据研究领域中一个最重要的应用方面。本文对Web日志挖掘作了系统的研究,包括对服务器上日志结构的分析和对数据预处理过程的描述。文中着重讨论了用户模糊聚类的算法,并用实例证明了模糊聚类在Web用户聚类应用中的可行性。在此基础上还提出了一个Web站点的个性化服务模型,通过对Web服务器中日志的挖掘,发现具有相似访问兴趣的用户群,进而为用户作个性化的推荐。     

WWW上的信息挖掘技术及实现

随着Ｉｎｔｅｒｎｅｔ应用的逐渐普及,ＷＷＷ已经发展成为一个巨大的的分布式信息空间,为用户提供了一个极用价值的信息源。但因Ｉｎｔｅｒｎｅｔ所固的开放性,动态性与异构性,又使得用户很难准确快捷地从ＷＷＷ上获取所需信息。文中将数据挖掘的思想引信了ＷＷＷ信息处理领域来解决网上信息有效获取的问题,讨论了在ＷＷＷ上进行信息挖掘所采用的算法和策略,最后简要介绍了一个采用向量空间模型和改进Ｒｏｂｏｔ技术的网络信息     

带数据项约束的序列模式挖掘

传统的数据挖掘方法会生成大量的模式和规则,且难以理解,而实际上用户感兴趣的只是其中的一小部分.针对该问题,在挖掘序列模式的PrefixSpan算法基础上提出一种带数据项约束的序列模式挖掘方法,通过数据项约束,减少了搜索空间.实验结果表明,该方法可以有效地挖掘出满足数据项约束的序列模式.     

基于改进蚁群算法的用户有效浏览兴趣路径挖掘

从Web日志中挖掘用户浏览兴趣路径,对于网站重构和产品推荐等商业用途具有重要意义。传统的挖掘算法一般基于用户访问频度,并不能真正体现用户的兴趣点。访问时间是一个能反应用户浏览兴趣的重要因素,用预设的访问时间阈值剔除无效数据,得出有效访问时间。本文对蚁群算法加以改进,用浏览频度和权值因子作为兴趣函数,有效访问时间因子作为信息素函数,提出有效-兴趣度的概念。对算法进行具体模拟,结果表明,本文提出的挖掘算法比传统的算法更能体现用户的浏览兴趣。