云计算技术中大数据SLIQ算法研究

数据信息交流和社交方式在互联网+时代都呈现了新的发展态势,自媒体等新的数据产生方式让大数据时代来临。海量数据在大数据时代需要新的技术手段和方法,对数据存储、处理、检索和计算进行新的设计,尤其在数据挖掘领域,面临很多新的课题和挑战。当前,很多的传统数据挖掘算法只能在数据量较小的情况下适用,在串行的小规模输入数据环境下,算法还能适应。当数据量规模增大甚至呈指数形式增长时,时间复杂度和计算量也同步增长,需要对算法进行适应大数据的改进。云计算和云平台的使用为存储和分析海量数据提供可靠的实现手段,对数据挖掘算法的改进提供了高效的解决方案。文中在Hadoop、MapReduce框架下开展并行的SLIQ算法改进方案,改进算法很好地适应了云平台环境和海量数据,提高了运行效率。     

一种改进的基于K-means的信息聚类算法研究

聚类分析技术是数据挖掘中一个重要的分析手段,聚类结果要求数据组内的对象相似性较高,数据组对象之间的相似性较低。到目前为止,有各种各样的聚类算法,其中K-means算法最为广泛,它是采用误差平方和准则函数作为聚类准则函数。但是K-means算法也有不足之处,比如k值无法确定,时间开销很大等。针对这些缺点,文章提出了一种改进的基于K-means的信息聚类算法研究。     

基于划分的数据挖掘K-means聚类算法分析

为提升数据挖掘中聚类分析的效果,在分析数据挖掘、聚类分析、传统K-means算法的基础上,提出一种改进的K-means算法。首先将整体数据集分为k类,然后设定一个密度参数为■,该密度参数反映数据库中数据所处区域的密度大小,■值与密度大小成正比,通过密度参数优化k个样本数据的聚类中心点选取;依据欧几里得距离公式对未选取的其他数据到各个聚类中心之间的距离进行计算,同时以此距离为判别标准,对各个数据进行种类划分,从而得到初始的聚类分布;初始聚类分布得到之后,对每一个分布簇进行再一次的中心点计算,并判断与之前所取中心点是否相同,直到其聚类收敛达到最优效果。最后通过葡萄酒数据集对改进算法进行验证分析,改进算法比传统K-means算法的聚类效果更优,能够更好地在数据挖掘当中进行聚类。     

基于数据挖掘的高速网络入侵检测系统的研究

随着高速网络环境的发展,传统的网络入侵检测技术已经无法满足互联网安全需求。在这一背景下,本文提出了将数据挖掘中的K-means算法应用于网络入侵检测中,实现基于应用的检测,在原来基础上提高了监测的速度。实验测试表明系统能够对吉比特以太网进行有效高速的检测。     

云环境下基于群智能算法的大数据聚类挖掘技术

云计算从分布式存储和分布式计算两个方面为大数据处理提供了强力的支持,并逐渐成为大数据挖掘的主流平台。但是在处理云平台中的大规模数据集时典型聚类挖掘算法存在一定不足,因此,提出一种基于群智能算法的大数据K-means聚类挖掘算法。首先对云计算Hadoop框架的存储数据能力和采用的Map Reduce计算模型进行分析,然后采用群智能算法对传统数据挖掘K-means聚类算法进行改进,解决其容易陷入局部最优问题。实验结果表明,相比加权K-means聚类算法,提出的改进算法表现出更好的聚类精度和运行速度,可以适用于大规模数据的聚类挖掘。     

图书情报数据挖掘处理平台设计

针对传统平台一直存在对图书情报数据挖掘处理效果差、运行耗时长的问题,提出并设计了基于K-means算法的图书情报数据挖掘处理平台。该处理平台主要分为3部分进行设计:对硬件的数据挖掘模块、数据存储模块、数据分析模块进行设计,并在数据挖掘模块中引入K-means算法提高数据挖掘模块性能;给出软件设计流程及部分源代码;对设计平台的运行耗时进行验证。实验结果表明,采用改进设计平台可有效缩短运行耗时,且数据挖掘结果精度更高,具有一定的优势。     

基于数据挖掘的混合云作业调度算法

针对当前云作业调度算法效率低的不足,为了获得理想的云作业调度结果,以便给用户提供更好的服务质量,提出基于数据挖掘的混合云作业调度算法。对混合云作业调度的原理进行分析,指出当前云作业调度算法性能差的原因,建立云作业调度的目标函数,并采用数据挖掘技术找到最理想的混合云作业调度方案。在Cloud Sim环境下,通过具体混合云作业调度实验对算法的性能进行验证。结果表明,该算法不仅大幅度提高了混合云作业调度的成功率,而且加快了混合云作业完成的时间,具有较好的实际应用价值。     

基于云平台的并行关联规则挖掘算法分析

自云计算技术出现之后,数据挖掘技术取得了突破性发展。数据挖掘系统不仅实现了低成本、高效率运行,并且系统储存空间和系统可扩展性也在不断扩大,大大提高了数据挖掘效率。这里简要阐述了基于云平台的并行关联规则挖掘算法分析的研究意义,并对基于Hadoop的数据挖掘系统和数据算法设计进行了详细介绍。     

面向领域的数据挖掘云平台研究

为促进数据挖掘开发和商业应用,通过将云计算技术、领域工程和数据挖掘相结合,从领域驱动设计和云计算框架出发,提出了一种面向领域的数据挖掘云平台框架,阐述了云计算环境下面向领域的数据挖掘服务的机理,并给出了面向领域的数据挖掘云平台服务开发模式,从软件开发生命周期的角度定义了面向领域的数据挖掘服务开发过程.     

应用Aprion算法实现大规模数据库关联规则挖掘的技术研究

随着信息技术的发展,大数据时代的到来,在这种环境下必须进行数据挖掘工作。从大量的应用数据中将潜在的有价值的知识和信息挖掘出来,以便将其应用在实际工作的改进中。目前,数据挖掘的方法有很多,其中关联规则挖掘技术应用比较广泛,这种数据挖掘方式利用Aprion算法,挖掘出置信度和支持度均比较高的关联信息,反映出数据库中的数据相互之间的复杂性和有趣性,进而挖掘出数据之间的有益关联,促进大规模数据库信息挖掘技术的发展,主要从Aprion算法方面分析大规模数据库关联规则挖掘的技术。     

基于多聚类的混合数据分割算法

为解决点云特征区域分割过程中的过分割和欠分割问题,提出一种多聚类混合数据分割算法。算法首先利用改进的K-means聚类将散乱点云模型划分出平坦区域与特征区域;再利用基于高斯球的Mean-shift聚类对特征区域进行细分割,接着使用区域生长对细分割后的结果进行调整,最终实现点云数据的准确分割。并用该算法与K-mans、Mean-shift算法对相同模型在相同参设下进行分割实验,其结果表明,该算法能有效、准确地根据点云特征类型实现数据分割,同时有效避免特征的过分割和欠分割现象。     

基于数据挖掘技术的档案馆信息快速分析算法研究

为了提高档案馆信息管理系统进行统计及分析的效率,提出一种基于数据挖掘技术的档案馆信息快速分析算法。对档案馆信息数据挖掘的工作流程进行阐述。分析典型K-means性,并采用熵加权对典型K-means及运行效率较高,从而在更深层次上发挥档案信息的作用。     

一种基于云计算的关联规则改进研究

随着数据挖掘技术的成熟,其中关联规则在大规模数据中的应用成为了目前的热点.为了提高在大规模数据下进行数据挖掘的效率,在MapReduce中通过引入归并函数Fusion来提高执行剪枝任务的效率并进行了优化研究,提出了一种基于云理论的关联规则Apriori算法,详细论述了实现的过程以及关键技术.通过实验表明,该方法取得了良好的实验效果,克服了Apriori算法耗时多、识别率低下等问题,是实现在大规模数据进行数据挖掘的实用工具.     

电信客户细分中基于聚类算法的数据挖掘技术研究

结合市场细分和数据挖掘技术等相关理论,针对电信行业客户细分领域存在的问题,以某市电信公司提供的二十多万客户数据作为研究对象,基于CRISP-DM数据挖掘模型,通过数据挖掘工具中提供的K-means聚类算法完成对电信市场客户准确、有效的聚类细分,为管理和营销人员初步提供了制定管理或营销计划的依据。在完成客户细分模型的基础上,设计和实现了电信客户细分系统,并编码实现该系统功能的主要模块,将客户细分的整个流程通过自动化的过程描述出来。     

基于Spark的智慧校园数据挖掘研究

本文首先对智慧校园数据挖掘的意义进行研究和分析,提出了基于Spark技术的智慧校园数据挖掘平台,将数据挖掘技术与Spark计算框架相结合,该平台采用HDFS作为数据存储,上层的Spark平台作为智慧校园数据挖掘算法的运行环境.针对与学生相关的数据挖掘,构建了学生分析子系统.     

一种分布式的K-means聚类算法

提出一种适用于大型数据集的分布式聚类算法。该算法以传统的K-means算法为基础进行合理的改进,使之更适用于分布式环境,并从算法的复杂度分析,将该算法与传统的集中式K-means算法及其他分布式算法进行比较。实验表明,该算法在保持了集中式K-means算法所有必要特性的同时,提高了数据处理速度。     

云环境下基于关联规则技术的安全审计方案研究

为了提高云环境下数据挖掘的效率,从而降低安全审计系统的运行负荷,提出一种基于关联规则技术的安全审计方案。在云平台典型架构及其安全审计模型的基础上,采用Agent和AES对称加密算法设计新的云平台安全审计系统总体架构。通过采用改进的关联规则算法Apriori对审计信息分析功能中的关联分析数据挖掘过程进行优化,减少了冗余的子集和数据库被连接的次数。实验结果显示,相比基于传统Apriori算法的安全审计方案,所提方案具有更高的执行效率。     

基于Map Reduce的云数据挖掘模型的设计与实现

道路交通事故现场路面三维点云的数据量庞大,后期处理涉及三维识别等运算,如何提高运算效率,课题组选用了大数据架构。大数据的出现对传统的简单的数据挖掘算法提出挑战,新型的基于Map Reduce的云数据挖掘正在茁壮的发展。Map Reduce是当前最流行的分布式计算模型,在云数据数据挖掘当中作为一个佼佼者迅速发展。     

机器学习k-means算法在电竞选手分析中的应用

随着计算机技术的发展,数据挖掘在很多方面得到应用,尤其是在电竞行业发展迅速的今天,数据挖掘技术被应用到电竞分析中。本研究用机器学习的方法进行数据挖掘,将机器学习中K-means算法应用于电子竞技职业选手,对电竞选手比赛数据的指标进行聚类,划分为三个不同的等级,并对聚类结果进行分析,将个人能力水平数据化,用聚类结果指导职业选手今后的针对性训练以及发展方向,为电子竞技行业标准化、成熟化起到推动作用。本研究旨在推动计算机技术中机器学习的发展,为我国电子竞技提供参考数据,对日后电竞选手分析的亚那就具有很大的意义。     

基于K-means算法的互联网有害信息挖掘模型构建

本文为了研究K-means算法在互联网有害信息挖掘中应用价值。首先分析了K-means算法核心原理,该算法是将相似的数据分类聚集在一起。其次研究了K-means算法在舆情监管中应用,结果表明K-means算法应用到舆情监测领域比较广,但是需要解决K-means算法局部最优问题。最后分析了K-means算法在互联网有害信息监管应用,拓展了K-means算法应用领域。