浅谈基于云计算的数据挖掘技术

21世纪是信息的时代,然而在这个信息大爆炸的时代,数据无疑是这个时代的主宰者,尤其对于一个企业而言,能否挖掘出潜在的有价值的数据在一定程度上将决定一个企业的经济命脉,因此数据挖掘也变得尤为重要。可是随着信息技术的发展,传统的挖掘方式已经不能满足海量数据的挖掘,而云计算的出现使解决这一难题成为可能,可以说云计算的到来给数据挖掘技术带来了一场革命性的改变。本文介绍了云计算的定义、特点以及应用于数据挖掘中的优势,并简单讨论了基于云计算的数据挖掘技术热点问题以及数据挖掘技术所面临的挑战。最后畅谈了基于云计算的数据挖掘技术的未来发展趋势以及自己的感想。     

基于云计算平台的物联网数据挖掘研究

随着社会的不断发展,信息产业已经逐渐成为了国民经济发展的重要支柱,而物联网作为新一代信息技术的重要组成部分成为推动人类文明向智能化方向发展的关键技术。物联网中的数据挖掘是物联网技术中重要的一环,是未来物联网应用数量大规模增长后对物联网产业的强力补充,本文分析了物联网数据的特点以及物联网数据挖掘存在的困难,以及云计算的出现为物联网数据挖掘提供了重要思路,文中论断云计算为物联网提供了最具计算力和存储力的平台,并创新性的提出物联网云的概念。另外,在对平台可行性及性能进行分析的过程中,本文提出了数据转换器、开放平台接口等思路,使整个平台有更好的扩展性,方便第三方开发和测试。目前,物联网应用的整体生态系统面临很多挑战,产业链中的不同人群也面临着不同问题,本文也给物联网中这些问题的解决提供了很好的思路。     

基于云计算的物联网数据挖掘模型研究

随着计算机和网络技术的发展,数据挖掘、云计算、物联网等技术在人们生活、工作当中占据着越来越重要的地位。本文分析了物联网、信息融合技术及其应用方法,阐述了以云为中心的物联网数据处理模型,并以城市公共交通出租车数据集为例,描述了数据处理的基本过程,验证了物联网实时数据处理的可行性与可操作性。     

基于云计算的企业财务数据挖掘方法

现有的企业财务数据挖掘方法用时较长,为此研究基于云计算的企业财务数据挖掘方法。设置缓冲区,当存储到缓冲区的数据达到阈值时,线程需要将数据写到本地。对结果进行分区,划分后进行排序计算。排序后将计算结果保存在Hadoop分布式文件系统(Hadoop Distributed File System,HDFS）文件系统中。在数据挖掘中运行关联规则,其企业财务数据进行初始化处理,并对其进行去噪。运用决策树算法对海量数据进行分类整理,通过剪枝的方法删除冗余数据,根据分析的数据进行挖掘。对不同节点进行二次分割,计算候选属性的信息增益率,对子节点分类后进行标记直到结束从而完成数据挖掘。实验结果表明,10个小组的挖掘用时在520～540 ms,结果符合预期,实现了基于云计算的企业财务数据较好挖掘。     

基于微软云计算平台的海量数据挖掘系统

云计算为海量和复杂数据对象的数据挖掘提供了基础设施,为网络环境下面向大众的数据挖掘服务带来了机遇,基于云计算平台已经成为数据挖掘研究的一个重要方向.微软云计算平台是目前推出的较成熟的云计算平台,能够很快的部署云应用程序,该文提出了一种基于微软云计算平台的海量数据挖掘系统.     

基于云计算的数据挖掘存储信息管理设计

针对当前金融、证券、保险等行业数据信息管理不规范的局面,需要运用云计算技术对数据进行存储管理,提升数据信息的存取能力,通过对云计算技术的应用研究,可以提升金融行业数据挖掘能力。具体实施过程中采取开源框架无疑是一条捷径。但是,借鉴和使用开源框架需要结合各自的实际需求,通过分析Hadoop的特点。把HDFS作为Hadoop的研究基础,把HDFS的部分特点运用到实际项目中,建立HDFS完全支持的关系数据模型,提升数据信息挖掘能力。     

基于云计算的物联网数据挖掘模式分析

随着科学技术的不断发展,信息通信行业也进行了快速的发展,其中基于云计算的物联网发展越来越受到人们的重视。下面本文就对基于云计算的物联网数据挖掘模式进行分析,以能够为其发展提供一定的参考资料。     

云计算技术下的数据挖掘平台建构研究

作为一种新兴网络技术,云计算能够为海量信息高效处理提供技术支持,与此同时能够满足网络交易期间虚拟增值资源各项需求.研究利用云计算技术构建了数据挖掘平台,并对其构架及关键技术进行分析,实践证明云计算技术下数据挖掘平台的建构能够实现对大数据集的有效处理,提升数据挖掘效率,可予以广泛推广.     

基于云计算的物联网数据挖掘模型

物联网中的数据具有数据量大、数据类型复杂、高度动态性与异构性、复杂时空特性等特点,为数据挖掘带来新的挑战。传统的数据挖掘方法无法直接应用于物联网之中。基于此,提出一种基于云计算的物联网数据挖掘模型,以云计算作为技术支持平台,在构建面向物联网的分布式时空数据库的基础上,搭建面向物联网海量数据的数据挖掘模型。通过分析表明该模型能够有效地完成物联网中的数据挖掘任务。     

基于云计算的数据挖掘研究及展望

云计算作为近几年研发出来的以互联网为中心的新兴技术,已经逐渐渗透到人们的生活当中,金融、医疗、军事、教育等诸多领域都得到了广泛的应用。本文在分析云计算的开放环境与系统关键开发技术的基础上,给出基于云计算的数据挖掘平台原型的实现过程,并通过实验数据的对比分析,证明了其有效性,最后将其运用到电子商务中,对其在电子商务中的应用开发及效益做出探究。     

基于云计算的并行数据挖掘系统设计与实现

为了提供虚拟化、高扩展和高性能的并行数据挖掘平台,提出了基于云计算平台的并行数据挖掘模型。文章中首先在GoogleAppEngine平台的基础上扩展了数据规约功能,然后提出了并行数据挖掘平台的系统构架和层次结构,最后给出了平台中各功能模块的具体设计和实现细节。实验分析表明基于云计算平台的并行数据挖掘系统执行效率要比单机系统高,并随着数据量的增大,效率优势越明显。     

基于并行计算的大数据挖掘技术研究

大数据时代的到来催生了并行数据挖掘技术.本文介绍了大数据的基本概念,研究了Hadoop平台分布式程序设计模型MapReduce,并设计了并行数据挖掘中的并行分类算法和并行聚类算法.     

基于云计算的物联网数据挖掘

物联网是一个巨大的、分布广泛的物与物相连的网络,其上产生的海量数据通常是与时间和空间相关的,具有动态、异构、分布的特性,因此对这些数据的挖掘非常困难,而且耗费时间和内存,效率低下。为了解决这些问题,提出了一种基于云计算的物联网数据挖掘系统:将这些海量数据转化为PML数据文件,并存储在HDFS中,同时把挖掘任务分配到多台节点服务器上并行处理。采用Hadoop平台,将关联规则Apriori算法Map/Reduce化,提高了挖掘的效率。另外,采用副本策略将计算向存储迁移,将失效节点的计算迁移到副本数据存储节点就地执行,降低了数据传输的时间,大为提高了挖掘的效率。     

基于云模型的Web日志数据挖掘技术

提出了一种基于云模型理论测试网页对访问者吸引程度的Web日志挖掘方法,协助管理者优化站点结构,改善Web信息服务质量。     

基于云计算的渲染技术研究

针对当前动漫制作采用传统的单机渲染方式,渲染过程缓慢效率低下,而购买大型机又价格昂贵的渲染瓶颈问题,提出通过云计算对渲染技术进行优化,从而缩短制作周期,降低成本,制作出更加宏大壮丽的3D场景和活泼逼真的人物造型。     

基于数据挖掘的邮件分类识别研究

在贝叶斯过滤技术的启发下,选择数据挖掘的方法来研究一种具有学习能力的邮件过滤技术.通过对电子邮件的分析和研究,提出对邮件结构字段信息和邮件正文信息加以离散和特征化处理,用向量的方式表示电子邮件,建立了一种基于信息熵的决策树邮件分类识别模型.     

数据中心在云计算需求下的技术分析

对当前云计算环境下为互联网数据中心（IDC）带来的新特性及需求进行分析．针对现有非云计算数据中心的网络体系、协议和管理总结其在云计算场景下的不足。同时归纳目前阶段云计算数据中心领域在新需求下出现的主要新技术．并对未来的研究思路及待解决问题进行展望。     

数据仓库与数据挖掘技术的研究与应用

讨论了数据仓库的构建方法和数据挖掘技术的应用,介绍了使用分析服务器构建数据仓库及进行联机分析的方法,实现了一个利用决策树算法建立模型对顾客的信誉度进行分类的实例。     

数据挖掘中决策树加权模糊熵算法

决策树算法是数据挖掘技术领域的一种重要算法 ,唐华松、姚耀文在利用熵和加权和思想的基础上提出了一种加权熵算法 ,但是此算法在解决模糊问题上有其不足之处 ,我们在加权熵算法的基础上利用模糊理论建立了一种加权模糊熵算法 ,较好的解决了这一问题。     

并行计算技术与数据挖掘

当今社会是信息化高度发达的社会,各类信息汇总形成的数据库也逐渐庞大复杂。因此,在海量的数据中进行数据的查找等工作非常困难。多线程技术虽然在一定程度上可以缓解上述情况,但要想真正做到准确,快速,还是要依靠并行计算技术来实现。本文从介绍数据挖掘以及数据挖掘在Google的应用,引入解决数据挖掘瓶颈问题最有效的方法之一——并行计算。