面向服务的云数据挖掘引擎的研究

数据挖掘算法处理海量数据时,扩展性受到制约。在商业和科学研究的各个领域,知识发现的过程和需求差异较大,需要有效的机制来设计和运行各种类型的分布式数据挖掘应用。提出了一种面向服务的云数据挖掘引擎的框架CloudDM。不同于基于网格的分布式数据挖掘框架,CloudDM利用开源云计算平台Hadoop处理海量数据的能力,以面向服务的形式支持分布式数据挖掘应用的设计和运行,并描述面向服务的云数据挖掘引擎系统的关键部件和实现技术。依据面向服务的软件体系结构和基于云平台的数据挖掘引擎,可以有效解决海量数据挖掘中的海量数据存储、数据处理和数据挖掘算法互操作性等问题。     

一种改进的关联规则算法探讨

随着以数据库、数据仓库等数据仓储技术为基础的信息系统在各行各业的应用,使海量数据不断产生。而数据采集手段的丰富,使获取、保存大量数据变得容易,从庞杂的数据中提取有用的知识和信息是数据挖掘的主要任务,关联规则是数据挖掘领域的一个重要分支。该文以数据挖掘为研究背景,讨论了数据挖掘中确定关联规则的一种方法,并提出改进算法。在研究算法的同时提供了一种数据项的二进制编码技术,对于提高数据信息的处理能力和可靠性有一定意义。     

基于微软云计算平台的海量数据挖掘系统

云计算为海量和复杂数据对象的数据挖掘提供了基础设施,为网络环境下面向大众的数据挖掘服务带来了机遇,基于云计算平台已经成为数据挖掘研究的一个重要方向.微软云计算平台是目前推出的较成熟的云计算平台,能够很快的部署云应用程序,该文提出了一种基于微软云计算平台的海量数据挖掘系统.     

大数据挖掘的系统分析

互联网在人们的生活和工作中扮演着重要的角色,互联网将这个世界连接成了一个整体,在互联网中充斥着海量的信息和数据,面对这些数据和信息,如何筛选需要的信息是计算机应用个人或企业思考面临的问题。海量数据信息的处理和整合具有较大的难度,数据挖掘技术可以从海量信息中提取需要的信息,应用于政府、银行、金融、教育等多个领域,因此,分析和探讨大数据挖掘技术具有十分现实的意义。基于此,笔者分析了常见的数据挖掘技术类型,并对数据挖掘技术应用领域及未来发展趋势进行了探讨,旨在为数据挖掘技术的广泛应用提供科学的依据。     

基于云计算的海量大数据存储系统设计和实现

云计算技术是大数据存储、处理和管理的一项热门技术。随着互联网中海量数据的爆炸性增加,传统数据存储方式逐渐无法充分满足对海量数据存储的要求,而云计算中的云存储技术为海量数据存储提供了解决思路。为实现对海量数据的管理、存储以及智能分析,基于云计算技术对海量大数据的存储和管理等展开相应的研究,并根据Hadoop架构技术提出了一种新型的海量大数据存储系统设计方案,同时给出了各项模块的设计方案,增强了对海量大数据的高效存储、处理以及管理的能力。     

基于云计算的数据挖掘平台架构及其关键技术研究

在互联网时代,云计算作为一种时兴的网络技术,具备动态处理、容量高、效率高的特征,在科学研究和商业发展领域都有特别高的应用价值.在数据挖掘平台架构中应用云计算技术,可以给具有海量数据的现代社会提供一个高效率的数据挖掘的技术平台.就基于云计算的数据挖掘平台架构及其关键技术进行了相应的研究.     

基于Spark平台的心电大数据分析处理

为有效解决互联网医疗时代海量心电数据的处理问题,在Spark云平台下,提出一种双层并行化的改进遗传K-means聚类算法,用于心电数据挖掘。克服传统K-means算法对初始中心点敏感以及串行聚类算法效率低下等问题,结合Mallat小波变换预处理技术,较好实现海量心电数据中R波的提取。通过对MIT-BIH数据库的读取和分析,其结果表明,该算法比传统遗传K-means算法具有更高的聚类准确度,与串行聚类算法和Map Reduce计算模型相比,运行效率也有了较大提升。     

云计算和云数据管理技术

随着各种新技术的发展,企业的关键信息以几何级速度增长,更多的数据需要保存更长的时间.伴随着云计算技术的发展,云计算已经成为一种全新的互联网应用模式.而在云计算对海量的数据高效管理,云端数据精确精准快速查询成为越来越重要的问题.一个新的面向云计算的数据管理研究领域正逐渐形成,在云计算技术的基础上,提出了云数据管理的概念.分析GFS,BigTable,Dynamo等当前互联网主流云数据管理系统的基本原理,并针对未来云数据管理架构进行分析,最后指出了云数据管理领域的主要研究方向.     

大数据挖掘与云服务模式

随着物联网、移动通信技术高速发展,这些技术被广泛地应用到社会的各行各业.社会拥有的数据巨大,人类已经进入大数据时代,但是如何在海量数据中获取有效信息是社会关注的重点问题.因此,本文主要阐述大数据和云服务的基本概念以及大数据挖掘与云服务模式框架这两个方面进行阐述,为数据挖掘提供有效的参考意见.     

云计算和云数据管理技术的思考

随着科学技术的不断进步,数据管理水平也发展非常快,当代就出现了云计算和云数据管理技术,其在互联网中得到了广泛的应用。云计算和云数据管理技术是一种新兴的数据处理技术,可以对海量不确定性数据进行处理分析,有着很大的应用优势。本文就对云计算和云数据管理技术进行了详细的论述。     

基于云计算的大规模网页日志挖掘研究

互联网上的数据规模大、种类多、变化快,而且越来越复杂。通过数据挖掘和分析,可以获取有潜在价值的信息。但是,传统的数据挖掘系统在数据存储和计算性能上存在瓶颈。通过使用云计算技术,设计了一个基于Hadoop架构的网页日志数据挖掘和分析平台来解决这个问题。同时,为了提高挖掘效率,为大规模网页日志挖掘实现了Apriori算法的并行化,并使用该平台验证了该行算法的效率。     

基于云平台的大数据资源挖掘技术研究

针对云平台下大数据资源挖掘过程准确率低、耗时长等问题,对大数据资源挖掘技术进行改进研究;利用MST聚类法对云平台数据集进行预处理,根据数据间的关联性来增强检测结果,并提高数据索引效率,将数据间的邻接矩阵作为边的权值,生成全图的MST,获取评价数据资源挖掘准确度的标准,并得到k个最小生成子树,其中的一个子树就是数据集最优聚类结果;实验结果表明,所提方法有效提高了大数据挖掘准确性,使得数据资源得到了更高效的利用。     

一种测试数据挖掘算法的数据源生成方法

随着数字时代的来监,数据挖掘成为知识领域中的研究热点,但由于保密、数据多样性等问题,测试数据源的获得取一直困扰着数据挖掘算法的研究,为此,提出一种基于云模型的测试数据源生成方法,利用此方法,给出了数量型数据的生成算法,对范畴型数据的生成进行了讨论,由于云模型中随机性与模糊性和特点,各属性的数据之间除了包含已知的先验知识以外,数据的分布、各属性之间的关系也会存在一定的随机和模糊,使得构造的数据源中又     

基于云计算环境的考试数据挖掘算法研究

本文分析了当前网络考试系统数据挖掘现状,介绍了云计算和数据挖掘的相关概念,指出传统数据挖掘技术在当今考试系统海量数据情况下挖掘时系统响应速度慢,负载不均衡和节点效率低的不足,设计了基于Map/Reduce并行编程模型的Apriori算法,利用云计算环境下计算资源来支持该算法的并行执行,通过实例说明云计算化后的Apriori算法在对海量考试数据进行挖掘时能获得更高的挖掘效率。     

基于高性能云的分布式数据挖掘方法

为实现数据在同一个地点进行处理而无须移动,介绍一种基于高性能云的分布式数据并行处理方法。使用一个专用的网络服务分层结构,适用于高性能广域网络连接的计算机集群所产生的大型分布式数据集的数据挖掘。实验结果表明,与Hadoop方法相比,该方法的性能有显著提高。     

浅谈基于云计算的数据挖掘技术

21世纪是信息的时代,然而在这个信息大爆炸的时代,数据无疑是这个时代的主宰者,尤其对于一个企业而言,能否挖掘出潜在的有价值的数据在一定程度上将决定一个企业的经济命脉,因此数据挖掘也变得尤为重要。可是随着信息技术的发展,传统的挖掘方式已经不能满足海量数据的挖掘,而云计算的出现使解决这一难题成为可能,可以说云计算的到来给数据挖掘技术带来了一场革命性的改变。本文介绍了云计算的定义、特点以及应用于数据挖掘中的优势,并简单讨论了基于云计算的数据挖掘技术热点问题以及数据挖掘技术所面临的挑战。最后畅谈了基于云计算的数据挖掘技术的未来发展趋势以及自己的感想。     

物联网与数据挖掘云服务

物联网与云计算是目前信息技术的研究热点,探讨数据挖掘在其中扮演的角色,以及与这2项技术相结合的方式.分析了数据挖掘在物联网中的地位和作用,指出了云计算是物联网的基石,剖析了分布式数据挖掘与并行数据挖掘的异同,说明了物联网中数据挖掘服务的提供方式.     

面向云计算的数据挖掘系统架构研究*

随着计算机网络技术特别是云计算的发展,传统的数据挖掘系统已不能再适应新的变化了的情况。在基于云计算平台的数据挖掘系统解决方案尚未形成明确的框架情况下。结合当前数据挖掘系统的优缺点及云计算的优势,构建了一种面向云计算的数据挖掘系统架构,并对其中的重要组成模块进行了详尽地描述,该框架有利于解决当前数据挖掘系统存在的数据共享性差、扩展性低及价格昂贵等一系列问题;也不失为今后面向云计算平台的数据挖掘系统架构研究提供一定的参考性作用。     

基于RFID物联网的应用研究

物联网是在计算机互联网的基础上,利用射频自动识别(RFID)技术,通过互联网实现物品的自动识别和信息的互联与共享。在简述RFID电子标签和物联网的基本原理基础上,通过在零售业中的应用实例讨论物联网的系统构架、关键技术及其应用。最后提出云计算、并行计算和数据挖掘等技术在物联网中的应用想法。