面向云计算的期限约束的MapReduce作业调度方法

提出一种面向异构云计算环境的截止时间约束的MapReduce作业调度方法。使用加权偶图建模MapReduce作业调度问题,将Map任务及Reduce任务与资源槽分为2个节点集合,连接2个节点集合的边的权重为任务在资源槽上的执行时间。进而,使用整数线性规划求解最小加权偶图匹配,从而得到任务到资源槽的调度方案。本文考虑了云计算环境下异构节点任务处理时间的差异性,在线动态评估和调整任务的截止时间,从而提升了MapReduce作业处理的性能。实验结果表明,所提出的方法缩短了作业数据访问的时间,最小化了截止时间冲突的作业数量。     

网页智能搜索数据挖掘的主要任务

介绍了用于网页智能搜索的数据挖掘技术以及如何创建多维的网页语义数据库。     

数据密集型计算环境下的离群点挖掘算法

在数据密集型计算环境中,数据的海量、高维、分布存储等特点,为数据挖掘算法的设计与实现带来了新的挑战。基于 MapReduce模型提出网格技术与基于密度的方法相结合的离群点挖掘算法,该算法分为两步：Map阶段采用网格技术删除大量不可能成为离群点的正常数据,将代表点信息发送给主节点;Reduce阶段采用基于密度的聚类方法,通过改进其核心对象选取,可以挖掘任意形状的离群点。实验结果表明,在数据密集型计算环境中,该方法能有效的对离群点进行挖掘。     

并行计算技术与数据挖掘

当今社会是信息化高度发达的社会,各类信息汇总形成的数据库也逐渐庞大复杂。因此,在海量的数据中进行数据的查找等工作非常困难。多线程技术虽然在一定程度上可以缓解上述情况,但要想真正做到准确,快速,还是要依靠并行计算技术来实现。本文从介绍数据挖掘以及数据挖掘在Google的应用,引入解决数据挖掘瓶颈问题最有效的方法之一——并行计算。     

基于聚类的云隐私行为挖掘技术

随着云计算的不断普及,隐私安全问题逐渐显现,已成为制约云计算发展的重要障碍。受经济社会“问责制”的启发,从规范和约束云参与者隐私行为的角度,针对云参与者的隐私违约认定的问题,进行了基于审查对象隐私行为挖掘的研究。对隐私日志行为数据进行预处理,采用夹角余弦法来定义任意两个隐私会话之间的相似度并构建云隐私间的相似度矩阵,选择K-均值聚类算法对隐私会话基于设置的云隐私规则进行相似度聚类。实验测试结果表明所提出的隐私聚类挖掘技术能够精确地对云系统隐私行为及其相似度进行识别并聚类。     

Properties of a Granular Computing Framework for Mining Relational Data

This work investigates properties of a framework for mining relational data. The framework is constructed based on granular computing theory and is equipped with a method for deriving information granules from relational data. Such granules are the basis for discovering knowledge of a different type. It is shown in the paper that thanks to the properties one can improve the performance of tasks such as relational objects representation, search space limitation, and relational patterns generation.     

云数据在数据挖掘中的隐私保护

云计算环境下用户数据的集中存储为数据挖掘提供了便利条件,同时也为用户的隐私保护带来了挑战。为了解决云数据在数据挖掘条件下的隐私保护问题,提出了云计算环境下的隐私保护模型。该模型以公有云为基础,增加了一个分类预处理模块,设定了分类标准,详细讨论了分类后数据的处理方法,并讨论了该模型下数据的检索、还原方法以及运行环境保护、数据的云端销毁等环节。最后对模型的复杂性及安全性进行理论的对比分析,证明了该模型在数据挖掘条件下对云数据隐私保护的有效性。     

基于粒计算的关联规则挖掘算法

讨论粒计算在关联规则挖掘中的应用,通过对基本信息粒的划分、对粒子对象集合的映射,减少扫描项集所在的对象集合,提高算法的运行效率,从而更好地处理海量数据的规则发现,更适用于支持度较小、复杂度较高的数据集。仿真试验证明该算法有较低的求解复杂度及较高的求解效率。     

基于云计算的数据挖掘技术研究

目前,网络中利用数据挖掘技术抽取有效信息成为数据挖掘研究的热点。介绍数据挖掘的流程和分类,并对在云端进行数据的收集和储存提出自己的思想。重点对数据收集的网格和分形维数的聚类算法(GFDC),以及在网络频繁的数据迁移中处理好Master和服务器之间的关系进行了改进。     

云计算下的海量数据挖掘研究

云计算的出现为愈来愈多的中小企业分析海量数据提供廉价的解决方案。在介绍基于云计算的Hadoop集群框架和数据挖掘技术中的SPRINT分类算法的基础上。详细描述SPRINT并行算法在Hadoop中的MapReduce编程模型上的执行流程．并利用分析出的决策树模型对输入数据进行分类。     

基于云计算的Apriori挖掘算法

MapReduce是云计算技术主流的分布式计算模型,它充分利用计算机集群的处理能力;能对大规模数据进行高效的挖掘分析;在研究MapReduce模型架构的基础上,将云计算技术与数据挖掘技术结合在一起,提出了基于MapReduce模型的Apriori算法;该算法对事务集和项集进行双重二进制编码,只需"与"运算和"或"运算,提高了模式匹配和连接的效率;试验结果表明,该算法执行效率比传统集中式Apriori算法有很大幅度的提高。     

云计算环境下的数据挖掘服务模式

为了求解网络环境下分布式海量数据的分析处理、促进数据挖掘的开发集成和商业应用,提出了云计算环境下的数据挖掘解决方案,通过云环境计算能力和云计算服务模式,阐述了对数据挖掘服务问题的解决机理。云计算环境下的数据挖掘是一种网络环境下的信息资源服务模式。基于此,构建了数据挖掘服务的架构,设计了数据挖掘服务的创建流程,给出了数据挖掘服务模型的体系结构,并从生命周期的角度定义了数据挖掘的服务过程,从而形成了云计算环境下的数据挖掘服务模式。     

软计算方法在数据挖掘中的应用

对数据挖掘和软计算方法做了一个综合性的阐述,分析了模糊逻辑、神经网络、神经一模糊、遗传算法、粗糙集和混合方法等不同软计算方法的特点,尤其是对模糊逻辑软计算方法进行了更多的探讨,并结合软计算方法在数据挖掘中的应用现状,指出了数据挖掘面临的挑战和软计算方法的应用前景。     

粒度计算及其在数据挖掘中的应用

粒度计算涵盖了所有在处理问题过程中使用粒度的理论、方法、技术和工具。本文首先简要地介绍了粒度计算的基本思想、基本问题以及它的三个主要模型(模糊集、粗糙集和商空间),然后综述了粒度计算在数据挖掘中的应用。     

数据挖掘中的软计算方法及其应用

文章对数据挖掘中软计算方法及应用作了一个综合性阐述。对模糊逻辑、遗传算法、神经网络、粗集等软计算方法,以及它们的混合算法的特点进行了分析,并对它们在数据挖掘中的应用进行了分类。     

基于云计算平台的物联网数据挖掘研究

随着社会的不断发展,信息产业已经逐渐成为了国民经济发展的重要支柱,而物联网作为新一代信息技术的重要组成部分成为推动人类文明向智能化方向发展的关键技术。物联网中的数据挖掘是物联网技术中重要的一环,是未来物联网应用数量大规模增长后对物联网产业的强力补充,本文分析了物联网数据的特点以及物联网数据挖掘存在的困难,以及云计算的出现为物联网数据挖掘提供了重要思路,文中论断云计算为物联网提供了最具计算力和存储力的平台,并创新性的提出物联网云的概念。另外,在对平台可行性及性能进行分析的过程中,本文提出了数据转换器、开放平台接口等思路,使整个平台有更好的扩展性,方便第三方开发和测试。目前,物联网应用的整体生态系统面临很多挑战,产业链中的不同人群也面临着不同问题,本文也给物联网中这些问题的解决提供了很好的思路。     

基于维基百科社区挖掘的词语语义相似度计算

词语语义相似度计算在自然语言处理如词义消歧、语义信息检索、文本自动分类中有着广泛的应用。不同于传统的方法,提出的是一种基于维基百科社区挖掘的词语语义相似度计算方法。本方法不考虑单词页面文本内容,而是利用维基百科庞大的带有类别标签的单词页面网信息,将基于主题的社区发现算法HITS应用到该页面网,获取单词页面的社区。在获取社区的基础上,从3个方面来考虑两个单词间的语义相似度:(1)单词页面语义关系;(2)单词页面社区语义关系;(3)单词页面社区所属类别的语义关系。最后,在标准数据集WordSimilarity-353上的实验结果显示,该算法具有可行性且略优于目前的一些经典算法;在最好的情况下,其Spearman相关系数达到0.58。     

基于云计算的Web数据挖掘的研究

为解决海量网络Web数据挖掘的瓶颈,分析了云计算和Web数据挖掘的关键技术,利用云计算在数据存储、数据管理、编程模式和虚拟化等方面的技术优势,构建了基于云计算的Web数据挖掘流程,为海量数据的挖掘及应用提供了新的思路和技术基础。