Hadoop云计算环境下海量图像检索研究

Hadoop实现了云计算模型的一个开源,也就是用Java语言实现的软件框架,能够支持Map Reduce分布式调度模型的运作,以实现虚拟管理、调度并共享资源。文章将用Hadoop云计算平台实现对海量图像检索研究。     

云计算关键技术之编程模型认知研究

编程模型是云计算的关键技术之一。云计算环境下的编程模型必须设计得简单、便捷,以满足用户利用云计算的编程模型编写个性化程序。目前的云计算编程工具,都是基于Map Reduce的编程模型,它适用于大规模数据集的并行运算。其基本思想是将问题分解成Map(映射)和Reduce(化简),Map程序将数据分割独立区块,利用计算机群实现分布式处理,最后通过Reduce程序将结果汇总整合输出。Map Reduce的作业流程是任务的分解与集合的汇总。     

基于MapReduce的海量图像处理模型的研究

针对目前图像的格式和数量都在不断增加,传统的串行处理方法无法满足海量的图像数据处理的问题,提出一种基于MapReduce并行框架的海量图像数据处理模型.模型中取消了Reduce处理函数,在Map函数处理完成后直接输出处理结果,不仅避免了Reduce函数和Re-duce任务处理所需的时间,同时减少了Map与Reduce阶段之间操作所消耗的时间.实验基于Hadoop伪分布式云平台,实现了文中提出的并行处理模型.     

云计算平台下的语音信号处理

针对云计算平台下的语音信号处理模型进行研究。传统SVM语音信号处理识别模型是在单台计算机中完成所有数据的处理和运算。云计算环境的Hadoop平台下使用SVM对语音信号处理,能够发挥Map Reduce并行计算优势,通过Map和Reduce操作将所需要的数据处理和运算任务分配到多个计算机中同时进行。使用中科院自动化研究所建立的CASIA汉语情感数据库中的语音信号数据作为实验数据。实验结果表明,使用云计算平台下的语音识别模型针对研究的几种情感的识别率基本在70%以上,识别率可以满足要求。使用云计算平台处理这种数据比较庞大的计算任务时,相比传统单台计算机平台,效率较高,优势比较明显。     

基于Hadoop平台的MapReduce的技术研究

随着移动互联网、物联网及云计算技术的迅速发展,大数据应运而生,给海量信息处理技术带来了全新的挑战。文章重点讲述了大数据的关键技术之一——Map Reduce,对Map Reduce的国内外发展现状,对Map Reduce的技术特征、架构设计、工作流程和主要应用进行了介绍与分析,最后还对Map Reduce未来的发展趋势进行了展望。     

云环境下基于群智能算法的大数据聚类挖掘技术

云计算从分布式存储和分布式计算两个方面为大数据处理提供了强力的支持,并逐渐成为大数据挖掘的主流平台。但是在处理云平台中的大规模数据集时典型聚类挖掘算法存在一定不足,因此,提出一种基于群智能算法的大数据K-means聚类挖掘算法。首先对云计算Hadoop框架的存储数据能力和采用的Map Reduce计算模型进行分析,然后采用群智能算法对传统数据挖掘K-means聚类算法进行改进,解决其容易陷入局部最优问题。实验结果表明,相比加权K-means聚类算法,提出的改进算法表现出更好的聚类精度和运行速度,可以适用于大规模数据的聚类挖掘。     

基于云平台的海量数字图像数据挖掘探讨

本文借助云平台Hadoop的分布式文件系统(HDFS)和分布式并行计算框架(Map Reduce),来进行海量数字图像的数据挖掘。构建了基于Hadoop云平台的海量数字图像数据挖掘系统,实现海量数字图像信息数据挖掘。     

基于模糊决策的云计算安全模型

针对当前很多改进的Map Reduce调度算法都未将计算节点安全性考虑在内的问题,通过分析云计算任务调度机制,基于Vague模糊集的理论知识,将模糊决策理论引入到云计算安全调度应用中,提出一种基于模糊决策的云计算安全模型。其基本思想是对云资源进行筛选评判,同时考察多个节点的资源,动态接受可信度高的资源池,拒绝可信度低的资源池。通过模糊评判选择安全的节点,同时结合云计算的调度运算,从而达到资源的最佳利用率,同时兼顾云计算的安全问题,使得分布在云上的资源能满足日益增长的安全需要。并在此基础上进行算法实现与实验分析,实验证明新安全模型对"危险"云进行识别,该模型满足云计算的安全性、高效性,加强了云计算的安全环境。     

基于Hadoop平台的图书推荐服务Apriori优化算法

为了提高图书推荐服务的准确度,提出一种基于Hadoop平台的Apriori优化算法。首先在分布式Hadoop框架的基础上,采用DAG图对Hadoop平台下的并行Map Reduce实施步骤进行分析;然后对传统关联规则Apriori算法进行Map Reduce优化,减少数据库连接的次数,同时尽量生成更少的无用候选项目集,从而缩短任务处理时间。实验结果显示,相比传统LDA推荐算法,所提出的算法具有较高的准确度,能够为借阅者推荐最适合的书籍。     

Hadoop集群作业调度算法优化技术研究

针对当前云计算技术的广泛使用,提出对Hadoop集群作业调度算法进行研究的构想。在对Hadoop新版本中提出的Hadoop Map Reduce V2(Yarn)框架进行深入研究的基础上,设计一个详细完整的对比实验,针对各种作业调度算法的优势与不足进行全面的测试。通过使用不同的作业调度算法运行相同的作业,进行细致横向的对比,并得到各种作业调度算法之间以及计算框架之间在计算能力、运行时间、资源占用等方面的优劣。实验结果表明,公平调度算法和计算能力调度算法相较于传统的FIFO算法具有更灵活、更高效的特点。     

基于云计算技术的电力大数据预处理属性约简方法

基于云计算技术的电力大数据预处理属性约简是当前电力企业数据处理的主要发展方向。文中对其发展进行了简单介绍,并对Map Reduce在电力大数据预处理属性约简中的应用以及基于Map Reduce技术的电力大数据预处理属性约简进行详细分析。     

基于云计算的水文数据共享平台的应用研究

水文数据是研究水问题重要的基础信息,是我国重要的基础性科学数据资源之一。研究云计算现有的特点,结合水文数据规模庞大、分布地域广泛等特点,分析开源性云平台Ha-doop中分布式文件系统HDFS、计算模型Map/Reduce、数据仓库Hive技术,设计基于Hadoop的水文云平台,并解决平台实现过程中服务器虚拟化、大规模异构水文数据存储以及元数据管理等关键性问题。最终使得平台具有安全可靠、易维护和良好的可扩展性的特点。     

采用云计算技术的网络流量检测

为了实现对现网大数据网络流量的实时、有效检测,提出了一种基于云计算的网络流量检测方案。该方案充分利用Hadoop平台Map/Reduce编程模型在海量数据处理方面的优势,采用分层化的设计思想,克服了传统检测方案在海量数据应用环境中效率低下、可扩展性与安全性不足的缺点。重庆移动DPI平台应用表明,该方案较为有效,流量检测效果良好,在大数据处理时效率较普通分布式处理有明显提高。     

基于云计算与非负矩阵分解的数据分级聚类

为了提高传统数据聚类算法在大数据挖掘应用中的性能,借助云计算的相关技术,并结合非负矩阵分解方法设计并实现了一种并行的数据层次聚类算法。该算法采用Map Reduce编程平台,利用Hadoop的HDFS存储大容量的电信运营商数据;描述了Map Reduce的数据分级聚类并行处理的工作机制与流程;通过Map和Reduce这种主-从编程模式很方便地使数据分级聚类的子任务在Hadoop的PC集群上运行。实验结果表明,该方法比传统用于数据聚类的非负矩阵方法具有更好的运行时间与加速比,能够在可以接受的时间范围内完成电信运营商的大数据处理。     

基于Map Reduce的云数据挖掘模型的设计与实现

道路交通事故现场路面三维点云的数据量庞大,后期处理涉及三维识别等运算,如何提高运算效率,课题组选用了大数据架构。大数据的出现对传统的简单的数据挖掘算法提出挑战,新型的基于Map Reduce的云数据挖掘正在茁壮的发展。Map Reduce是当前最流行的分布式计算模型,在云数据数据挖掘当中作为一个佼佼者迅速发展。     

聚类分析的并行化实现技术研究

文中基于使传统聚类算法能够满足当前大数据分析的对计算效率的需求,采用将传统聚类算法分布式化的方法提高传统聚类算法效率。结合近年来广泛使用的Map Reduce分布式处理模型,对K-means、PAM、CLARA 3种算法进行了分布式化实验,并从数据规模和节点数量两个方面考察、讨论了一些影响并行算法性能的因素。实验分析表明,该方法能够有效地将聚类方法并行化,并可以应用在分布式系统当中。     

基于Hadoop和HBase的分布式索引模型的研究

随着互联网上信息量飞速增长,海量数据的索引出现了难题,现行的索引方案已经难以提供高效、可靠的服务,为此,设计并实现了一种针对海量数据进行索引的平台模型。该平台模型首先利用Solr分布式索引器生成索引文件,然后利用Hadoop分布式集群,以HDFS分布式文件系统、Map Reduce分布式并行计算模型、Zookeeper同步协同系统以及Hbase分布式数据库技术来处理、协调管理索引和存储海量数据,最后通过实验测试,该平台模型可以克服现行的海量数据索引时存在的效率低的问题,同时具有良好的扩展性和可靠性。     

基于改进的Map/Reduce及模式空间划分的数据挖掘

为通过Map/Reduce基于键/值对以处理数据集与模式集的多对多的对应关系的方式实现数据挖掘,解决在较复杂的类型的模式的挖掘中存在的由组合爆炸导致的模式集过大的问题,提出了通过模式空间划分实现将处理数据集与模式集的对应关系的问题转化为处理数据集与子模式集的集合的对应关系的问题的方法,并对Map/Reduce集群的调度机制及组织、处理键/值对的方式进行了改进,增强了Map/Reduce执行模式挖掘任务的能力.在Map/Reduce集群上采用该思路实现某些较复杂类型的模式的挖掘算法时的并行度高于Map/Reduce化的传统算法.     

云计算中任务分配研究

提高云计算环境中计算节点的效率具有重要意义。文中分析了云计算并行编程模式MapReduce及其存在的不足,提出了结合DAG图(Directed Acycline Graph,DAG)进行任务分配的方法,对相同出口的路径上的子任务进行调整,控制Map阶段的中间处理结果提交时间,使Reduce阶段任务的推进不受影响。文中方法有利于提高节点的利用率,保持负载均衡,进行了仿真实验,结果也验证了算法的正确性。     

通用可组合公平安全多方计算协议简

在通用可组合框架下研究安全多方计算的公平性问题。在UC框架下,提出公平安全多方计算的安全模型。在模型中形式化定义了公平安全多方加法计算理想函数 和公平安全多方乘法计算理想函数 。然后,基于双线性对技术和承诺方案理想函数 ,在 -混合模型下分别设计公平加法协议 和公平乘法协议 安全实现理想函数 和 。最后,性能分析表明所提协议的有效性,能更好地满足应用需求。