Hadoop在VOD系统中的应用研究

首先对当前VOD系统进行简单介绍,指出当前VOD系统存储架构的不足,接着介绍Hadoop,分析HDFS的存储机制和特点,指出将HDFS用于存储视频文件的优势。通过将Hadoop和当前VOD系统融合,提出基于Hadoop的VOD原型系统设计方案。最后总结将Hadoop用于VOD系统的优势,给出进一步研究计划。     

基于MapReduce的PageRank算法优化研究

为了提高PageRank算法的计算效率, 提出了基于块结构划分的方法, 将网页之间的链接关系转换成网络块间的关系, 减少了map和reduce操作的调用次数, 降低了I/O传输造成的开销, 提高计算的效率。实验证明, 该方法具有一定的优越性。     

基于海量搜索历史数据的用户兴趣模型

针对互联网搜索引擎环境中,基于海量搜索历史数据分析用户兴趣的问题,提出一种改进的用户兴趣模型。该模型根据用户搜索的历史数据,结合向量空间模型（ VSM ）和TF-IDF算法,递归地回溯出用户兴趣权重列表。为解决用户兴趣变化和时间性能的问题,该模型引入时间遗忘机制进行动态更新,并在Hadoop分布式系统架构下利用MapReduce分布式编程模型进行实现。实验结果表明,改进的用户兴趣模型的查准率和召回率都能达到50',具有较好的可行性和可用性。     

Hadoop平台下的分形图像压缩编码

借助Hadoop平台实现了分形图像压缩编码,并将其应用于云渲染中对渲染后的图像进行压缩并传至用户阶段。采用4台PC机搭建Hadoop平台,并在此基础上进行分形图像压缩编码,实验结果表明,采用4台PC机的Hadoop平台并行压缩时间不到单台PC机压缩时间的30%,证实了该方案的现实有效性。采用分形压缩编码将云渲染后的图像传给用户具有压缩比大、传输时间短、解压缩快等特点,对改善云渲染用户体验具有重要意义。     

一种分布式大数据管理系统的设计与实现

随着云计算、物联网、移动互联网等技术的飞速发展,海量数据在这些崭新的领域迅猛地生长着,大数据作为一项颠覆性技术,为处理海量数据提供了无限可能。而传统的关系型数据库的不再适用,导致了分布式数据库NoSQL的应运而生。针对大数据领域面临的种种现实难题,设计并实现了一种基于Hadoop和NoSQL的新型分布式大数据管理系统(DBDMS),其提供大数据的实时采集、检索以及永久存储的功能。实验表明,DBDMS可以显著提高大数据处理能力,适用于海量日志备份和检索、海量网络报文抓取和分析等领域。     

企业大数据治理研究

介绍了面对大数据的数据量大、种类多、速度快和高价值的处理技术挑战,企业应当如何建立可靠的大数据平台。利用信息架构原则和实践,实现大数据与企业数据的灵活集成,通过结合使用分布式文件系统、NoSQL与关系型数据库,企业可以获取、组织和分析其所有企业数据(包括结构化和非结构化数据),从而做出最科学的决策。     

基于 Hadoop 的电站数据中心云计算模型磁

针对云计算中的虚拟化、分布式存储与并行编程模型等问题,提出基于云计算的多电站计算平台的体系结构,实现电站数据中心的可靠存储与快速并行处理。详细讨论了传统的电站计算平台在数据存储和数据处理过程中的不足,设计了基于 Hadoop 的电站数据中心云计算平台,并利用 Hadoop 云计算平台对数据检索的效率进行实验比较分析。     

基于Apache Spark的地震观测数据噪声功率谱计算

为解决单机环境下海量地震观测数据计算和分析效率低下的问题,提出一种基于分布式架构的地震观测数据的存储、计算和分析处理方法,选择噪声功率谱复杂计算过程的应用场景进行实现.基于Hadoop在海量数据处理上的性能优势,在分布式文件存储系统HDFS上进行地震观测数据的存储和调度,研究测震数据噪声功率谱的质量评估方法在Spark分布式计算架构上的实现,采用弹性数据集Spark RDD将计算任务自动分配到计算节点,解析存储在HDFS中的测震波形数据,计算结果采用RowKey方式放入分布式数据库HBase中,实现了长周期地震噪声功率谱结果的存储和提取.计算结果表明,基于Spark分布式架构的该方法可以支撑TB级海量数据的处理,并且具有较高的处理效率,可应用于海量地震观测数据的分析计算.     

Hadoop中Reduce作业动态调度算法

Hadoop平台中的MapReduce并行分布式编程模型通过将廉价节点组合成集群提供存储和计算服务,可以降低集群成本。Hadoop可以通过配置使Reduce任务在Map任务完成固定百分比时启动,但是过早地启动Reduce任务会造成Reduce资源长期处于等待状态。提出一种Reduce动态调度的DRS算法,通过作业中Map任务数量和大小计算Reduce启动时间,并在作业运行中根据Map任务的调度情况修正启动时间,以节约Reduce资源的使用效率。实验表明,DRS算法与固定百分比参数的方法相比,shuffle阶段时间缩短了7.3%。与系统默认参数相比shuffle阶段时间缩短了43.6%。     

一种基于Hadoop分布式气瓶管理系统设计研究

为了解决气瓶管理系统处理海量数据的性能问题,提出了一种基于Hadoop的分布式气瓶管理系统.首先对现有系统进行分析;然后设计基于Hadoop的气瓶管理系统架构;其次实现基于Hadoop的气瓶管理系统;并对系统性能进行测试.表明基于Hadoop的气瓶管理系统比现有系统性能有很大提高.