一种基于动态资源采集的Hadoop作业调度算法

为了克服Hadoop中基于槽的资源模型对集群资源的浪费,提高Hadoop集群的资源利用率,提出了一种基于动态资源采集的Hadoop作业调度算法.通过在作业运行过程中动态采集部分任务的CPU,内存和IO的资源利用率来评估同一作业中其他任务的资源需求,然后根据任务的实际资源需求以及TaskTracker节点的负载情况进行任务调度,以充分利用各TaskTracker节点的计算资源.通过对比实验表明该调度算法能明显提高集群的资源利用率,缩短作业的完成时间.     

一种基于自学习的大数据多租户配置优化方法

在大数据应用领域中,Hadoop的分布式存储和并行计算,经过多年的实践,其高可靠性、高扩展性和高容错性等特点已日益成熟,并广泛应用于云计算应用场景。在如今的应用系统建设中,提倡扁平化管理,摒弃烟囱式系统,Hadoop集群的分布式存储和并行计算的优势明显,但是多集群独立建设,带来管理成本和投入成本增加,不便于日常管理。与此同时,由于大数据应用场景的多样化,多租户场景多、资源分配不合理、调度不灵活等问题在Hadoop并行计算领域问题已不能满足用户的需求。因此,研究Hadoop集群多租户技术及YARN资源调度控制架构,实现多应用计算资源隔离,不断优化多任务、多用户下的大数据集群资源分配,合理资源分配与资源调度,减少资源浪费,提高集群资源利用率,降低资源投入成本,在大数据应用领域具有重大意义。     

异构Hadoop集群下自适应平衡数据存储的大数据放置策略

Hadoop是一种处理和存储大数据的平台,针对异构Hadoop集群下采用均等数据分配方法易降低系统计算性能的问题,提出一种自适应平衡数据存储的大数据放置策略。根据异构集群中各节点的计算能力比例,将数据分配到节点中。在任务处理过程中,根据反馈的任务完成时间信息,动态更新节点的能力比例,自适应调整数据分配,从而使异构Hadoop集群中各节点处理数据的时间大致相同,降低节点之间的数据移动量,提高了节点利用率。实验结果表明,该策略能够有效缩减任务完成时间,提高了系统的整体性能。     

基于信息增益的Hadoop瓶颈检测算法

当今,Hadoop已经成为了大数据存储和大数据挖掘的主要平台.虽然Hadoop平台通过分布式的机器集群来实现高性能的并行计算,但由于其由廉价主机组成,故当集群负载增大时,便不可避免地在某机器上出现瓶颈.针对此问题,提出一种基于信息增益的瓶颈检测算法,该算法通过计算各个资源的信息增益来检测集群的瓶颈资源.实验证明了该瓶颈检测算法具有可行性.     

中国移动手机阅读BI系统Hadoop技术的应用

Hadoop是业界领先的大数据应用平台,是一个利用整个集群资源为大数据集合提供分布式存储和分布式计算处理能力的软件框架。本文讲述Hadoop在中国移动手机阅读BI系统中的应用实例,从而给出一种大数据处理方案的推介。     

一种Hadoop Yarn的资源调度方法研究

针对Hadoop Yarn资源调度问题,为提高集群作业执行效率,提出一种基于蚁群算法与粒子群算法的自适应Hadoop资源调度算法SRSAPH.SRSAPH中,通过Hadoop Yarn跳通信机制获取负载、内存、CPU速度等属性信息初始化信息素矩阵;同时,将粒子群算法的自我认知能力与社会认知能力引入到蚁群算法,提高算法的收敛速度;此外,根据蚁群算法全局最优解的波动趋势动态调整信息素挥发系数,提高解的精度.实验表明,采用SRSAPH进行资源调度,集群的作业执行时间缩短至少10%.     

基于云计算的海量宽带业务运营数据分析系统

1前言 Hadoop是Google MapReduce的一个Java开源软件实现。MapReduce是一种简化的分布式编程模式，让程序自动分布到一个由普通机器组成的超大集群上并发执行。就如同Java程序员可以不考虑内存泄露一样，MapReduce运行时系统会解决输入数据的并行分发，跨越机器集群的程序执行调度，处理服务器的失效，并且管理机器之间的通信请求。     

基于云计算的海量数据存储模型

针对目前网络产生的数据越来越多以及随之而来的海量数据的存储问题,在云计算技术上,依据Hadoop及虚拟化技术,提出了基于云计算的海量数据存储模型。将医院信息化的海量数据部署在Hadoop平台上,根据云计算的核心算法MapReduce来处理数据,最后将数据存储在虚拟资源池中。通过实际的应用,该模型可以很好地克服现行的存储方式存在的不足,解决海量数据在存储当中存在的问题,并且能够很好地提高存储的效率。     

一种Hadoop异构集群下提高数据本地性的分发算法

Hadoop异构集群由于不同slave节点的硬件配置不同(例如CPU、内存、磁盘等),每个节点的Map任务和Reduce任务的slot也不同。文章通过研究当前Hadoop系统上实现数据本地性的算法,提出一种基于异构节点的性能来分发Map任务的输入数据的算法,该算法评估每个slave节点的Map任务执行速度,将输入数据放在运行更快的节点上,以达到更好的数据本地性。     

基于Hadoop和MapReduce的大数据处理系统设计与实现

随着信息技术的猛烈发展,各行各业产生的数据呈指数型增长。如何利用,分析,整合这些"大数据"成为信息时代的一大挑战。文章针对信息时代下,大规模数据处理分析效率等一系列相关问题,利用Hadoop技术,设计并实现了一套基于Hadoop和MapReduce的大数据处理系统,该系统利用Hadoop分布式文件系统(HDFS)存储数据,利用Hadoop Map Reduce框架分布式处理数据分析任务。实验结果表明:该系统可以将单一数据处理任务分配到一个Hadoop集群上去,继而提高大数据文件处理效率。     

基于Hadoop的电子通信数据快速存储系统设计

在Hadoop云平台进行数据云存储系统的优化设计,提高大容量数据快速存取能力,构建基于Hadoop的大容量数据快速存储系统,采用负载均衡调度和云存储优化方法进行存储系统构架,进行Hadoop云平台的海量大数据进行信息融合处理,对Hadoop云平台大容量数据信息流进行非线性时间序列重组,采用特征空间降维方法降低存储开销,优化存储结构,提高存储和调度的速度。仿真结果表明,采用该方法进行Hadoop大容量云存储系统设计,提高了数据存储的吞吐性能和快速存取性能。     

云计算中服务器虚拟化技术解析

服务器虚拟化技术可以将云计算物理资源转化为逻辑资源,强化资源管理的抽象化,使得各个服务器中的虚拟服务打破物理界限,将CPU、内存、磁盘、I/O等硬件转化为动态资源管理库,进而有效提高资源的使用价值。因此,本文主要探究云计算中服务器虚拟化技术,进而实现云计算服务器的资源整合与共享。     

大数据网络的均衡调度平台设计与改进

当前的数据调度平台以数据完成时间实现网络资源的调度,将任务完成时间当成网络均衡调度的基础,未考虑大数据网络的能耗指标,无法实现真正的网络均衡调度。提出基于能量评判的大数据网络均衡调度平台,平台由服务模块、控制模块、虚拟化模块和物理资源模块组成,包括资源定义模块、资源监测模块以及资源调度模块三大功能模块。设计一种基于能量评判的网络资源调度模型,在一定的时间区间内,以能量消耗最佳为约束条件,全面分析大数据网络资源调度中的能量评判问题,给出调度平台采集数据的关键代码。实验结果表明,所设计平台的平均能耗率、吞吐率以及CPU利用率指标都较优,具有较高的负载均衡效果。     

基于Hadoop的海量数据存储平台设计

基于Hadoop开发的海量数据存储平台优势显著,使用者无需掌握架构底层的搭建细节,只需根据应用层的功能指引便可以开展分布式程序的开发工作。文章提出的存储平台的最底层即为HDFS系统,可用于存储Hadoop集群中所有存储节点对应的文件。HDFS上一层是MapReduce引擎,主要由Job Trackers和Task Trackers组成。基于Hadoop的海量数据存储平台能大幅度提升数据录入、查找、调用的效率。     

云计算技术及其应用

云计算主要基于资源虚拟和分布式并行架构两大核心技术。在虚拟化技术方面,文章探讨了物理资源的池化、资源池的管理与使用、集群的故障定位与维护、资源池的分组与异构等技术,以及异构的虚拟化云计算平台的建设和应用。在分布式技术方面,文章探讨了分布式文件系统和Key/Value存储引擎技术。对于分布式文件系统,提出主机＂瓶颈＂解决方案及存储接口标准化的想法;对于Key/Value存储引擎,提出目录化存储的解决方案。     

企业级Hadoop平台实现的相关技术

近些年,Hadoop——一个由Apache基金会开发的开源的分布式系统基础架构被提出,用于应对处理企业中指数级增长的数据。借助于Hadoop,程序员可以在不了解分布式低层细节的情况下,充分利用集群的威力进行高速运算和存储。本文主要论述了企业级Hadoop平台的搭建使用的相关技术,是本平台用到的技术进行了一个详细的介绍。     

基于 KVM 虚拟化技术的 Hadoop 架构

本文提出并实现了一种 Hadoop 与虚拟化技术相结合的模型.该模型将多核计算机虚拟成多节点集群,最大限度地利用计算资源.在实验测试的基础上,通过分析任务在 Hadoop 环境中的并行机制,弄清计算任务在节点中与核中的分配方式,以达到提高并行效率、降低硬件开销的目的,最后通过对典型应用问题进行计算,从而对本文所提出模型的正确性和有效性进行了验证.     

基于Docker的Hadoop集群网络性能分析

针对Hadoop从网络的角度来研究提高Hadoop性能的方法不足的问题,提出了一个通过相关工具,根据不同的网络配置,在虚拟化环境Mininet下监测并分析Hadoop集群的网络特性的系统框架。本系统建立一个在Docker容器内运行的Mininet的Hadoop集群,按照不同的需求,通过配置Mininet方便地修改网络拓扑结构,可以监测容器和虚拟交换机的网络流量,并通过网络流量监视器观察网络行为,分析不同的网络设置对Hadoop性能的影响。实验从集群中没有背景流量、集群中的背景流量无Qo S控制、集群中的背景流量有Qo S控制,三个方面对Hadoop集群网络性能进行了详细分析。     

电信行业智能数据中心的研究与应用

对云计算和虚拟化在电信行业智能数据中心的应用进行了研究。电信行业的数据中心是各类电信增值业务的部署核心,是实现数据共享和进行数据存储、处理操作的重要区域。为了满足当前电信行业需要处理海量数据的需求,在对云计算、虚拟化以及存储区域网络等关键技术进行研究的基础上,应用相关技术设计了电信行业智能数据中心,以虚拟化技术为基础,整合了数据中心的软硬件资源,使数据中心资源具备了智能化管理和动态部署的能力,其实际的运行效率显著提高。     

虚拟云安全解决方案

在虚拟化环境中,用户的计算、存储和数据资源都运行在服务器的虚拟机上,在考虑安全防护的设计时,虚拟化防火墙可在虚拟机上实现快速灵活的部署,支持在虚拟化平台上运行.以虚拟化的形式部署的设备,能够克服物理防火墙的限制,在虚拟化环境中可部署于更加靠近VM的位置,对于VM主机内部流量进行过滤,实现同时对于南北向和东西向流量的安全防护.