一种基于自学习的大数据多租户配置优化方法

在大数据应用领域中,Hadoop的分布式存储和并行计算,经过多年的实践,其高可靠性、高扩展性和高容错性等特点已日益成熟,并广泛应用于云计算应用场景。在如今的应用系统建设中,提倡扁平化管理,摒弃烟囱式系统,Hadoop集群的分布式存储和并行计算的优势明显,但是多集群独立建设,带来管理成本和投入成本增加,不便于日常管理。与此同时,由于大数据应用场景的多样化,多租户场景多、资源分配不合理、调度不灵活等问题在Hadoop并行计算领域问题已不能满足用户的需求。因此,研究Hadoop集群多租户技术及YARN资源调度控制架构,实现多应用计算资源隔离,不断优化多任务、多用户下的大数据集群资源分配,合理资源分配与资源调度,减少资源浪费,提高集群资源利用率,降低资源投入成本,在大数据应用领域具有重大意义。     

Hadoop集群作业调度算法优化技术研究

针对当前云计算技术的广泛使用,提出对Hadoop集群作业调度算法进行研究的构想。在对Hadoop新版本中提出的Hadoop Map Reduce V2(Yarn)框架进行深入研究的基础上,设计一个详细完整的对比实验,针对各种作业调度算法的优势与不足进行全面的测试。通过使用不同的作业调度算法运行相同的作业,进行细致横向的对比,并得到各种作业调度算法之间以及计算框架之间在计算能力、运行时间、资源占用等方面的优劣。实验结果表明,公平调度算法和计算能力调度算法相较于传统的FIFO算法具有更灵活、更高效的特点。     

LTE-A载波聚合调度方案研究与改进

基于LTE-Advanced系统中的载波聚合技术,对现有的3种资源调度机制:联合用户调度方案(Joint User Scheduling, JUS)、独立随机用户调度方案(Separated Random User Scheduling,SRUS)和独立数据突发级调度方案(Separated Burst Level Scheduling, SBLS)进行研究。针对3种机制在系统吞吐量、排队时延和成分载波(Component Carrier,CC)切换时延性能上的优缺点,提出了半独立负载调度机制(Half Separated Load Scheduling,HSLS)。HSLS采用动态负载均衡准则(Dynamic Load Balance,DLB),另外HSLS基于系统吞吐量和排队时延的要求以多数据突发(multi-burst)作为资源分配粒度,令多个调度器(Resource Scheduler, RS)可以同时分发满足调度条件的用户数据。仿真结果表明,HSLS对设备要求度低,有着良好的系统吞吐量和时延性能表现。     

高速交换矩阵调度器的FPGA设计

提出了一种并行迭代算法调度器的可编程逻辑门阵列(FPGA)的实现方法。调度器主要由仲裁器和有限状态机2部分组成,采用温度型可编程优先编码器的设计方法,大大降低了仲裁器输入输出的时延,提高了调度器的工作速度;同时,采用流水线设计进一步减少了每次调度需要的时钟周期数,有效地解决了输入端口和输出端口的阻塞。设计方法可以用于目前所有基于RR指针的三步迭代算法的设计。     

基于Zookeeper框架的数据集高可用性事务负载均衡调度优化

数据集高可用性是大数据环境下重要研究内容之一。目前,大数据服务平台数据集高可用性程度不高是影响系统运行效率的重要因素,主要原因是数据集事务调度效率低、事务一致性差、事务响应速度慢等。文章通过Zookeeper框架数据事务调度优化资源管理器响应机制,解决了负载均衡和事务响应超时等问题。通过微服务架构对事务资源进行管理,对数据结构进行优化,形成规范化接口,让中断机制能够发出正确的信息,满足不同环境下大数据平台资源调度要求,提高了大数据平台数字化、安全性、高可用性水平。     

虚拟Hadoop平台动态资源调度策略研究

Hadoop应用研究主要包括云存储,数据查询,数据分析,数据挖掘,关联广告等,不同的Hadoop应用对机器的资源要求不同,主要分为CPU、内存、I/O、网络密集型任务。传统的Hadoop集群在物理机上任务会比较密集,各种应用只能排队依次处理,机器的CPU、IO和存储会非常繁忙,负载不均衡。虚拟化Hadoop可以帮助用户在基础设施上实现灵活、弹性、安全和快捷的大数据资源调度。本文提出一种动态规划算法动态调度资源,在虚拟化后的Hadoop集群可以把不同的资源要求的应用单独分开放在不同的物理机上并行高效地处理,从而大大提高Hadoop集群的性能。     

云平台下海量数据冲击中的可视化调度平台设计

针对当前云平台调度中存在的问题,设计云平台下海量数据冲击中的可视化调度平台,其由海量数据采集模块、云平台模块和可视化调度模块组成。海量数据采集模块中的天线开始对海量数据进行采集和调频,并传递给数字信号处理器进行处理,其处理结果将传递给云平台模块。云平台模块利用Hadoop分布式计算技术,对海量数据采集模块的处理结果进行分析和计算,给出调度方案。调度方案将传递给可视化调度模块进行调度方案的可视化,以及调度工作的具体实施。平台软件对云平台模块中调度方案的产生流程进行设计。实验结果表明,所设计的平台拥有较好的计算性能和调度性能。     

一种基于IEEE802．16e协议的下行调度系统

文章介绍了IEEE802．16e中的下行调度机制。针对目前下行分组调度器中由数据映射带来的padding时隙造成的资源浪费问题，结合二级调度架构，设计了一个新型的下行分组调度器。仿真表明，该调度器能有效提升系统性能。     

浅析Hadoop 1.0与2.0设计原理

简要介绍了Hadoop发展历史及其版本演进进程;详细阐述了Hadoop 1.0中的HDFS设计理念、架构、读取/写入数据流程和MapReduce架构、任务执行流程,以及Hadoop 1.0功能不足问题;详细阐述了针对Hadoop 1.0功能不足问题,Hadoop 2.0所做的增强功能应对方案,包括NameNode HA方案、HDFS Federation方案和YARN设计原理等。     

高性能调度技术中应用程序调度模型设计--地理空间信息网格调度技术的研究

地理空间信息网格调度技术，要比传统的高性能计算中的调度技术复杂，原因是如果将全部网格资源作为一个应用程序的调度和执行目标，必将导致通信延迟、成本昂贵、执行低效等。为此，综合考虑应用程序特性、机器特性等，研究设计了地理空间信息网格高性能调度技术中的应用程序调度模型，包括地理空间信息网格应用程序分析；资源特性分析；应用程序分解；性能预测；资源调度；机器选择；任务映射；任务调度；任务调度器和调度器管理模块。以实现为不同的应用程序匹配不同的计算资源，提高计算资源的利用率和应用程序的执行效率。