Hadoop中Reduce作业动态调度算法

Hadoop平台中的MapReduce并行分布式编程模型通过将廉价节点组合成集群提供存储和计算服务,可以降低集群成本。Hadoop可以通过配置使Reduce任务在Map任务完成固定百分比时启动,但是过早地启动Reduce任务会造成Reduce资源长期处于等待状态。提出一种Reduce动态调度的DRS算法,通过作业中Map任务数量和大小计算Reduce启动时间,并在作业运行中根据Map任务的调度情况修正启动时间,以节约Reduce资源的使用效率。实验表明,DRS算法与固定百分比参数的方法相比,shuffle阶段时间缩短了7.3%。与系统默认参数相比shuffle阶段时间缩短了43.6%。     

一种基于Hadoop分布式气瓶管理系统设计研究

为了解决气瓶管理系统处理海量数据的性能问题,提出了一种基于Hadoop的分布式气瓶管理系统.首先对现有系统进行分析;然后设计基于Hadoop的气瓶管理系统架构;其次实现基于Hadoop的气瓶管理系统;并对系统性能进行测试.表明基于Hadoop的气瓶管理系统比现有系统性能有很大提高.     

基于Hadoop的经济周期仿真模拟方法

为了使经济周期仿真能够处理本地数据和集群、网络中的数据,减轻系统负载并提高仿真效率,运用Hadoop并行处理技术,实现了对多个市场数据的同时模拟,增强了经济周期模拟仿真系统处理大量数据的能力,缩短了仿真模拟的时间,有利于扩大仿真模拟的广度和深度。     

中小规模分布式文件系统集群构架的优化方案

针对分布式文件系统的应用存在处理小文件效率不高的问题,提出一种适用于中小规模分布式文件系统集群的应用架构,将传统分布式文件系统集群中的内网划分为两个子网：对外子网和对内子网,对外子网中传输与外网之间的交互数据,对内子网中传输分布件系统集群的管理数据.每个数据结点同时与对外和对内两个子网连接,并代替名称节点负责与外网直接的数据交流;名称节点本身只与对内子网连接.对外子网与外网之间使用防火墙设备加强安全性,并使用负载均衡设备将来自外网的数据请求合理的分配到每个数据节点上;增加了缓存机制对系统处理小文件操作进行优化,部署实验环境,设计一个测试程序对缓存效率测试,对1000个100KB的文件,通过模拟多线程连续读取大量文件来测试缓存的性能,实验证明系统设计方案可行,增加磁盘缓存有利于提高系统处理小文件的存取效率,系统优化效果显著.     

基于OC-SVM的Hadoop DDoS攻击检测

DDoS以其攻击方法简单、破坏性强且难以追查等特点一直是互联网的主要威胁,而Hadoop作为云计算的主流平台,同样面临DDoS攻击的严重威胁。对此提出了一种基于One class SVM分类算法的Hadoop DDoS攻击分布式检测体系。该体系采用主动学习和疑似攻击核实机制,实时更新训练集,可以有效降低误报率和漏报率。实验结果表明,该体系有较好的分类准确性、较低的漏报率和误判率。     

Hadoop在VOD系统中的应用研究

首先对当前VOD系统进行简单介绍,指出当前VOD系统存储架构的不足,接着介绍Hadoop,分析HDFS的存储机制和特点,指出将HDFS用于存储视频文件的优势。通过将Hadoop和当前VOD系统融合,提出基于Hadoop的VOD原型系统设计方案。最后总结将Hadoop用于VOD系统的优势,给出进一步研究计划。     

基于混沌PSO算法的Hadoop配置优化

针对Hadoop的组合优化问题,提出一种基于混沌粒子群优化算法的配置优化策略。为保证算法在进行局部搜索的同时避免陷入局部最优,对陷入局部最优的标准值和混沌处理的迭代次数的不同组合进行实验,获得使Hadoop性能达到最优的配置。实验结果表明,算法得出的最优配置方案能够有效提高Hadoop的性能,具有较好的稳定性。     

一种基于MapReduce并行框架的大规模矩阵乘法运算的实现

在机器学习算法中,矩阵乘法运算是一种基本运算.而扩大矩阵乘法的运算规模并降低其运算时间,将有利于满足机器学习算法处理大规模数据的要求.将MapReduee并行框架用于分块矩阵乘法,实现一种用于大规模矩阵乘法运算的方法.理论分析和实验结果表明该方法在处理大规模矩阵乘法上具有极大的潜能,并且随着计算节点的增加从而获得较好的加速比.     

基于Hadoop的MapReduce模型的研究与改进

针对MapReduce模型中存在的多个Reduce任务之间完成时间差别较大的问题,分析了影响Reduce任务完成时间的因素,指出了MapReduce模型中Reduce任务节点存在数据倾斜问题,提出了一种改进型的MapReduce模型MBR(Map-Balance-Reduce)模型。通过添加Balance任务,对Map任务处理完成的中间数据进行均衡操作,使得分配到Reduce任务节点的数据比较均衡,从而确保Reduce任务的完成时间基本一致。仿真实验结果表明,经过Balance任务后,Map任务产生的中间数据能够比较均衡的分配给Reduce任务节点,达到数据计算均衡的目的,在一定程度上减少了整个作业的执行时间。     

基于Hadoop的封闭直方图立方

封闭数据立方是一种有效的无损压缩技术,它去掉了数据立方中的冗余信息,从而有效降低了数据立方的存储空间、加快了计算速度,而且几乎不影响查询性能.Hadoop的MapReduce并行计算模型为数据立方的计算提供了技术支持,Hadoop的分布式文件系统HDFS为数据立方的存储提供了保障.为了节省存储空间、加快查询速度,在传统数据立方的基础上提出封闭直方图立方,它在封闭数据立方的基础上通过编码技术进一步节省了存储空间,通过建立索引加快了查询速度.Hadoop并行计算平台不论从扩展性还是均衡性都为封闭直方图立方提供了保证.实验证明:封闭直方图立方对数据立方进行了有效压缩,具有较高的查询性能,根据Hadoop的特点通过增加节点个数明显加快了计算速度.