基于 Hadoop 的电站数据中心云计算模型磁

针对云计算中的虚拟化、分布式存储与并行编程模型等问题,提出基于云计算的多电站计算平台的体系结构,实现电站数据中心的可靠存储与快速并行处理。详细讨论了传统的电站计算平台在数据存储和数据处理过程中的不足,设计了基于 Hadoop 的电站数据中心云计算平台,并利用 Hadoop 云计算平台对数据检索的效率进行实验比较分析。     

基于Apache Spark的地震观测数据噪声功率谱计算

为解决单机环境下海量地震观测数据计算和分析效率低下的问题,提出一种基于分布式架构的地震观测数据的存储、计算和分析处理方法,选择噪声功率谱复杂计算过程的应用场景进行实现.基于Hadoop在海量数据处理上的性能优势,在分布式文件存储系统HDFS上进行地震观测数据的存储和调度,研究测震数据噪声功率谱的质量评估方法在Spark分布式计算架构上的实现,采用弹性数据集Spark RDD将计算任务自动分配到计算节点,解析存储在HDFS中的测震波形数据,计算结果采用RowKey方式放入分布式数据库HBase中,实现了长周期地震噪声功率谱结果的存储和提取.计算结果表明,基于Spark分布式架构的该方法可以支撑TB级海量数据的处理,并且具有较高的处理效率,可应用于海量地震观测数据的分析计算.     

基于Hadoop的高校学生行为预警决策系统研究

通过智慧校园各种智能终端、可感知设备,获取学生校园动态行为轨迹数据,构建多维数据存储中心。利用Hadoop框架分布式文件系统HDFS和MapReduce,将多维数据进行关联、分类、降维、聚类分析与可视化呈现。使学生特征标签化,生成基于特征矩阵的学生画像,从而分离出偏离中心点的学生异常,建立动态的预警决策机制,从而进行前置预警和智慧决策;使高校管理机构及教师主动掌握学生的生活情况、学习状态及行为规律,从而对不良思想行为做到事先警示教育、事后跟踪管理,实现以学生为视角的智能管控及智慧管理。基于Hadoop的预警决策系统,开创了智慧校园教育管理决策科学化、管理智能化、监督过程化的新模式,具有较高的经济效益与推广应用价值。     

Hadoop中Reduce作业动态调度算法

Hadoop平台中的MapReduce并行分布式编程模型通过将廉价节点组合成集群提供存储和计算服务,可以降低集群成本。Hadoop可以通过配置使Reduce任务在Map任务完成固定百分比时启动,但是过早地启动Reduce任务会造成Reduce资源长期处于等待状态。提出一种Reduce动态调度的DRS算法,通过作业中Map任务数量和大小计算Reduce启动时间,并在作业运行中根据Map任务的调度情况修正启动时间,以节约Reduce资源的使用效率。实验表明,DRS算法与固定百分比参数的方法相比,shuffle阶段时间缩短了7.3%。与系统默认参数相比shuffle阶段时间缩短了43.6%。     

延迟光照算法对Hadoop集群渲染系统的改进与实现

针对集群渲染系统在三维场景文件输出过程中,海量数据处理以及存储的问题,利用Hadoop框架对现有系统进行分布式模型改造,以基于延迟光照算法的处理方式,对分布式存储和计算的业务逻辑结构部署,实现改进Hadoop集群渲染系统对任务的处理策略,提供高容错、可靠的存储和海量计算数据的方式.通过实验证明改进的Hadoop集群渲染系统可以提高系统利用率和任务处理能力.     

基于OC-SVM的Hadoop DDoS攻击检测

DDoS以其攻击方法简单、破坏性强且难以追查等特点一直是互联网的主要威胁,而Hadoop作为云计算的主流平台,同样面临DDoS攻击的严重威胁。对此提出了一种基于One class SVM分类算法的Hadoop DDoS攻击分布式检测体系。该体系采用主动学习和疑似攻击核实机制,实时更新训练集,可以有效降低误报率和漏报率。实验结果表明,该体系有较好的分类准确性、较低的漏报率和误判率。     

一种基于Hadoop分布式气瓶管理系统设计研究

为了解决气瓶管理系统处理海量数据的性能问题,提出了一种基于Hadoop的分布式气瓶管理系统.首先对现有系统进行分析;然后设计基于Hadoop的气瓶管理系统架构;其次实现基于Hadoop的气瓶管理系统;并对系统性能进行测试.表明基于Hadoop的气瓶管理系统比现有系统性能有很大提高.     

基于Hadoop的云端异常流量检测与分析平台

Hadoop系统作为一种开源的分布式云计算平台已获得广泛应用,但其云端易受到各种威胁和攻击,基于此,开发了一种基于Hadoop的云端异常流量检查与分析平台。首先,使用Mapper周期性地从所有存储流量信息的文件中提取流量的部分信息;然后,通过Reducer将异常流量提取并保存。通过对流量数据的存储、检测与分析可成功地检测出有威胁的攻击,从而保障云端的安全。由于本平台基于开源的Hadoop实现,因此成本较低;同时,基于Java语言实现,可成功移植于各种主流操作系统,具有广泛适用性。基于局域网进行监控试验,结果表明本平台可成功地检测出异常流量,并输出友好的用户界面。     

农业海量信息资源管理平台设计与实现

随着农业信息化的深入,如何描述、存储、管理和处理海量分布信息资源成为农业应用的首要问题。提出基于XML/XML Schema的统一农业信息资源描述框架,将XML描述与元数据约束相结合,采用层次化管理结构实现元数据与资源信息的组织;在HDFS(Hadoop Distributed File System)云存储架构适应性改进基础之上,设计实现了农业海量信息资源管理平台,实现了海量、分布、异构资源的分类组织、存储和访问服务。平台覆盖了全国6个省市资源节点,实现了3.2 TB农业资源存储管理,与传统资源检索方法相比,平台资源检索时间缩短73%;同时,用户在同一检索条件下能更多地获得相关资源,不仅查准率平均提高5%,而且资源利用率平均提高17.7%。平台在海量资源检索和利用效率方面获得提升。     

异构Hadoop集群下的比例数据分配策略

针对异构Hadoop环境下仍采用均等的数据分配方法将严重降低MapReduce的性能,提出比例数据分配策略。通过计算异构集群中各节点的计算比率,将已经分割好的数据块重新进行组合,形成数个按比例划分的数据块。每个节点根据自身性能来选择所分配和存储的数据块,从而使异构Hadoop集群中各节点处理数据的时间大致相同,降低节点之间数据的移动量。实验验证了提出的比例数据分配方法可以有效地提高MapReduce的性能,并使数据负载均衡。