延迟光照算法对Hadoop集群渲染系统的改进与实现

针对集群渲染系统在三维场景文件输出过程中,海量数据处理以及存储的问题,利用Hadoop框架对现有系统进行分布式模型改造,以基于延迟光照算法的处理方式,对分布式存储和计算的业务逻辑结构部署,实现改进Hadoop集群渲染系统对任务的处理策略,提供高容错、可靠的存储和海量计算数据的方式.通过实验证明改进的Hadoop集群渲染系统可以提高系统利用率和任务处理能力.     

基于Hadoop的海量医疗小文件处理系统

由于Hadoop自身不适合处理海量的小文件,论文提出了一种小文件处理方案,将小文件归并到SequenceFile中有效地解决了NameNode内存使用问题,设计了基于Hadoop的海量医疗小文件处理系统,实验证明该系统在内存使用以及处理大文件时具有良好的性能.     

基于Hive的海量搜索日志分析系统研究

针对传统分布式模型在海量日志并行处理时的可扩展性和并行程序编写困难的问题, 提出了基于Hive的Web海量搜索日志分析机制。利用HQL语言以及Hadoop分布式文件系统(HDFS)和MapReduce编程模式对海量搜索日志进行分析处理, 对用户搜索行为进行了分析研究。对用户搜索行为中的查询热点主题、用户点击数和URL排名、查询会话的分析结果对于搜索引擎的排序算法和系统优化都有一定的指导意义。     

Hadoop平台下改进的LATE调度算法

对Hadoop平台下的MapReduce现有的调度器进行分析研究。针对LATE调度算法在分配节点执行落后任务的备份任务时的不足,结合Hadoop集群的异构性和工作负载的特殊性,在LATE调度算法的基础上提出了一种改进的LATE调度算法。对该算法进行实验和性能分析,表明该算法在完成时间和负载均衡方面有很大改进。     

基于Hadoop平台下的Canopy-Kmeans高效算法

介绍了Hadoop平台下MapReduce的编程模型;分析了传统聚类Kmeans和Canopy算法的优缺点,并提出了基于Canopy的改进Kmeans算法。针对Canopy-Kmeans算法中Canopy选取的随机性问题,采用“最小最大原则”对该算法进行改进,避免了Cannopy选取的盲目性。采用MapReduce并行编程方法,以海量新闻信息聚类作为应用背景。实验结果表明,此方法相对于传统Kmeans和Canopy算法有着更高的准确率和稳定性。     

减少Hadoop集群中网络队头阻塞的调度算法

大数据分析系统的用户希望任务的执行时间尽可能短.然而,在任务执行期间,网络与计算时刻都可能成为阻碍任务执行的资源瓶颈.通过对大数据分析系统的观察与分析,得出如下结论:1)根据当前资源瓶颈的不同,数据并行框架应当在多种工作模式之间切换;2)子任务的调度应当充分考虑将来可能到达的新任务,而不能仅考虑当前已经提交的任务.基于...     

基于Hadoop技术的气象数据实时传输监控系统设计

气象数据在传输过程中,可能会出现数据丢失、重复、错误等问题,为准确分析气象问题表现情况,实现对气象问题的实时监控,设计了基于Hadoop技术的气象数据实时传输监控系统。联合JTAG调试电路与数据采集器,调节风速风向、雨雪、雷电、温湿度四个基础监控模块,完成气象数据实时传输监控系统的硬件设计。根据Hadoop架构体系连接形式,搭建Hadoop架构体系,预处理气象数据。在此基础上,匹配数据库机制与业务信息表单,实现应用系统的实时传输监控功能,再联合相关系统硬件,完成基于Hadoop技术的气象数据实时传输监控系统的设计。实验结果表明,在本文设计系统作用下,能够有效实现对风、雨、雪、雷四种气象问题的实时监测,可以准确分析气象问题表现情况。     

基于Hadoop的GA-BP算法在降水预测中的应用

针对如何从海量的气象数据中挖掘出有用的知识,并提高气象预报的准确度,提出了在Hadoop平台上构建基于遗传神经网络算法的天气预报方法.该方法采用遗传算法与神经网络算法相结合,避免了传统算法容易陷入局部最优的问题,并以天津市13个台站1951–2006年的地面气候资料日值数据为基础,建立了遗传神经网络预测模型,最后以降雨量等级为决策属性进行了实验.结果表明,该方法对所有降水等级的预测准确率都要优于传统的神经网络算法,对于降水等级R₀的预测精度最高,达到了87%,不仅可以有效的处理海量气象数据,同时具有较高的预测精准度和良好的扩展性,为天气预报提拱了一种全新的思路和方法.     

异构资源环境下Hadoop节点能力自适应调度算法

为了解决当前Hadoop集群在异构资源环境下固有的调度分配方法的不足,提出了一种基于节点能力的自适应调度算法NCAS（node capacity adaptive scheduling）。首先,NCAS算法根据节点性能、任务特征计算得到调度因子;然后,由调度因子确定各节点应分得的数据量与任务槽数;最后,将数据和任务多分给快节点同时少分给慢节点。实验结果表明,与传统的调度算法相比,NCAS算法大幅度减少了备份任务的启动数量,明显减少了作业完成时间,提升了任务执行效率。     

基于Hadoop环境下蛋白质与配体分子对接模拟实验研究

蛋白质种类和小分子的数量过多,对于药物的模拟开发运算量巨大。而分子对接是研究新药的重要手段,因此提高分子对接实验系统的工作效率十分重要。分子对接主要目的是研究蛋白质受体和配体小分子之间的作用与联系。本文通过模拟实验,搭建了一个Hadoop平台,并利用Hadoop强大的并行计算能力对蛋白质(1ppe与1uy6)与多组数量不同的配体小分子进行对接,最后对工作过程进行了相应的比较与优化。实验结果表明,该系统可以有效提高对接效率,并且具有较好的稳定性和便利性。