一种基于Hadoop的Scool云存储平台

针对海量数据的指数级增长,现有的文件存储系统很难满足现有系统需求,提出基于Hadoop的Scool云存储平台,系统通过采用Linux集群技术、分布式文件系统和云计算框架等技术,来实现海量数据存储和高速数据处理。通过比较云存储和传统存储模式的区别,分析了云存储技术优势和可行性,介绍了云存储架构模型,设计了基于Hadoop的Scool云存储文件管理系统,为今后深入研究云计算和云存储提供了一定的基础。     

面向海量数据的电子政务云平台研究

针对传统电子政务平台所采用的关系型数据库在处理海量数据时存在性能瓶颈问题,利用Hadoop分布式平台在处理海量数据方面的优势,结合HDFS分布式文件系统、Map/Reduce并行计算模型和Hive仓库技术,设计关系型数据库与Hadoop相结合的电子政务云平台,两者协同提供海量数据查询操作和存储服务,从而降低了关系型数据库服务器的负载压力,增强电子政务平台的扩展性。通过实验证明,Hadoop能大大提高电子政务云平台的查询效率。进一步分析该设计方案中影响查询效率的因素,为深入研究基于Hadoop构建高效的电子政务云提供参考。     

海量农业数据云平台的研究

在传统的关系型数据库模式的使用中,存在大量的农业数据存储容量小和管理不够完善的问题。基于对Hadoop的分析,提出运用Hadoop框架构建海量农业数据处理云平台,并给出了平台架构和部分实验结果。通过实验数据表明,该方法可以为搭建农业海量数据云平台提供方法论基础,并实现了农业大数据有效的存储和管理。     

基于决策树挖掘算法的气象大数据云平台设计

大数据、云计算技术的迅猛发展为挖掘气象数据丰富的科研和经济价值提供了技术支撑,促进了Hadoop及其包含的文件存储系统(HDFS,Hadoop Distributed File System)和分布式计算模型在气象数据处理领域广泛应用。由于气象数据具有大数据的4V特征,还需要引入新的数据处理算法来提高气象数据处理效率。通过对决策树算法原理的研究,基于Hadoop云平台,创建随机森林模型,为数据挖掘算法在云平台上的应用提供一种新的可能性。基于决策树(CART,Classification And Regression Trees)挖掘算法的气象大数据云平台设计,采用Hadoop系统架构和MapReduce工作流程,对气象大数据云平台采用集群部署。平台总体架构分为基础设施层、数据管理与处理层、应用层,减少了决策树建立的时间,实现了气象数据高效加工和挖掘分析等平台功能。     

基于Hadoop的云存储技术在档案馆的应用研究

随着大数据和云计算的应用,传统档案馆的信息储存方式已无法适应大数据时代的新要求。笔者基于Hadoop平台介绍了HDFS分布式文件系统和Map-Reduce计算框架,探索了基于Hadoop的档案馆云存储构架,并结合其优势以及档案馆提供的不同类型服务,讨论了其在档案馆应用中的优势和未来的发展趋势。     

基于Hadoop的企业知识管理系统

基于Hadoop的知识管理系统可以增强企业海量知识存储与处理的能力,实现面向管理决策的知识发现.通过研究Hadoop平台及其特点,分析了基于Hadoop的知识管理系统的优势,构建了基于Hadoop的企业知识管理框架模型,并设计了基于Hadoop的知识管理系统的逻辑架构,最后利用基于MapReduce的协同过滤算法对知识推荐模块进行了详细设计.应用Hadoop等大数据技术及推荐系统技术构建知识管理系统既能实现知识管理的个性化和智能化,又能满足企业知识管理系统的扩展性和经济性的需求.     

基于云计算的受限玻尔兹曼机推荐算法研究

数据的指数级增长及算法本身的复杂性使受限玻尔兹曼机面临着计算效率的问题。在详细分析受限玻尔兹曼机的基础上,将受限玻尔兹曼机与Hadoop平台的并行计算架构相结合,提出基于云平台的受限玻尔兹曼机推荐算法。该算法通过复制机制解决数据相关性问题,并将传统的受限玻尔兹曼机过程分解为若干个Hadoop任务的循环,实现并行计算。实验结果表明,与在传统平台上的实现相比,基于Hadoop并行架构的受限玻尔兹曼机推荐算法在大体量数据集的条件下可大幅提高推荐计算效率。     

基于Hadoop的大数据信息安全监控云平台设计与研究

针对传统的大数据信息监控云平台模式单一、虚拟化程度不高,容易导致信息泄露的问题,为了提高对大数据的信息安全溯源能力,提出基于Hadoop的大数据信息安全监控云平台设计方法。在信息资源云体系下构建大数据信息安全融合模型,通过信息挖掘与匹配方法把云平台中的数据资源、物理资源进行关联性整合,方便数据安全溯源,在Hadoop平台下构建多源信息资源云,建立用户接口注册机制,采用虚拟化技术进行信息保护,实现在云平台下进行信息安全溯源。实验结果表明,采用该方法进行大数据信息安全溯源,大数据信息分类存储性能较好,对异常数据挖掘精度较高。具有较好的信息安全保护能力,确保了信息安全。     

基于Hadoop的列车管理系统设计

基于Hadoop数据库技术建立一套列车管理系统。介绍Hadoop大数据平台的应用特点以及列车管理系统总体架构和数据架构，建立调度管理、检修管理以及安全管理等数据服务为基础的系统功能体系，最后展示列车管理系统部分功能的实现结果。     

基于Hadoop平台的轨道交通能效管理系统的建设方案

随着城市轨道交通线网化进程和海量数据的累积,挖掘能效数据的潜在价值以提升地铁能效管理水平、实现节能降耗,对地铁的经济运行具有重要意义。对基于Hadoop平台实现轨道交通能效管理系统的建设方案进行了研究,并分别以历史数据和实时流数据的数据流和功能框图,具体说明了系统的实现方式。给出了基于Hadoop平台的能效管理系统的车站、线路、线网的三层式建设方式,以及组成模块的框架图,并按数据的在线和离线两种方式给出模块的实现方法。同时,在轨道交通能效管理平台中实现了大数据技术的首次应用。应用结果表明,基于Hadoop平台的大数据方案提高了地铁运营的能效管理水平。随着数据量积累和数据分析的深入,该管理系统必将具有更加广阔的应用前景。     

基于Hadoop的校园云计算系统

针对传统的海量数据处理方法硬件成本太高,并行程序编写困难的缺点,在云计算理论的基础上设计了一个用于处理海量数据的校园云计算系统.此云计算系统是在Hadoop分布式计算框架的基础上采用Map-Reduce编程模型实现对海量数据的并行处理,有效解决了成本问题,降低了并行编程的难度.     

云计算在航天测试领域的研究与应用

为满足航天测试领域日益增长的数据处理需求,利用云计算技术提高航天测试领域的数据处理性能和数据可靠性,数据安全性,主要从三个方面对云计算技术与航天测试领域结合进行了研究,首先建立以Hadoop为基础架构的云计算平台,设计新的测试数据传输方案,并以Hadoop冗余备份机制为基础,提高数据可靠性;其次,对云计算平台的数据处理模块进行了研究,并与航天测试领域的数据比对工作相结合;最后,为云计算平台设计了安全性更高的身份认证和加密模块.通过与原有航天测试工作对比分析可以看出,云计算对航天测试领域数据处理速度的提升是巨大的,安全模块也有效的对数据进行了保护,适应了航天测试领域对安全方面的高要求,将云计算应用于航天测试领域具有极大的潜力和广阔的前景。     

云存储在校园信息管理系统中的应用

目前由于校园海量数据存储存在管理维护成本高、服务器资源利用率低下等一些列问题,因此将云存储技术应用于校园信息管理系统中去很有必要。本文就云储存技术在校园信息管理系统设计中的应用进行实验。为减少读写速率的损失,将通过调用HDFS的AlP接口方式来实现数据存储及对集群状态的监管和管理。     

基于Hadoop的微博信息挖掘

论文设计了基于Hadoop的微博信息挖掘系统。该系统针对单一节点在分析微博海量数据的性能瓶颈问题,利用分布式和虚拟化技术的优势,将微博信息获取和相关数据分析进行有机整合,实现了一个基于Hadoop的微博信息挖掘平台。为验证该平台运行的有效性,论文采用获取热点话题做实验,展示了系统对微博信息的挖掘结果。实验结果表明,该系统能有效获取微博相关信息,高效的处理海量微博数据,得到有价值的数据信息。     

Hadoop平台的集群故障监控的研究与实现

使用Hadoop构建的云平台已经得到广泛使用,如Amazon、Yahoo、Facebook等。集群的稳定性和可靠性对于云平台的服务质量有着重要的影响,随着企业信息化在生产实时检测、海量存储和科学分析决策等方面的需求不断提升,集群故障监控也越来越重要。PDM(Integrated Parallel Mining)是中国移动的商务智能应用需求为背景,旨在针对海量数据提供高效、准确、便捷的数据分析服务,能够对Hadoop集群进行性能监控并且进行故障告警是非常重要的。Ganglia和Nagios在集群故障监控方面各有优势,将两者的优势结合,结合企业项目设计出了一个相对完整的集群故障监控平台。     

利用廉价计算机实现大规模数据处理的技术研究与实现

将虚拟化和Hadoop等云计算技术引入大规模数据处理过程中,提出采用大量廉价计算机建成具有低成本、高效率、高可靠性和高伸缩性的计算机集群的方法,并创建对应的系统框架模型。通过搭建计算平台,验证了利用廉价计算机实现大规模数据处理技术的可行性。     

智慧校园办公云平台建设策略

在信息化技术的快速发展中,其中物联网和云技术为主要的智慧校园建设更为全面。高职院校建立办公云平台是适应教育信息化需求的产物,建设其办公云平台更是高职院校提升自身管理服务水平的有效措施,是基于智慧校园背景下符合当前信息技术发展的必然趋势。本文基于OA办公软件便捷性、操作性等特点进行介绍出发,立足于智慧校园背景从信息平台进行构建,从而实现提高办公效率与节约学校资源成本、规范管理、提高工作效能、优化服务业务流程、转变传统工作观念等方面进行构建办公云平台,从而使高职院校办公云平台在数字化信息化智慧化的未来发展趋势中,立足于自身平台构建。     

基于 Hadoop 的分布式视频处理

中国科学院计算机网络信息中心与青海湖保护区管理局合作,共同建设了青海湖野外网络视频监控。如何高效地处理每天产出的超过 100GB 的视频数据成为了一个难题。现在的视频处理系统采用计算和存储相分离的架构,这需要配置较高的专门服务器进行支撑,本文基于廉价扩展性能较好的 Hadoop 平台对视频处理做出了分布式的实现,并对单个视频文件做出了分布式转码的实现。同时,本文将基于 Hadoop 的分布式视频处理的实现和基于 HTCondor 的分布式视频的批处理实现进行了对比,实验证明,在不损失视频处理效率的条件下,基于 Hadoop 的分布式视频处理的实现拥有分布式文件系统支撑、完善的任务监控等优势。     

基于云计算的贝叶斯分类算法在过滤垃圾邮件中的研究

为了抵制垃圾邮件对互联网及其用户造成的严重不良影响,本文采用高效的贝叶斯分类算法,基于hadoop平台实现垃圾邮件的过滤系统,克服了传统并行系统在编程实现和系统扩展上的不足,充分利用云计算环境优势,使系统实现简单,扩展容易,性能提高;并做了相关的试验,验证了设计理论。     

风电场数据中心Hadoop云平台作业调度算法研究

风电场数据中心包含状态监测、数据采集等实时类作业和非实时类作业,采用C/S结构存在资源利用率不平衡、管理与维护成本高等缺点。设计了一种基于Hadoop云平台的数据中心架构;针对开源Hadoop平台现有FIFO调度器不能满足实时监测系统要求,在原有FIFO调度器的基础上,设计了一种双队列的作业调度器,综合考虑作业的截止时间和优先级来进行作业调度决策,实验结果表明,与FIFO调度器相比,双队列的作业调度器在集群负载较大时能够表现出较好的性能,保证实时类作业能够优先执行,为风电机组的安全运行提供保障。