Hadoop的核心技术研究或概述

HDFS;肯容错性好、传输效率高等优点。MapReduce对数据采用海量处理的方式。文章根据笔者对HDFS和MapReduce的理解发表一些自己的看法。     

基于Hadoop的云教学资源平台

针对近年来高校教学资源呈现海量、复杂、异构等特点,通过融合HBase和My SQL两类数据库,设计并实现了基于Hadoop的云教学资源平台,并运用Map Reduce计算模型对海量日志进行分析。云教学资源平台能够提高资源查询、存储的速度及准确性,提升资源管理者的工作效率,与传统教学资源管理平台相比,其具有更高的可靠性和稳定性。     

基于Hadoop MapReduce的大规模数据索引构建与集群性能分析

为了满足搜索引擎构建索引的时空开销需求,构建高效的分布式索引,利用Hadoop搭建分布式集群环境,基于MapReduce编程实现大数据倒排索引.采用不同的网络带宽、数据量和集群节点数来评估Hadoop集群的性能.实验结果表明:网络带宽越大,集群处理效率越高;集群节点数越多,处理大数据的能力越强.可见,网络通信带宽对Ha...     

面向电子设计的高性能云计算平台建设实践

随着电子设计过程中计算复杂度的不断提高,传统的IT资源计算模式与管理途径已无法适应企业信息化发展的现实需要。通过有机融合高性能计算、云计算和电子设计仿真技术,采用自主设计与外购相结合的开发模式,我们建设了面向电子设计的高性能云计算平台—HPCC-ED。利用该平台可高效利用并科学管理高性能计算集群,满足企业的高性能计算及IT资源精益化管理需求,帮助研发团队缩短研发周期。该平台建立并试运行半年以来,已累计完成了900多项复杂仿真计算任务,给企业带来了巨大的经济效益。本文从技术原理、建设方案、功能需求、开发过程、应用效果等方面对HPCC-ED平台进行了描述。     

一种改进的Hadoop数据负载均衡算法

在介绍Hadoop,HDFS的原理的基础上,分析了Hadoop的数据负载均衡算法.Hadoop负载均衡算法只是根据空间使用率对各个结点的负载进行均衡,这种均衡方法没有考虑结点的处理能力、带宽、文件访问频度等因素,因此,造成了基本相同的文件的响应时间存在很大的差别.提出了一种改进的负载均衡的模型,该模型综合了文件大小、文件并发访问时间、文件访问频度、结点的处理能力、带宽、结点的可用存储空间等因素进行负载均衡.试验结果表明,改进模型不仅实现了存储空间的负载均衡,而且使得同类文件的响应时间更一致.     

基于Hadoop的Apriori算法与实现

针对传统Aprion数据挖掘算法平台的硬件瓶颈以及算法运算耗时、需要重复扫描数据库等缺点,提出了一种基于Hadoop平台应用MapReduce模型与Hbase,对Apriori进行云端的迁移和优化的算法,并与其他的改进Apriori算法进行了分析与比较。实验结果表明:新的云端算法降低了时间复杂度,使其可以更好的进行数据处理。     

基于Hadoop的校园云存储系统的研究

针对海量数据的存储问题,传统方法一般是通过购置更多数量的服务器来提升计算和存储能力,存在硬件成本高,存储效率低等缺点。通过对Hadoop框架和MapReduce编程模型等云计算核心技术的分析和研究,提出了一种基于Hadoop框架的海量数据存储模型,并在此模型的基础上,设计并实现了基于Hadoop的校园云存储系统。经过实验验证,该系统有效地解决了在校园办公、教学和科研过程中遇到的海量数据存储管理问题,具有开发成本低、处理速度较快、运行稳定、易于扩展等特点。     

Hadoop云平台的入侵检测系统优化设计

通过分析当前云计算的安全现状以及云计算对信息安全领域带来的影响,结合Hadoop云平台特点,将apriori算法移植于hadoop云平台中并进行了改进优化,使之适用于云平台的入侵检测系统,能更有效提高云计算的安全性．实验结果表明：经过优化后Hadoop云平台入侵检测系统具有较好的检测效果,并且能够很好的保护Hadoop云集群中受攻击的云节点,对提高云计算平台的服务质量发挥重要作用．     

一种改进的基于粗糙集的云计算调度模型

针对调度分配效率不高的问题,提出了改进的基于粗糙集MapReduce的分配调度模型,该模型将MapReduce分配的线性处理改造成基于多处理器的模糊计算。描述了具体的实现算法和模型设计,在Hadoop平台上对该模型进行了实验分析。实验结果表明,在复杂云计算环境下,使用基于粗糙集的MapReduce的分配调度模型具有良好的执行效率和扩展性。     

一种基于云计算的网络流量分析系统结构

基于云计算平台Hadoop提出一种新的分布式网络流量分析系统结构。在关键监测点附近部署小型本地云,采集的流量发送到本地云进行存储和分析,本地云规模可根据监测点流量大小按需配置;分析结果传输到协调节点,存入关系数据库供查询;协调节点调度分析任务在各本地云上运行。新结构具有统一的并行处理编程框架,且能减小大量数据传输对被监测网络性能的影响。在小型云平台上用实际流量数据验证用Map-Reduce程序对分组进行统计分析的性能,相对于顺序程序处理,执行速度可提高90%以上,表明用小型云实现快速海量流量分析的方案是有效的。     

云计算及云存储的管理技术

给出了云计算的定义,提出了云计算的架构,描述了云计算的特点.以Google GFS云存储和数据管理技术(B igtab le)为例,系统地阐述了云存储与管理关键技术,并就云存储的安全问题进行了讨论.     

云计算虚拟化技术安全防护

以云计算虚拟化技术的安全为例,探讨云计算的安全挑战与防护策略。     

可信计算技术在云计算安全中的应用

安全问题是制约云计算发展的关键.分析了云计算环境下的安全需求,根据可信计算平台的关键部件TPM和可信网络连接,以及可信存储提供的功能,从认证、访问控制、数据安全、用户行为追踪、合规性支持、虚拟化安全支持,以及应急响应和法律监管支持等方面研究了可信计算技术对云计算安全的支持,以期为云计算的安全提供保障.     

云计算安全技术研究

云计算代表IT领域向集约化、规模化与专业化道路发展的趋势.当前,安全成为云计算领域亟待突破的重要问题,云计算的普及与应用将引发信息安全领域又一次重要的技术变革.本文分析了云计算的安全参考框架及该框架下的主要研究内容,对云计算中的关键技术进行了分析,为当前云计算发展提供技术上的参考.     

探析虚拟化技术在云计算中的应用

云计算是随着分布式、虚拟化和互联网等技术的发展而产生的,它将给IT产业的发展带来又一次变革。虚拟化技术是支撑云计算的重要基石,它打破了物理结构之间的壁垒,实现了IT资源的逻辑抽象和统一表示,在云计算平台、云存储和云网络的构建等方面发挥着重要的作用。     

基于云计算技术的文本可视化分析

从标签云、词树、短语网三个方面分析了中共十八大报告英文版文本的单个词特征、两个词特征、短语网特征,并给出文本的高频词和可视化图形及核心短语网。研究发现利用云技术可以达到高效、准确、快速、全面地反映文本重要的内容,揭示文本的结构和内容之间的关系,对深刻理解把握文本实质有重要的作用。     

基于云计算的云采购成本结构优势研究

将云计算运用到采购中,构建云采购平台,并且将云采购与传统采购模式进行成本比较.通过采购成本模型的建立与分析,认为云采购模式在成本上具有较大的优势.依托云安全技术,云采购在信息的传递准确率以及时间上有绝对的优势,同时云采购平台对虚拟资源的智能分配可使采购方删除大量无价值采购环节.最后通过算例对所提出的理论进行验证,表明云采购具有较大的优势,特别是对中小型企业,在面临自建企业信息平台时,云平台无疑是一个较好的选择.     

基于虚拟化技术的云计算平台架构研究

本文针对目前云计算技术的发展趋势,研究与分析了虚拟化技术和云计算模式.根据其自身的特点,提出了一种基于虚拟化技术(Hyper-v)的云计算平台都署方案.其平台具有一定的优越性,使虚拟化技术的特点在云计算平台中充分发挥.     

云计算技术下海量数据挖掘的实现机制

文章介绍了云计算技术下海量数据挖掘技术,结合实例,分析了云计算技术下海量数据挖掘的实现机制。     

云计算技术在导弹防御系统中的应用研究

为使云计算技术在导弹防御系统研制中更好的应用,基于现有的云计算理论与分布式中间件技术,采用构件化的建模方式,对将云计算技术应用到导弹防御系统中的方法进行了详细的研究与分析,提出了应用模型,讨论了云计算技术在导弹防御系统仿真中应用需要突破的关键技术,从而可以为大型仿真系统建设、装备研究、信息融合、战场态势分析、导弹目标识别以及辅助决策等方面提供更为有力的数据与计算支撑.