基于Hadoop的课程云平台设计与实现

随着信息化教学的推进,高校在信息化教学的发展和进步,已积累大量课程资源和课程数据,如何在这些课程资源数据进行有效存储管理,并在此基础上挖掘出有意义的数据,对课程资源进行关联归类,形成课程体系智慧学习,成为目前高校课程大数据的主要研究对象。文章以高校计算机类课程为基础,搭建Hadoop集群环境,研究基于Hadoop平台的课程云平台,为高校课程信息化建设提供方案。     

基于Hadoop技术的云存储平台的构建

随着企业用户所需存储的临时文件数量不断增加,目前所有的文件存储设备已经没有办法满足企业业务的需求。针对这个问题,笔者提出了以Hadoop技术为基础,构建企业云存储平台的概念,并通过Linex集群技术与云计算框架等技术来最终完成大量数据的存储。云存储平台主要适合应用在关键业务中以及企业事务的在案处理。云存储平台能够满足企业随着业务增长而不断变化的需求,数据规模更加容易扩展。     

基于Hadoop架构可信云平台评估与预警机制研究

针对基于Hadoop架构云平台客户端接入服务中行为的不可靠性问题,设计了云平台中安全管理模块,包括身份认证模块、行为监控模块、风险评估模块和系统预警模块四个模块,可以有效防止群体拒绝服务攻击,提高云安全平台的服务质量。     

Hadoop云平台下的并行化图像处理实现

近年来,云计算在IT行业掀起了新一轮技术革新浪潮。云计算是一种新兴的计算模型,它是并行计算、分布式计算、网格计算的综合发展,以简单、透明服务的形式提供无限制的计算资源。Hadoop实现的开源云平台提供了并行计算模型MapReduce、分布式文件系统HDFS和分布式数据库HBase等。随着数字图像数据量不断增长,单机模式的图像处理已逐渐不能满足用户需求。文中提出了利用Hadoop云平台实现海量图像的并行     

基于Hadoop架构云平台的动态行为信任评估方法

针对Hadoop架构云平台不能验证"合法"用户的行为是否可靠的问题,文章提出了基于Bayes均值信任模型和动态行为信任链,用于计算每个客户端的信任值,使得信任值满足阈值的用户获得相应服务资源。该方案能够防止合法客户端受到"被动"的拒绝服务攻击,提高了客户端获取服务资源的公平性,同时有效防止恶意节点的协同欺骗。     

基于云平台的MPI研究与应用

为满足信息化处理需求的增长,提出MPI在云计算领域的应用研究。文章在介绍了云计算的优势、MPI概念的基础上,将MPI并行程序与并行机群系统及云计算平台整合在一起,借助Hadoop框架,充分利用MapReduce模式来实现并行化云计算对应的MPI算法。研究结果分析表明,该算法是可行的,可有效提高MPI并行处理的性能。     

基于Hadoop的视频转码云平台技术研究

本文针对目前视频共享过程中的关键环节,提出了利用Hadoop平台的相关技术改良视频转码环节,提高转码质量与效率.本文分别对两种现有的公共的云服务平台进行介绍,并对涉及的相关技术进行了详细阐述.根据不同的转码要求,可以选择现有的云平台搭建Hadoop框架去解决问题,降低技术门槛,提高服务质量.     

基于Hadoop云平台的文本安全检测模型研究

随着因特网普及和信息技术广泛应用,网络上大量的色情、暴力、反动等不良信息的入侵。对于不良信息的检测和传播控制显得越来越重要,关系到国家安全和社会稳定。单机模式的不良信息的甄别与检测已不能满足社会的需求,Hadoop云平台作为能够对大量数据进行分布式处理的软件框架,提供了MapReduce,、分布式文件系统HDFS有助于文本安全检测的并行化处理。为此文中提出一种基于Hadoop云平台,可以通过句式结构的判别上下文逻辑的关联性对不良信息的并行检测的模型,减少了检测时间,提高了检测效率。     

基于Hadoop的分布式日志分析系统设计与实现

网络日志解析是确保监控系统稳定运行和检测故障的重要任务之一。然而,日志文件的数据量庞大,数据格式也相对复杂,难以手动处理。在此背景下,对基于Hadoop分布式计算框架的网络日志分析系统的设计和实现进行了研究,通过将数据分解成块,并通过多台计算机并行处理数据块来提高数据处理速度和效率。系统使用了Hadoop的MapReduce编程模型来实现网络日志数据的解析和处理。实验结果表明,相比传统方法,该系统具有更高的数据处理速度和可伸缩性,证明其有效性和实用性。     

云平台上AVS视频转码系统的设计与实现

随着网络与宽带技术的飞速发展,数字视频呈现出海量化与多样化的特征.AVS作为我国自主音视频标准,编码效率优于同期国际标准,在保证图像质量的同时,便于视频数据的存储与传输.为了将数字视频进行高效的AVS转码,提出并实现了一种云平台上的AVS转码系统,该系统采用音视频分离方法将其他格式视频文件快速转码成AVS格式,并避免了转码文件中音视频内容间不同步问题,实验结果证明了方案的有效性.     

基于云计算的水文数据共享平台的应用研究

水文数据是研究水问题重要的基础信息,是我国重要的基础性科学数据资源之一。研究云计算现有的特点,结合水文数据规模庞大、分布地域广泛等特点,分析开源性云平台Ha-doop中分布式文件系统HDFS、计算模型Map/Reduce、数据仓库Hive技术,设计基于Hadoop的水文云平台,并解决平台实现过程中服务器虚拟化、大规模异构水文数据存储以及元数据管理等关键性问题。最终使得平台具有安全可靠、易维护和良好的可扩展性的特点。     

Offiine traffic analysis system based on Hadoop

Offiine network traffic analysis is very important for an in-depth study upon the understanding of network conditions and characteristics, such as user behavior and abnormal traffic. With the rapid growth of the amount of information on the Intemet, the traditional stand-alone analysis tools face great challenges in storage capacity and computing efficiency, but which is the advantages for Hadoop cluster. In this paper, we designed an offiine traffic analysis system based on Hadoop （OTASH）, and proposed a MapReduce-based algorithm for TopN user statistics. In addition, we studied the computing performance and failure tolerance in OTASH. From the experiments we drew the conclusion that OTASH is suitable for handling large amounts of flow data, and are competent to calculate in the case of single node failure.     

基于Hadoop的分布式哈希算法实现

互联网的发展使得计算密集型的任务正在逐渐走向分布式和云计算。文中对Hadoop项目中的MapReduce和HDFS进行了研究,采用HDFS作为底层分布式文件系统,MapReduce作为编程框架来实现哈希算法。通过对多个节点中的测试结果的分析表明,在Hadoop上运行哈希函数的任务,能够起到在多台计算机的群集中分摊负载的效果,并且有效地减少了任务的总时间开销。以Hadoop为基础的云计算平台具有良好的可靠性和可扩展性,对于哈希算法在Hadoop平台上的实现和测试,为将来密钥恢复等系统的研究和搭建提供了良好的基础。     

基于云计算平台的鉴权分析

国内云计算平台以系统内部认证和授权作为主要的鉴权方式。在研究国外开源的云平台项目的鉴权方式基础上,分析了云计算平台的认证管理和授权服务过程,实现了鉴权模块的集成,云计算平台在调用服务时通过鉴权模块的统一认证和授权,可以达到权限和资源的有效管理。试验结果表明,此模块的集成可以应用到云计算平台中。     

基于Hadoop的云计算平台安全机制研究

Hadoop作为一种开源的基础云计算框架,在企业界逐步得到了有效的应用,但其安全机制的薄弱已成为阻碍其发展的主要问题之一。文中首先归纳了传统网络的安全问题以及安全机制,分析了云计算的安全问题,然后通过对Hadoop工作模式的描述,提出了Hadoop的安全需求,最后通过对Hadoop当前安全机制的研究,分析了其中的安全隐患,并提出了相应的解决办法,为Hadoop新安全需求的企业应用提供了技术支持。     

基于Hadoop的海量电信数据云计算平台研究

传统的数据分析方法面对海量电信数据存在管理和分析难的问题.Hadoop是一个可实现大规模分布式计算的开源框架,具有高效、可靠、可伸缩的优点,被广泛应用于云计算领域.本文在对云计算和Hadoop进行分析和研究的基础上,提出了一种针对海量电信数据的分布式云计算方法,建立了基于Hadoop的海量电信数据云计算平台.实验证明,该平台能够有效完成海量数据的管理和分析任务,提高海量数据分析的速度和效率.     

Hadoop cloud platform user dynamic access control model

In order to solve the problem that Hadoop cloud platform could not dynamically control user access request,a Hadoop cloud dynamic access control model based on user behavior assessment (DACUBA) was proposed.The model first collected the user instruction sequence in real time and the user behavior contour was obtained by parallel command sequence learning (PCSL).Then the global K model was established by using the forward profile,the subsequent sequence was classified and the classification results were evaluated.The evaluation results were combined with the improved Hadoop access control mechanism to make the cloud platform users’ access rights change dynamically with their own behaviors.Experimental results demonstrate that the model algorithm is effective and the dynamic access control mechanism is feasible.     

基于云计算的中间件技术研究

首先分析总结了云计算和中间件的特点以及两者结合的必要性和可行性,明确了中间件在云计算应用中的核心地位。并在此基础上提出了云计算中间件平台的架构,接着分析了该架构中各层的功能。最后重点讨论了云计算中间件的四种功能:管理虚拟资源池、动态调度虚拟资源、支持分布式存储和分布式数据库。