大数据场景下基于HDFS的云存储服务系统设计

本文通过构建大数据场景下基于HDFS的云存储服务系统,能够有效地存储海量数据,实现用户的文件数据进行分布式存储,并达到降低分布式文件系统成本的目的。     

基于数据挖掘技术的智能图书馆云检索系统设计

针对当前图书馆云检索系统未能较多关注用户需求,检索效率低的问题,以数据挖掘技术为核心,以分布式开源框架Hadoop为支撑,提出一种基于数据挖掘技术的智能图书馆云检索系统。首先集成Hive,HDFS,MapReduce,Hadoop组件对智能图书馆云检索系统的硬件部分进行设计。Hive主要用于图书馆书籍资源关键词的存储与分析;MapReduce主要用于图书馆书籍资源实际统计分析计算;HDFS主要用于相关操作数据的存储;而Hadoop主要用于存储设备的相关管理。然后在系统架构下,确定了系统的实现流程以及图书馆资源在分布式环境下的检索机制。通过多组实验数据测试系统性能,并与其他同类检索系统相比较,所设计系统检索效率有明显提升,且随着数据量的增加,提升效率会更加明显。     

基于Kademlia的云存储系统数据冗余方案研究

云存储是分布式存储技术与虚拟化技术结合的产物,是分布式存储技术的最新发展。云存储意味着存储可以作为一种服务,通过互联网提供给用户。相对于当前各种C/S计算模式的GFS、HDFS、Sector等云存储文件系统,提出了一种基于对等计算模式的云存储文件系统通用模型,并采用Kademlia算法构建了原型系统MingCloud。主要进行了存储系统冗余方案的选择与设计,实验中采用Cauchy Codes作为编码算法,分别从K桶大小对系统可用性影响、文件分块数量对系统可用性的影响、相同的冗余度下系统可用性比较等方面对系统进行了评估。与完全副本冗余模式相比,纠删码冗余模式能获得较理想的系统可用性,更适合应用于提议的对等云存储系统。     

基于云平台的海量数字图像数据挖掘探讨

本文借助云平台Hadoop的分布式文件系统(HDFS)和分布式并行计算框架(Map Reduce),来进行海量数字图像的数据挖掘。构建了基于Hadoop云平台的海量数字图像数据挖掘系统,实现海量数字图像信息数据挖掘。     

基于HDFS的云存储服务系统的实现

本文通过实现大数据场景下基于HDFS的云存储服务系统,以缓解甚至解决目前海量数据快速增长造成的现有存储容量和技术：网络带宽能力等面临的挑战。     

一种对等结构的云存储系统研究

相对于当前各种主从(Master/Slave)结构的GFS,HDFS,Sector等云存储系统,提出了一种对等结构的云存储系统MingCloud,并采用Kademlia算法构建了原型系统.MingCloud能提供数据存储、读取、删除、搜索等云存储服务功能,并能保证系统中数据的安全性与可靠性.仿真实验结果表明,MingC...     

基于安全等级的云存储信息安全保障架构设计

为了迎合实现云存储信息资源的数字化发展,并对云存储服务商改进存储服务提供合理建议,文中为云存储信息构建了可靠的安全保障架构,以此实现对云存储信息安全架构及部署模式的全面部署。对学术信息资源进行安全等级分类可将其分成一般、较高、很高共三个级别,随着安全等级的提升,云存储所需的成本也会随之提高。用户先由客户端登录到云存储信息系统中,完成安全访问授权后,用户再把学术信息资源上传到学术资源信息系统,再利用系统的内容安全模块来分析学术信息资源的内容安全。进一步对云存储信息的应用安全保障,虚拟化安全保障,数据安全保障和内容安全保障四个方面开展了深入探讨。     

支持文件重删的HDFS分布式备份系统研究

随着传统行业电子化的速度日渐加快,电脑上的数据量与日俱增,数据备份领域面临的挑战也越来越大.传统备份因为需要大量的磁盘阵列作为存储介质,所以在成本控制上一直是个难题.针对该情况,结合云存储平台低廉的成本、高效的资源伸缩与利用率,研究在HDFS系统中加入新的重复数据删除技术,并对原有备份策略进行优化,设计出一种基于云存储中的重复数据删除技术的备份系统.最后通过实验,对改进后的方案系统与传统备份方案备份文件所占空间、时间等参数进行了对比.     

云存储环境下基于HDFS的海量小文件装箱算法

基于HDFS的云存储系统在当前得到了广泛的应用,然而它存在小文件存储效率不理想的问题。针对该问题,提出了一种基于HDFS的海量小文件装箱算法TPSF。该算法综合考虑上传文件的大小和缓存时间两个指标,设计了基于动态权值的装箱策略。原型实现和性能评价表明,TPSF算法是可行和有效的,能够显著降低HDFS名称节点和数据节点的存储开销。     

基于HDFS的网络教学资源归并云存储模型研究

随着云计算时代的到来,远程教育作为现代教育技术的重要手段,在教育教学中起着越来越重要的作用.但是网络教学资源的重复建设、缺乏共享等问题遏制了其发展,所以需要一种高效的存储技术对资源实行统一管理.本文分析了基于HDFS的云存储模型,并在此基础上搭建了一个基于云存储技术的网络教学资源整合模型,期望能够克服现行存储方式存在的不足,解决海量教学数据在存储当中存在的问题,并且能够更好地提高存储效率.     

HDFS一致性管理的研究

HDFS是开源云计算项目Hadoop的存储系统,具有良好的容错性和扩展性,但是HDFS原有的一致性模型不能适用于实时性要求高,数据完整性要求不严格的任务。为了让HDFS能够满足云存储不同应用场景,在已有HDFS的总体架构和读写流程基础上,从数据一致性的角度剖析HDFS的局限和不足,提出解决方案,把NWR模型引入HDFS当中,并且将文件系统的读写锁机制改进为多粒度的锁机制。实验结果证明：通过以上措施,使用户可以根据自身需要配置云存储系统,平衡一致性和可用性。     

Hadoop云平台下的并行化图像处理实现

近年来,云计算在IT行业掀起了新一轮技术革新浪潮。云计算是一种新兴的计算模型,它是并行计算、分布式计算、网格计算的综合发展,以简单、透明服务的形式提供无限制的计算资源。Hadoop实现的开源云平台提供了并行计算模型MapReduce、分布式文件系统HDFS和分布式数据库HBase等。随着数字图像数据量不断增长,单机模式的图像处理已逐渐不能满足用户需求。文中提出了利用Hadoop云平台实现海量图像的并行     

训练数据中心物理资源整合技术研究

目前,部队军事训练具有数据来源多、数据量大和可靠性要求高等特点,对训练数据中心的物理资源使用效率提出了更高要求。针对训练数据中心目前物理资源使用效率有待提高的情况,对可用于整合物理资源的一些方法进行了介绍,在此基础上提出了基于云技术的服务器资源整合、存储设备资源整合及网络设备资源整合,为各业务系统提供统一的云平台、云数据库和开放式存储等服务,提高了训练数据中心的物理资源使用效率,降低了系统的运维成本。     

基于云计算和物联网的数字校园的研究与设计

针对目前数字化校园建设的现状以及存在的问题,充分利用云计算和物联网的优势,提出了一种基于云计算和物联网的数字化校园方案。在本方案中提出了网络和设备透明、有线与无线互联、教师与学生互通、管理与服务一体化的现代数字化校园建设。论文对数字校园系统模型进行了设计,以及详细介绍了云计算和物联网在数字化校园建设中的应用。     

Load-Balancing Based Cross-Layer Elastic Resource Allocation in Mobile Cloud

The paper proposes a hybrid mobile cloud computing system, in which mobile applications can use different resources or services in local cloud and remote public cloud such as computation, storage and bandwidth. The cross-layer load-balancing based mobile cloud resource allocation optimization is proposed. The proposed approach augments local cloud service pools with public cloud to increase the probability of meeting the service level agreements. Our problem is divided by public cloud service allocation and local cloud service allocation, which is achieved by public cloud supplier, local cloud agent and the mobile user. The system status information is used in the hybrid mobile cloud computing system such as the preferences of mobile applications, energy, server load in cloud datacenter to improve resource utilization and quality of experience of mobile user. Therefore, the system status of hybrid mobile cloud is monitored continuously. The mathematical model of the system and optimization problem is given. The system design of load-balancing based cross-layer mobile cloud resource allocation is also proposed. Through extensive experiments, this paper evaluates our algorithm and other approaches from the literature under different conditions. The results of the experiments show a performance improvement when compared to the approaches from the literature.

     

Stochastic algorithm for HDFS data theft detection based on MapReduce

To address the problems of big data efficient analysis and insider theft detection in the data theft detection of distributed cloud computing storage,taking HDFS (hadoop distributed file system) as a case study,a stochastic algorithm for HDFS data theft detection based on MapReduce was proposed.By analyzing the MAC timestamp features of HDFS generated by folder replication,the replication behavior’s detection and measurement method was established to detect all data theft modes including insider theft.The data set which is suitable for MapReduce task partition and maintains the HDFS hierarchy was designed to achieve efficient analysis of large-volume timestamps.The experimental results show that the missed rate and the number of mislabeled folders could be kept at a low level by adopting segment detection strategy.The algorithm was proved to be efficient and had good scalability under the MapReduce framework.     

虚拟化技术在广电云资源池中的应用

为实现区域广电数据中心内各运营支撑应用系统的资源整合与共享,在分析研究了数据中心当前面临的主要问题和痛点后,提出了一种基于虚拟化技术对原有应用系统进行升级改造,以建成广电云资源池的部署方案。通过采用服务器虚拟化、存储虚拟化、安全防护虚拟化及业务编排控制等技术手段,有效提高了资源利用率、业务连续性及存储系统性能,降低了空间能耗,实现了高效运维管理与虚拟化安全防护。为广电云资源池的部署实施提供了一定的经验参考。