基于HDFS的远程教育课件资源管理

首先介绍了当前远程教育课件资源管理及其存在的不足,分析了HDFS的存储机制和特点及数据安全保护策略,给出了采用HDFS文件系统进行远程课件资源管理的实现方案,并指出将HDFS用于远程课件资源管理的优势。     

ZFS在基于HDFS的近线存储系统中性能分析与实现

通过将云计算技术应用于近线存储领域,设计实现了基于Hadoop分布式文件系统(Hadoop distributed file system,HDFS)的海量近线存储系统,用以扩展TH-1A超级计算机在线存储系统空间,提高系统利用率.该系统采用胖存储节点(大型的存储服务器)构建基于HDFS的近线存储集群,通过ZFS文件系统来解决HDFS存在的低效和空间利用率低的问题,采用双副本冗余、虚拟存储、动态管理等方法优化存储服务器存储和管理效率,提高了近线存储系统性能.实验结果表明,与传统HDFS集群存储系统相比,该系统在可靠性、经济性及灵活性上均具有一定的优势.     

HADOOP分布式文件系统(HDFS)的应用

HDFS系统操作简单、使用方便、成本低廉、存储灵活、可靠性高,支持超大文件,具有可扩展性等优势,是Hadoop常用的一个最主要的分布式文件存储系统,基于数据模式访问和处理超大文件需求而开发,为超大数据集的应用处理带来便利.下文就对Hadoop分布式文件系统(HDFS)的应用方面进行简单的介绍.     

基于磁光虚拟存储系统的文件调度算法

基于光盘库的Hadoop分布式文件系统（HDFS光盘库）在单位存储成本、数据安全性、使用寿命等方面非常符合当前大数据存储要求，但是HDFS不适合存储大量小文件和实时数据读取。为了使HDFS光盘库能更好地运用到更多大数据存储场景，本文提出一种更加适合大数据存储的磁光虚拟存储系统（MOVS, Magneto-optical Virtual Storage System）。系统在HDFS光盘库与用户之间加入磁盘缓存，并在磁盘缓存内通过文件标签分类、虚拟存储、小文件合并等技术将磁盘缓存内小文件合并为适合HDFS光盘库存储的大文件，提高系统的数据传输速度。系统还使用了文件预取、缓存替换等文件调度算法对磁盘缓存内文件进行动态更新，减少用户访问HDFS光盘库次数。实验结果表明，MOVS相对HDFS光盘库在响应时间和数据传输速度方面得到很大改善。     

HDFS可视化管理系统设计与实现

Hadoop工具核心模块包括分布式文件系统(Hadoop Distributed File System,HDFS)和分布式编程模型Map Reduce,其中HDFS是Hadoop数据存储处理的核心模块,但目前缺乏有效的HDFS可视化管理工具,因此设计实现了一套可视化管理工具,该工具基于Java Swing组件开发。以此工具为基础,搭建了一套基于Hadoop的海量遥感数据云存储系统。实验表明,该系统界面友好,易于部署,可以很好地支持HDFS可视化管理。     

基于Hadoop的云存储技术在档案馆的应用研究

随着大数据和云计算的应用,传统档案馆的信息储存方式已无法适应大数据时代的新要求。笔者基于Hadoop平台介绍了HDFS分布式文件系统和Map-Reduce计算框架,探索了基于Hadoop的档案馆云存储构架,并结合其优势以及档案馆提供的不同类型服务,讨论了其在档案馆应用中的优势和未来的发展趋势。     

基于Hadoop分布式文件系统的分析与研究

通过对HDFS(Hadoop的一个分布式文件系统)以及Map/Reduce数据驱编程模型和HBase分布式的、列存储数据库和Hive分布式数据仓库的分析.可以得到Hadoop的优势在于能以批处理模式处理PB级以上的数据集,适合做离线的数据分析,不适合实时响应需求,如股票系统.客户端是打包成JAR文件形式,运行于Hadoop命令行界面,可以定制执行策略,当数据到来的时候运行Map/Reduce程序,可以手动执行也可以定时执行.可以用Map/Reduce作为BI等海量数据分析平台的分布式数据处理引擎,HDFS作为底层存储文件系统.     

Hadoop云平台实现移动通信信令监测和查询

Hadoop云平台技术可以帮助人们完成通信信令的存储和查询,将通信信令进行解码并生成通话详细记录(CDR),存储在Hadoop的HDFS系统中进行数据的处理.为了提高查询速度,可将CDR建立查询索引并存储在HBase中.同时为了防止单结点失效,并处理好负载平衡,采用ZooKeep来管理整个集群.     

基于Hadoop的云存储的研究及实现

首先描述了云计算、云存储的概念、云计算的体系结构及云存储的架构模式;然后介绍了Hadoop工作原理及其文件存储的方法;最后基于eyeOS的Web操作系统,对传统的文件存储方法进行改进,采用Hadoop的HDFS技术实现文件的分布式存储及容错控制。     

基于HDFS的创新知识云平台存储架构的研究与设计

针对现有存储结构无法满足海量创新知识带来的存储及服务需求的问题,提出一种改进的HDFS(Hadoop Distributed File System)分布式存储系统并应用到创新知识云平台。首先引入包文件及分布式索引服务,改进HDFS小文件存储的效率问题,然后通过优化HDFS的命名空间备份及故障恢复服务,实现可用性更强、资源利用率更高的HDFS高可用架构。通过系统的设计和实现证明优化工作大大降低了命名节点的内存压力,提高了集群的可用性,并且改进的HDFS存储系统可以满足创新知识云平台的存储需求。     

基于Web的教学流媒体视频点播系统

介绍了ASP技术和流媒体技术的相关知识以及Helix Server服务器的特点,阐述了在Windows平台上设计和实现教学视频点播系统的思路和方案,并指出了开发的重点和难点.本文还涉及到了ASP中相关组件的使用,数据库的设计和Helix Server服务器的安装配置.     

Dynamic Buffer Management for Near Video-On-Demand Systems

Advances in networking and storage technology have made it possible to deliver on-demand services over networks such as the emerging video-on-demand (VOD) applications. A variety of studies have been focused on designing a video server suitable for VOD applications. However, the number of concurrent on-demand services supported by the server is often limited by the I/O bandwidth of the storage systems. This paper describes a discrete buffer sharing model which uses batching and buffer sharing techniques in video servers to support a large number of VOD services. Two operations, splitting and merging, enable the model to fully utilize system resources such as buffers and disk bandwidths. Moreover, this paper also introduces the concept of imprecise video viewing which assumes that a limited amount of quality loss is acceptable during video playback. Based upon this assumption, three shrinking strategies are explored to reduce buffer requirements. Finally, the results of experiments show that our methods perform better than traditional buffer management techniques for VOD systems.     

一种基于云存储的VOD系统

针对VOD视频点播系统在高并发网络访问情况下的I/O瓶颈、网络拥塞等问题,提出一种基于云存储的解决方案。在VOD现有架构的基础上,采用云存储和CDN网络提供存储和访问服务,提高了系统的高并发访问负载能力。同时针对VOD视频转码模块提出一种基于FFMPEG的整体解决方案,能在实际应用中有效降低技术难度和开发成本,对VOD系统的优化和提升具有实际意义和应用价值。     

分布式大型视频点播系统的设计

提出了一种大型视频点播系统的设计方案。改进网络架构、优化节目存储、实现视频服务器的负载平衡，设计了一个合理的大型视频点播系统。     

基于JSP的教育视频点播系统的设计与实现

介绍了何为视频点播系统(VOD)、教育视频点播系统(EVOD),分析了视频点播系统在教育领域内应用的现状及发展前景;论述了JSP、SMIL、XML的优势,如何利用其构建教育视频点播系统。并以国内外4个典型的视频点播系统为例,具体介绍了现有教育视频点播系统的发展状况及存在问题。提出了一种旨在解决这些问题的教育视频点播解决方案,并应用该思想开发出了EVOD系统原型。     

应用Hadoop提升数据库审计系统检索性能的研究

鉴于单节点数据库审计系统检索性能低下的现状,探讨应用Hadoop伪分布模式和HBase列存储模型重构数据库审计系统的检索存储体系,重点研究HDFS存储机制、MapReduce运算框架和HBase数据模型三者的集成,以提升数据库审计系统实时检索和综合分析的性能.重构方案有效提升了检索性能,但鉴于数据的高可靠性和大体积,提出结合生产现状应用Hadoop和HBase分布式集群的展望.     

基于Web的VOD视频点播系统的构建

VOD是以"用户自主"为基础的交互式多媒体视频点播系统,通过给出一个视频点播系统的具体构建方案,详细介绍了VOD视频点播/直播系统的各模块功能及实现技术.     

基于ASP.NET的教学视频点播系统

综合分析了应用ASP.NET技术、流媒体技术和数据库技术,搭建适于教学的在线视频点播系统的思路和方法.介绍了ASP.NET技术和流媒体技术在应用过程中的特点和优势,并指出了开发技术上的重点和难点.涉及到了ASP.NET中相关控件的使用以及流媒体服务器的配置等.     

基于对象存储的VOD系统研究

存储I/O能力一直是制约VOD系统性能的主要瓶颈之一,和以往的分析不同,本文根据VOD系统的存储特点,从全新的视角提出一种解决方案——基于对象存储的VOD系统(OS-VOD),文章分析了OS-VOD的系统结构和工作流程,并简要评述该系统性能,指出该系统对今后建设超大规模VOD系统具有重要的参考作用。     

企业网络视频点播系统设计研究

介绍了视频点播系统的基本概念,分析了一般的企业ＶＯＤ系统的应用需求,讨论了网络视 若干关键技术问题。