基于对象存储的Lustre文件系统的研究

随着高性能计算网络集群系统的高速发展，传统的网络存储架构——网络附加存储NAS和存储区域网SAN已越来越不能够满足系统对存储性能的要求。针对SAN和NAS的不足，新一代的网络存储技术——基于对象存储OBS成为了研究的热点。重点论述了基于对象存储的架构和特点，并针对基于对象存储的Luster文件系统进行了初步测试，通过和传统的NFS文件系统对比，分析了对象存储文件系统在可扩展性、性能、易用性和安全性等方面的优越性能。     

网络分布式文件系统NDFS的设计与实现

分布式文件系统能够有效地解决分布式系统中海量数据存储和I/O瓶颈问题,分布式文件系统是任何大规模分布式计算环境的重要组成部分,它的性能直接影响着整个分布式计算环境的执行效率.通过系统地研究分布式文件系统性能建模中的若干关键技术,在服务器Linux操作系统中加入一个新的文件系统模块,该模块采用存储虚拟化技术使Linux服务器上的应用软件可以透明的使用网络上的数据文件资源,并且对这些分布式的文件通过软件RAID方式实现了数据冗余,保证存储的可靠性,并通过并行存取提高I/O吞吐率.     

面向航空电子系统的网络文件系统设计

针对IMA的多个应用模块的文件共享问题,基于具有自主知识产权的机载多分区实时OS平台,提出了一种网络文件系统NFS的设计方案。文中采用网络文件锁,通过对文件的上锁和解锁,实现多个分区互斥访问文件;使用权限验证机制验证用户对文件的访问权限,用户通过验证后方可对文件执行相应的操作;日志文件保存整个NFS的运行情况,用于对NFS性能的分析。文中阐述了NFS客户端、服务器端的设计和网络封装格式,并给出了NFS运行的原理图。     

基于位图示法的NSFS文件系统设计

文件系统是操作系统进行数据存储的核心功能组件,它具有数据的存储和数据的管理功能。失去了文件系统的操作系统只能进行数据计算处理,而不能存储计算结果,所有重要的数据和信息在计算机断电的时候都会消失。可以说文件系统是现代操作系统不可分割的基本功能组件。在信息化高速发展的今天,嵌入式操作系统技术中的文件系统有着越来越重要的地位,航空领域的嵌入式操作系统必须提供一个方便易用高性能高可靠的文件系统。NSFS文件系统是基于位图示法设计的具有高可用性的文件系统。它的结构简洁,可以根据文件大小自适应地分配簇大小,空间浪费极小,具有良好的性能和很大的灵活性,并且具备较高的可靠性。     

Isilon推出X系列存储系统

Isilon近日推出了X系列存储系统，该系统在单一文件系统和单一卷内达到1．6PB容量和每秒10GB性能水平，相比传统的SAN和NAS存储系统，其扩展性提升了100倍，性能提升了20倍。     

Hadoop文件系统性能分析

随着网络技术的飞速发展,许多企业和团体通过数据存储服务提供商进行数据的存储、计算和交互.Hadoop是Apache基金会资助的开源项目,其文件系统HDFS具有的海量、高可扩展性、高可靠性、高性能等面向云计算领域应用的重要特征.文章通过在PC上安装HDFS,构建了分布式环境,通过实验证明THadoop文件系统在大数据量情...     

现代数据中心网络连接存储问题研究

根据开放系统连接方式的不同,外挂存储可分为DAS(直连式存储)、NAS(网络连接存储)和SAN(存储区域网络)。NAS能够通过LAN(局域网)提供文件级或对象级访问,利于多台计算机之间的信息共享,并简化相关的存储管理,因而在现代数据中心云存储系统中得到了广泛应用。文章介绍NAS的主要特征,分析NAS最早期、最著名的表现形式——NFS(网络文件系统)的典型结构、维护方式、系统构成,给出太阳微系统公司(Sun)网络文件系统的功能视图,最后说明VFS(虚拟文件系统)的工作原理。     

PTV流媒体分发和交付功能的实现

1 IPTV流媒体分发和交付的原理及需求 IPTV流媒体分发和交付原理的复杂性体现在建立大覆盖、大容量、高性能和高可靠的电信级流媒体分发和交付系统方面。对这种系统的开发实际上是对一个基于分布式计算的、针对流媒体业务的网络文件系统（NFS）的开发。这种开发远远超越了传统的内容分发网（CDN）的服务器互联的概念，具有重大的理论意义和技术意义。     

新型IP网络存储器性能比较

用实验方法比较NFS、iSCSI(存储设备)、基于iSCSI协议的OSD网络(OSDN)和CAS网络(CASN)的性能,并分析它们的性能瓶颈和优化方向.实验表明,它们的性能是接近的,不同存储操作的性能是不同的:iSCSI的读操作和CASN的写操作性能显著优于其他系统;CASN相对于OSDN的读写操作性能优势随数据传送长度增加而减小.     

基于HBase的分布式海量小型文件存储系统

随着互联网公司的业务不断发展,企业的大量数据以非结构化的形式存在,非结构化数据常常以小型文件为主,不仅体量大,而且分散性高,因此海量小型文件存储面临着存储性能和访问效率较低等问题。分布式小型文件存储系统是指在集群服务器的硬件存储资源环境下,对小型文件保存、读取和修改进行统一管理的系统。文章基于HBase实现了一个分布式小型文件存储系统,该文件系统有超强的处理海量小型文件的能力,同时有着良好的扩展性、容错性和稳定性,可以更好地支撑互联网企业的业务发展。     

Improvement Design for Distributed Real-Time Stream Processing Systems

In the era of Big Data, typical architecture of distributed real-time stream processing systems is the combination of Flume, Kafka, and Storm. As a kind of distributed message system, Kafka has the characteristics of horizontal scalability and high throughput, which is manly deployed in many areas in order to address the problem of speed mismatch between message producers and consumers. When using Kafka, we need to quickly receive data sent by producers. In addition, we need to send data to consumers quickly. Therefore, the performance of Kafka is of critical importance to the performance of the whole stream processing system. In this paper, we propose the improved design of real-time stream processing systems, and focus on improving the Kafka's data loading process. We use Kafka cat to transfer data from the source to Kafka topic directly, which can reduce the network transmission. We also utilize the memory file system to accelerate the process of data loading, which can address the bottleneck and performance problems caused by disk I/O. Extensive experiments are conducted to evaluate the performance, which show the superiority of our improved design.     

Solaris2.X操作系统上NFS的环境配置

本文描述了Ｓｏｌａｒｉｓ２．Ｘ操作系统上网络文件系统ＮＦＳ的特性及其环境配置，介绍了如何建立了ＮＦＳ服务器和ＮＦＳ客户机，从而实现了远程文件系统资源共享。     

基于分布式应用和速率控制的稳态性能分析

本文分析了一类分布式多点到多点的应用在端系统存在瓶颈条件下的稳态性能和相应的速率控制;研究了吞吐量唯一性和公平性的条件;给出了端系统容量与应用数目之间的折衷关系;并提出了一种速率控制方法,用以解决有些应用不能实现的唯一解问题,并提高系统的可控性、可扩展性;最后给出了在视频会议中的应用。     

分布式文件系统Lustre的研究

随着高性能技术的不断发展,传统存储系统在可扩展性、可用性和性能上已不再满足高性能计算的I／O要求,分布式文件系统Lustre可以有效地解决这些问题。探讨了分布式文件系统和Lustre体系结构,通过实验在普通PC机群上搭建了Lustre文件系统,并对机群I／O性能进行了测试。     

Increasing network throughput by integrating protocol layers

Integrating protocol data manipulations is a strategy for increasing the throughput of network protocols. The idea is to combine a series of protocol layers into a pipeline so as to access message data more efficiently. This paper introduces a widely-applicable technique for integrating protocols. This technique not only improves performance, but also preserves the modularity of protocol layers by automatically integrating independently expressed protocols. The paper also describes a prototype integration tool, and studies the performance limits and scalability of protocol integration     

基于XML—RPC的海量存储管理系统的设计与实现

海量存储系统是由管理节点、数据节点通过高速交换网络互联形成的分布式存储系统。它支持CIFS、NFS、WebDAV等多种访问协议,具有高性能、高可用、高扩展等特性,是设计和实现管理系统时面临的挑战。为了实现基于Web的管理系统,针对该系统的分布式结构和丰富特性,本文提出了基于AJAX和XML—RPC技术的海量存储管理系统架构,并描述了其管理系统的主要组成部分和工作过程。     

科学数据环境下基于域的存储网格模型

结合网格技术和存储技术,提出了基于域的存储网格模型。在域模型架构下,深入分析了结点命名、路由等问题,重点探讨了元数据目录服务、数据处理、数据容错等关键技术,最后还对性能进行了分析和评价。该模型广泛利用广域网上分散低廉的存储资源,具有高可扩展性、高可靠性、高效性等特点。     

Real-time 16K video coding on a GPU with complexity scalable BPC-PaCo

The advent of new technologies such as high dynamic range or 8K screens has enhanced the quality of digital images but it has also increased the codecs’ computational demands to process such data. This paper presents a video codec that, while providing the same coding features and performance as those of JPEG2000, can process 16K video in real time using a consumer-grade GPU. This high throughput is achieved with a technique that introduces complexity scalability to a bitplane coding engine, which is the most computationally complex stage of the coding pipeline. The resulting codec can trade throughput for coding performance depending on the user’s needs. Experimental results suggest that our method can double the throughput achieved by CPU implementations of the recently approved High-Throughput JPEG2000 and by hardwired implementations of HEVC in a GPU.     

VM中Fedora8系统下NFS的安装与配置研究

Linux操作系统下,文件的共享可以用NFS实现,NFS可以设置允许指定的客户端或指定的网段访问服务器。虚拟机VM中,安装Fedora8操作系统,其中一台配置成NFS服务器,另一台配置成客户端,实现在客户端访问NFS服务器中共享的文件。