Clock synchronization for distributed media applications

Current video wall technology relies on custom processing hardware to drive the individual display channels. This hardware is both expensive to design and to maintain. Given that modern off‐the‐shelf computers have a significant amount of computing power, future video displays can be driven with this hardware at a lower cost. By using mass‐produced computers and a standard commercial operating system, the benefits of economies of scale can be brought to the custom video wall market. This paper describes a Windows library that provides the synchronized timing support necessary to drive a video wall with consumer hardware. The goal is to provide a key building block for the media software that will process the incoming video stream. This library exports several interfaces to the host software and provides support for synchronized timers, a synchronized clock, and reliable multicast messaging. The library uses common Windows APIs and protocols for maximum interoperability and portability. Through empirical testing, we are able to show that synchronization between any two machines in the system can be maintained to within 12 ms when run on Windows XP SP2. This synchronization is also shown to be consistent even when there is a heavy load on the processor. As a result, this library will successfully allow a commercial video wall to be driven from media software running on consumer hardware and software. Copyright © 2007 John Wiley & Sons, Ltd.     

QoS-based evaluation of file systems and distributed system services for continuous media provisioning

This paper presents a QoS-based performance analysis of file systems and distributed object services for Continuous Media (CM) provisioning, as well as the details and implementation experiences of a continuous media file system and associated CM servers. For this we have implemented QoS-driven CM servers and the Presto continuous media file system (PFS) in the context of a distributed multimedia application development environment, and validate the performance of PFS against that of the conventional Unix file system through an experimental evaluation. Using our CM server prototype, we next examine the effect of continuous media data delivery on the three different kinds of network protocols such as CORBA, UDP/IP, and TCP/IP, with respect to QoS provisioning and throughput.     

Efficient striping techniques for variable bit rate continuous media file servers

The performance of striped disk arrays is governed by two parameters: the stripe unit size and the degree of striping. In this paper, we describe techniques for determining the stripe unit size and degree of striping for disk arrays storing variable bit rate continuous media data. We present an analytical model to determine the optimal stripe unit size in redundant and non-redundant disk arrays. We then use the model to study the effect of various system parameters on the optimal stripe unit size. To determine the degree of striping, we first demonstrate that striping a continuous media stream across all disks in the array causes the number of clients supported to increase sub-linearly with increase in the number of disks. To overcome this limitation, we propose a technique that partitions a disk array and stripes each media stream across a single partition. We then propose an analytical model to determine the optimal partition size and maximize the number of clients supported by the array.     

面向大数据分布式存储的动态负载均衡算法

随着大数据时代的到来,分布式存储技术应运而生。目前主流大数据技术Hadoop的HDFS分布式存储系统的元数据存储架构上一直存在可扩展性差和写延迟高等问题,其在官方2.0版本中针对可扩展性的解决方案(Fe-deration)仍不完美,仅解决了原有HDFS扩展性的问题,在元数据分配的问题上没有考虑NameNode的异构性能差异,也未解决NameNode集群动态负载均衡的问题。针对该情况,提出了一种动态负载均衡的分布NameNode算法,通过元数据多副本异构节点的动态适应性备份,使元数据在考虑节点性能及负载的情况下实现了动态分布,保证了元数据服务器集群的性能;同时结合缓存策略及自动恢复机制,提高了元数据的读写性及可用性。该算法在试验验证中达到了较为理想的效果。     

高性能高适应性分布式文件服务器研究与实现

随着计算机网络技术的发展以及Internet技术广泛应用,分布式技术及分布式系统应运而生.但不管是传统分布式文件系统还是面向Internet的分布式文件系统,它们在可靠性、扩展性、易用性及性能等诸多方面都很难做到兼得.研究的目标就是面向分布式计算环境下的文件存储系统,分析当前文件服务器领域的现状及不足,研究构造一个高性能、高适应性的分布式文件服务器系统所涉及到的理论和技术问题.提出了基于虚拟机的分布式文件服务器Cache系统的设计思想,并给出了详细的设计方案;将Adapter的设计思想用于文件传输协议模块的设计,使文件服务器的网络环境适应能力以及客户需求的适应能力得到加强.     

大规模层次化视频点播存储系统的设计与管理

近来计算机和通信技术的发展使得视频点播（video-on-demand,简称VOD)在技术和经济上成为可能.连续媒体的特性使得VOD系统需要大规模的存储服务器.层次化存储体系是减少系统费用的合理方案.文章提出了一种层次化的存储模型和磁盘cache的概念.根据这个模型,提出了基于访问频率的替换算法,并对算法的有效性进行了模拟和分析.结果表明,这种算法解决了LFU(least frequently used)算法中的“cache污染”（cache pollution）问题,能较好地适用于连续媒体数据应用.     

一种面向海量存储系统的高效元数据集群管理方案

高效的、去中心化的元数据管理方案对大型分布式存储系统的可靠性、可扩展性起至关重要的作用.针对基于Hash划分和基于子树划分的元数据管理方案扩展代价巨大、对集群变动敏感等问题,提出一种基于一致性Hash结构的元数据服务器(metadata server, MDS)集群化方案——CH-MMS(consistent Hash based metadata management schema).CH-MMS在一致性MDS集群上引入虚拟MDS(Virtual MDS),有效平衡MDS集群负载;将Standby机制与延迟更新策略融合并应用于MDS集群,实现MDS快速失效恢复以及集群变动时零数据迁移量.阐述了CH-MMS的体系结构,介绍了核心数据结构layout-table、虚拟MDS结构、延迟更新机制及相关算法,并对CH-MMS扩展性、容错性作了定性分析.最后通过原型系统和模拟实验说明,CH-MMS具有元数据平衡分布、快速失效恢复、灵活的扩展性以及零结点变动数据迁移量等特点,能满足数据量不断增加的大规模存储集群元数据灵活、高效管理的需求.     

面向云存储的存储网关

对大容量数据存储和快速读写的需求与计算机网络技术的发展,使得网络化存储系统成为网络服务器系统中I/O子系统研究的热点,作为网络存储系统的关键部件,对分布式文件系统的研究具有非常重要的意义.目前开源社区提供了KFS、moosefs、Fast DFS、TFS、GFS[1]等多款分布式文件系统,其中多数提供了基于Linux操作系统的API或者存储网关,却没有提供Windows版的存储网关.主要对分布式文件系统Windows版存储网关的设计框架和思路进行介绍与分析,并实现了一个基于HDFS的Windows版分布式文件系统的存储网关程序dfsclient.     

基于Ceph存储系统的小文件存储优化方案

针对Ceph存储系统面对小文件存储时存在元数据服务器性能瓶颈、文件读取效率低等问题.本文从小文件之间固有的数据关联性出发,通过轻量级模式匹配算法,提取出关联特征并以此为依据对小文件进行合并,提高了合并文件之间的合理性,并在文件读取时将同一合并文件内的小文件存入客户端缓存来提高缓存读取命中率,经过实验验证本文的方案有效的提高了小文件的访问效率.     

Dynamic real-time scheduling strategies for interactive continuous media servers

In this paper, we propose and study a dynamic approach to schedule real-time requests in a video-on-demand (VOD) server. Providing quality of service in such servers requires uninterrupted and on-time retrieval of motion video data. VOD services and multimedia applications further require access to the storage devices to be shared among multiple concurrent streams. Most of the previous VOD scheduling approaches use limited run-time,0 information and thus cannot exploit the potential capacity of the system fully. Our approach improves throughput by making use of run-time information to relax admission control. It maintains excellent quality of service under varying playout rates by observing deadlines and by reallocating resources to guarantee continuous service. It also reduces start-up latency by beginning service as soon as it is detected that deadlines of all real-time requests will be met. We establish safe conditions for greedy admission, dynamic control of disk read sizes, fast initial service, and sporadic services. We conduct thorough simulations over a wide range of buffer capacities, load settings, and over varying playout rates to demonstrate the significant improvements in quality of service, throughput and start-up latency of our approach relative to a static approach.     

磁盘阵列附网存储技术研究

附网存储设备（ＮＡＳＰ ｎｅｔｗｏｒｋ ａｔｔａｃｈｅｄ ｓｔｏｒａｇｅ ｐｅｒｉｐｈｅｒｉａｎｃｅ）需要三方通信协议的支持,以这种设备构成的网络存储系统结构不同于传统的客户服务器结构,它在驱动程序级分离数据和命令,建立存储子系统与客户机间的直接联系通道,将服务器从管理每个客户的数据传输中解放出来。该文介绍了附网存储系统的一种实现方式及其读写技术。     

一种性能优化的小文件存储访问策略的研究

在分布式文件系统中,小文件的管理一般存在访问性能较差和存储空间浪费较大等缺点.为了解决这些问题,提出了一种性能优化的小文件存储访问(SFSA)策略.SFSA将逻辑上连续的数据尽可能存储在物理磁盘的连续空间,使用Cache充当元数据服务器的角色并通过简化的文件信息节点提高Cache利用率,提高了小文件访问性能;写数据时聚合更新数据及其文件夹域中的相关数据为一次I/O请求写入,减少了文件碎片数量,提高了存储空间利用率;文件传输时利用局部性原理,提前发送批量的高访问率的小文件,降低了建立网络连接开销,提升了文件传输性能.理论分析和实验证明,SFSA的设计思想和方法能有效地优化小文件的存储访问性能.     

广域存储虚拟化系统的文件访问

广域存储虚拟化所要解决的一个问题是如何实现对分布的文件进行方便高效的访问。本文在分析了几种常见的文件系统后，针对广域存储虚拟化系统的特征，设计了客户端的文件访问模式，并实现了一套应用于该系统的文件访问接口，使用户能够像使用本地系统一样使用广域存储虚拟化系统的存储资源。     

一种对等式存储系统的设计与实现

一方面信息量的爆炸式增长对传统的存储模型提出了严峻挑战,另一方面宽带广泛普及、计算机性能大幅度提升,在此背景下,以Pber-to-Peer的方式对存储资源进行管理成为可能。提出了系统的体系结构和模块组织,重点探讨存储资源的发布与发现以及数据的存取与维护,通过覆盖网的路由和定位机制均衡存储管理负载,通过数据分片与剐本机制增加系统可靠性,并对系统的设计与实现要点进行分析。结果表明对等式存储系统是可行的。     

基于虚拟化与分布式技术的存储系统

介绍了一套基于云计算(cloud computing)技术的数据应用平台系统设计方案。该系统由多组服务器集群组成,可提供数据存储、备份和并行运算服务。并可采用虚拟化应用端与分布式(Hadoop)技术相结合的方式为用户提供高容量和异构应用存储系统,以便结合iSCSI协议在硬件层获得更灵活的部署。     

面向海量高清视频数据的高性能分布式存储系统

通过对视频监控数据的特点和传统存储方案进行分析,提出一种高性能分布式存储系统解决方案.不同于传统的基于文件存储的方式,设计了一种逻辑卷结构,将非结构化的视频流数据以此结构进行组织并直接写入RAW磁盘设备,解决了传统存储方案中随机磁盘读写和磁盘碎片导致存储性能下降的问题.该方案将元数据组织为两级索引结构,分别由状态管理器和存储服务器管理,极大地减少了状态管理器需要管理元数据的数量,消除了性能瓶颈,并提供精确到秒级的检索精度.此外,该方案灵活的存储服务器分组策略和组内互备关系使得存储系统具备容错能力和线性扩展能力.系统测试结果表明,该方案在成本低廉的PC服务器上实现了单台服务器能同时记录400路1080P视频流,写入速度是本地文件系统的2.5倍.     

连续媒体存储技术的研究

分析了连续媒体存储面临的问题和技术现状，提出了一种创新的存储软件/硬件架构－虚拟分级存储架构(VHSA)。VHSA是分级存储技术和存储虚拟化技术的结合，支持异构的存储系统结构，可提高复杂存储系统的性能和效率，针对巨大的视听内容进行数字归档，并可与媒体资产管理系统实现无缝集成。     

下一代互联网存储集群系统的设计与实现

针对以IPv6为主要特征的下一代互联网的需求,本文介绍了将基于对象的分布式文件系统Lustre由仅支持IPv4改进为同时支持IPv4与IPv6双协议栈的设计原则与实现,并测试比较了Lustre在IPv6与IPv4环境下的性能。其中的设计原则是通过分析Linux系统的IP协议栈得到的,因此同样适用于其他期望使用Linux的Socket接口实现支持双协议栈的网络程序。