一个真实VoD/P2P系统Novasky的设计与实现

近年来,基于对等网络的视频点播系统(VoD/P2P)备受人们关注.这类系统的实现还面临诸多挑战,如存储策略、用户激励、媒体版权等.本文提出一种高效率、低成本、易扩展的VoD/P2P系统设计方案Novasky.与已有系统相比,Novasky的最大不同是引入了编码存储策略与虚拟货币机制.经过三年多的开发与完善,Novasky已发展成为一个跨平台的分布式系统.它是少数几个使用人数较多的研究性VoD/P2P系统之一.自2009年9月在清华大学开放使用以来,已接受1100多用户对346个视频的6288次点播,累计点播数据量2.1TB.     

未来VoD系统的发展方向及技术方案

随着宽带技术及视频技术的飞速发展,在不久的将来视频点播系统VoD交得到大规模的应用与推广。目前关于VoD系统的研究及实现技术方式很多,文章系统地介绍了各主要部分关键技术的未来发展方向及可能采取的最佳技术方案。     

一种适用于VoD/P2P的存储调度策略

近年来,基于对等网络的视频点播系统(VoD/P2P)备受人们关注.在这类系统中,存储的难点主要表现为VoD应用中庞大的视频数与P2P网络中有限的存储资源之间的矛盾.提出对等数据随机访问的存储策略(Equivalent Data Random Access,EDRA),并重点研究了如何采用EDRA对VoD/P2P系统的存储进行优化调度,以最小化系统的资源占用或最大化系统的容量.实验表明,EDRA可以达到很高的节点带宽利用率,在相同条件下支持的最大点播数可能比传统方案高出58-73%.     

低成本可扩展的分布式VoD系统体系结构研究

考虑视频点播(VoD)系统的成本代价要求,给出了一种基于普通PC机的、高性价比的分布式VoD系统方案,论述了系统的体系结构、动态扩展及其负载平衡机制.实验数据表明,系统能有效地解决传统集中式VoD系统的瓶颈问题,具有良好的可扩展性,能够满足大规模VoD应用的要求.     

兴得视频点播系统 “看”好需要学问

新技术捧出VOD VOD是英文Video On Demand的缩写,意即“视频点播”,是指能在用户需要时随时提供交互式视频服务的业务。VOD具有让单个用户同时接受尽可能多的影片、视频节目、信息以及其它服务的能力。用户和被访问的资料之间高度的交互性使它区别于传统的视频节目的接受方式,它是随着计算机技术(特别是多媒体数据压缩解压缩技术)和通讯技术的发展,综合了计算机技术、通讯技术、电视技术而迅速新兴的一门综合性技术。 VOD系统从概念上主要由三个部分组成:视频服务器、网络传输系统和客户端。它是以客户/服务器方式工作的。整个工作流程为:用户根据目录选择节目,用户指令经网络传送到视频服务器,视频     

基于代理的视频点播系统设计

视频点播（Video-on-Demand,VoD)是现代网络上的一个重要多媒体应用。在传统的集中式视频点播系统中，如果用户数目过多，将会出现服务器I/O及网络带宽的瓶颈，而采用基于代理服务器的分布式体系结构，可以把VoD系统的负载分布到放置在网络不同位置的各个代理服务器上，能很好地解决系统瓶颈问题，阐述了基于代理的VoD系统的特点，设计原则，以及设计的关键问题，并提出了一种基于代理服务器的VoD系统模型。     

P2P视频点播内容分发策略

视频点播目前已成为对等(peer-to-peer,简称P2P)网络中一项重要的应用,引起了人们的不少研究兴趣.由于P2P网络能够为VoD(video-on-demand)应用的大规模实现提供底层网络的支持,许多正在出现的P2P VoD分发策略都能够提供在P2P网络中最基本的数据传输方式.对以往主要的P2P VoD内容分发策略进行了总结和概括.首先介绍了设计P2P VoD策略的相关重要问题,并把策略根据内容分发方式的不同分成4种类型.最后讨论了它们的应用层性能,并提出未来可以延续的工作.     

自治分布式视频服务器中动态数据迁移研究

通过对VoD服务器扩展性的分析，提出了一种并行视频服务器结构——自治分布式视频服务器，它的结构是在不断扩展的过程中形成的。分析了它的数据迁移特点，提出了一种动态数据迁移算法，实验结果表明该算法是有效的。     

VoD系统的数据缓存策略研究

视频点播(VoD-Video on Demand)系统作为互联网重要的多媒体应用,相比于传统应用对服务端在带宽、响应速度等方面有更高要求.VoD服务器广泛使用缓存策略解决此问题,不同缓存策略具有不同的侧重与适应方面.VoD系统所需缓存策略需综合多种缓存策略以满足自身需求.本文总结VoD系统对缓存策略的需求,分析了缓存策略组成与分类,对各类缓存策略的特点进行综述并分析其对VoD系统的适用性.     

低成本可扩展的分布式VoD系统体系结构研究*

考虑视频点播（VoD）系统的成本代价要求,给出了一种基于普通PC机的、高性价比的分布式VoD系统方案,论述了系统的体系结构、动态扩展及其负载平衡机制。实验数据表明,系统能有效地解决传统集中式VoD系统的瓶颈问题,具有良好的可扩展性,能够满足大规模VoD应用的要求。     

基于BD结构的历史数据流存储与查询

实际应用中,人们往往不仅需要近期数据流,还需要结合大量历史数据流来共同解决问题。研究表明,处理大量历史数据流时,传统数据库索引技术(如B+树)不能提供高的存储利用率和查询效率。针对任意时间段历史数据流的存储查询问题,提出一种基于BD结构的存储与查询方法。该方法将BDTree和BDHash相结合,能有效降低BDTree的高度,减小索引项的规模,同时可以避免数据结点规模过大。在此基础上,研究了部分扩充策略以解决数据插入失败问题。理论分析和实验结果表明,该方法能提高存储空间利用率和查询效率,可以有效应用于历史数据流的存储和查询。     

Efficient approximation of correlated sums on data streams

In many applications such as IP network management, data arrives in streams and queries over those streams need to be processed online using limited storage. Correlated-sum (CS) aggregates are a natural class of queries formed by composing basic aggregates on (x, y) pairs and are of the form SUM{g(y) : x /spl les/ f(AGG(x))}, where AGG(x) can be any basic aggregate and f(), g() are user-specified functions. CS-aggregates cannot be computed exactly in one pass through a data stream using limited storage; hence, we study the problem of computing approximate CS-aggregates. We guarantee a priori error bounds when AGG(x) can be computed in limited space (e.g., MIN, MAX, AVG), using two variants of Greenwald and Khanna's summary structure for the approximate computation of quantiles. Using real data sets, we experimentally demonstrate that an adaptation of the quantile summary structure uses much less space, and is significantly faster, than a more direct use of the quantile summary structure, for the same a posteriori error bounds. Finally, we prove that, when AGG(x) is a quantile (which cannot be computed over a data stream in limited space), the error of a CS-aggregate can be arbitrarily large.     

海量视频数据分布式存储性能优化方法研究

针对文件系统存储效率低、多余副本导致空间浪费以及磁盘能源损耗严重的问题,提出一种新型分布式优化存储策略(distributed optimized storage strategy,DOSS).首先,引入Bcache混合存储技术在磁盘阵列前增设固态硬盘,作为高速缓冲区对多路视频流进行临时数据组织,变多线程并发写任务为单线程顺序写入任务,规避磁盘内部碎片产生,有效提高系统写入效率.其次,提出改进的liberation码对视频数据进行压缩存储,在保证系统可靠性的同时提高磁盘空间利用率.最后,基于ioctl系统调用编写盘片转速控制函数,实现磁盘多级休眠和低延迟唤醒,减低磁盘能耗,提高使用寿命.结果表明单台存储服务器在500路4 Mbps并发视频流下存储效率提高约36％,存储空间节省约40％,系统应对12000路并发视频流时仍存在休眠磁盘约10％.     

Traffic engineering of MPLS backbone networks in the presence of heterogeneous streams

Heterogeneous streams (due to issues such as disparate traffic characteristics of each stream, or competing customers’ traffic) raise the issue of whether to multiplex (some of) these streams. In an MPLS network, such multiplexing can be considered by putting different streams into a tunnel identified by a single label-switched path (LSP), assuming that the different LSPs are assigned a reserved share of the resources. This issue becomes even more important in the traffic engineering of a backbone network when a decision needs to be made on which streams to multiplex when there are constraints on tunneling and capacity along with routing requirements for tunnels. In this paper, we introduce a distortion factor due to heterogeneous streams in traffic engineering of MPLS backbone networks in the presence of tunneling and capacity constraints by formulating a distortion-aware non-linear discrete optimization problem. Furthermore, we present a two-phase heuristic approach to solve this formulation efficiently. In the first phase, the problem is decoupled into two subproblems and in the second phase we show how the non-linear problem (for one of the subproblems) can be simplified. We then present numerical results for both small and large networks to show where and how our approach helps to determine when and which streams to multiplex depending on whether the tunneling and/or capacity constraint is dominant; furthermore, by comparing our distortion-aware traffic engineering model with a distortion-ignorant traffic engineering model, we show the benefits of our approach.     

BMQ-Processor: A High-Performance Border-Crossing Event Detection Framework for Large-Scale Monitoring Applications

In this paper, we present BMQ-Processor, a high-performance border-crossing event (BCE) detection framework for large-scale monitoring applications. We first characterize a new query semantics, namely, border monitoring query (BMQ), which is useful for BCE detection in many monitoring applications. It monitors the values of data streams and reports them only when data streams cross the borders of its range. We then propose BMQ-Processor to efficiently handle a large number of BMQs over a high volume of data streams. BMQ-Processor efficiently processes BMQs in a shared and incremental manner. It develops and operates over a novel stateful query index, achieving a high level of scalability over continuous data updates. Also, it utilizes the locality embedded in data streams and greatly accelerates successive BMQ evaluations. We present data structures and algorithms to support 1D as well as multidimensional BMQs. We show that the semantics of border monitoring can be extended toward more advanced ones and build region transition monitoring as a sample case. Lastly, we demonstrate excellent processing performance and low storage cost of BMQ-Processor through extensive analysis and experiments.     

基于矩阵的视频存储模式研究

视频存储分配技术在视频服务器主要技术之一,对VOD应用性能起决定性作用。本文提出一种视频存储模式的定义和基于矩阵的视频存储模式,在该模式中,采用三层结构存储基于矩阵分割的视频流,实现了VOD系统的无延迟即点即播,同时通过在视频流GOP中减少B帧的方法,减少复制数据段的数目,从而减少系统的内存需求。实验表明,该视频存储模式是有效可行的。     

一种适用于GPU图像处理算法的合并存储结构

大多数图像处理算法都可利用GPU进行加速以达到更好的执行性能,但数据传输操作与核函数执行之间的调度策略问题仍是桎梏加速性能进一步提升的主要瓶颈。为了解决这个问题,通常采用GPU任务流将核函数执行与数据传输操作进行重叠,以隐藏部分数据传输与核函数执行耗时。但是,由于CUDA编程模型的特性以及GPU硬件资源的限制,在某些情况下,即使创建较多的任务流用于任务重叠,每个流上仍会存在串行执行的任务,导致加速效果无法进一步提升。因此,考虑利用CSS将待处理图像进行合并从而将单个流中的算子核函数及数据传输操作进行合并,以减少数据传输操作和核函数执行的固定代价及调用间隙。通过实验结果可知,提出的CSS结构不仅能在单流的情况下提高GPU图像处理算法执行性能,在多流的情况下其加速性能也得到了进一步提升,具有较好的实用性及可扩展性,适用于包含较多算子操作或较小尺寸图像批量处理的情况。此外,提出的方法对图像处理算法的GPU加速提供了新的研究思路。     

结合自助抽样的动态数据流贝叶斯分类算法

动态数据流具有数据量大、变化快、随机存取代价高、详细数据难以存储等特点,挖掘动态数据流对计算能力与存储能力要求非常高。针对动态数据流的以上特点,设计了一种基于自助抽样的动态数据流贝叶斯分类算法,算法运用滑动窗口模型对动态数据流进行处理分析。该模型以每个窗口的数据为基本单位,对窗口内的数据进行处理分析;算法采用自助抽样技术对待分类数据中的属性进行裁剪和优化,解决了数据属性间的多重线性相关问题;算法结合贝叶斯算法的特点,采用动态增量存储树来解决动态样本数据流的存储问题,实现了无限动态数据流无信息失真的静态有限存储,解决了动态数据流挖掘最大的难题——数据存储;对优化的待分类数据使用all-贝叶斯分类器和k-贝叶斯分类器进行分类,结合数据流的特性对两个分类器进行实时更新。该算法有效克服了贝叶斯分类属性独立性的约束和传统贝叶斯只对静态数据分类的缺点,克服了动态数据流最大的难题——数据存储问题。通过实验测试证明,基于自助抽样的贝叶斯分类具有很高的时效性和精确性。     

BodyCloud: A SaaS approach for community Body Sensor Networks

Body Sensor Networks (BSNs) have been recently introduced for the remote monitoring of human activities in a broad range of application domains, such as health care, emergency management, fitness and behavior surveillance. BSNs can be deployed in a community of people and can generate large amounts of contextual data that require a scalable approach for storage, processing and analysis. Cloud computing can provide a flexible storage and processing infrastructure to perform both online and offline analysis of data streams generated in BSNs. This paper proposes BodyCloud, a SaaS approach for community BSNs that supports the development and deployment of Cloud-assisted BSN applications. BodyCloud is a multi-tier application-level architecture that integrates a Cloud computing platform and BSN data streams middleware. BodyCloud provides programming abstractions that allow the rapid development of community BSN applications. This work describes the general architecture of the proposed approach and presents a case study for the real-time monitoring and analysis of cardiac data streams of many individuals.     

MPEG-2节目流分析及解复用器设计

在多媒体应用中,为满足不同的应用需求,常需要对若干路音视频基本流进行系统复用,而要完成复合系统流的解码并播放又需对其解复用,因而进行码流的分析十分必要。MPE6—2系统标准作为业界遵循的规范,有传输流和节目流两种编码形式,与固定长度包结构的传输流不同,节目流包长可变,通过对MPE6—2标准的研究并结合实际节目流的比特流结构分析,实现了节目流解复用器的软件编程,应用于系统的分析和测试中。