分布式系统Hadoop 平台的视频转码

在研究了目前主流的视频转码方案基础上,提出了一种分布式转码系统。系统采用HDFS（Hadoop Distributed File System）进行视频存储,利用MapReduce思想和FFMPEG进行分布式转码。详细讨论了视频分布式存储时的分段策略,以及分段大小对存取时间的影响。同时,定义了视频存储和转换的元数据格式。提出了基于MapReduce编程框架的分布式转码方案,即Mapper端进行转码和Reducer端进行视频合并。实验数据显示了转码时间随视频分段大小和转码机器数量不同而变化的趋势。结果表明,相比单机转码,提出的系统在采用8台机器并行转码时,可以节约80％左右的时间。     

基于Spark Streaming的快速视频转码方法

针对单机视频转码方法转码速度较慢和面向批处理的并行转码方法效率提升有限的问题,基于Spark Streaming分布式流处理框架,提出了一种面向流处理的快速视频转码方法。首先,使用开源多媒体处理工具FFmpeg,构建了自动化的视频切片模型,提出编程算法;然后,针对并行视频转码的特点,对弹性分布式数据集（RDD）进行研究,构建了视频转码的流处理模型;最后,设计视频合并方案,将合并后的视频文件进行有效储存。根据所提出的快速视频转码方法设计与实现了基于Spark Streaming的快速视频转码系统。实验结果表明,与面向批处理Hadoop视频转码方法相比,所提方法转码效率提升了26.7%;与基于Hadoop平台的视频并行转码方法相比,该方法转码效率提升了20.1%。     

Hadoop云计算平台在视频转码上的应用

视频转码是一种计算密集型和数据密集型的工作，需要消耗大量的计算机资源，Hadoop MapReduce是一种软件模型，支持大规模数据集的分布式处理．．利用已有开源视频转码软件ffmpeg建立一个基于MapReduce框架的Hadoop集群转码系统，提高视频转码的速度．     

基于分布式流媒体计算框架的转码系统的设计与实现

流媒体应用的迅速发展,以及各种无线设备的应用提升了对视频转码的需求。传统转码方案依赖单一服务器,存在效率低和单点依赖问题。设计一种分布式流媒体计算框架,并基于该框架实现了分布式转码系统。该系统具有高转码效率、鲁棒性高的特点。同时,提出面向转码的负载均衡方案有效降低了转码的处理时间。测试数据表明通过该系统转码流媒体,处理时间可降低70%。     

基于 Hadoop 的分布式视频处理

中国科学院计算机网络信息中心与青海湖保护区管理局合作,共同建设了青海湖野外网络视频监控。如何高效地处理每天产出的超过 100GB 的视频数据成为了一个难题。现在的视频处理系统采用计算和存储相分离的架构,这需要配置较高的专门服务器进行支撑,本文基于廉价扩展性能较好的 Hadoop 平台对视频处理做出了分布式的实现,并对单个视频文件做出了分布式转码的实现。同时,本文将基于 Hadoop 的分布式视频处理的实现和基于 HTCondor 的分布式视频的批处理实现进行了对比,实验证明,在不损失视频处理效率的条件下,基于 Hadoop 的分布式视频处理的实现拥有分布式文件系统支撑、完善的任务监控等优势。     

基于无线网络环境移动流媒体码率自适应研究

基于校园无线网络环境,研究了流媒体视频码率自适应技术.利用分布式实时转码系统保证直播流视频转码的实时性,并根据校园无线网用户的特殊性,研究了首次接入视频码率选择策略,以减少码率切换次数.实验证明,这种方案在无线网络环境发生变化时,保证了视频播放的流畅性,为用户提供了友好的体验.     

基于异构算力节点协同的高效视频分发

算力网络通过网络连接计算节点以突破单点算力限制，近年来正快速发展应用于越来越多的业务领域.当前流行的视频直播依赖于大量视频帧传输和转码处理，探索算力网络实现高效视频分发具有重要的现实意义.相比于传统的大规模数据处理，视频类应用对于传输时延和带宽的保障有更高要求.然而当前各云服务提供的节点算力各不相同，同时节点间网络链路状态经常变化不定，使选择传输和转码综合性能最优节点实现低时延、高带宽的视频分发面临很大挑战.为此，设计基于异构算力节点协同的高效视频分发方案，包括通过强化学习规划视频传输路径并合理选取处理转码节点；对不同视频分发任务采用优先级排队调度同时自适应调整资源以降低对节点资源的突发竞争；采用分层日志同步容错机制在节点故障后快速恢复数据一致性，最终部署多云服务分布式节点实现一个完整的视频分发系统.大量超高清视频直播实验表明，该方案性能相比现有视频分发方法有明显改进.     

MPEG2到H.264的并行视频转码算法

针对高清视频的实时转码需求,提出一种基于多核处理器的并行视频转码算法。在确定转码系统所需核数的基础上,采用功能划分和数据划分相结合的方法对转码器进行划分,通过优化核间数据交互,实现MPEG2到H.264的高清视频转码。实验结果表明,该算法能提高转码模块的并行程度以及数据交互性能。     

一种基于H.264的混合视频转码方法

针对比特率缩减的H.264视频转码问题,提出了一种混合型视频转码(mixture video transcode,MVT)方法.该方法首先采用串联结构对Intra帧进行编码转换,然后选择开环结构对Inter帧进行转换编码,同时在转换过程中,对Inter帧进行部分误差消除处理.这样,经过转换编码操作后,即可以得到无误差的Intra帧,而对于Inter帧,虽然开环结构转码后,图像质量损失大于串联结构方式,但由于在转码过程中进行了消除误差漂移的操作,因此这一损失被控制在可接受的最小范围之内.实验结果表明,该混合型视频转码方法在转码速度上远远高于串联结构,在转码后的图像质量上接近串联结构,并且远远好于开环结构.     

AVS-H.264视频转码快速算法

根据AVS标准和H.264标准的特点,提出一种适用于AVS向H.264转码的快速算法。该算法利用AVS标准中帧间编码宏块的分割模式信息,采用模式映射方法避免H.264编码过程中重新确定每个宏块分割模式,加快了转码速度。仿真实验结果表明,该算法在不影响视频质量的前提下,极大降低了转码的计算复杂度,提高了转码效率。     

视频转码技术在网络多媒体传输中的应用

视频文件数据量大、网络带宽有限,针对这一特点,提出了一种将视频文件进行转换为低码率的MPEG-4格式的文件后分帧传输的方案。在实际工程中表明基于该方案设计的采用视频转码技术的网络多媒体传输系统可以使传输效率提高5~10倍。文中重点对方案中涉及的压缩转码过程进行了讨论分析,根据分析给出了在压缩编码过程中涉及到的一些参数,并进一步指出了视频转换编码模块的灵活性。     

基于云计算的视频监控平台的研究

随着网格计算、虚拟化技术等的日渐成熟,以及目前各种社交类网站的大步发展对服务器的高性能、高可靠、高扩展性的需求,催生了云计算。基于云计算的智慧城市综合服务平台,以监控视频为基础,融合多种智慧城市应用业务如智慧社区、智慧家庭、智慧交通、智慧城管等。针对当前视频监控平台凸显的瓶颈,例如流媒体服务器负载过重、容灾能力弱、扩展能力弱等缺点,结合当前流行的开源分布式框架Hadoop,提出一套分布式视频存储,格式转码以及单节点隐患优化的解决方案。     

视频转码应用分析

在视频会议系统中还有日常拍摄处理视频时,需要利用视频转码技术对传统和新兴视频流进行格式转换。使用转码的意义在于可以在不损失任何视频质量的前提下节省高达50％的网络带宽。转码的分类按照媒体格式可分为音频转码、视频转码,视频转码比较出名的有暴风转码、格式工厂,音频转码用大众的千千静听就能满足使用需要。本文以转码应用为研究对象,进一步分析软件转码技术的应用。     

Low-complexity and high-quality frame-skipping transcoder for continuous presence multipoint video conferencing

This paper presents a new frame-skipping transcoding approach for video combiners in multipoint video conferencing. Transcoding is regarded as a process of converting a previously compressed video bitstream into a lower bitrate bitstream. A high transcoding ratio may result in an unacceptable picture quality when the incoming video bitstream is transcoded with the full frame rate. Frame skipping is often used as an efficient scheme to allocate more bits to representative frames, so that an acceptable quality for each frame can be maintained. However, the skipped frame must be decompressed completely, and should act as the reference frame to the nonskipped frame for reconstruction. The newly quantized DCT coefficients of prediction error need to be recomputed for the nonskipped frame with reference to the previous nonskipped frame; this can create an undesirable complexity in the real time application as well as introduce re-encoding error. A new frame-skipping transcoding architecture for improved picture quality and reduced complexity is proposed. The proposed architecture is mainly performed on the discrete cosine transform (DCT) domain to achieve a low complexity transcoder. It is observed that the re-encoding error is avoided at the frame-skipping transcoder when the strategy of direct summation of DCT coefficients is employed. By using the proposed frame-skipping transcoder and dynamically allocating more frames to the active participants in video combining, we are able to make more uniform peak signal-to-noise ratio (PSNR) performance of the subsequences and the video qualities of the active subsequences can be improved significantly.     

Geometrico-Harmonic Broadcasting Scheme With Continuous Redundancy

The harmonic broadcasting scheme has the best performance for the user latency. It, however, does not always provide the video data in time to the users. To provide the video data reliably, its two main variants - cautious and quasi-harmonic schemes have been proposed. They require more bandwidth than the harmonic scheme. The cautious and quasi-harmonic schemes need 0.50 b and 0.1771 b more bandwidth, respectively, than the harmonic scheme in limiting case. In this paper, a new broadcasting scheme: geometrico-harmonic scheme with continuous redundancy is proposed. This scheme provides the video data in time unlike the harmonic scheme, and its bandwidth requirement can be had as close to that of the harmonic scheme as we please. Moreover, the extra bandwidth required in this scheme can be evaluated at any point of time, that is, it can be estimated for a fractional size of a segment and/or subsegment. The bandwidth is a scarce resource and its requirement for any fractional size of segments (or subsegments) may be helpful while dealing with the variable bandwidth rate-encoded videos. In the proposed scheme, the user latency can be made arbitrarily close to that of the harmonic scheme. In comparison to the cautious and the quasi-harmonic schemes, it has better performance for the user latency as well as the buffer storage. For disk transfer rate, it performs better than the quasi-harmonic scheme and in comparison to the cautious harmonic scheme its performance is same     

面向移动网络的实时视频转码系统

针对宽带IPTV视频源向移动网络和移动终端提供视频服务需要解决的视频转码问题,设计开发以软件方式实现的实时视频转码系统,可将MPEG-4格式的高码率、高分辨率节目源实时转换为适合移动网络和移动终端的低码率、低分辨率视频。在误差补偿转码框架的基础上,提出一种自适应的转码时延保证方法,解决了转码计算复杂性和转码质量均衡的关键技术问题,保证了转码系统的实时性。测试结果表明,实现的转码系统视频转换质量损失少、实时性高。     

海量教育资源中小文件的存储研究

Hadoop作为成熟的分布式云平台,能提供可靠高效的存储服务,常用来解决大文件的存储问题,但在处理海量小文件时效率显著降低。提出了基于Hadoop的海量教育资源中小文件的存储优化方案,即利用教育资源小文件间的关联关系,将小文件合并成大文件以减少文件数量,并用索引机制访问小文件及元数据缓存和关联小文件预取机制来提高文件的读取效率。实验证明,以上方法提高了Hadoop文件系统对小文件的存取效率。