基于Hadoop云计算平台的分布式转码方案

在新媒体视频业务快速发展的今天,传统单机视频转码能力已经出现瓶颈. 在Hadoop云计算平台的研究基础上,结合当前主流的音视频处理工具FFmpeg,提出了一种新的视频转码方案. 该方案通过使用Hadoop两大核心：HDFS（Hadoop Distributed File System）和MapReduce编程思想,进行分布式转码. 同时,还详细地介绍和设计了分布式转码的具体流程. 最后实验结果表明,该分布式转码方案在效率上有较大提高. 在实验中,视频的分段大小也影响着视频转码的时间. 随着分段大小从小到大,同样的视频转码时间变化却是由高降低再升高. 从实验数据来看,相对于其他的分段,分段大小为32M的时候,转码时间最佳.     

基于Hadoop的分布式视频转码系统研究

当下由于视频内容多样化的爆发式变革,产生了多种音视频封装格式和编码格式,为解决用户高清视频多端下载收看及相应格式转换需求,应对庞大的数据量计算作业,需整合高效计算机资源。该文提出了一种基于Hadoop的分布式视频转码方案,采用分布式文件存储系统HDFS进行大型视频文件的存储,通过MapReduce编程框架结合FFmpeg开源软件,将视频数据处理划分为Map和Reduce两个阶段,把庞大的数据量分布到多处理节点分析。调用转码模块,减少开发人员工作量,分布式完成视频转码功能。该方案充分利用了数据集群的并行计算能力,突破了单机视频转码技术的发展瓶颈。通过实验验证得出,相比于单一节点进行视频转码,此系统的转码速度仅在2台数据节点的分布式集群中就获得了50%的提升。通过此系统可以为各类终端用户按各自需求提供易于使用、开放便捷、快速高效的视频转码服务。     

Hadoop云计算平台在视频转码上的应用

视频转码是一种计算密集型和数据密集型的工作，需要消耗大量的计算机资源，Hadoop MapReduce是一种软件模型，支持大规模数据集的分布式处理．．利用已有开源视频转码软件ffmpeg建立一个基于MapReduce框架的Hadoop集群转码系统，提高视频转码的速度．     

基于分布式流媒体计算框架的转码系统的设计与实现

流媒体应用的迅速发展,以及各种无线设备的应用提升了对视频转码的需求。传统转码方案依赖单一服务器,存在效率低和单点依赖问题。设计一种分布式流媒体计算框架,并基于该框架实现了分布式转码系统。该系统具有高转码效率、鲁棒性高的特点。同时,提出面向转码的负载均衡方案有效降低了转码的处理时间。测试数据表明通过该系统转码流媒体,处理时间可降低70%。     

基于Spark Streaming的快速视频转码方法

针对单机视频转码方法转码速度较慢和面向批处理的并行转码方法效率提升有限的问题,基于Spark Streaming分布式流处理框架,提出了一种面向流处理的快速视频转码方法。首先,使用开源多媒体处理工具FFmpeg,构建了自动化的视频切片模型,提出编程算法;然后,针对并行视频转码的特点,对弹性分布式数据集（RDD）进行研究,构建了视频转码的流处理模型;最后,设计视频合并方案,将合并后的视频文件进行有效储存。根据所提出的快速视频转码方法设计与实现了基于Spark Streaming的快速视频转码系统。实验结果表明,与面向批处理Hadoop视频转码方法相比,所提方法转码效率提升了26.7%;与基于Hadoop平台的视频并行转码方法相比,该方法转码效率提升了20.1%。     

云环境下海量GPS、视频监控数据存储检索研究

监控数据在不断增大,且80%以上为非结构化数据,利用传统关系型数据库存储管理时,占用机器内存较大,检索数据需对数据库全表扫描,管理性能低。为解决海量监控数据的存储与管理,采用HDFS分布式文件系统存储视频非结构化数据,研究设计Hbase属性信息表,利用Hbase分布式数据库存储属性信息,研究Hbase全局检索信息行键及MapReduce工作流程,构建检索,实现视频监控数据的检索。最终基于非结构化数据的检索技术以及分布式数据处理框架的研究,得到的海量监控数据存储与检索方案。     

基于列存储的MapReduce并行连接算法

针对传统关系型数据库在对大数据进行操作时,系统性能严重下降、计算效率提升有限以及可扩展性差等问题,引入MapReduce并行计算模型,提出一种大数据上基于列存储的MapReduce并行连接算法。设计面向大数据的分布式计算模型,包括MapReduce分布式环境下的列存储文件格式MCF,采用协同定位策略实现对分布式存储的优化。使用分片聚集和子连接启发式优化方法,实现大数据在MapReduce分布式环境下并行连接算法。实验结果证明,在大数据分析处理中,该算法在执行时间和负载能力上有着较好的优化性能,同时具有良好的可扩展性。     

基于无线网络环境移动流媒体码率自适应研究

基于校园无线网络环境,研究了流媒体视频码率自适应技术.利用分布式实时转码系统保证直播流视频转码的实时性,并根据校园无线网用户的特殊性,研究了首次接入视频码率选择策略,以减少码率切换次数.实验证明,这种方案在无线网络环境发生变化时,保证了视频播放的流畅性,为用户提供了友好的体验.     

基于列存储的大数据分析系统物化策略研究

大数据具有规模大、深度大、宽度大、处理时间短、硬件系统普通化和软件系统开源化特点.针对当前传统数据库在对大数据进行分析时系统性能严重下降、计算效率提升有限的问题,提出一种基于列存储的大数据分析系统物化策略(materialization strategies in MapReduce based on column-store,MSMC).首先,通过引入MapReduce物化代价估计模型,深入分析影响物化效率的各个因素.在此基础上设计了MapReduce分布式环境下的列存储文件格式(MapReduce column-store file,MCF),并在数据加载过程中采用协同定位策略实现对物化数据的存储优化.其次,分别针对不同的物化时机,构建了MapReduce早期物化策略(MapReduce early materialization strategy,MEMS)、MapReduce延迟物化策略(MapReduce late materialization strategy,MLMS)和MapReduce混合物化策略(MapReduceearly-late materialization strategy,MELMS).利用自适应物化调整策略对其做了进一步优化.实验结果在证明算法有效的同时,也显示出算法在存储空间和负载能力上都有很好的表现.     

基于 Hadoop 的分布式视频处理

中国科学院计算机网络信息中心与青海湖保护区管理局合作,共同建设了青海湖野外网络视频监控。如何高效地处理每天产出的超过 100GB 的视频数据成为了一个难题。现在的视频处理系统采用计算和存储相分离的架构,这需要配置较高的专门服务器进行支撑,本文基于廉价扩展性能较好的 Hadoop 平台对视频处理做出了分布式的实现,并对单个视频文件做出了分布式转码的实现。同时,本文将基于 Hadoop 的分布式视频处理的实现和基于 HTCondor 的分布式视频的批处理实现进行了对比,实验证明,在不损失视频处理效率的条件下,基于 Hadoop 的分布式视频处理的实现拥有分布式文件系统支撑、完善的任务监控等优势。     

P2P网络移动流媒体转码方法研究

为解决移动设备异构性影响视频流媒体应用的问题,提出了一种P2P网络移动流媒体的交错分布转码方法.该方法允许多个固定节点为一个移动设备转码,生成多个交错子流给目标移动节点,子流在移动节点上组装,降低了转码对固定节点计算能力的需求.分析了节点失效对分布转码造成的影响,交错子流可以减弱这种影响,强化数据包丢失错误恢复机制.比较了该方法与多描述编码之间的性能差异,实验结果表明,应用该方法移动流媒体在节点失效和不良无线信道条件下鲁棒性好.     

Multilayer transcoding with format portability for multicasting of single-layered video

This paper proposes a novel multilayer video transcoding approach for multicasting pre-encoded video to heterogeneous end-systems via diverse grouping of networks. Multilayer transcoding is first addressed by means of multiquality or SNR scalability of the MPEG-2 standard. Frequency domain transcoding and drift-compensated transcoding are derived from the closed-loop and multiloop SNR scalabilities, respectively. The proposed transcoding architectures are verified in terms of eliminating picture drift whilst preserving compatibility with the MPEG-2 SNR decoder. Multilayer transcoding is then addressed by means of multiresolution or spatial scalability of the MPEG-2 standard that supports different video formats. The transcoder retains the full resolution of the incoming video stream in its enhancement layer while generating a low spatio-temporal resolution base-layer compatible with the H.263 video format. Hence providing both multilayer transcoding and video format portability. The resultant video layers are shown to be free from drift with PSNR results comparable to those of the respective scalable encoders.     

面向移动网络的实时视频转码系统

针对宽带IPTV视频源向移动网络和移动终端提供视频服务需要解决的视频转码问题,设计开发以软件方式实现的实时视频转码系统,可将MPEG-4格式的高码率、高分辨率节目源实时转换为适合移动网络和移动终端的低码率、低分辨率视频。在误差补偿转码框架的基础上,提出一种自适应的转码时延保证方法,解决了转码计算复杂性和转码质量均衡的关键技术问题,保证了转码系统的实时性。测试结果表明,实现的转码系统视频转换质量损失少、实时性高。     

一种基于H.264的混合视频转码方法*

为了提高比特率缩减的H.264视频转码速度,提出了一种混合型视频转码（mixtue video transcode,MVT）方法。该方法选择串联结构对intra帧进行转换编码,选择开环结构对inter帧进行转换编码,同时对inter帧进行部分误差消除操作。对intra帧,转换编码操作后可以得到无误差的intra帧;对于inter帧,转码后图像质量的损失大于串联结构,但因为进行了消除误差漂移的操作,这一损失可以控制在可接受的最小范围内。实验结果表明,提出的混合型视频转码结构在转码速度上远远高于串联结构,转     

视频转码应用分析

在视频会议系统中还有日常拍摄处理视频时,需要利用视频转码技术对传统和新兴视频流进行格式转换。使用转码的意义在于可以在不损失任何视频质量的前提下节省高达50％的网络带宽。转码的分类按照媒体格式可分为音频转码、视频转码,视频转码比较出名的有暴风转码、格式工厂,音频转码用大众的千千静听就能满足使用需要。本文以转码应用为研究对象,进一步分析软件转码技术的应用。     

一种改进的降尺寸视频转码算法

在Diversity &; Importance架构的基础上提出一种改进的空间降尺度视频转码算法,利用方差作为转码目标宏块的运动矢量测度因子,并通过自适应阈值的分类方法对不同视频序列选择合适的重编码模式。该算法比传统的运动矢量合成方法提高了约1dB的PSNR,在保持较高转码图像质量的同时有效地控制了编码长度,其转码后码流长度只相当于AMVR-DIM方法产生码流的40%~95%。     

视频转码技术研究现状与最新进展

简要回顾了视频转码技术的研究发展状况, 系统地归纳了各种转码方法, 分析了相关的转码算法的特点. 针对最新压缩标准 H.264 的出现, 文中特别介绍总结了最新出现的转码方面的研究成果. 最后, 分析了转码研究未来的发展和可能存在的难点和问题.     

MPEG2到H.264的并行视频转码算法

针对高清视频的实时转码需求,提出一种基于多核处理器的并行视频转码算法。在确定转码系统所需核数的基础上,采用功能划分和数据划分相结合的方法对转码器进行划分,通过优化核间数据交互,实现MPEG2到H.264的高清视频转码。实验结果表明,该算法能提高转码模块的并行程度以及数据交互性能。