ZFS在基于Hadoop的视频存储系统中的应用

随着视频点播技术的不断发展,视频数据呈现出爆炸式增长,对文件存储及其扩容性方面提出了苛刻的要求。该文首先简单地描述了数据存储服务集群及该集群主要采用分布式平台Ha-doop,使用ZFS动态文件系统作为后端存储文件系统。接着简单介绍了ZFS的特性,其次着重介绍ZFS在HDFS上的集成设计,最后通过相应的实现和ZFS性能比较测试,证明ZFS文件系统在视频文件存储中具有很好的应用价值。     

基于Hadoop视频转码的任务调度算法

现有的分布式转码系统大多没有考虑到根据计算节点的处理能力分配转码任务量,对转码过程造成影响,导致转码效率降低。针对这一问题,在对现有Max-Min算法的研究基础上,提出一种新的任务调度算法。利用佩奇排名算法评估机器转码性能,输入视频被分成大小不同的段,依据其复杂度和机器的转码能力进行映射。处理能力强的节点将分配到更多的视频块,最终所有计算节点的完成时间得到均衡化。实验结果表明,该算法能够显著提升视频转码效率,在很大程度上改善了云转码系统。