基于关键人物的分布式视频检索系统设计与实现

针对基于关键人物的视频检索问题,以Hadoop分布式计算平台为支撑,设计并实现了一个可处理大量视频数据的分布式视频检索原型系统.分析了系统的三大关键问题:基于人脸检测的视频帧提取、基于人脸匹配的视频帧筛选和基于PCA的相关视频检索.以2014年大数据竞赛提供的TED演讲视频基准数据集为例,对系统实现效果和检索性能进行了评测.     

基于Spark Streaming的快速视频转码方法

针对单机视频转码方法转码速度较慢和面向批处理的并行转码方法效率提升有限的问题,基于Spark Streaming分布式流处理框架,提出了一种面向流处理的快速视频转码方法。首先,使用开源多媒体处理工具FFmpeg,构建了自动化的视频切片模型,提出编程算法;然后,针对并行视频转码的特点,对弹性分布式数据集（RDD）进行研究,构建了视频转码的流处理模型;最后,设计视频合并方案,将合并后的视频文件进行有效储存。根据所提出的快速视频转码方法设计与实现了基于Spark Streaming的快速视频转码系统。实验结果表明,与面向批处理Hadoop视频转码方法相比,所提方法转码效率提升了26.7%;与基于Hadoop平台的视频并行转码方法相比,该方法转码效率提升了20.1%。     

基于Hadoop的广域网分布式主题爬虫系统框架

广域网分布式爬虫与局域网爬虫相比有诸多的优势,而现有基于Hadoop分布式爬虫的设计主要是面向局域网环境的。为解决Hadoop分布式计算平台不适合部署于广域网的问题,设计了一个基于Hadoop的广域网分布式爬虫系统框架。爬虫系统利用消息中间件实现分布式可靠通信,数据存储采用可伸缩的Hadoop分布式文件系统HDFS,网页解析利用MapReduce并行处理,并基于模板匹配实现框架可定制。系统的性能仿真显示该框架具有支撑大规模爬虫并发工作的能力。     

基于Hadoop的离线视频处理技术研究与实现

当前,智慧城市成为信息时代城市建设的一个基本目标,智能视频安防监控是其中重要一环,希望从视频图像提取出有效的信息,提供有效的治安防控业务信息。由于视频监控系统广泛使用于各行各业,监控视频数据已成为一类典型的大数据,因此,如何对监控视频大数据进行高效的处理成为一个重要挑战。为此,本文在分析视频处理特点的基础上,提出并实现了一种基于HadoopMapReduce计算框架的分布式离线视频处理方法,该方法根据视频处理的特点进行优化,提升了监控视频大数据的处理效率。     

分布式智能视频监控系统设计与实现

本文介绍了基于计算机网络的分布式智能视频监控系统的设计思路和实现方法,详细讨论了在局域和广域网络环境下分布式智能视频监控系统的网络结构及在数字监控系统中外接电视墙功能的实现方法,并以此为基础,提出了数字监控系统中自治系统、视频桥和远程视频代理的概念;给出一种动态视频路由选择算法的设计与实现方法．     

基于Hadoop的分布式视频加扰系统及其安全策略研究

随着高清视频的普及,视频数据量剧增,使用传统的视频加扰方式,处理效率令人难以接受。分布式技术已被用于视频编码[1]和视频加扰[2]。现有的分布式视频加密系统基于被广泛使用的Hadoop,但其因系统设计没有充分利用Hadoop框架的特点,其效率还有很大提升空间;同时,原系统没有考虑过安全性问题,而加密过程中要用到的密钥和密钥的分发无疑对系统设计的安全性方面提出了严苛的要求。本系统利用更合理的视频分割设计和附属的安全系统弥补了这两点不足。     

Hadoop云计算平台在视频转码上的应用

视频转码是一种计算密集型和数据密集型的工作，需要消耗大量的计算机资源，Hadoop MapReduce是一种软件模型，支持大规模数据集的分布式处理．．利用已有开源视频转码软件ffmpeg建立一个基于MapReduce框架的Hadoop集群转码系统，提高视频转码的速度．     

基于Hadoop的应急联防移动处置平台设计

针对城市安全问题,为实现视频监控的可信预警、辨别潜在的突发事件并及时处理,基于Hadoop搭建了身份识别应急联防移动处置平台,采用HDFS Streaming数据流形式读取视频数据,利用MapReduce框架在计算集群中对视频数据进行分布式分析,使用OpenCV集成的LBPH算法实现视频目标的有效跟踪。平台功能覆盖了样本信息采集、隐患发现、信息发布、应急处置等安全管理应急联防的全过程,可直接服务于应急现场管理,具有极强的适应性和便捷性。     

基于Hadoop的分布式数据库系统

云计算是当前研究的热点,包括分布式存储和分布式计算技术。Hadoop是一个能够让用户轻松架构和使用的分布式计算平台,用户可以轻松地在Hadoop上开发和运行处理海量数据的应用程序。基于对大量数据进行处理和分析的需求,本文分析了基于Hadoop的分布式计算平台,介绍基于Hadoop的分布式数据库系统。     

分布式智能视频监视系统设计与实现

本文介绍了基于计算机网络的分布式智能视频监控系统的设计思路和实现方法,详细讨论了在局域和广域网络环境下分布式智能视频监控系统的网络结构及在数字监控系统中外接电视墙功能的实现方法,并以此为基础,提出了数字监控系统中自治系统,视频桥和远程视频代理的概念;给出一种动态频路由选择算法的设计与实现方法。     

青海湖区域水体识别系统设计

青海湖是我国最大的内陆湖,其对于当地生态系统起着至关重要的作用.对青海湖水体进行快速有效监测,成为研究的一个方向.目前的水体识别研究多采用单机版来进行实现,其存在识别速度较慢,自动化程度低等问题.随着遥感数据量的日益增长,传统识别方法难以满足需求.基于Hadoop和Spark分布式大数据框架,设计并实现了自动化水体识别系统.该系统主要实现了遥感图像的数据存储,数据读取,数据处理,模型预测等功能模块,并最后通过shell脚本来实现系统的自动化执行.最后选用了青海湖区域三天遥感图像数据来对系统进行验证.实验结果表明,该系统能够自动完成水体识别流程,并能准确的预测水体.     

基于Hadoop云计算平台的分布式转码方案

在新媒体视频业务快速发展的今天,传统单机视频转码能力已经出现瓶颈. 在Hadoop云计算平台的研究基础上,结合当前主流的音视频处理工具FFmpeg,提出了一种新的视频转码方案. 该方案通过使用Hadoop两大核心：HDFS（Hadoop Distributed File System）和MapReduce编程思想,进行分布式转码. 同时,还详细地介绍和设计了分布式转码的具体流程. 最后实验结果表明,该分布式转码方案在效率上有较大提高. 在实验中,视频的分段大小也影响着视频转码的时间. 随着分段大小从小到大,同样的视频转码时间变化却是由高降低再升高. 从实验数据来看,相对于其他的分段,分段大小为32M的时候,转码时间最佳.     

基于Hadoop平台的OLAP煤炭销售数据分析系统

针对煤炭销售数据量大而信息量少的问题,开发了基于Hadoop平台的OLAP煤炭销售数据分析系统,介绍了系统设计思想及架构,并以销售量统计为例阐述了实现数据深层次快速挖掘和直观显示的具体过程。该系统利用Hadoop云平台对数据进行ETL处理,创建Hive分布式数据仓库,并采用Hive的HQL语言进行OLAP统计分析,能够快速、准确地实现对销售量信息的多层次、多角度、深层次的数据挖掘、统计和分析,并直观、多角度地反映数据分析结果。     

基于Hadoop的海量电费数据处理模型

随着电费数据量的快速增长,某特大型集团公司财务管理信息系统传统的电费数据处理模式已经成为系统的性能瓶颈. Hadoop是一个可实现大规模分布式计算的开源框架,具有高效、可靠、可伸缩的优点,被广泛应用于海量数据处理领域. 本文在对电费业务和Hadoop进行分析和研究的基础上,提出了电费数据新的处理模型,建立了基于Hadoop和Hive的电费明细数据处理平台. 实验证明该模型可以有效解决目前海量电费数据处理面临的性能瓶颈,提高电费数据处理的速度和效率,并且可以提供高性能的明细数据查询功能.     

基于开源Hadoop的矢量空间数据分布式处理研究

为实现大规模矢量数据的高性能处理,在开源项目Hadoop基础上,设计与开发了一个基于MapReduce的矢量数据分布式计算系统。根据矢量空间数据的特点,通过分析Key/Value数据模型及GeoJSON地理数据编码格式,构建了可存储于Hadoop hdfs的矢量数据Key/Value文本文件格式;探讨矢量数据的MapReduce计算过程,对Map数据分片、并行处理过程及Reduce结果合并等关键步骤进行了详细阐述;基于上述技术,建立了矢量数据分布式计算原型系统,详细介绍系统组成,并将其应用于处理关中地区1∶10万土地利用矢量空间数据,取得较好效果。     

基于Hadoop 的标签推荐系统设计

个性化推荐技术的发展有利于解决互联网海量数据信息过载问题。本文在了解分布式处理架构的特点的基 础上,提出了基于Hadoop 构建标签推荐系统方案。采用基于MapReduce 模型实现的算法具有较高的伸缩性和性能,能高效 地进行离线数据分析。     

基于Hadoop的公安视频大数据的处理方法

公安视频监控技术已经从联网整合阶段发展到视频实战深度应用阶段,面对源源不断的公安视频大数据,需要研究新型的大数据处理方法。根据公安视频大数据应用需求,采用基于Hadoop技术的视频大数据处理平台,并采用以Map-Reduce算法为基础的人脸检索与识别算法,来实现公安视频大数据的智能信息处理,达到公安大数据实战应用的目的。     

基于决策树挖掘算法的气象大数据云平台设计

大数据、云计算技术的迅猛发展为挖掘气象数据丰富的科研和经济价值提供了技术支撑,促进了Hadoop及其包含的文件存储系统(HDFS,Hadoop Distributed File System)和分布式计算模型在气象数据处理领域广泛应用。由于气象数据具有大数据的4V特征,还需要引入新的数据处理算法来提高气象数据处理效率。通过对决策树算法原理的研究,基于Hadoop云平台,创建随机森林模型,为数据挖掘算法在云平台上的应用提供一种新的可能性。基于决策树(CART,Classification And Regression Trees)挖掘算法的气象大数据云平台设计,采用Hadoop系统架构和MapReduce工作流程,对气象大数据云平台采用集群部署。平台总体架构分为基础设施层、数据管理与处理层、应用层,减少了决策树建立的时间,实现了气象数据高效加工和挖掘分析等平台功能。     

分布式系统Hadoop 平台的视频转码

在研究了目前主流的视频转码方案基础上,提出了一种分布式转码系统。系统采用HDFS（Hadoop Distributed File System）进行视频存储,利用MapReduce思想和FFMPEG进行分布式转码。详细讨论了视频分布式存储时的分段策略,以及分段大小对存取时间的影响。同时,定义了视频存储和转换的元数据格式。提出了基于MapReduce编程框架的分布式转码方案,即Mapper端进行转码和Reducer端进行视频合并。实验数据显示了转码时间随视频分段大小和转码机器数量不同而变化的趋势。结果表明,相比单机转码,提出的系统在采用8台机器并行转码时,可以节约80％左右的时间。