基于Hadoop云计算平台的海量文本处理研究

针对海量文本数据处理,为实现快速文本处理响应,缩短海量数据为辅助决策提供服务的时间,基于Hadoop云计算平台,建立HDFS分布式文件系统存储海量文本数据集,通过文本词频利用MapReduce原理建立分布式索引,以分布式数据库HBase存储关键词索引,并提供实时检索,实现对海量文本数据的分布式并行处理。实验结果表明,Hadoop框架为大规模数据的分布式并行处理提供了很好的解决方案。     

Spark大数据技术在电信行业中的应用探究

针对某电信公司的需求：建设网络基础，优化网络管理、企业管理，数据商业化，设计并搭建大数据平台。利用HDFS（分布式文件系统）存储数据，Spark计算引擎在内存计算中数据处理速度快，Yarn（通用资源管理系统）对Spark进行调度。对于电信运营商关心的数据检索速度进行测试和分析，验证大数据技术可以将数据检索时间控制在毫秒级，为电信行业利用海量流量数据信息进行企业优化管理、精准营销与市场拓展提供必要的数据支撑。     

基于Hadoop技术的数据查询平台建设

传统的关系型数据库架构在应对电信运营商海量的大数据处理时建设成本高昂,处理能力低下,已经无法满足在大数据场景模式下的新型业务需求。Hadoop云计算平台作为一种新型的大数据处理方案,充分利用其低价格和高性能的优势,可以满足海量数据存储及数据处理功能。文章在对Hadoop技术介绍的情况下,设计一套基于Hadoop架构的数据查询平台,实验证明,该平台能够有效提高数据处理效率,降低建设成本。     

大数据环境下Hadoop分布式系统的研究与设计

随着互联网应用的飞速发展和信息的社会化数据呈爆发式的增长,传统的关系数据库在处理分析如此海量的数据时出现性能和可扩展·陆的瓶颈,通过介绍目前大数据时代面临的挑战,分析了大数据对IT系统的挑战以及针对大数据业务特点的应对策略。目前犬数据技术目前还没形成统一标准,但业界已经广泛使用Hadoop分布式系统作为其大数据处理平台,对大数据环境下Hadoop分布式系统进行了详尽的研究与设计,包括分布式文件系统、并行计算模型、分布式数据库、分布式锁服务等各个功能模块,大数据环境下的Hadoop分布式系统将更有效支撑未来电信运营商业务的发展。     

基于云存储视频监控系统的研究

视频监控系统对海量视频数据存储和智能视频分析的需求日益突出.针对系统硬件计算能力有限,用户需求的多样性,系统扩展性复杂等问题,云存储技术有很大突破.通过虚拟化技术构建资源池,使用Hadoop分布式文件系统存储海量视频数据,使用Map/Reduce编程模型实现大数据并行计算,为用户提供实时视频监控和智能视频分析服务.     

基于Hadoop的分布式云计算/云存储方案的研究与设计

通过介绍云计算技术的发展背景以及目前云计算技术的几种技术架构,对分布式云计算/云存储技术进行了详尽的研究,包括分布式云计算/云存储的整体架构、分布式文件系统、分布式数据库、分布式数据仓库、分布式同步软件等,并通过与并行关系型数据库、MPP数据库的对比,分析了基于Hadoop的分布式云计算/云存储架构的竞争优势,基于Hadoop的分布式云计算/云存储将更有效支撑未来电信运营商业务的发展。     

基于Hadoop的海量电信数据云计算平台研究

传统的数据分析方法面对海量电信数据存在管理和分析难的问题.Hadoop是一个可实现大规模分布式计算的开源框架,具有高效、可靠、可伸缩的优点,被广泛应用于云计算领域.本文在对云计算和Hadoop进行分析和研究的基础上,提出了一种针对海量电信数据的分布式云计算方法,建立了基于Hadoop的海量电信数据云计算平台.实验证明,该平台能够有效完成海量数据的管理和分析任务,提高海量数据分析的速度和效率.     

信息数据存储平台开发

面对社会企事业单位、网络业务场景中大量的数据信息资源,传统以DFS为主的文件系统,由于其本身的物理存储资源,不一定直接连接于本地节点,且不能进行海量数据信息的分块切分与存储,围绕近年来网络数据存在的海量化、类别丰富化、并行计算困难、高并发读写等问题,引入Hadoop分布式文件系统、HDFS存储结构、HAR归档文件,构建起Hadoop分布式文件存储平台,开展多种文件类型的读取写入、判别查询、合并处理、缓存加载与备份存储,并比较DFS、HDFS两种文件计算方式的内存消耗、存储效率,以保证文件存储的安全有效性。     

基于云平台的海量数字图像数据挖掘探讨

本文借助云平台Hadoop的分布式文件系统(HDFS)和分布式并行计算框架(Map Reduce),来进行海量数字图像的数据挖掘。构建了基于Hadoop云平台的海量数字图像数据挖掘系统,实现海量数字图像信息数据挖掘。     

基于Hadoop的分布式ETL系统研究

针对传统数据抽取、转换及加载(ETL)工具集中式执行的不足,设计实现了一种基于Hadoop平台的分布式ETL系统。该系统采用分布式文件系统存储和映射-规约并行处理海量数据架构,实现了ETL作业的分布式执行,提高了ETL效率,为大数据环境下的基础数据加工提供了解决方案。     

Hadoop分布式文件系统的模型分析

Hadoop分布式文件系统是遵循Google文件系统原理进行开发和实现的,受到了业界极大关注,并已被广泛应用.鉴于当前缺乏从系统设计理论的角度对其开展的相关研究,本文从Hadoop分布式文件系统架构的建模人手,通过对模型各组成部分进行分析,并将其与传统的分布式文件系统进行比较,总结出Hadoop分布式文件系统具有的海量、高可扩展性、高可靠性、高性能等面向云计算领域应用的重要特征.本文有助于研究者系统、深入地研究Hadoop分布式文件系统的设计与实现,并为云计算背景下的分布式文件系统设计提供重要的参考.     

通信网络大数据应用新模式研究

4G高速网络时代,电信运营商的数据业务爆炸式增长产生了海量数据.用大数据视角挖掘业务数据背后蕴藏的巨大价值、盘活企业的海量数据资产,为电信运营商应对数据业务飞速发展提供了新思路.本文阐述了大数据的定义和发展趋势,依据大数据价值链层次构成理论分析了电信运营商的大数据优势和面临的挑战,介绍了全球典型电信运营商的大数据试用情况,并结合大数据处理基本流程,从精细化运营和商业模式创新两个方面对电信运营商在4G时代的大数据应用进行了探讨.     

海量数据如何管 ILM新机遇

2009年,中国的运营商正式进入全业务运营时代,将面临着更加庞大更加复杂的数据管理问题。全业务带来新挑战海量数据管理的问题一直是电信行业支撑系统需要解决的大问题,数据量增长非常之快,企业的存储成本也随着水涨船高。企业对数据海量存储的需求,催生了企业运用新技术实现分级管理海量数据的想法与实践,信息生命周期管理(ILM,Information Lifecycle Management)     

基于云计算的海量数据存储模型

针对目前网络产生的数据越来越多以及随之而来的海量数据的存储问题,在云计算技术上,依据Hadoop及虚拟化技术,提出了基于云计算的海量数据存储模型。将医院信息化的海量数据部署在Hadoop平台上,根据云计算的核心算法MapReduce来处理数据,最后将数据存储在虚拟资源池中。通过实际的应用,该模型可以很好地克服现行的存储方式存在的不足,解决海量数据在存储当中存在的问题,并且能够很好地提高存储的效率。     

基于Hadoop云计算平台的数据挖掘分析

通过阐述Hadoop平台下的HDFS分布式文件系统数据存储及处理功能和MapReduce核心架构的数据处理模式,结合Hadoop云平台数据操作机制,探讨与分析了基于云计算平台的数据挖掘设计。     

基于Spark的用户上网WAP日志分析

在移动互联网时代,越来越活跃的用户手机上网行为带来了流量的迅猛发展.对电信运营商而言,用户上网日志包含了大量用户个性化需求、喜好信息,对其进行分析和挖掘,能更好的了解客户需求.传统经营分析系统小型机加关系型数据库的架构无法满足对海量非结构化数据的处理需求,搭建基于X86的Hadoop平台,引入大数据处理技术的方式,实现高效率、低成本、易扩展的经营分析系统混搭架构成为电信运营商最为倾向的选择.文章主要以用户WAP日志为例,详细阐述如何利用大数据技术处理海量的非结构化数据,进而挖掘和分析用户上网行为.     

基于Hadoop和HBase的分布式索引模型的研究

随着互联网上信息量飞速增长,海量数据的索引出现了难题,现行的索引方案已经难以提供高效、可靠的服务,为此,设计并实现了一种针对海量数据进行索引的平台模型。该平台模型首先利用Solr分布式索引器生成索引文件,然后利用Hadoop分布式集群,以HDFS分布式文件系统、Map Reduce分布式并行计算模型、Zookeeper同步协同系统以及Hbase分布式数据库技术来处理、协调管理索引和存储海量数据,最后通过实验测试,该平台模型可以克服现行的海量数据索引时存在的效率低的问题,同时具有良好的扩展性和可靠性。     

基于Hadoop的海量数据存储平台设计

基于Hadoop开发的海量数据存储平台优势显著,使用者无需掌握架构底层的搭建细节,只需根据应用层的功能指引便可以开展分布式程序的开发工作。文章提出的存储平台的最底层即为HDFS系统,可用于存储Hadoop集群中所有存储节点对应的文件。HDFS上一层是MapReduce引擎,主要由Job Trackers和Task Trackers组成。基于Hadoop的海量数据存储平台能大幅度提升数据录入、查找、调用的效率。     

基于Hadoop平台的电信大数据入库及查询性能优化研究

随着移动互联网的快速发展,电信运营商内部各种IT系统中的数据出现了"大数据"的特征,既有的技术架构和路线已无法高效处理如此海量的数据。针对流量经营大数据管理和大数据服务中海量DPI数据的数据入库和数据查询场景,提出了一种基于Hadoop的分布式数据服务架构,并设计出在该架构下的数据入库和查询性能的优化算法,通过模拟数据的实验对性能优化算法进行了验证。     

大数据及其在电信运营中的应用研究

从大数据概念出发,首先分析大数据关键技术,如Hadoop技术、云计算、数据挖掘等,其次分析大数据在电信运营中的应用案例,给出国内外电信运营商在打数据方面的应用案例,最后展望电信运营中大数据及其应用的发展前景.