基于Hadoop平台的电信大数据入库及查询性能优化研究

随着移动互联网的快速发展,电信运营商内部各种IT系统中的数据出现了"大数据"的特征,既有的技术架构和路线已无法高效处理如此海量的数据。针对流量经营大数据管理和大数据服务中海量DPI数据的数据入库和数据查询场景,提出了一种基于Hadoop的分布式数据服务架构,并设计出在该架构下的数据入库和查询性能的优化算法,通过模拟数据的实验对性能优化算法进行了验证。     

基于Hadoop技术的数据查询平台建设

传统的关系型数据库架构在应对电信运营商海量的大数据处理时建设成本高昂,处理能力低下,已经无法满足在大数据场景模式下的新型业务需求。Hadoop云计算平台作为一种新型的大数据处理方案,充分利用其低价格和高性能的优势,可以满足海量数据存储及数据处理功能。文章在对Hadoop技术介绍的情况下,设计一套基于Hadoop架构的数据查询平台,实验证明,该平台能够有效提高数据处理效率,降低建设成本。     

Hadoop平台下的数据迁移设计与实现

为解决持续增长的海量数据的存储压力,提出了由在线存储平台和大数据存储平台组成的分层存储系统,并对分层存储系统中结构化、非结构化数据迁移的设计和实现进行了详细描述,同时介绍了系统实际使用情况及优缺点。     

基于Hadoop的广西移动云详单系统设计和实现

为客户提供便利准确的详单查询服务,对于维系客户忠诚度具有重要意义.为解决传统的详单查询系统高并发查询性能低、查询响应速度慢、扩容周期长等问题,基于Hadoop分布式架构的思路,设计和实现了广西移动云详单查询系统.该系统由话单预处理子系统、详单存储子系统及详单查询服务子系统三个子系统组成.引入分布式数据库替换传统小型机数据库架构,基于X86设备实现详单处理的分布式架构,提高详单查询效率;采用分布式数据储存技术,提高系统高可用行和稳定性.     

基于Hadoop的详单云查询系统设计

基于Hadoop的分布式系统架构能有效提升详单查询的吞吐量和可靠性,较传统的小型机+磁盘阵列方式,能显著地降低成本,保护投资。     

基于Hadoop的高校大数据计算平台构建研究

为了有效帮助学校实现对校内数据的集中管理和高效运用,可以通过利用Hadoop技术搭建起相应的大数据计算平台。文章将在此背景下,通过简单介绍Hadoop的构造模块以及具体组件,尝试对基于Hadoop的高校大数据计算平台构建进行简要分析研究。     

基于Hadoop的分布式集群平台构建方法研究

随着网络技术的发展,用户的数据量呈现指数级的增长,产生的海量数据单靠一台高性能的计算机存储,成本很高,不适合大部分的用户。基于Hadoop分布式集群平台,在构建低价的硬件上,成本低,应用场合广泛,能够满足海量数据存储的需求。介绍了Hadoop发展前景趋势和三大核心技术,详细分析了分布式集群的构建方法,成功构建分布式集群平台。     

Hadoop大数据计算平台搭建实践

无线电监测工作者在日常工作中积累了海量的监测数据文件,如何快速解析处理这些监测数据成为亟待解决的问题.本文首先介绍了 Hadoop大数据分析框架,其次详细介绍了 Hadoop大数据分析平台的分布式部署方法,最后对平台进行验证测试,为高效处理海量无线电监测数据奠定基础.     

基于大数据平台的信令数据采集技术研究

针对现有信令数据采集技术所面临的海量数据采集需求以及存储困难等问题,文中研究了基于大数据平台的信令数据采集技术。设计了基于大数据平台的信令监测系统架构,并分析了信令监测系统的大数据解决方案。另外,文中进一步划分了基于大数据平台的信令数据采集架构,主要包括大数据信令采集架构、大数据信令采集模式以及大数据信令采集内容3部分。所设计的面向大数据平台的信令数据采集技术架构可以有效适用于海量信令数据采集场景,为实现大规模分布式信令数据采集提供了工具。     

基于Hadoop的大数据实时营销体系搭建

大数据时代的到来,运营商拥有大量的信令数据、通信数据、消费数据,具备了大数据平台建设的能力。本文在利用Hadoop云平台的分析能力下,采用自动化建模、机器学习的算法和思想进行模型设计,搭建用户实时营销推荐体系,应用高效率、自动化、可视化的数据挖掘新技术,实现大数据下的实时营销。将用户套餐的精确营销作为实证研究,结果表明其营销效果较传统营销手段成功率有大幅提高。     

基于Hadoop云计算平台的海量文本处理研究

针对海量文本数据处理,为实现快速文本处理响应,缩短海量数据为辅助决策提供服务的时间,基于Hadoop云计算平台,建立HDFS分布式文件系统存储海量文本数据集,通过文本词频利用MapReduce原理建立分布式索引,以分布式数据库HBase存储关键词索引,并提供实时检索,实现对海量文本数据的分布式并行处理。实验结果表明,Hadoop框架为大规模数据的分布式并行处理提供了很好的解决方案。     

基于互联网融合媒体的 大数据应用技术分析

大数据技术作为一种新的数据处理解决方案,能够很好地完成对类型繁多、规模庞大的海量数据的处理与价值挖掘工作。互联网与传统广播电视相融合而形成的媒体形态,作为重要的媒体传播领域与媒体数据源泉,大数据应用将对其产生深刻影响。通过对"大数据时代"下互联网融合媒体的发展与特点的阐述,揭示了大数据在互联网融合媒体中应用的重要性与必要性。同时,对大数据在互联网融合媒体中的应用技术进行了简要分析。     

大数据平台的关键技术及组网方案

基于大数据发展的趋势和电信运营商面临的挑战,分析了建设大数据平台的重要性和必要性.结合运营商实际需求,提出了大数据平台建设的关键技术、系统架构、设备配置方法和组网方案等,对各电信运营商大数据平台的规划、设计、建设提供指导意见.     

基于大数据平台的企业级经营分析系统建设探讨

针对现有经营分析系统（BASS）存在的短板,整合企业各域数据,优化系统架构,采用大数据技术构建企业级经分系统,提高资源利用率,并通过逐步解耦数据及应用,逐步开放能力平台,充分发挥数据价值,支撑公司全面发展运营。     

数据仓库与大数据融合的探讨

针对传统企业对非结构化数据缺乏有效利用的问题,探讨了基于数据仓库与大数据融合的企业大数据解决方案.根据数据仓库建设理论和下一代企业级数据仓库架构,利用Hadoop技术进行非结构化数据的收集、处理及存储,通过与传统数据仓库和BI工具共同协作,解决企业大数据应用困难的问题.数据仓库与大数据技术的融合解决了传统企业数据处理的障碍,从而推动大数据项目的实施.     

面向Hadoop架构的大数据安全研究

文中将从两个方面讨论大数据的安全：一是体系结构方面,将列出一些大数据系统在处理和存储信息时的差异,并讨论它们如何影响数据和数据库的安全性.二是运维管理方面,将详细介绍与大数据平台相关的运行安全问题,并分析大数据和管理系统所面临的挑战,尤其是当系统本身缺乏内在机制安全时.最终给出技术建议,勾勒大数据安全的战略战术,确保这些数据仓库的安全.     

基于Hadoop的海量电信数据云计算平台研究

传统的数据分析方法面对海量电信数据存在管理和分析难的问题.Hadoop是一个可实现大规模分布式计算的开源框架,具有高效、可靠、可伸缩的优点,被广泛应用于云计算领域.本文在对云计算和Hadoop进行分析和研究的基础上,提出了一种针对海量电信数据的分布式云计算方法,建立了基于Hadoop的海量电信数据云计算平台.实验证明,该平台能够有效完成海量数据的管理和分析任务,提高海量数据分析的速度和效率.     

基于云计算的大数据挖掘平台

开发了一个基于云计算的并行分布式大数据挖掘平台——PDMiner.PDMiner实现了各种并行数据挖掘算法,如数据预处理、关联规则分析以及分类、聚类等算法.实验结果表明,并行分布式数据挖掘平台PDMiner中实现的并行算法,能够处理大规模数据集,达到太字节级;具有很好的加速比性能;实现的并行算法可以在商用机器构建的并行平台上稳定运行,整合了已有的计算资源,提高了计算资源的利用效率;可以有效地应用到实际海量数据挖掘中.在PDMiner中还开发了工作流子系统,提供友好统一的接口界面方便用户定义数据挖掘任务.     

基于大数据的信令监测系统研究

移动数据业务需求量的快速增长,带来了信令数据存储、处理、分析的巨大压力。本文结合现有信令监测系统功能架构和业务需求,论述了信令监测系统的发展趋势,提出了基于大数据的信令监测系统建设方案,讨论了系统建设中的关键技术。以提高网络维护效率,提升用户体验,增强企业核心竞争力。