面向海量数据处理的网管改造方案

随着业务系统云化改造的实施,监控节点会成倍的增长,网管系统必须满足海量资源与信息的监控与处理要求。早期的架构存在单点隐患、资源管理效率低、数据处理速度慢等问题,原来集中处理与存储架构的方式,不能满足海量数据采集与处理的需要。单纯增加高性能服务器来实现系统性能的提升越来越困难,且成本昂贵。基于以上需求,参考互联网系统架构的建设,提出一种面向海量数据处理的网管改造方案,有效解决现有平台的问题。     

用于智能电表数据分析的大数据平台

智能电网所产生的海量计量数据对数据存储和数据处理的系统架构提出了苛刻的性能要求,为此,文中提出了一种以内核、代理和客户端为主的模块化的大数据平台架构。所提议的大数据平台是基于Hadoop平台扩展,针对TB级别的静态智能电表数据集的存储和查询。实验结果表明,提议的大数据平台能够为电力行业提供一个具有竞争力且易于操作的大型能源数据管理和可视化知识平台,具有支持数据密集型决策的潜力。     

基于Spark的用户上网WAP日志分析

在移动互联网时代,越来越活跃的用户手机上网行为带来了流量的迅猛发展.对电信运营商而言,用户上网日志包含了大量用户个性化需求、喜好信息,对其进行分析和挖掘,能更好的了解客户需求.传统经营分析系统小型机加关系型数据库的架构无法满足对海量非结构化数据的处理需求,搭建基于X86的Hadoop平台,引入大数据处理技术的方式,实现高效率、低成本、易扩展的经营分析系统混搭架构成为电信运营商最为倾向的选择.文章主要以用户WAP日志为例,详细阐述如何利用大数据技术处理海量的非结构化数据,进而挖掘和分析用户上网行为.     

基于Hadoop的海量小文件存储方法的研究

随着科学技术的发展,各行业及领域需要处理的数据呈爆炸式增长。Hadoop是大文件存储处理的理想平台,但Hadoop在处理海量小文件时的表现并不令人满意。本文首先对HDFS的系统架构作了简要介绍,进而分析了HDFS处理海量小文件时存在的问题,最后介绍了目前国内外对该问题提出的优化方案。     

基于Hadoop的高校大数据平台的设计与实现

随着信息化的推进,高校已经建设了很多信息系统,积累了大量数据。如何从海量数据中,挖掘有价值的信息,支撑智慧校园的建设,成为需要迫切解决的问题。文中就高校大数据平台的关键技术和架构进行阐述,结合高校实际情况,设计高校大数据平台架构,通过搭建Hadoop集群环境,以业务系统和平台之间的数据交互验证平台设计的可行性和优势。通过研究,文中为高校建设大数据平台提出一种设计方案,为高校信息化建设提供一种新思路。     

基于云计算的海量数据处理平台设计与实现

针对传统并行处理技术在海量数据处理中存在的实际应用问题,利用云计算技术强大的计算能力、高效的海量数据处理方式,结合关系数据库实时访问的优点,在Hadoop分布式计算框架基础上,采用Map-Reduce架构,设计并实现了基于云计算的海量数据处理平台.实践证明,该系统在计算能力、稳定性、可扩展性等方面都优于传统并行处理的技术,能有效解决海量数据大并发访问.     

基于Hadoop的交通信息物理系统大数据架构平台

CPS深度融合了计算、通信、控制技术,实现了对物理世界实体感知、通信、计算和控制过程.TCPS是CPS在交通领域的应用,是新一代智能化交通管理的解决方案.TCPS大数据是交通物理世界实体的感知信息,是所有后续决策制定的基础,是交通智能化管理的关键.本文研究了CPS、TCP以及Hadoop平台的技术原理,分析了TCPS大数据处理的关键问题,提出一种基于Hadoop的交通信息物理系统大数据架构平台的解决方案,设计了基于Hadoop的TCPS大数据平台架构,讨论了基于MapReduce的TCPS大数据挖掘方法和流程,为下一阶段的智能化交通管理系统建设提供技术支持.     

基于大数据技术的流量分析平台方案研究

数据产业进入了高速增长期,实现海量的数据流量分析经营成为运营商需迫切解决的问题。借助大数据相关技术,基于Hadoop架构体系提出了一套流量分析平台设计方案,并提供了详细的软件功能方案和基础架构方案,以期指导运营商流量分析类平台的落地建设。     

GBase8aMPP:一种新型关系数据库的设计和实践

随着行业大数据应用的迅速发展,对基于海量数据的行业大数据的存储、处理和管理提出了更高要求,传统的小机+存储阵列的架构已经无法满足海量数据增长和系统扩展性的要求。本文总结了一种基于MPP架构+列式存储设计的新型关系数据库技术的产品——GBase 8a MPP的技术设计思路,这些技术有效解决了传统架构下的扩展性问题和大规模并行计算问题,并且通过内部高可用机制实现在低价计算平台上的大数据平台可靠性。     

采用云计算技术的网络流量检测

为了实现对现网大数据网络流量的实时、有效检测,提出了一种基于云计算的网络流量检测方案。该方案充分利用Hadoop平台Map/Reduce编程模型在海量数据处理方面的优势,采用分层化的设计思想,克服了传统检测方案在海量数据应用环境中效率低下、可扩展性与安全性不足的缺点。重庆移动DPI平台应用表明,该方案较为有效,流量检测效果良好,在大数据处理时效率较普通分布式处理有明显提高。     

基于Hadoop的分布式集群平台构建方法研究

随着网络技术的发展,用户的数据量呈现指数级的增长,产生的海量数据单靠一台高性能的计算机存储,成本很高,不适合大部分的用户。基于Hadoop分布式集群平台,在构建低价的硬件上,成本低,应用场合广泛,能够满足海量数据存储的需求。介绍了Hadoop发展前景趋势和三大核心技术,详细分析了分布式集群的构建方法,成功构建分布式集群平台。     

面向在线日志云的海量数据分级归档机制

传统日志系统和基于Hadoop的离线日志系统在分析海量日志时都具有时延长、效率低等弊端。为构建新的基于Hadoop的在线日志系统,提出了新的数据分级归档机制,用以管理海量日志数据并形成分级优化的存储文件结构。实验结果表明该机制具有良好的可扩展性,可以有效存储海量日志数据;同时,它还有助于加快系统的数据处理速度,缩短系统的处理响应时间,使其满足在线处理的要求。     

基于Hadoop平台的电信大数据入库及查询性能优化研究

随着移动互联网的快速发展,电信运营商内部各种IT系统中的数据出现了"大数据"的特征,既有的技术架构和路线已无法高效处理如此海量的数据。针对流量经营大数据管理和大数据服务中海量DPI数据的数据入库和数据查询场景,提出了一种基于Hadoop的分布式数据服务架构,并设计出在该架构下的数据入库和查询性能的优化算法,通过模拟数据的实验对性能优化算法进行了验证。     

有线电视网络运营商企业级大数据平台建设研究

根据企业实际业务需求,梳理大数据平台所需具备的能力以及具体建设目标,按照满足海量数据存储、高性能计算、应用丰富等企业级大数据平台能力要求,从数据采集与预处理、计算与存储、平台运维和管理等方面构建企业级大数据平台的功能架构及其配套的硬件架构,为建设企业级大数据平台提供参考。     

基于Hadoop的海量数据存储平台设计

基于Hadoop开发的海量数据存储平台优势显著,使用者无需掌握架构底层的搭建细节,只需根据应用层的功能指引便可以开展分布式程序的开发工作。文章提出的存储平台的最底层即为HDFS系统,可用于存储Hadoop集群中所有存储节点对应的文件。HDFS上一层是MapReduce引擎,主要由Job Trackers和Task Trackers组成。基于Hadoop的海量数据存储平台能大幅度提升数据录入、查找、调用的效率。     

基于HADOOP分布式系统的数据处理分析

各种信息数据在迅猛增长,云计算技术的出现为海量数据的处理提供了良好的解决方案。Hadoop 是云计算技术中分布式并行编程框架的开源实现,它利用集群的并行计算和存储能力,高效的完成对海量数据的处理,云计算能够为社会创造出更大的价值。最后通过Hadoop组织廉价的计算机资源搭建了一个分布式云计算平台,具有高容错、高效性、高扩展性等优势,并完成对数据处理能力和平台可扩展性进行性能测试与分析。     

游戏大数据平台研究与实践

立足于游戏平台数据快速处理需求,构建基于分布式+关系数据混合多元的大数据处理架构,针对高价值密度的结构化数据采用关系数据处理;大量无序的非结构化数据采用分布式机制处理.两种类型数据实现有序化后,统一交予传统关系数据库构建关系化模型并展示,既能实现关键经营分析数据的高效处理,又能满足无序的日志数据规模化处理需求.通过剖析其总体架构、主要功能和关键技术,从而为其他业务平台大数据分析建设和改造提供借鉴和参考.     

浅谈大数据处理技术架构的演进

新兴应用对大数据处理技术架构的实时性要求不断提高,这对传统的大数据处理技术架构提出严峻的挑战。必须转变架构满足大数据相关业务的实时性要求。文章介绍Hadoop离线处理架构的瓶颈以及Storm实时处理架构的优点,同时,结合实际项目中变更大数据处理技术架构的经验,阐述在实施架构变更过程中的关键技术,实验结果证明使用变更后的技术架构可以满足业务的实时性要求。     

基于大数据Hadoop技术对电网客户违约情况的分析和预测

随着智能电网的发展,电网公司的各类业务应用产生了海量的数据,基于Hadoop的大数据处理技术是以分布式文件系统为基础的大规模并行数据处理平台,它能充分利用硬件集群的资源,进行并行计算和内存流计算,大大提高了数据运算分析的效率,全面支撑电网公司如客户欠费风险预测等对海量准实时数据处理分析的需求。     

分布式大数据管理系统的设计与实现研究

社会高速发展的同时,数据也呈现爆炸式的增长,传统的数据库管理系统已经无法满足海量数据的存储需求。云存储技术成为一种新的数据存储方案,在Hadoop分布式系统的基础个,提出了一种基于云计算环境下的分布式大数据管理系统,为海量的文件存储与处理提供平台。对云计算大数据存储系统进行功能分析,同时还对大数据管理系统的框架进行设计,最后通过实验的方式验证了分布式大数据管理系统相比于其他方式的管理系统,处理的速度更快,存储时间更短,存储效率更高。