大云模式

8月22日云计算分论坛大数据——新的生态系统现在大数据已经不仅仅是指大量的复杂数据或某一些技术,它正在快速演变成新的生态系统。Hadoop等技术最早诞生于互联网公司,并逐渐走到企业和行业中去。技术本身的辐射会要求更多的人员掌握、     

浅谈大数据时代运营商数据平台转型及应用引入

伴随移动互联网的快速发展,数据以爆炸式增长,我们进入了大数据时代.大数据时代的来临,运营商传统的数据平台转型越来越迫切.本文在对当今主流大数据技术研究和分析基础上,浅谈大数据时代运营商数据平台的转型,提出了一种传统关系型数据库+Hadoop生态系统+实时计算Storm的混合搭建的方法,并对其应用场景进行探讨研究.     

基于Hadoop的高校大数据计算平台构建研究

为了有效帮助学校实现对校内数据的集中管理和高效运用,可以通过利用Hadoop技术搭建起相应的大数据计算平台。文章将在此背景下,通过简单介绍Hadoop的构造模块以及具体组件,尝试对基于Hadoop的高校大数据计算平台构建进行简要分析研究。     

基于Ambari快速部署Hadoop大数据集群环境研究

Hadoop大数据实验环境搭建的复杂性已经成为很多分布式应用初学者或者大数据的业务应用开发者学习和研究大数据技术一道很难跨越的门槛.Ambari是一种支持Hadoop集群部署、监控和管理的开源工具,通过安装向导来进行集群的搭建,简化了集群供应.本文提出基于Ambari快速部署Hadoop大数据集群各组件的实践方法,重点...     

基于Hadoop的交通信息物理系统大数据架构平台

CPS深度融合了计算、通信、控制技术,实现了对物理世界实体感知、通信、计算和控制过程.TCPS是CPS在交通领域的应用,是新一代智能化交通管理的解决方案.TCPS大数据是交通物理世界实体的感知信息,是所有后续决策制定的基础,是交通智能化管理的关键.本文研究了CPS、TCP以及Hadoop平台的技术原理,分析了TCPS大数据处理的关键问题,提出一种基于Hadoop的交通信息物理系统大数据架构平台的解决方案,设计了基于Hadoop的TCPS大数据平台架构,讨论了基于MapReduce的TCPS大数据挖掘方法和流程,为下一阶段的智能化交通管理系统建设提供技术支持.     

大数据环境下Hadoop分布式系统的研究与设计

随着互联网应用的飞速发展和信息的社会化数据呈爆发式的增长,传统的关系数据库在处理分析如此海量的数据时出现性能和可扩展·陆的瓶颈,通过介绍目前大数据时代面临的挑战,分析了大数据对IT系统的挑战以及针对大数据业务特点的应对策略。目前犬数据技术目前还没形成统一标准,但业界已经广泛使用Hadoop分布式系统作为其大数据处理平台,对大数据环境下Hadoop分布式系统进行了详尽的研究与设计,包括分布式文件系统、并行计算模型、分布式数据库、分布式锁服务等各个功能模块,大数据环境下的Hadoop分布式系统将更有效支撑未来电信运营商业务的发展。     

基于Hadoop的个人健康信息服务系统

个人健康信息服务系统作为现代医院健康管理系统的一个重要分支,在整个医疗系统中起着十分重要的作用.本文论述了通过Hadoop大数据平台构建了一种个人健康信息管理的方法,设计并且实现了一套基于Hadoop的个人健康信息管理系统.Hadoop作为一种日趋成熟的大数据平台,与医疗信息化相结合,为个人医疗中产生的数据提供了一种安全可靠的存储途径,实现医疗数据的集中管理.本系统利用Hadoop平台适合海量数据的运算与存储的特点,建立了个人健康信息数据中心,实现对患者健康信息最完整、最准确的管理.     

大数据开源技术发展研究

大数据技术发展与开源运动的结合已成为大数据技术创新中的一个鲜明特点。目前,大数据分析处理流程中所使用的关键技术几乎都源自开源模式,知名的大数据开源项目如分布式计算和存储系统Hadoop、基于内存计算的集群计算系统Spark,以及多款非关系型数据库（NoSQL）产品等。文章对Hadoop、Spark等知名大数据开源项目进行分析和解读,为读者开展大数据应用提供技术参考和支持。     

基于Hadoop的Web医疗咨询数据分析系统的实现

相对传统的分布式数据库和数据仓库技术,Hadoop和MapReduce技术以其简单性、良好的可扩展性和容错性成为当前大规模数据处理的主流技术之一.而Hive等软件产品在Hadoop基础上实现了与关系数据库的接口模式,从而进一步改善了Hadoop的易用性.数据存储使用Hadoop分布式存储,使用Hive特有的数据库语言HiveQL实现数据的查询以及分析操作.最后使用Java JFreeChart实现结果可视化,将结果以柱状图的形式显示出来.由于使用Hadoop作为基础,数据的查询分析速度更快,能够更好地与系统后台对接,方便管理者操作.     

Hadoop技术在广电大数据处理中的研究与应用

一前言 1．Hadoop简介 Hadoop作为大数据存储及计算领域的一颗明星,目前已得到越来越广泛的应用,许多世界知名企业如雅虎、Google、淘宝等,都在使用Hadoop进行大数据处理。     

大数据在广播电视行业发展中的应用探究

随着新媒体业务在广电系统的发展,大数据已经影响了广电运营商整个产业的发展.本文针对广电运营商在大数据时代面临的挑战,研究了如何有效的获取数据以及Hadoop在广电业务系统应用的可行性,并给出了广电运营商的调整策略.     

Hadoop在数据处理中的应用

分析了电信数据处理的类型、特点、当前存在的问题以及Hadoop适合的电信数据应用场景,并验证了Hadoop对电信数据处理能力的提升,还对Hadoop在电信信息化体系架构中的位置和角色以及对此可能带来的变化进行了初步探讨.     

一种适合大数据存储系统的高效负载均衡算法设计

负载均衡技术作为大数据存储技术的核心,其直接关系到构建的大数据存储系统的效率和稳定性,文章以Hadoop大数据存储系统平台为例,提出了一种高效的大数据存储系统负载均衡算法,该算法在传统的Hadoop存储系统负载均衡的算法基础上,通过增加了考虑优先级处理超负载的策略,对系统中的超负载的机架进行有限平衡处理,以解决传统的Hadoop存储系统负载均衡算法对处理超负载机实时性低,导致系统节点崩溃详细的问题,可以有效地提高整个基于Hadoop架构的大数据存储系统的稳定性和数据存储效率。     

基于Hadoop和MapReduce的大数据处理系统设计与实现

随着信息技术的猛烈发展,各行各业产生的数据呈指数型增长。如何利用,分析,整合这些"大数据"成为信息时代的一大挑战。文章针对信息时代下,大规模数据处理分析效率等一系列相关问题,利用Hadoop技术,设计并实现了一套基于Hadoop和MapReduce的大数据处理系统,该系统利用Hadoop分布式文件系统(HDFS)存储数据,利用Hadoop Map Reduce框架分布式处理数据分析任务。实验结果表明:该系统可以将单一数据处理任务分配到一个Hadoop集群上去,继而提高大数据文件处理效率。     

大数据存储技术标准化的探讨

在Hadoop平台上分析大数据存储技术的标准化问题，详细描述了现有大数据库的存储技术以及应用情况，从数据采集、并行计算框架、以及结果的输出、并行数据处理等方面来探讨大数据存储的标准化问题。     

基于Hadoop技术的挖泥船大数据平台架构研究

基于大数据背景下对海量疏浚历史数据进行高效存储、提取和处理的目的,采用了Hadoop技术,通过建立挖泥船大数据平台并结合数据挖掘算法,完成了对疏浚大数据的采集、存储和分析.以挖泥船疏浚实例为应用背景,通过使用Hadoop平台的数据挖掘工具Mahout对疏浚工艺点进行了聚类研究,并根据聚类结果给出了初步的疏浚性能评估.结...     

一种基于保形加密的大数据脱敏系统实现及评估

数据脱敏,是指对数据中包含的一些涉及机密或隐私的敏感信息进行特殊处理,以达到保护私密及隐私信息不被恶意攻击者非法获取的目的.保形加密是众多数据脱敏技术的一种,但其具有保持原始数据格式不变的重要优势,从而在一定程度上对上层应用透明.随着大数据时代的到来以及Hadoop平台的广泛应用,传统的基于关系型数据库的数据脱敏技术已不能满足实际的生产需要.针对Hadoop大数据平台实现了一种基于保形加密的数据脱敏系统,支持对多种数据存储格式以及纯数字、纯字母或数字一字母混合等多种数据类型敏感数据的加密脱敏处理.然后对3种不同的实现方式进行了探讨,并开展了一系列实验对系统的加密脱敏性能进行详细的评估比较.     

中国移动手机阅读BI系统Hadoop技术的应用

Hadoop是业界领先的大数据应用平台,是一个利用整个集群资源为大数据集合提供分布式存储和分布式计算处理能力的软件框架。本文讲述Hadoop在中国移动手机阅读BI系统中的应用实例,从而给出一种大数据处理方案的推介。     

大数据智慧时代开启

如今,随着不断增加的大数据解决方案需求,Apache Hadoop已经迅速成为存储和处理海量结构化和非结构化数据的首选平台之一。企业只需在少量基于英特尔至强处理器的服务器上部署这种开源软件框架,就可用较低的成本迅速开始进行大数据分析。随后可逐步将其Apache Hadoop集群扩展到数百乃至数千个节点,从而将多PB数据的查询响应时间缩短到次秒级。英特尔与Apache Hadoop社区开展协作,支持系统管理员尽可能地实现其Apache Hadoop集群的高性能,     

2012年大数据供应商市场情绪依然乐观

墨尔本,2013年1月23日-据Ovum公司,去年大数据供应商市场情绪仍然保持积极,尽管怀疑论者认为这一话题已经被"过度炒作".伴随MongoDB声称已经吸引了传统上依赖MySQL的Web开发商的大部分注意力,大数据这一时髦词汇在2012年甚至超越企业IT领域成为商业出版物和期刊最为青睐的一个热门话题. 全球分析公司Ovum的一份最新研究报告*分析了由DataSift收集的数据;2012年,这些数据将Twitter关注以及供应商(和开源组织)情绪等级与大数据市场关联起来.Ovum 惊奇地发现虽然Hadoop作为一个大数据平台处于聚光灯下,在提到托管Hadoop项目的Apache时,开发MongoDB的供应商10 gen排在第二位.