浅谈基于Hadoop平台的大规模数据排序

据IDC统计,2011年全球处理的数据量达到1.8 ZB,预计到2020年达到40 ZB.如何对海量数据进行高效分析和有效管理已成为大数据时代亟需解决的问题之一.商业数据、科学数据和网页数据这3类海量数据的异构性(充满着非结构化、半结构化和结构化数据)进一步增加了海量数据的处理难度.海量数据排序是海量数据处理的基本内容之一.Hadoop曾利用3 658个节点的集群在16.25小时内完成1PB数据的排序,获得Daytona类GraySort和MinuteSort级别的冠军.本文在设计层面上对Hadoop平台上海量数据排序策略进行分析.     

大数据

点评: 1 大数据是海量、多样化和动态变化的数据 "大数据"一词目前尚无精确严格的定义.一般认为,大数据是指无法在一定时间内用现有常规软件工具对其内容进行抓取、管理和处理的数据集.业界普遍认为,"大数据"不仅数量大,应具备海量、多样和快速三个方面特征: 一是数量(Volume)巨大.据IDC估计,到2020年,全球数据使用量预计将比2009年暴增44倍,达到35.2ZB.     

电信运营商大数据策略的“攻”与“防”

面对移动互联网时代大数据带来的变革和商机,运营商应将大数据作为一种战略资源,从"防"和"攻"角度重点关注网络智能化与流量经营、数据价值挖掘和应用等方面的应对策略。对卓越体验的不断追求驱动大数据应用快速发展1.全球数据呈现爆发式增长互联网以及智能终端的快速普及使全球数据量出现几何级数增长,全球2010年正式进入ZB时代,IDC预计到2020年,全球将总共拥有35ZB的数据量,全球数     

大数据在电网中应用的价值研究

随着科学技术的快速发展,文字、图片、音频、视频等数字化信息呈指数式增长,大数据时代已经来临。全球信息总量每两年约增长一倍,2011年全球创建和复制的数据总量有1.8ZB （1021 bits）,预计2020年将达到35ZB,是现在的50倍。大数据从增加清洁能源供应、控制能源消费、降低能耗,到绿色建筑和智能电网建设都将发挥巨大作用。     

我国本土企业亮剑海量存储领域

市场研究机构IDC在5月24日发布研究报告指出,2011年全球被创建和复制的数据总量达1.8ZB(1.8万亿GB),这相当于每个美国人按每分钟发3条微博的速度,不停发布2.7万年。不仅如此,这浩瀚的"信息宇宙"正在以惊人的速度膨胀,据IDC预测,到2020年全球数据量将达到35ZB。世界正在走向"大数据"时代,每年50%的数据骤增速度,将"海量数据处理"这个巨大难题摆在了市场面前。与之对应的是,在这场"大数据"变革时代,谁能够解决海量数据处理难题,谁就有可能成为数据时代的领军者,为此,国内外知名的IT企业已经开始布局。一、厉兵秣马,抢食大数据蛋糕毫无疑问,面对大数据时代的来势汹汹,传统存储系统已经捉襟见肘。如何满足GB甚至是TB级别的数据增长量,如何快捷进行数据管理,如何应需而变实现在线动态扩展……都是数据爆发性增长对存储设备的严苛考验。在海量存储需求的刺激下,大数据时代正在掀起存储     

大数据智能存储系统的研究与设计

随着互联网的快速普及和发展,电子政务、电子商务等信息化系统在使用过程中已经积累了海量数据资源,我们进入了大数据时代.海量数据资源存储在不同的区域,为了提高数据的利用效率,改进用户访问命中率,本文针对大数据智能存储系统进行研究,该系统包括元数据管理、数据估值、动态迁移控制等多个功能,分析了系统应采用的关键技术,通过数据分类技术、数据放置技术和数据迁移技术,实现数据的动态分类和在线迁移,提高大数据时代的利用率.     

全球运营商大数据部署处于初级阶段 多种能力亟待提升

全球数据发展进入海量化、多样性、快增长的大数据时代,大数据分析和应用的需求正在快速增长。Verizon、西班牙电信、德国电信和中国移动等国内外电信运营商已经开始广泛关注大数据,在内部管理和对外服务等环节展开大数据应用,并从理念培育、组织优化、技术研发和设施建设等方面提升大数据能力。大数据应用备受瞩目融合领域将催生创新机会互联网的快速发展以及物联网、云计算等新兴技术的不断出现和繁荣,使得全球数据爆炸式增长,进入大数据时代,呈现出海量化、多样性和快增长的特征。     

“大数据”时代的计算机信息处理技术

随着科技的快速发展,计算机网络也在不断进步,并随之出现海量的数据信息。现如今,已经从数据时代逐渐转为大数据时代。这种形式的变化给计算机信息处理技术带来一定的难度,当今的计算机信息处理技术很难满足海量数据处理的需求,再加上海量数据容易获取,使数据存在一定的安全隐患。文章从计算机信息处理技术以及大数据的概念出发,对大数据时代下计算机信息所面临的机遇与挑战进行分析,最后对大数据时代下计算机信息处理技术的发展方向进行了探讨。     

大数据安全现状及其保护对策

<正>随着信息化、网络化的发展以及移动终端设备的广泛应用,全球数据总量近几年呈现出指数级的增长。每天,每时每刻,微博、微信、QQ、Skype以及Facebook、Twitter等即时通讯软件,淘宝、京东、亚马逊等电子商务网站,Google、百度等搜索引擎都在产生大量的难以估计的数据。据报道,2011年,全球被创建和复制的数据总量达到1.8ZB;2012年,全球信息总量已达到2.7 ZB。大数据的市场规模将从2010年的32亿美元到2015年     

大数据技术在电力行业的应用研究

随着无处不在的传感器芯片、高速通信网络以及高性能分布式计算系统的广泛应用,随时产生、海量存储、异构形态、即时处理的海量数据正把人类社会带入崭新的大数据时代。电力行业大数据综合了电力企业的产、运、销及运营和管理数据,如何对其采集、传输、存储、分析并最终指导生产、服务终端用户将是电力行业信息化的重要研究课题。从大数据定义、发展趋势、关键技术3方面宏观上概述了大数据时代的特征,在此基础上总结了现有大数据技术在电力行业的研究与典型应用,最后分析了大数据时代电力企业信息化发展所面临的若干挑战。     

大数据时代的挑战、价值与应对策略

随着现代移动互联网、云计算等科学技术的飞速发展,以及多种智能信息终端技术的不断普及,全球信息数据量呈现爆炸式增长,以海量信息数据为基本特征的大数据时代已经到来.本文通过科学地分析了大数据时代的到来为现代社会带来的巨大挑战、价值以及有效地应对策略,从而有效地探究大数据时代对现代社会和人们的帮助和影响.     

简网络·享未来——锐捷网络发布2013年产品战略

3月12日,在"以简驭繁,让用户关注业务而非网络"的战略下,锐捷网络发布了其2013年系列"简"网络新品。云计算、大数据、BYOD等新技术浪潮的风起云涌,让用户在为新机遇欣喜的同时,也不得不面对企业网络日趋复杂,难以运营管理的挑战。2012年,全球共产生2.4ZB数据,而到2020年,这一数字还将增长14倍,达到40ZB。海量的大数据,再加上网络应用和接入设备的爆炸性增长,让今天的企业网络变得越来越难以管控。随     

大数据时代浪潮的“弄潮儿”——客服数据集市

进入2013年,海量的数据正在迅速膨胀并变大,它决定着企业的未来发展,虽然现在企业可能并没有意识到数据爆炸性增长带来的问题的隐患,但是随着时间的推移,人们将越来越多的意识到数据对企业的重要性。面临海量数据的挑战大数据(bigdata)是时下非常热门的话题,大数据是用来描述和定义信息爆炸时代产生的海量数据。大数据的发展能够为人们获得更为深刻、全面的洞察能     

需求增长推动大数据应用快速发展

全球数据发展已经进入大数据时代,呈现海量化、多样性和快增长特征.在全球信息通信领先企业的推动下,大数据业务正在蓬勃发展,并已引起各类企业的广泛关注.目前,大数据产业尚处发展初期,其规模化应用仍然面临商业应用、技术实施、隐私保护等一系列问题.     

大数据时代环境下数据库的发展趋势与影响

现在全球进入大数据时代,数据挖掘与数据云计算被越来越多的人所重视,如何在海量异构的数据中迅速提取有价值有意义的数据模型成为研究重点,作为大数据时代的基础,数据库的发展出现了新的趋势。     

中小企业云存储方案凸显经济便捷性

目前,智能手机、RFID等多种设备以及相关应用正推动着大数据时代的到来。根据IDC相关统计数据,2009年全球整体数据量为0.8ZB,而2020年全球数据量将增长43倍,至35.2ZB。与此同时,不论是大中型企业,     

大数据时代档案信息化管理的优化策略

在新时代背景下，大数据的优势逐渐凸显，档案信息化管理已经成为时代发展的必然趋势，其能在最大程度上节省人力和物力成本，提升档案管理的质量和效率。随着大数据技术的不断革新发展，各种海量的信息资源得到了充分的交流、共享、整合、运用，为档案的信息化建设奠定了良好的基础。文中从大数据时代的基本内涵入手，分析了当前档案信息化管理存在的问题，探究了大数据时代档案信息化管理的优化策略。     

大数据分析及处理综述

如今,数据越来越成为全球科技竞争的制高点,拥有了海量数据就拥有了重要的战略资源.大数据技术在许多领域都发挥了重要作用,大数据技术一般是以大数据分析及处理为核心,掌握大数据分析及处理技术,能获取丰富的数据资源,也能够最大限度的开发数据价值.本文重点介绍大数据分析与处理技术.     

大数据时代信息安全隐患与对策分析

如今网络科技和计算机科技高速发展,从互联网衍生出来的物联网、车联网、云技术等充斥着人们的生活,也正是这些数据技术使得全球进入了全新的大数据时代。人类的生活很多都与网络有着密不可分的关系,无论是资源浏览还是社交互联,互联网时时刻刻都承载着海量的数据,这也标志着大数据时代的到来。信息交互增加,随之而来的还有信息安全,本文将针对大数据时代的信息安全问题展开讨论,简要分析如何应对存在的安全隐患。     

大数据,健康新闻传播新机遇

继云计算、物联网之后IT产业又一次颠覆性技术变革——大数据(data),大数据现在已不是传统意义上的数据,而是海量数据、超大数据。本文讨论了在大数据时代下我国健康传播的发展现状以及在这样海量数据存在的移动及互联网载体下存在的机遇与挑战,探讨了在这样的机遇下应采取怎样战略方式。