“大数据”时代的计算机信息处理技术初探

“大数据”对数据挖掘、IT产业、经济发展和人们的社交网络活动等都是一个难得机遇,但同时也是对计算机信息处理技术的一个不小的冲击和挑战。本文分析了“大数据”对计算机信息处理技术的影响,并对“大数据”下的信息处理关键技术以及改革发展方向进行了探讨。     

大数据时代计算机信息处理技术的发展方向

随着经济的不断发展,计算机网络技术也日新月异,出现了新的发展局面。同时,大量的信息数据也不断出现,当今社会逐渐进入大数据时代。随着大数据时代的到来,计算机信息处理技术无法满足大量的数据处理需求,遇到了前所未有的挑战。基于此,笔者分析了大数据时代背景下计算机信息处理技术所面临的机遇与挑战,并对大数据时代背景下计算机信息处理技术的发展方向做出了相应"规划"。     

大数据处理模式——系统结构,方法以及发展趋势

近年来,大数据处理的相关理论以及技术越来越受到工业界和学术界的重视.一方面,在科学研究过程中产生了大量的数据,对于数据的理解成为进行科学研究的一个重要手段.另一方面,随着信息技术的不断发展,企业在信息化过程中积累了大量的结构化和非结构化数据.企业管理与运营的这些数据已经成为企业的核心资产,深刻地影响着企业的业务模式,给企业决策、组织和业务流程带来显著的变化.因此,大数据处理的相关技术也受到工业界的极大关注.依据数据处理的时间特征,大数据处理模式可以分为"离线批处理式数据处理","查询式数据处理"以及"实时式数据处理"三种模式.本文从技术角度,总结了大数据处理的总体架构,并针对处理模式的不同,对大数据处理的不同层次进行展开讨论.大数据处理的基础是数据的存储,本文首先对大数据的存储展开一定的讨论,之后对上述三种模式展开叙述,使得读者能够对大数据系统的构建方面有一个初步的了解.     

大数据崛起与数据挖掘刍议

大数据是继云计算、物联网之后IT产业又一次颠覆性的技术革命,对商业管理模式、企业决策、组织流程和个人的生活方式等都将会产生巨大的影响。随着大数据概念的提出,为数据挖掘技术的应用和发展也带来了很大的机遇,数据挖掘技术将会进入一个新的发展时期。"数据爆炸、知识贫乏"是信息时代所面临的一个严峻问题,而数据挖掘就是解决该问题的十分有效的手段。要是说以往的世纪是信息大爆炸或知识大爆炸的世纪,那么如今的世纪则是数据大爆炸的世纪。面对如此巨大的数据量,数据挖掘就显得尤为重要。此文主要论述了大数据及数据挖掘的概念和特点、大数据对人类日常生活的影响以及数据挖掘在大数据时代的应用领域。     

基于空地观测的地震大数据处理系统研究

地震观测数据包括地面和空间两部分,地面地震台站能够监测形变、重力、地磁、电磁、地电、流体等多种学科参数,空间卫星能够采集电离层离子密度、温度、电磁场等多种数据,数据格式多种多样,数据采样频率长短不一,属于典型的大数据。本文分析了地震监测产生的数据特点,符合大数据的"5V"特征;给出了大数据处理的技术框架,从大数据存储、预处理、大数据分析、知识发现以及知识应用几个方面,分析了大数据处理的六个层次,阐述了不同层次需要的数据处理方法;从存储管理技术、Map Reduce技术模型、深度学习技术、信息融合与数据挖掘技术、可视化展示与虚拟现实技术等几个方面探讨了地震大数据处理的关键技术,并给出了两例地震大数据应用场景。大数据技术应用于地震监测分析将对人类战胜地震灾害具有重要意义。     

小步快跑 挑战云市场

正现今,"大数据"可谓是一股时尚潮流,异常火爆,而两年前的流行语"云计算"的热度逐渐降了下来,人云亦云之后,我们正好可以更加严谨地审视云的市场,它对社会经济生活的影响究竟有多大?中国的机会又在哪里?互联网时代,企业生存在瞬息万变的商业环境中,海量数据与迅速变化的市场对现代企业的IT系统提出了极大的挑战。此时此刻,正是云技术的成熟和普及才为企业带来了更多的机遇,使得企业能够以一种灵活、经济的方式部署其IT系     

浅析领域知识对大数据发展的影响

大数据正在成为当今社会的热门话题,除了IT领域对它的不断探索外,大数据也在持续影响着经济、社会的进程。各行各业对大数据的炒作愈演愈烈,应该认真思考大数据研究与应用过程中面临的诸多问题。知识领域对于一项新技术来说尤为重要,若不清楚各行各业的知识领域,则新技术在不同领域中的发展及应用将会面临很多阻碍[1]。分析了大数据研究与应用的几个环节,指出了大数据处理涉及到的数据采集、数据管理、数据分析、数据建模和数据应用等过程,其中领域知识是沟通大数据处理的核心环节。由于大数据应用的关键是数据分析,数据分析的基础是领域知识,因此大数据处理必须通过领域知识才能前后贯通。     

大数据处理技术与系统研究

当前,随着信息技术的快速发展,该领域内的数据呈现出爆炸式增长的趋势,而这也意味着"大数据"时代的到来。大数据所包含的商业价值与社会价值为全球的发展带来极大的机遇,同时,也提出巨大的技术挑战。笔者主要从两个方面进行研究,即大数据分层式大数据存储系统缓存调度策略与性能优化和大规模RDF语义数据存储管理技术与系统,以期为大数据处理技术与系统研究提供一定的参考。     

天玑大数据引擎及其应用

大数据计算面对的是传统IT技术无法处理的数据量超大规模、服务请求高吞吐量和数据类型异质多样的挑战。得益于国内外各大互联网公司的实际应用和开源代码贡献,Apache Hadoop软件已成为PB量级大数据处理的成熟技术和事实标准,并且围绕不同类型大数据处理需求的软件生态环境已经建立起来。文章介绍了大数据计算系统中存储、索引和压缩解压缩的硬件加速三项研究工作,即RCFile、CCIndex和SwiftFS,有效解决了大数据计算系统的存储空间问题和查询性能等问题。这些研究成果已形成关键技术并集成在天玑大数据引擎软件栈中,直接支持了淘宝和腾讯公司的多个生产性应用。     

IT技术平台的演进

正知己知彼,百战不殆!充分了解IT技术平台的演进,才能把握"新兴市场"带来的大机遇。所谓IT第一技术平台,即主机和终端技术,明确而清晰。IT第二技术平台与之类似,包括局域网、互联网、以及客户端和服务器技术,在功能方面跟第一平台很相似,并且很容易想象。近期IDC发表了《在IT"第三"技术平台如何生存并争夺主导地位的报告》,充分展示IT环境演变的过程。IT"第三"技术平台并未向之前出现的两个平台一样得到明确的界定,它包括以下几个要素:     

中兴通讯发布全系存储新品中端存储产品明年面世

9月23日下午,中兴通讯在北京举行了全系存储新品发布会,包括适用于大、中小企业级的KS系列磁盘存储系统、适用于大型企业数据中心的EB级海量云存储系统及云存储服务器。中兴通讯IT产品总监郭树波在发布会上表示,"毫无疑问云计算和大数据是全球新一波的IT浪潮,这给许多IT厂商带来了机遇和挑战,我们希望通过高效、易用、安全、绿色、有竞争力的存储产品以及灵活的渠道策略成为大数据时代在用户首选存储厂商之一。"     

云计算环境下大数据处理对电子商务发展的作用

随着电子商务的不断发展,电子商务行业已经走过了许多个阶段,云计算作为一种基于互联网的计算的模式,是电子商务发展的一个新的阶段。传统的IT基础设施已经很难有效的管理以及利用相关数据,因此在云计算环境下大数据处理技术起到日益重要的作用。该文在云计算环境下的大数据处理基础上,详细的探讨了其对电子商务发展的具体作用。     

一种基于MongoDB的大数据管理架构

随着计算技术和互联网技术的不断发展,大数据处理技术也逐渐兴起,传统的关系数据库已经不能满足大数据管理的需求。结合增长速度越来越快的遥感影像数据,对"NoSQL数据库"进行了介绍,对大数据的概念和特点进行深入分析,提出了通过MongoDB数据库实现对海量遥感影像数据进行管理的存储模型。     

大数据时代计算机信息处理技术分析

计算机信息处理的技术随着大数据时代的到来有了发展机遇的同时也有了挑战;计算机信息处理技术需要不断的创新发展才能适应当前的数据处理发展形势;本片文章主要对大数据信息时代的特点进行了一些简单的分析同时对其处理的技术进行了详细的阐述.     

云计算在大数据中的应用探析

近年来,随着网络的发展和新兴技术的出现,尤其是物联网技术的推广,大数据成为眼下最流行的技术,这必然会给目前的数据库和信息处理技术带来新的挑战,旧的数据处理、数据挖掘技术已经很难满足要求,必然要求数据处理技术进行新的革命性的变革。近年来,云计算技术也在不断的发展,二者的结合会给信息处理带来很多新的挑战和机遇。     

地理信息系统与大数据的耦合应用

针对快速增长的地理空间数据为地理信息系统(geographical information system,GIS)在大数据时代的应用带来众多机遇和挑战,却一直缺乏系统论述的问题,在对大数据及地理空间大数据特征进行分析的基础上,通过若干典型实例展示了大数据与GIS耦合所带来的巨大应用,并分析了大数据时代对GIS数据采集、数据存储、数据处理和分析等诸多方面所带来的挑战,进一步指出引入概率论的数据筛选、分布式云存储和数据快速分析等数据分析技术与方法,是增强大数据时代中GIS与决策支持系统之间耦合度的着力点。     

选择昆腾数据无忧

昆腾公司(NYSE:QTM)宣布五月,2012昆腾渠道暨用户大会在成都香格里拉饭店圆满举办。"云"起局变,虚拟化、大数据和云给IT市场带来了无尽的机遇和挑战。三十多年的发展,美国昆腾在渠道合作     

国内银行业风险管理现状

经济学家罗伯特·艾略说:"技术是企业参与全球竞争的一个强有利的武器,尤其是当技术帮助企业走向市场、推出一代新产品时,其威力更加强大"。银行数据大集中,提高了银行业务的创新能力和经营管理水平,同时IT技术风险的危害范围也越来越大.防范IT技术风险、确保系统安全运行、提高软件产品质量,成为现代银行业的生命线。     

计算机数据信息处理中大数据技术的应用研究

大数据技术以云计算为主要技术依托,作为新兴的计算机技术具有高涵盖性、颠覆性等特点,其处理数据的过程主要包括数据采集、数据处理和集成、数据分析以及数据解释等流程。基于其主要特点以及技术依托,大数据技术被广泛应用于数据处理的过程中。针对大数据技术在数据处理过程中的应用,本文对其在信息采集与加工、虚拟资源调度、数据挖掘、数据信息的安全保障、数据解释等方面的应用展开了论述。     

基于大型数据库的数据挖掘应用研究

信息时代的数据每天都在急剧增加,人类也进入了大数据时代,对海量的数据要进行准确的分析和精确的处理就离不开对数据挖掘技术的应用,作为一项转为大数据处理而生的挖掘技术,能够有效地提高数据处理的效率和精确性.针对大数据处理过程中数据挖掘技术相关问题,对当前应用比较多的大数据挖掘技术进行了分析.