大数据热涌背后的冷思考

<正>IT业从来不缺乏新概念、新名词、新技术,更新之快、推出之猛,令人目不暇接。大数据风起云涌,走红IT界继云计算、社交网络之后,如今大数据(BigData)再度走红,风起云涌,似乎成为2012年信息技术领域最时髦的词汇。     

大数据在制造企业的应用探索

随着社交网络、电子商务等的发展,数据量,尤其是半结构化和结构化数据爆发增长。这些数据背后蕴藏着的巨大价值正越来越多受到重视。如今,大数据已在金融、电信以及一些新兴行业有了成功的应用。在介绍大数据概念、大数据已有应用的基础上,通过实例,着重介绍了制造企业大数据的应用。     

社交网络的隐私保护

随着Facebook的上市,社交网络再次成为全球的焦点,网络中无时无刻不在产生用户数据,通过对海量的非结构化数据进行价值挖掘,社交网络引领其他互联网领域的应用率先进入大数据时代。本文描述了现阶段社交网络的特点及其对当今社会的影响,并对其存在的安全问题进行了分析,最后给出了相应的对策。     

社交网络大数据下贪婪式实时网站推荐算法

社交网络每天都会产生结构化、半结构和非结构化的大数据,数据的增长速度超过了对硬件需求的摩尔定律。在社交网络中还存在各种恶意评价、刷分和刷网站关注度等不良现象,对大数据的分析处理带来了巨大挑战。为了提高数据的处理效率和网站推荐的准确性,提出了一种在 Hadoop 云平台下基于用户的贪婪式实时近似网站推荐的 RT-G 算法。算法通过迭代寻优算法找到最合适的用户数量作为网站推荐评价的用户标准,应用频度近似算法完成对网站的推荐,通过实验证明了方法的效率和有效性。     

基于大数据及物联网的数据库半结构化数据识别方法

为实现对不同类别半结构化数据的精准识别,文章将开展基于大数据和物联网的数据库半结构化数据识别方法的设计研究。笔者通过从各种来源收集数据,包括传感器、日志文件、社交媒体平台、其他数据库等,对半结构化数据所在数据库进行联网,使用大数据中的数据清洗技术进行半结构化数据预处理;对完成预处理的数据库半结构化数据进行特征提取,根据具体的数据识别问题确定模型架构,生成数据识别模型,并实现对半结构数据的识别。对比实验结果表明：设计的方法可以实现对数据库半结构化数据的精准识别。     

异构政务信息资源集成检索技术研究

复杂政务信息资源的开发与利用成为制约智慧城市建设的重要因素。基于政务信息资源条块分割的现状,以信息检索为核心提出面向城市多级政务应用的信息集成检索方法。针对异构政务信息资源整合的要求,引入大数据、社交网络等技术理念重构政务信息资源的基础模型,建立非结构化、结构化两类数据的集成检索框架。对所述方法进行了原型验证,实验仿真结果表明了该算法在大数据并发环境下的有效性。     

“大数据”时代的计算机信息处理技术初探

“大数据”对数据挖掘、IT产业、经济发展和人们的社交网络活动等都是一个难得机遇,但同时也是对计算机信息处理技术的一个不小的冲击和挑战。本文分析了“大数据”对计算机信息处理技术的影响,并对“大数据”下的信息处理关键技术以及改革发展方向进行了探讨。     

备份归档新纪元 ——昆腾第三代数据保护解决方案

10月21日,昆腾公司在备份归档新纪元亚太区活动上,正式发布第三代数据保护解决方案,助力用户应对海量数据和非结构化数据存储和保护带来的挑战,深度挖掘企业数据新价值,以期赋能企业业务发展。毋庸置疑,数据是企业不可或缺的资产,也是企业发展的核心元素之一。单纯依靠人力、技术、资金这三个传统的要素,已经不足以支撑业务发展。大数据、云计算、社交、移动、BYOD等趋势兴起,数据爆炸性的增长,以及非结构化数据存储与保护的需求为企业IT带来了巨大的压力。     

大数据技术初探

云计算、物联网、社交网络、车联网、GPS等新兴服务促使人类社会的数据种类和规模正以前所未有的速度极速膨胀,大数据时代正式到来。大数据开始成为一种基础性新资源,已初显出潜在的价值和巨大的变革之力。介绍了大数据的含义及特点,分析了大数据作为新兴战略资源的应用,提出了当前面临的挑战及对策。     

HP欲打造大数据“港湾”

大数据市场的火热引得众多国际IT巨头纷纷出手。过去一两年,包括IBM、甲骨文、SAP等在内,都在大数据领域推出了重量级产品。近日,HP公司也对其旗下与大数据相关的产品进行了组合,并推出了大数据平台HAVEn。HAVEn这一平台包含了HP的多款产品：以HadooP为代表的非结构化数据平台接口;HPIL年前重金收购的非结构化数据分析技术Autonomy;     

大数据负载特性及基于内存技术的优化

涌现于社交网络、电子商务中的超大规模非结构化数据标志着大数据时代的到来。大数据的多样性、超大规模和可扩展性等特征对运行平台产生新的要求。随着大数据的产生和发展,形成了具有代表性的信息体系结构,包括编程模型、虚拟化和分布式文件系统等。随着对大数据研究的深入,通过对大数据负载特性的分析,发现制约大数据的并不是计算能力,而是I/O延迟,采用基于内存的分布式文件系统,用于存储和处理大规模分布式文件系统查询的索引,可以有效降低I/O延迟,提高应用性能。     

大数据环境下NoSQL数据库技术

大数据环境下,NoSQL数据库技术是传统关系数据库技术的补充,是目前IT行业的热门话题,其发展非常迅速,潜力巨大,悄然改变了整个行业的面貌。随着Web 2.0技术的发展,微博、社交网络、电子商务应用功能不断壮大,数据信息呈现爆炸式增长。传统关系型数据库技术在扩展性方面存在瓶颈。NoSQL数据库技术摒弃了传统关系型数据库ACID的特性,采用分布式多节点的方式,提出新的解决方案,更加适合大数据存储和管理。     

基于安全的大数据备份与恢复探讨

近年来,随着云计算、移动化、社交网络以及大数据四大趋势的快速发展,无论是企业还是个人都遇到了数据增长所带来的难题。数据的大小正在迅速增加、数据的种类正在变得日趋丰富、数据的增长正在变得异常快速、数据的来源正在变得无比广泛,加上用户对于数据价值的渴求正在变得逐渐迫切,这一切正在颠覆传统的IT模式。对于备份领域而言,这种颠覆和改变也正在迅速的发展。虚拟化、云计算、大数据等趋势使得备份在模式、技术、产品等方面都应该发生了巨大的变化。     

网络大数据:现状与展望

网络大数据是指“人、机、物”三元世界在网络空间(Cyberspace)中交互、融合所产生并在互联网上可获得的大数据.网络大数据的规模和复杂度的增长超出了硬件能力增长的摩尔定律,给现有的IT架构以及机器处理和计算能力带来了极大挑战.同时,也为人们深度挖掘和充分利用网络大数据的大价值带来了巨大机遇.因此,迫切需要探讨大数据的科学问题,发现网络大数据的共性规律,研究网络大数据定性、定量分析的基础理论与基本方法.文中分析了网络大数据的复杂性、不确定性和涌现性,总结了网络空间感知与数据表示、网络大数据存储与管理体系、网络大数据挖掘和社会计算以及网络数据平台系统与应用等方面的主要问题与研究现状,并对大数据科学、数据计算需要的新模式与新范式、新型的IT基础架构和数据的安全与隐私等方面的发展趋势进行了展望.     

未来数据中心：以软件的名义

大数据、社交化、虚拟化、资源池化等一系列的革新正席卷整个IT产业，并以摧枯拉朽之势逼宫传统数据中心的重塑与革新。     

基于动态可重用性结构化分区融合的大数据清洗规则链自动生成方法

针对智能网络大数据分布正则性差的问题,提出基于动态可重用性结构化分区融合的大数据清洗规则链自动生成方法。先基于动态配置网络构建规则类型分布集,采用动态编译方法实现对数据的语义特征检测和稀疏参数辨识,采用多维关系网络分组检测方法进行数据的局部谱密度聚类。建立数据规则链的实体结构模型,通过数据聚类的张量表达实现动态可重用性结构化分区处理和信息融合,通过网络大数据的多维尺度扩展聚类处理,实现对干扰数据的分组滤波,基于链路的聚类方法实现对网络大数据的结构化数据重排,实现智能网络大数据清洗规则链自动生成。仿真测试结果表明,采用该方法进行网络大数据清洗的抗干扰性较好,清洗的准确回填性高于95%,且100条数据的平均清洗用时为12.6 ms,性能优于对比方法,提高了网络大数据信息提取和辨识能力,具有较大的应用价值。     

一种基于MongoDB的企业内容管理系统实现

随着IT技术在企业实际业务中扮演着越来越重要的角色,企业的IT系统中所产生的数据量也越来越大,其中非结构化的数据又占有相当大的比例,传统的利用关系型数据库对非结构化数据的管理在面对海量数据时面临着性能不足的瓶颈.基于此,提出了使用非关系型数据库MongoDB作为后端数据库的内容管理解决方案,利用MongoDB的文档数据库且易于横向扩展的特性来解决基于关系型数据库的内容管理系统的性能瓶颈.     

大数据时代数据管理方式的研究

各种各样网络的兴起和发展,半结构化及非结构化数据成几何倍数增长,数据规模和数据种类正以前所未有的速度增长,大数据时代已经来临。如何更好地管理和利用大数据已经成为普遍关注的话题。简要分析了数据库技术的发展历程,阐述了大数据时代数据管理方式,并对大数据时代数据管理方式作出了展望。     

移动电商,须借助“三化一大”实现质的飞跃

如今随着云计算、社交化软件、协同化、大数据以及4G通信等新一代信息技术风起云涌,不断助推,新形态、新模式的移动电子商务也风生水起,突飞猛进。IT一直是推动电子商务不断前进、变革的核心动力。电子商务不仅是指网上交易,更重要的它也是企业整个商务活动的信息化过程,包括采购、生产、销售、管理、客服等全程都贯穿着信息技术的运用,尤其是移动电子商务更是建立在信息化基础之上的电子商务活动。没有信息技术的支持,移动电子商务简直是寸步难     

大数据环境下的软件测试研究

大数据的本质在于研究不同数据类型和数据集之间潜在的规律.当前的信息社会中,物联网、互联网等技术在不断创新,大数据技术与电子商务、社交、交通、医疗等行业不断融合,从而源源不断地产生了海量数据.由于大数据系统的数据特点具有数据量大、种类多样等特性,涉及的数据类型包含了各类的结构化和半结构化的数据,导致大数据应用服务系统前所未有的复杂.从而使得传统的软件测试在当前大数据环境下已经不再适用.大数据环境下的软件测试步骤分为:数据预处理验证、MapReduce验证、数据仓库验证和分析报表验证,并具体表现在数据的种类、样本、方式、测试工具的硬件需求、结果验证和测试人员专业性的差异上.如何进行有效的软件测试成为众多学者和科技人员研究关注的焦点.本文针对大数据背景下的软件测试研究对于当前软件测试的思路扩充具有借鉴意义.