大数据时代的数据库和数据技术（上）

大数据定义、作用及其对数据库技术影响1．1大数据及其影响大数据（BigData）是目前最重要的科学、技术和社会话题。借用IDC数据公司的定义：“大数据是一种新一代的技术和架构,具备高效率的捕捉、发现和分析能力,能够经济地从类型繁杂、数量庞大的数据中挖掘出色价值。”     

基于大数据的安全分析是未来

正在美国旧金山举行的RSA 2014安全大会,共设置有大约20个议题,其中包括:安全分析、应用安全、云安全与虚拟化、密码学、数据安全和隐私、管理风险合规、黑客和威胁、安全中的人为因素、移动安全、政策和管理、安全策略、安全趋势和创新、技术架构等。议程中最引人注目的是Innovation Sandbox创新论坛。与会者可以观看产品演示,交流想法,促进新技术的创新与新的思维方式,潜在地改变着信息安全产业的发展态势,也呼应了大会     

盘点大数据“先行者”

近年来IBM一直热衷于数据挖掘和数据分析领域的收购,后来正式推出“3A5步”动态路线,并结合信息管理、业务分析等软件,     

先行者带来的启示

作为具有几十年信息化实践经验的世界著名制造企业，空客的经验可以给国内信息化刚起步或者已经开始信息化建设的制造企业带来了一些先行者的启示。     

大数据技术环境渐趋成熟

<正>大数据虽然是一个新概念,但数据一直都存在。事实上,对数据进行分析、挖掘,为企业的运营、业务提供决策支撑,是很多企业一直所希望的,但在传统的IT环境下,企业对数据进行分析挖掘的成本太高,这使得很多企业只能望数据而兴叹。不过,经过近几年的发展,如今大数据分析的IT环境已经日趋成熟,这也为大数据应用的落地和普及提供了基础的支撑条件。     

基于大数据技术的中医药云服务平台基础架构设计

为了解决传统中医药云服务平台存在的时效性差、故障发生率高的问题。提出一种基于大数据技术实现对平台基础架构的优化设计。通过优化设计的平台基础架构,完成对平台网络架构的设计。根据通信网络存储数据,建立中医药服务数据处理大数据技术。通过挂号预约服务、中医问诊等服务业务,保证中医药云服务平台的正常运行。与传统基础架构下开发的中医药云服务平台相比,加载速度有所提高,且在恶劣条件下平台故障发生的次数有所降低。     

制造大数据相关技术架构分析

针对大数据技术给制造业带来的机遇和挑战,通过分析制造大数据的研究现状和产生,给出了制造大数据的定义。依据制造大数据的处理流程构建其技术架构,并介绍了相应的关键技术。最后列举了几种典型的应用场景,指出了制造大数据面临的挑战并展望下一步发展方向。     

再谈大数据大势 2013中国大数据技术大会观察

2013年12月5书目,中国大数据技术大会（BDTC）在北京世纪金源大饭店隆重召开。本次大会以“应用驱动的架构与技术”为主题,共设立“大数据架构与系统”、“大数据技术”、“大数据应用”、“大数据研究与发展”、“大数据基准测试”五大技术主题论坛,     

大数据技术在数字图书馆中的应用分析

信息技术的不断发展使图书馆进入了数字化管理时代,而由此大数据问题成为图书馆面临的重要难题。本文从数字图书馆海量数据的存储、检索以及数字图书馆大数据技术的应用架构等几个方面对大数据技术在数字图书馆中的应用进行了分析探讨。     

基于大数据的高能效数据中心服务器研究

分析ARM服务器的发展以及应用现状,结合数据中心的特点,设计基于ARMv8架构的高能效数据中心服务器,选取目前工业界具有代表性的ARMv8服务器参数,使用典型的数据中心负载,对X86和ARMv8两种架构的微体系结构级指标、性能和功耗进行定量评估。实验结果表明,与X86架构服务器相比,ARMv8架构服务器在数据中心领域具有更好的能效比,能够有效降低能耗和成本。     

专家观点:“大数据”与“海量数据”的区别

多年前,业界就在讨论一个话题:如何应对海量数据?特别是一些需要存储大量用户数据的行业,金融、电信、保险等热门行业。用户几乎在一天的每个小时,都有可能产生大量数据,这些行业的存储设备,必须要将期间产生的数据一丝不苟地记录下来。随着数据量的迅速增加,很多行业用户开始想办法变"数"为宝,从海量数据中挖掘有价值的信息。     

大数据与数据隐私保护相关问题研究

在大数据时代,数据安全与隐私权的保障,涉及到安全体系结构、数据保密性、数据治理与数据完整性、主动安全保障等诸多问题。本文从数据、应用、接口、系统4个层次出发,深入研究了大数据安全与隐私权保护的问题,为实现大数据的安全与隐私权提供了一条切实可行的技术路线。     

大数据背景下网络安全态势感知平台技术分析

为有效应对严峻的网络安全威胁形势,本文结合现阶段网络安全若干需求,对大数据背景下网络安全态势感知平台进行研究、分析。浅析基于大数据技术的网络安全态势感知平台定义,确保为网络安全提供帮助,对网络安全水平进行全面的提升,降低网络安全问题相关风险。     

基于Hadoop的钢铁生产大数据存储平台研究

大数据平台在钢铁企业的部署对产业转型和升级有重要作用。钢铁产业大数据具有明显的实时性、动态性和不确定性等特点。为应对Hadoop分布式文件系统在处理实时工业数据流显现出的一些不足,提出了基于分布式Name Node节点的HDFS。对基于分布式Name Node节点的HDFS进行了总体设计,包括Top Name Node和分布式Name Node的主要功能和工作机制。分析了分布式Name Node节点的HDFS的性能优点。提出了在虚拟化资源管理平台上搭建基于Hadoop的动态可伸缩的分布式文件存储平台。将基于知识工程的方法和基于数据驱动的方法相结合,建立了一种新的混合故障诊断模型。最后对分布式钢铁生产大数据存储平台的优势进行分析。     

基于层次模型的大数据架构技术研究

云计算、物联网等技术的兴起,使人类社会数据种类、规模以惊人的速度增长,人类社会迎来了大数据时代.深入研究大数据的架构技术,通过层次建模,对大数据进行规范化表示,实现大数据服务的规范化架构.     

基于大数据的C/S架构移动终端通信系统数据优先级技术研究

随着当今移动通信设备以及互联网的迅猛发展,通信技术在今天以更智能、更快捷的面貌呈现在大众面前。基于C/S架构的移动终端通信系统应运而生,但由于移动网络通信信息量庞大,在传输过程中容易造成网络拥堵,导致用户信息传输效率偏低。基于此,可以结合数据优先级技术有效改善这一状况,实现移动终端通信系统更快速、更精准地传输信息。     

流式大数据数据清洗系统设计与实现

为了解决传统数据清洗工具面对海量数据时复杂度高、效率低的问题,设计实现了流式大数据数据清洗系统.利用分布式计算技术清洗数据,以解决性能低的问题.该系统由统一接入模块、计算集群和调度中心三部分组成,实现了多种数据源的统一接入,分布式处理,并通过Web界面进行清洗流程的交互式配置.实验结果表明,面对海量数据的时候,流式大数...     

冲破大数据藩篱

ESG实验室做过一份调查,有近70％受访企业已经或者正在计划实施统一存储,其中有23％已经部署了该技术,47％处在规划阶段。“每四个受访用户就有一个实施部署了统一存储,这严重出乎我们意料,要知道,企业在存储技术上是臭名昭著地保守。”ESG的分析师曾这样说,“如果没坏,就不要动它,这是企业存储架构团队的不二信条。”     

融合大数据技术架构在大型商业银行海量数据分析的应用

相对于软硬件一体的企业级数据仓库解决方案,以X86开放式硬件平台为基础的并行处理数据库和Hadoop/Spark生态体系,在扩展性和低成本方面有明显的优势,随着其不断发展成熟,已经成为企业级大数据平台不可或缺的一部分.本文从如何应对“大数据”所带来的挑战出发,提出一套适用于大型商业银行数据分析处理的融合大数据技术架构,并已取得应用实践的成功.