大数据智慧时代开启

如今,随着不断增加的大数据解决方案需求,Apache Hadoop已经迅速成为存储和处理海量结构化和非结构化数据的首选平台之一。企业只需在少量基于英特尔至强处理器的服务器上部署这种开源软件框架,就可用较低的成本迅速开始进行大数据分析。随后可逐步将其Apache Hadoop集群扩展到数百乃至数千个节点,从而将多PB数据的查询响应时间缩短到次秒级。英特尔与Apache Hadoop社区开展协作,支持系统管理员尽可能地实现其Apache Hadoop集群的高性能,     

云平台下的NoSQL分布式大数据存储技术与应用

随着移动互联网云计算、大数据的快速发展,以图片、视频等组成的数据存储急剧增加,目前已有存储方式无法满足系统需要,而No SQL分布式大数据存储技术因其具有可扩展、快速读取、海量处理等特点,其在云计算领域如雨后春笋般被广泛应用。采用基于Hadoop平台和No SQL的Mongo DB数据库技术设计非结构化数据云存储架构,证明云存储的非结构化数据存储技术可缓解当前非结构化数据存储面临的难题,提升非结构化数据存储服务质量。     

GBase8aMPP:一种新型关系数据库的设计和实践

随着行业大数据应用的迅速发展,对基于海量数据的行业大数据的存储、处理和管理提出了更高要求,传统的小机+存储阵列的架构已经无法满足海量数据增长和系统扩展性的要求。本文总结了一种基于MPP架构+列式存储设计的新型关系数据库技术的产品——GBase 8a MPP的技术设计思路,这些技术有效解决了传统架构下的扩展性问题和大规模并行计算问题,并且通过内部高可用机制实现在低价计算平台上的大数据平台可靠性。     

基于区块链的电网全业务数据分布式存储应用

由于电网业务数据的快速增长,集中式的数据中心无法满足电网全业务数据存储所要求的可扩展性、安全性和低延迟。为了解决这些问题,文中提出了一种新的基于区块链的分布式云存储架构。该云存储架构利用软件定义网络技术将数据存储分散至网络边缘的雾节点,从而降低对核心网络的数据存储压力。同时所提出的模型是基于区块链技术为接入设备提供低成本、安全且按需访问的具有竞争力的存储基础设施。文中通过创建一个分布式的云基础设施所提出的模型支持低成本的高性能计算。评估结果表明,该架构具有低延迟、低响应时间,存储成本开销低的优点,能够满足不断增长的电网全业务数据的存储需求。     

面向海量数据的存储技术发展分析

移动终端、智能感应终端设备的快速增加,以及云计算、物联网、人工智能等新兴信息技术的应用普及,使得全球数据总量快速增长,同时,用户对数据应用的实时性要求也在不断提升.海量非结构化、高时效性的数据对存储技术提出了新的要求,大容量、高速读写、高可靠的存储器件以及面向海量数据应用场景的存储架构、存储管理技术成为存储产业研究的热点.本文对数字新时代下海量数据存储需求进行了分析,对面向海量数据的存储技术的发展脉络进行了总结,并探讨了云存储架构及其关键技术.     

智能电网海量非结构化数据分布式存储研究

为了加快非结构化电网数据存储的译码速率,从而促进电网主机分布式存储能力的提升,提出智能电网海量非结构化数据分布式存储方法。定义MongoDB数据格式的方法,对电网信息实施复制处理,联合分布式存储架构完成智能电网海量非结构化数据库搭建。在此基础上,分析电网数据的特性能力,通过信息增删排查的方式,确定最终的分布式查询语句,搭建智能电网海量非结构化数据分布式存储模型,实现数据的分布式存储。与局部修复型存储编码方法相比,在分布式存储模型作用下,电网主机的存储译码速率最大值能够达到54.5 MB/s,可在实现非结构化电网数据快速转码的同时,提升电网主机分布式存储能力。     

基于雾计算的NB-IoT框架、关键技术及应用

针对窄带物联网(NB-IoT)技术特点和业务类型,提出了基于雾计算的NBIoT网络架构,通过为NB-IoT接入点(AP)配置雾计算设备,将接入点升级为具有存储和计算能力的雾接入点(F-AP),使得数据收集、传输、处理和计算更靠近终端设备,提高应用系统的响应速度,节约网络带宽。     

基于Docker的私有云系统的设计

随着移动设备的兴起,数据与日剧增,每天都会产生大量的数据。云计算为中小型企业或者个人提供数据的存储与计算服务,节省了存储计算成本。但是云计算带来便利同时也存在一定的风险,用户一般将数据存储在公有云中,而公有云系统中多个用户共享计算资源,用户无法确切地知道可控的资源运行在何处,存储在公有云中的数据,有极大地风险被非法使用。本文在分析云安全风险的基础上,提出一种基于Docker技术的私有云设计方案并进行验证。     

移动云计算——移动增强现实技术和服务

提出了中兴通讯移动增强现实解决方案。方案针对增强现实目标的识别技术采用客户机/服务器(C/S)架构,以充分利用云的海量存储和并行计算能力,进行样本图像的训练以及识别样本库的生成和训练,从而实现快速的增强现实目标的迅速识别;针对海量增强现实内容信息和训练样本数据高效存储的需求,采用分布式的非结构化存储机制以保存图像等信息,对于兴趣点信息采用结构化存储机制以保存兴趣点各种增强现实元数据信息;通过在结构化存储机制中建立特征索引等快速查询机制,以达到高效数据查询的目的。此外,为了分担增强现实业务请求负载,在靠近用户的地方部署若干用户接入云,缓存热点的增强现实信息,减轻增强现实业务处理机的负载压力。     

用于智能电表数据分析的大数据平台

智能电网所产生的海量计量数据对数据存储和数据处理的系统架构提出了苛刻的性能要求,为此,文中提出了一种以内核、代理和客户端为主的模块化的大数据平台架构。所提议的大数据平台是基于Hadoop平台扩展,针对TB级别的静态智能电表数据集的存储和查询。实验结果表明,提议的大数据平台能够为电力行业提供一个具有竞争力且易于操作的大型能源数据管理和可视化知识平台,具有支持数据密集型决策的潜力。