基于云计算环境的非结构化大数据存储系统开发

在利用云计算进行数据处理时,如何完成海量数据资源的存储是决定数据处理质量的关键所在.为了有效解决这一问题,开发了云计算环境下的非结构化大数据存储系统,构建了非结构化大数据存储系统框架以及相关平台,同时针对其非结构化大数据存储算法进行开发,得到非结构化大数据存储系统.并将该存储方法与基于分布式云计算的非结构化大数据存储方...     

智能电网海量非结构化数据分布式存储研究

为了加快非结构化电网数据存储的译码速率,从而促进电网主机分布式存储能力的提升,提出智能电网海量非结构化数据分布式存储方法。定义MongoDB数据格式的方法,对电网信息实施复制处理,联合分布式存储架构完成智能电网海量非结构化数据库搭建。在此基础上,分析电网数据的特性能力,通过信息增删排查的方式,确定最终的分布式查询语句,搭建智能电网海量非结构化数据分布式存储模型,实现数据的分布式存储。与局部修复型存储编码方法相比,在分布式存储模型作用下,电网主机的存储译码速率最大值能够达到54.5 MB/s,可在实现非结构化电网数据快速转码的同时,提升电网主机分布式存储能力。     

云计算下非结构化大数据存储系统设计

当前云计算下非结构化大数据存储系统设计方法是通过使用分布式数据库存储跨区域的云计算数据和全局数据存储管理目录实现的,运行系统复杂,成本高昂。为此,提出基于HBase的云计算下非结构化大数据存储系统设计方法,首先对云计算下非结构化大数据进行分析,完成云计算下非结构化大数据提取,为云计算下非结构化大数据存储系统框架设计创造条件,并介绍HBase的特点,得到基于HBase非结构化大数据存储系统架构及运行流程,然后进行云计算下非结构化大数据存储结构模型总体设计及非结构化大数据分布式结构分析,采用负载均衡控制方法进行云计算下非结构化大数据存储系统冗余数据特征压缩及信息存储优化算法设计,完成云计算下非结构化大数据存储系统设计。通过仿真实验证明,所提方法能够有效降低云计算下非结构化大数据存储花费的时间,保证存储的数据可用、不丢失,方便云计算下非结构化大数据的使用,具有较强的使用价值。     

非结构化数据的ETL设计

为了实现非结构化数据的ETL处理,分析了数据整合的发展现状和业务需求,描述了目前国际流行的公共仓库元模型（CWM）以及在ETL实现中的作用,详细分析了结构化数据和非结构化数据的不同特点。针对两种数据的差异,提出了解决非结构化数据的属性提取和数据打包的方法,为非结构化数据形成元数据奠定了基础,从而实现了非结构化数据的ETL设计,设计完全满足标准的数据整合要求。     

大数据环境下基于NoSQL数据库的存储技术研究

文章通过研究和分析了典型的NoSQL数据库技术,基于该平台和Hadoop云架构,完成了非结构化的数据云存储架构的设计,可以很好的解决传统的关系型数据库在应对非结构化数据存储过程中的效率低下等问题。     

支持事务的非结构化数据聚合存储系统GSL

文章提出了一种将非结构化数据集中存储,同时支持事务的存储方案,并依据此方案实现了一个高效、易用的数据存储系统GSL。GSL的数据存储接口与文件系统的接口风格一致,同时支持事务处理。文章将GSL与文件系统和Oracle数据库的BLOB存储效率进行了测试和比较,结果表明GSL的存储效率与文件系统相当,并优于BLOB。     

一种非结构化元数据的分级存储设计

针对各种数据呈几何级数爆炸式增长促使数据存储容量面对巨大压力的问题,本研究致力于开发设计一种面向非结构化元数据的分布式分级存储管理系统。通过在Client端和Server端分别组织Java jar和逻辑节点实现非结构化元数据管理平台的功能调用,并采用Mongodb数据库构建了自研元数据管理组件的文档数据库。将策略配置存放在Client端的Zookeeper中,并在Server端中实现非结构化元数据的分级存储。通过性能测试结果显示:相比传统的LRU存储方式,采用高低层Server端服务器对非结构化元数据分级存储过程中,平均响应时间下降了45.2%和36.7%,字节命中率分别提升了3.0%和2.6%。因此,本研究提出的分布式分级存储原理可以提升非结构化元数据存储效率。     

大数据技术在通信行业的应用探讨

大数据正在深入到各行各业.介绍了大数据概念,并对大数据的存储、挖掘分析和综合展示等技术分别进行了阐述,最后对大数据在通信行业的应用进行了分析.     

面向数据库查询的非结构化数据融合存储系统

为提升非结构化数据处理过程中数据库主机的存储能力,设计了面向数据库查询制度的非结构化数据融合存储系统。根据非结构化存储框架连接形式,确定融合控制电路对于数据存储载体的约束作用能力,完成数据融合存储系统的关联硬件执行环境搭建。定义查询指令所属类型,通过优化非结构化数据目标的方式,得到最终的数据融合代价估算结果,完善面向数据库查询的信息参量存储策略。联合相关硬件执行设备,实现非结构化数据融合存储系统设计。实验结果表明,与传统I/O模拟器存储网络相比,在处理非结构化数据时,融合存储系统的数据库主机明显具备更强的信息存储能力,与之相关的数据信息连接并发个数值也相对更大。     

大数据环境下的分布式数据流处理关键技术

大数据时代中数据量过于庞大,导致人们寻找有用消息变得更加艰难,因此本文对大数据环境下的分布式数据流处理关键技术进行了论述,并对该处理方式应用到的技术进行了分类研究。     

基于自然语言的云数据库非结构化数据提取

以非结构化数据高精度提取为目的，利用改进K-均值算法聚类云数据库非结构化数据，对分类后非结构化数据进行归一化预处理；通过基于自然语言语义的数据库目标检索模型，对预处理后的多种云数据库非结构化数据，按照用户需求实时提取。经测试：所提方法在不同数据集中，对多种类型的云数据库非结构化数据提取结果存在可信度，最大偏差为1个，偏差极小，在可接受范围内，可高精度提取云数据库非结构化数据。     

大数据环境下的可靠存储技术思考

针对分布式容错技术的研究,提出了两点关键要求:降低冗余开销、提高节点修复效率。分析目前主流的容错策略:复制、纠删码、再生码、基于局部可修复码,并认为这些容错策略存在不同程度的缺陷,因此设计出容错能力、计算效率及存储利用率更高的容错策略,仍是未来很长一段时间内值得深入研究的问题。     

大数据存储技术和标准化

针对目前大数据存储技术的标准化问题和面临的挑战,详述了现有的大数据存储技术以及应用情况,参考并分析现有云存储接口标准,为大数据存储技术的未来发展提出标准化工作建议。     

企业级非结构化数据管理平台分析

企业在经营管理的过程中会出现大量的非结构化数据,如果忽视对其进行数据价值挖掘,企业对市场的适应能力将被严重的削弱,所以企业级非结构化数据管理平台的构建越来越受到关注,本文以Linux集群为基础的Hadoop开发框架管理平台为对象,对企业非结构化数据管理平台架构、平台功能和特点展开研究,为提升企业级非结构化数据的管理水平作出努力。     

大数据时代的信息处理技术

随着科学技术的发展,计算机网络也随之飞速发展,人们所接触的数据量空前的巨大,人类社会开始进入以数据为中心的时代——大数据时代。在大数据时代,信息处理技术的合理运用可以让庞大的信息量变得有次序化,从而可以更好地为人类社会的发展做出贡献。文章结合大数据时代的特点,探讨了该时代的信息处理技术。     

企业非结构化数据检索研究

随着信息化的高速发展,企业内部各业务系统中非结构化数据的数据量急剧膨胀,使得信息的搜索工作变得极为繁琐。建设该企业级非结构化数据检索平台,在Linux计算机集群上部署Hadoop开发框架以及Solr全文检索系统,将各业务系统中的非结构化数据进行集中式的存储、管理,并且提供统一的搜索服务。介绍了Solr的原理,并使用它搭建非结构化数据的中文搜索引擎,通过测试证明了该搜索引擎具有良好的搜索性能。通过检索平台,用户能够快速而高效地获取精确的搜索结果。     

“大数据”背景下信息处理技术的发展和应用

现代网络的全面兴起使数据的交换加快,信息时代给全球大数据的处理和存储也带来了挑战。从当前的发展格局来看,现代科技的进步使信息技术得到了更加广泛、快速的应用。全世界每天产生出海量的数据,经计算机和存储设备进行处理、存储后再行应用,社会的发展已经从传统的数据时代逐渐向大数据时代转移,因此对信息处理技术也提出了更高的要求。文章对以"大数据"背景下信息处理技术为研究对象,指出网络环境下,传统的信息技术方法已经滞后于社会的发展,相关工作者应该转变传统理念,不断提高信息处理技术的水平,以期能够促进大数据时代背景下信息处理技术的发展。