一种非结构化元数据的分级存储设计

针对各种数据呈几何级数爆炸式增长促使数据存储容量面对巨大压力的问题,本研究致力于开发设计一种面向非结构化元数据的分布式分级存储管理系统。通过在Client端和Server端分别组织Java jar和逻辑节点实现非结构化元数据管理平台的功能调用,并采用Mongodb数据库构建了自研元数据管理组件的文档数据库。将策略配置存放在Client端的Zookeeper中,并在Server端中实现非结构化元数据的分级存储。通过性能测试结果显示:相比传统的LRU存储方式,采用高低层Server端服务器对非结构化元数据分级存储过程中,平均响应时间下降了45.2%和36.7%,字节命中率分别提升了3.0%和2.6%。因此,本研究提出的分布式分级存储原理可以提升非结构化元数据存储效率。     

云平台下的NoSQL分布式大数据存储技术与应用

随着移动互联网云计算、大数据的快速发展,以图片、视频等组成的数据存储急剧增加,目前已有存储方式无法满足系统需要,而No SQL分布式大数据存储技术因其具有可扩展、快速读取、海量处理等特点,其在云计算领域如雨后春笋般被广泛应用。采用基于Hadoop平台和No SQL的Mongo DB数据库技术设计非结构化数据云存储架构,证明云存储的非结构化数据存储技术可缓解当前非结构化数据存储面临的难题,提升非结构化数据存储服务质量。     

云计算环境下网络空间数据分布式存储方法研究

针对传统的网络空间数据分布式存储方法存储空间小的情况,提出云计算环境下网络空间数据分布式存储方法,首先对网络中的空间数据进行划分,在此基础上,建立网络空间分布式存储数据库,把基本的网络空间数据进行存储,为满足大数据的需要,最后对空间数据库存储空间容量进行设计,提高了网络空间数据分布式存储的存储量。并通过实验对比证明,此次设计的网络空间数据分布式存储方法比传统的存储方法的存储容量高,满足了大数据的存储需求,具有一定的实际应用意义。     

大数据环境下的海量非结构化信息处理

文章针对大数据环境下的非结构化数据的特性和存储现状进行分析,运用分布式云存储理论,以及分布式技术和软硬件一体化原理,提出一个务实的高性能、可伸缩、易管理的分布式海量非结构化信息处理解决方案。     

基于Hadoop的气象数据分布式存储技术研究

针对目前气象数据存储所面临的海量扩张、高并发读写、结构化和非结构化数据并存以及长时间序列和大数据集检索效率低下等问题,提出了以Hadoop开源框架为基础的气象数据分布式存储方案.通过对气象数据自身属性和特点进行分析,得出了气象数据在经过充分优化的基础上,在分布式存储框架中具有很强的适应性和规模化应用的潜力;并在HBas...     

云计算下大数据非结构的稳定性检索方法

传统的云计算Hadoop分布式多层体系架构数据检索模块难以满足云计算下大数据非结构的稳定性检索需求,因此采用需要结合存储非结构化大数据的特点,塑造新的集群的基础环境,通过云、端并重的形式,实现大数据非结构的稳定性检索。引入一种非结构大数据索引框架,作为非结构化数据库,当成数据检索引擎,改进云计算下大数据非结构的检索服务,给出检索技术在检索非结构化大数据过程中的关键代码。实验结果表明,所设计系统在检索云计算下非结构大数据的过程中,具有较高的查准率和较低的检索时间,可实现非结构云数据的稳定性检索。     

大数据环境下基于NoSQL数据库的存储技术研究

文章通过研究和分析了典型的NoSQL数据库技术,基于该平台和Hadoop云架构,完成了非结构化的数据云存储架构的设计,可以很好的解决传统的关系型数据库在应对非结构化数据存储过程中的效率低下等问题。     

分布式大数据管理系统的设计与实现研究

社会高速发展的同时,数据也呈现爆炸式的增长,传统的数据库管理系统已经无法满足海量数据的存储需求。云存储技术成为一种新的数据存储方案,在Hadoop分布式系统的基础个,提出了一种基于云计算环境下的分布式大数据管理系统,为海量的文件存储与处理提供平台。对云计算大数据存储系统进行功能分析,同时还对大数据管理系统的框架进行设计,最后通过实验的方式验证了分布式大数据管理系统相比于其他方式的管理系统,处理的速度更快,存储时间更短,存储效率更高。     

云计算下非结构化大数据存储系统设计

当前云计算下非结构化大数据存储系统设计方法是通过使用分布式数据库存储跨区域的云计算数据和全局数据存储管理目录实现的,运行系统复杂,成本高昂。为此,提出基于HBase的云计算下非结构化大数据存储系统设计方法,首先对云计算下非结构化大数据进行分析,完成云计算下非结构化大数据提取,为云计算下非结构化大数据存储系统框架设计创造条件,并介绍HBase的特点,得到基于HBase非结构化大数据存储系统架构及运行流程,然后进行云计算下非结构化大数据存储结构模型总体设计及非结构化大数据分布式结构分析,采用负载均衡控制方法进行云计算下非结构化大数据存储系统冗余数据特征压缩及信息存储优化算法设计,完成云计算下非结构化大数据存储系统设计。通过仿真实验证明,所提方法能够有效降低云计算下非结构化大数据存储花费的时间,保证存储的数据可用、不丢失,方便云计算下非结构化大数据的使用,具有较强的使用价值。     

大规模数据集的分布式索引机制研究

对大规模结构化半结构化数据集分布式存储环境下索引结构的建立进行了研究,提出了一种基于聚簇索引与分布式B 树的混合索引结构.该结构对数据集的输入,存储及查询等操作进行了定义,并分析了索引服务器与客户端的通信模型建立.由于对记录的主关键字与其他属性进行了不同处理,在各种记录检索情况下具有良好的性能.     

医院双活数据中心建设方案

医院数据中心涉及的系统较多,逐渐形成了经典的分层整合信息架构。文章基于医院数据中心建设需求展开,指出传统数据中心存在的缺点,建议将结构化数据和非结构化数据分别单独构建双活数据中心。通过分布式存储双活副本,结合目前成熟的服务器虚拟化技术,双活数据中心解决方案能轻松打破数据中心不同位置存储设备和服务器业务应用壁垒。     

电子学远程考试系统中数据存储问题的解决

重点探讨了电子学远程考试系统中教学信息资源的非结构化存储问题,应用关系型数据库和Windows文件系统相结合的数据存储及管理方式解决了电子学数据库文件的特殊性。该方式对其他相关学科的数据存储也具有一定的参考价值。     

云计算时代的数据库研究

1引言 随着云计算时代的到来,各种类型的互联网应用层出不穷,对与此相关的数据模型、分布式架构、数据存储等数据库相关的技术指标也提出了新的要求。虽然传统的关系型数据库已在数据存储方面占据了不可动摇的地位,但由于其天生的限制,已经越来越无法满足云计算时代对数据扩展、读写速度、支撑容量以及建设和运营成本的要求。云计算时代对数据库技术提出了新的需求,主要表现在以下几个方面。     

基于Hadoop的轴承监测海量数据的存储与管理

针对高速机车转向架滚动轴承监测数据的格式多样化、数据量激增带来的管理和存储问题,在分析监测数据特征和数据量大小的基础上,构建了树形索引结构对滚动轴承状态监测海量数据进行管理。利用研究所当前的软硬件环境,搭建了分布式集群系统存储海量监测数据,并对集群系统在存储和管理海量数据时的可用性和稳定性进行了探讨。通过对实际数据的测试和分析,结果表明基于树形索引结构的分布式集群系统能在一定程度上满足滚动轴承状态监测非结构化海量数据存储和管理的要求。     

基于自然语言的云数据库非结构化数据提取

以非结构化数据高精度提取为目的，利用改进K-均值算法聚类云数据库非结构化数据，对分类后非结构化数据进行归一化预处理；通过基于自然语言语义的数据库目标检索模型，对预处理后的多种云数据库非结构化数据，按照用户需求实时提取。经测试：所提方法在不同数据集中，对多种类型的云数据库非结构化数据提取结果存在可信度，最大偏差为1个，偏差极小，在可接受范围内，可高精度提取云数据库非结构化数据。     

融合媒体时代分布式对象存储系统的应用探索

融合媒体是当前传媒领域最为热门的话题之一,行业也不再局限于传统广播电视台、电台、报业,随着媒体能力、党建政务能力的迅速提升以及民生增值等用户需求的迫切发展,同时伴随着云计算、大数据、4 K、5 G、AI等技术的成熟度提升,融合媒体发展势头迅猛,业务形态快速变革,对于企业IT架构的挑战愈发增多,在这其中对企业存储系统的挑战尤为凸现,海量非结构化数据的增多,多业务系统之间数据及服务的交互增多,对于分布式存储系统的需求程度越来越高。针对媒体行业业务发展特点,对分布式文件存储与分布式对象存储的发展做了简单梳理,对于目前笔者所在的业务单位融合媒体云平台做了简单介绍,并对分布式对象存储系统对于融合媒体时代的应用,做分析梳理,意图寻找融合媒体背景下分布式存储系统的建设方向。     

基于分布式缓存的科技文献信息动态检索系统设计

为便于科研人员研究科技发展前沿动态,设计基于分布式缓存的科技文献信息动态检索系统,为用户匹配最佳检索结果。用户层将用户检索需求传输至处理层数据采集模块,该模块采集数据信息后经网络层通信模块将信息传输至数据层科技文献信息数据库中存储;数据层分布式存储模块采用分布式缓存方法将以往的检索记录信息分别存储至热数据库及冷数据库中;利用网络层传输科技文献信息数据库内的检索需求信息至处理层检索处理模块,通过科技文献信息动态检索方法处理接收到的检索信息,将处理后信息与数据层分布式存储模块内的关联数据进行排序重组,获取检索结果,并通过用户层展示检索结果。结果表明,该系统可有效且准确地为用户检索其所需的科技文献信息,检索MAP值为0.95以上,系统具备较快的读写速度与较强的数据传输能力。     

关于分布式存储应用技术的应用

随着我国计算机信息化建设的不断推进,互联网数据规模越来越庞大,传统的数据存储技术已经难以满足用户的使用需求。目前,我国已经有很多企业开始应用分布式存储系统,分布式存储可以对大量的数据进行存储与管理,提高了信息存储与管理的效率,同时降低了信息管理的成本。但现有的分布式存储系统仍然存在较多的缺陷,本文将深入地分析分布式存储技术的特点与应用,并根据使用需求提出可行的应用方案。     

移动云计算——移动增强现实技术和服务

提出了中兴通讯移动增强现实解决方案。方案针对增强现实目标的识别技术采用客户机/服务器(C/S)架构,以充分利用云的海量存储和并行计算能力,进行样本图像的训练以及识别样本库的生成和训练,从而实现快速的增强现实目标的迅速识别;针对海量增强现实内容信息和训练样本数据高效存储的需求,采用分布式的非结构化存储机制以保存图像等信息,对于兴趣点信息采用结构化存储机制以保存兴趣点各种增强现实元数据信息;通过在结构化存储机制中建立特征索引等快速查询机制,以达到高效数据查询的目的。此外,为了分担增强现实业务请求负载,在靠近用户的地方部署若干用户接入云,缓存热点的增强现实信息,减轻增强现实业务处理机的负载压力。     

分布式光纤传感数据编码存储方法研究

现有分布式光纤传感数据存储方法由于节点分布较为广泛,节点故障致使数据丢失现象常有发生,无法适应现今分布式光纤传感技术的发展与应用,故提出分布式光纤传感数据编码存储方法研究.依据现今光纤传感数据存储需求,结合网络编码与云存储优点,搭建基于网络编码的数据云存储架构,以此为基础,选取纠删码形式对分布式光纤传感数据进行编码,以...