云平台下的NoSQL分布式大数据存储技术与应用

随着移动互联网云计算、大数据的快速发展,以图片、视频等组成的数据存储急剧增加,目前已有存储方式无法满足系统需要,而No SQL分布式大数据存储技术因其具有可扩展、快速读取、海量处理等特点,其在云计算领域如雨后春笋般被广泛应用。采用基于Hadoop平台和No SQL的Mongo DB数据库技术设计非结构化数据云存储架构,证明云存储的非结构化数据存储技术可缓解当前非结构化数据存储面临的难题,提升非结构化数据存储服务质量。     

云计算下大数据非结构的稳定性检索方法

传统的云计算Hadoop分布式多层体系架构数据检索模块难以满足云计算下大数据非结构的稳定性检索需求,因此采用需要结合存储非结构化大数据的特点,塑造新的集群的基础环境,通过云、端并重的形式,实现大数据非结构的稳定性检索。引入一种非结构大数据索引框架,作为非结构化数据库,当成数据检索引擎,改进云计算下大数据非结构的检索服务,给出检索技术在检索非结构化大数据过程中的关键代码。实验结果表明,所设计系统在检索云计算下非结构大数据的过程中,具有较高的查准率和较低的检索时间,可实现非结构云数据的稳定性检索。     

基于自然语言的云数据库非结构化数据提取

以非结构化数据高精度提取为目的，利用改进K-均值算法聚类云数据库非结构化数据，对分类后非结构化数据进行归一化预处理；通过基于自然语言语义的数据库目标检索模型，对预处理后的多种云数据库非结构化数据，按照用户需求实时提取。经测试：所提方法在不同数据集中，对多种类型的云数据库非结构化数据提取结果存在可信度，最大偏差为1个，偏差极小，在可接受范围内，可高精度提取云数据库非结构化数据。     

智能电网海量非结构化数据分布式存储研究

为了加快非结构化电网数据存储的译码速率,从而促进电网主机分布式存储能力的提升,提出智能电网海量非结构化数据分布式存储方法。定义MongoDB数据格式的方法,对电网信息实施复制处理,联合分布式存储架构完成智能电网海量非结构化数据库搭建。在此基础上,分析电网数据的特性能力,通过信息增删排查的方式,确定最终的分布式查询语句,搭建智能电网海量非结构化数据分布式存储模型,实现数据的分布式存储。与局部修复型存储编码方法相比,在分布式存储模型作用下,电网主机的存储译码速率最大值能够达到54.5 MB/s,可在实现非结构化电网数据快速转码的同时,提升电网主机分布式存储能力。     

大数据环境下的海量非结构化信息处理

文章针对大数据环境下的非结构化数据的特性和存储现状进行分析,运用分布式云存储理论,以及分布式技术和软硬件一体化原理,提出一个务实的高性能、可伸缩、易管理的分布式海量非结构化信息处理解决方案。     

面向海量数据的存储技术发展分析

移动终端、智能感应终端设备的快速增加,以及云计算、物联网、人工智能等新兴信息技术的应用普及,使得全球数据总量快速增长,同时,用户对数据应用的实时性要求也在不断提升.海量非结构化、高时效性的数据对存储技术提出了新的要求,大容量、高速读写、高可靠的存储器件以及面向海量数据应用场景的存储架构、存储管理技术成为存储产业研究的热点.本文对数字新时代下海量数据存储需求进行了分析,对面向海量数据的存储技术的发展脉络进行了总结,并探讨了云存储架构及其关键技术.     

云计算下非结构化大数据存储系统设计

当前云计算下非结构化大数据存储系统设计方法是通过使用分布式数据库存储跨区域的云计算数据和全局数据存储管理目录实现的,运行系统复杂,成本高昂。为此,提出基于HBase的云计算下非结构化大数据存储系统设计方法,首先对云计算下非结构化大数据进行分析,完成云计算下非结构化大数据提取,为云计算下非结构化大数据存储系统框架设计创造条件,并介绍HBase的特点,得到基于HBase非结构化大数据存储系统架构及运行流程,然后进行云计算下非结构化大数据存储结构模型总体设计及非结构化大数据分布式结构分析,采用负载均衡控制方法进行云计算下非结构化大数据存储系统冗余数据特征压缩及信息存储优化算法设计,完成云计算下非结构化大数据存储系统设计。通过仿真实验证明,所提方法能够有效降低云计算下非结构化大数据存储花费的时间,保证存储的数据可用、不丢失,方便云计算下非结构化大数据的使用,具有较强的使用价值。     

一种非结构化元数据的分级存储设计

针对各种数据呈几何级数爆炸式增长促使数据存储容量面对巨大压力的问题,本研究致力于开发设计一种面向非结构化元数据的分布式分级存储管理系统。通过在Client端和Server端分别组织Java jar和逻辑节点实现非结构化元数据管理平台的功能调用,并采用Mongodb数据库构建了自研元数据管理组件的文档数据库。将策略配置存放在Client端的Zookeeper中,并在Server端中实现非结构化元数据的分级存储。通过性能测试结果显示:相比传统的LRU存储方式,采用高低层Server端服务器对非结构化元数据分级存储过程中,平均响应时间下降了45.2%和36.7%,字节命中率分别提升了3.0%和2.6%。因此,本研究提出的分布式分级存储原理可以提升非结构化元数据存储效率。     

电子学远程考试系统中数据存储问题的解决

重点探讨了电子学远程考试系统中教学信息资源的非结构化存储问题,应用关系型数据库和Windows文件系统相结合的数据存储及管理方式解决了电子学数据库文件的特殊性。该方式对其他相关学科的数据存储也具有一定的参考价值。     

分布式数据库存储子系统设计

在当今这个网络信息化的时代,人们对数据库存储的需求随着互联网的广泛应用和飞速发展不断增强,结构化数据存储成为数据存储中必不可少的需求,给数据库存储技术带来了极大压力。分布式关系型数据库的系统架构上是分布式的,提供了基于关系模型的结构化数据存储,文章对分布式数据库存储子系统设计进行了理论分析。     

非结构化数据存储中面向访问任务的小文件合并策略

分析了非结构化数据储存方式下云存储层次结构,探讨了面向访问任务的小文件存储问题,提出了小文件合并的策略.     

云数据存储和管理标准化研究

分析云数据存储和管理面临的挑战,指出云数据存储和管理接口标准化问题,提出云数据存储和管理接口标准体系架构,并对标准体系架构中两类云数据存储接口和三类云数据管理接口分别进行阐述,提出未来的标准化工作建议.     

用于智能医疗监控的医疗大数据架构

智能可穿戴医疗设备所生成混杂结构化和非结构化的海量数据对医疗大数据分析平台的性能提出了巨大挑战,为此文中提出了一种面向医疗物联网的大数据架构。所提出的医疗大数据架构采用了公有云技术,包括两个主要的子架构,即雾计算架构和分组选择(GC)架构。雾计算架构使用Apache Pig和Apache HBase等大数据技术收集和存储从不同传感器设备生成的海量传感数据。GC架构用于确保雾计算与公有云的高效集成。将该框架应用于基于心脏疾病预测模型的健康系统,证明了所提出的架构在实验的数据吞吐量下具有良好的CPU计算性能和数据存储性能。     

基于天擎·湖南的一体化平台云化改造关键技术

湖南气象灾害预警服务一体化平台是基层气象灾害预警服务不可或缺的重要工具.本文研究基于气象大数据云平台("天擎·湖南")的一体化平台,通过利用PostgreSQL数据库进行空间地理数据管理,Redis数据库进行用户登录缓存信息管理,虚谷数据库进行业务相关数据管理,NAS存储对图片、文档等非结构化数据进行存储管理,Dock...     

基于高安全等级的云存储信息架构及设计分析

随着云存储技术逐渐广泛地普及、应用,云存储安全问题也越发引人瞩目。云存储数据的安全性和完整性是实现云计算的重要内容,针对目前云存储数据安全性不足的问题,提出了高安全等级的云存储信息架构。通过将云端数据中的目标数据信息分割成多个数据块,并为不同的数据块在云端存储中分配不同的块存储地址,对文件元数据、数据块及结合块存储地址的数据块元数据进行多级加密,形成层层防御墙,使得非授权用户无法获取加密数据信息,黑客也很难以逐层击破,隐私或重要数据的破解难度加大,从而增加了存放在云端数据的安全性,保证了用户数据的隐秘性。     

大数据下的NoSQL数据库技术分析

随着大数据的不断发展和web2.0的快速应用,非关系型、分布式数据存储技术迅速发展,而NoSQL数据库的出现就是为了解决当前计算机体系结构在存储大数据时要求快速、可扩展的问题。文章总结了NoSQL的优势,分析了NoSQL数据库的系统架构、数据存储和关键技术。     

Isilon的集群存储之道

很多企业试图通过扩展现有的传统存储系统,来满足非结构数据在制作、管理和归档方面的需求,但是往往却大失所望。因为这些传统系统只是为结构化处理数据或基于文本格式的数据存储而设计的,根本就不适用非结构化数据。即使运用最新的NAS（网络附加存储）和SAN（存储区域网络）系统架构,也存在一定的内在缺陷——“存储孤岛”、受限的延展性、性能的瓶颈、缺乏可用性以及高昂的成本,将极大的增加管理复杂性。     

数据仓库与大数据融合的探讨

针对传统企业对非结构化数据缺乏有效利用的问题,探讨了基于数据仓库与大数据融合的企业大数据解决方案.根据数据仓库建设理论和下一代企业级数据仓库架构,利用Hadoop技术进行非结构化数据的收集、处理及存储,通过与传统数据仓库和BI工具共同协作,解决企业大数据应用困难的问题.数据仓库与大数据技术的融合解决了传统企业数据处理的障碍,从而推动大数据项目的实施.     

医院双活数据中心建设方案

医院数据中心涉及的系统较多,逐渐形成了经典的分层整合信息架构。文章基于医院数据中心建设需求展开,指出传统数据中心存在的缺点,建议将结构化数据和非结构化数据分别单独构建双活数据中心。通过分布式存储双活副本,结合目前成熟的服务器虚拟化技术,双活数据中心解决方案能轻松打破数据中心不同位置存储设备和服务器业务应用壁垒。     

Hadoop平台下的数据迁移设计与实现

为解决持续增长的海量数据的存储压力,提出了由在线存储平台和大数据存储平台组成的分层存储系统,并对分层存储系统中结构化、非结构化数据迁移的设计和实现进行了详细描述,同时介绍了系统实际使用情况及优缺点。