面向云存储的非结构化数据存储研究

作为一种先进计算方式的云计算,不断在信息服务与科研领域升温,并且影响了存储和运算大规模数据。本文主要分析了云存储技术,非结构化数据存储方式,面向云存储的非结构化数据存储系统架构,面向云存储的非结构化数据存储结构设计和实现。     

面向云存储的非结构化数据存储研究

云存储是网格、并行和分布式计算等众多技术发展和延伸,云存储实现了存储的完全虚拟化,提供更强大的存储及共享功能[1].非机构化数据包括文本、图像、音频、视频、PDF、电子表格等.非结构化数据的存储通常有两种方式,一种是使用文件系统以文件的方式存储,将文件的路径或者链接存储在关系型数据库表中;另一种是将这些数据存储在传统的数据库表的大对象字段中.文章主要研究非结构化数据的存储方式,结合非结构化数据的特点,云存储的优势以及MongoDB的数据存储特性,提出非结构化数据云存储的必要性.     

基于MapReduce模型的非结构化数据分布式存储方法

为了解决传统数据存储方法存在的内存消耗过大、读取效率低等多种问题,提出了基于MapReduce模型的非结构化数据分布式存储方法。设计了非结构化数据垂直分片与水平分片方案,并采用聚类算法对分片处理后的非结构化数据进行聚簇处理,在此基础上构建用于数据分布式存储的MapReduce模型,得到非结构化数据分布式存储结果。实验测试结果表明,与传统非结构化数据存储方法相比,研究方法的内存消耗更小、写入量更大、读取效率更高、访问频率动态调节性能好,由此证明该方法的存储性能更优越,实际应用效果更好。     

非结构化数据的存储问题

如何存储应用系统中需要处理的非结构化数据,包括文本、图像、音频、视频、PDF、电子表格等,是常常困扰系统设计人员的一个问题。非结构化数据的存储通常有两种方式,一种方式是将这些数据以文件的方式存储在文件系统中,同时将指向文件的链接或路径存储在数据     

面向云存储的非结构化数据存取

非结构化数据呈爆炸态势增长,现有存储技术在I/O吞吐能力、可扩展性及易管理性等方面亟待改进。存储系统以云存储和可靠性理论为基础,建立了非结构化数据的分布式存储模型,并设计了可靠度函数。采用分布式关系数据库管理系统(RDBMS)作为存储底层,将非结构化数据直接存储于数据表中,实现了非结构化数据和元数据的分离式存储和统一管理,进而提升了存储系统性能。相对于集中式存储,新系统具有较高的可用性。仿真结果显示,存储系统可靠度高且易于扩展。该分布式存储系统可应用于动态开放计算环境,提供效能较高的云存储服务。     

非结构化大数据云存储稳定性优化评定

由于非结构化大数据不存在固定控制中心,会严重影响云存储阶段稳定性,因此,以非结构化大数据为研究目标,构建一种云存储稳定性优化方法,并通过仿真加以效果评定.根据架构的不同环状态消耗能量计算方法,最小化非结构化大数据的云存储能量消耗,将优化核心设定为最大化云存储环活动时间,按照内部节点、边界节点编号顺序,完成所有区域云存储...     

可撤销属性加密结合快速密度聚类算法的非结构化大数据安全存储方法

针对非结构化大数据难以实现安全存储和易遭受安全攻击的问题,提出可撤销属性加密结合快速密度聚类算法的非结构化大数据安全存储方法.利用可撤销属性方法为非结构化大数据提供安全的存储结构,通过区分安全攻击和传输错误来防止大数据的误传和避免安全攻击;利用霍夫曼压缩技术对数据进行快速压缩,节省非结构化大数据处理过程中的时间开销;利...     

基于人工智能的非结构化数据脱敏方法研究

介绍了数据脱敏技术的相关信息,提出了利用BERT预训练语言模型结合Transformer编码器和条件随机场等人工智能技术处理文字、音频、图像、视频中敏感信息的方法,为解决数据安全和数据共享之间的矛盾提供了思路。     

结合区块链的非结构化大数据云存储优化研究

针对非结构化数据云存储效率低下的问题,提出了结合区块链技术的非结构化大数据云存储方法.云存储网络利用F2域获得存储信息,根据域首判断出数据状况,实时更新存储策略;同时存储调度利用存储窗与采集窗估算出数据均值与动态振荡,确定存储更新的频次.另外,在云存储网络中引入存储审计策略,根据数据热度与损坏性确定存储审计需求,对存储...     

基于非关系型数据库的水文大数据存储方法研究

针对现有的技术架构和主流软件工具存储水文大数据存在的问题,分析非关系型数据库存储水文大数据的优势和技术特点,提出非关系型数据库TRIP存储水文大数据的方法。TRIP数据库管理系统部署在PC机上,水文结构化和非结构化数据存储在与PC机数据连接的磁盘存储装置的数据库文件中,根据水文数据的规模,增加磁盘存储装置的数量和容量。研究结果证明,TRIP数据库能够存储多种类型、格式的水文结构化和非结构化数据,可为水文行业存储水文大数据提供新的技术途径。     

非结构化数据存储管理的实用化方法

针对目前广泛采用的非结构化数据文件与其属性数据分开存储的机制中的不安全性问题,本文从实用化角度给出一个“监控”策略和实现方法,通过软件实现可以约束非法的或意外的对非结构化数据源文件的破坏,并且保证了源文件与其在数据库中的索引的一致性。     

面向海量非结构化数据的非关系型存储管理机制

针对传统的关系数据存储系统性能不足、容错性差,无法适应海量非结构化数据管理的问题,提出一种高性能、高可用非关系型存储管理机制。首先,设计了良好的用户访问服务接口,通过高效的一致性哈希算法支持数据分发到多个存储节点;其次,采用可配置的数据副本机制改善存储系统的可用性;最后,提出查询故障处理机制,用以提升存储系统的容错性,避免节点失效导致服务中断问题。实验结果表明,在不同规模用户负载下,新的存储系统的并发访问请求能力和传统的文件系统、关系数据库相比,分别提升了30%和50%;同时,在合理响应时间内,故障状态下的存储系统的可用性损失小于14%。因此,该机制适用于海量非结构化数据的高效存储管理。     

基于XML的非结构化文本数据转换研究与实现

采用XML作为存储数据的中间过程,通过两次调用Java程序,使非结构化的数据结构化因为XML作为一种半结构化的语言,适合数据存储与数据转换 而Java程序可以让基于XML的非结构化数据转换成结构化的数据,使其完全的结构化.使用该Java程序,可以完成类似的非结构化数据的转换工作.     

非结构化数据的信息服务系统设计方法

１概述 信息服务系统是指在 Ｉｎｔｅｒｎｅｔ上,以 Ｉｎｔｅｍｅｔ／Ｉｎｔｒａｎｅｔ技术为基础,向广大用户提供丰富而实用的信息的网络服务系统。它以信息内容为中心,以提供完善的信息服务为宗旨,通过网络来满足用户的信息需求。 信息服务系统是以信息内容为中心,表现为一大批各种各样文档和数据。在没有使用数据库的信息服务系统中,只有非结构化的数据存在。它的设计过程如图１所示。下面以海事信息网站的部分数据为例,说明非结构化数据的信息服务系统的设计过程。２超文本概念设计 超文本概念设计的目标是描述应用领域的信息内…     

基于NAS的非结构化数据分布式存储系统设计

随着气象事业发展,非结构化数据海量增长,针对传统非分布式、直联式存储方式支撑能力受限问题及对存储系统需要支持大容量、集中管理、高可扩展性、高可靠性的新需求出发,利用网络附加存储,采用分布式架构、堆叠组网冗余和纠删码冗余保护机制、运用NFS、CIFS、FTP等协议,搭建一个分布式架构集群存储系统,通过分布式文件系统对外提供统一网络存储空间,通过CIFS、NFS、FTP三种方式实现文件共享。解决旧系统存储能力不足、动态扩展性差、效率不高、可靠性和安全性低的问题,进一步提升重庆气象数据云平台基础支撑能力。     

基于非结构化数据的语义建模及优化

非结构化数据是大型企业的宝贵数据资产,其基本特征是数据格式多样、数据存储分散、数据总量大、增长速度快,蕴含有提升企业管理水平的大量重要信息.非结构化数据的统一存储、集中管理与深化应用是当今大型企业信息化建设的重要方向之一.文章从非结构化数据和结构化数据的特点、可行性分析,以及对非结构化数据的重要模块语义分析建模及其优化从而高校提炼出结构化信息几个方面来讲述非结构数据的特点.从而为企业解决非结构化数据的集中存储、有效利用等技术难题,提高企业的管理.     

电力企业的非结构化数据检索研究

电网公司多年来建设了很多业务系统,各业务系统相互孤立应用.随着企业信息化建设的深入,业务系统中数据特别是非结构化数据的数据量急剧增长,人员查找数据信息极为不便.建设面向整个电网公司的分布式非结构化数据检索平台,该平台在Linux计算机集群上部署Hadoop开发框架以及Solr分布式全文检索系统,将各业务系统中的非结构化数据进行集中式的存储、管理,并且提供统一的搜索服务,使得企业相关人员能够高效、便捷地检索出所需的数据.实现知识服务无处不在,为员工工作提供帮助,为企业提供决策支持.     

非结构化数据的可视化编辑系统

在创新计算中碰到大量的非结构化数据，采用超图模型实现非结构化数据在计算机中的存储与表示，并实现了一个非结构化数据的编辑系统，通过图形界面，用户可以交互式的编辑非结构化数据。     

大型企业级非结构化数据的迁移与转储技术研究

基于最新的非结构化数据管理及平台辅助,帮助大型企业管理多个不同的平台来处理关系数据和非关系数据,避免数据的复杂性,降低分散的数据存储对于开发人员的部署难度,帮助开发人员和数据库管理员在不同的数据类型中可以使用的服务,降低管理这些不同的数据类型的成本,简化使用关系数据和非关系数据的应用程序的开发工作,最终将现在只用于关系数据的功能扩展到非关系数据。