大数据环境下的海量非结构化信息处理

文章针对大数据环境下的非结构化数据的特性和存储现状进行分析,运用分布式云存储理论,以及分布式技术和软硬件一体化原理,提出一个务实的高性能、可伸缩、易管理的分布式海量非结构化信息处理解决方案。     

一种非结构化元数据的分级存储设计

针对各种数据呈几何级数爆炸式增长促使数据存储容量面对巨大压力的问题,本研究致力于开发设计一种面向非结构化元数据的分布式分级存储管理系统。通过在Client端和Server端分别组织Java jar和逻辑节点实现非结构化元数据管理平台的功能调用,并采用Mongodb数据库构建了自研元数据管理组件的文档数据库。将策略配置存放在Client端的Zookeeper中,并在Server端中实现非结构化元数据的分级存储。通过性能测试结果显示:相比传统的LRU存储方式,采用高低层Server端服务器对非结构化元数据分级存储过程中,平均响应时间下降了45.2%和36.7%,字节命中率分别提升了3.0%和2.6%。因此,本研究提出的分布式分级存储原理可以提升非结构化元数据存储效率。     

海量数据分布式存储技术研究

随着计算机技术的不断发展,互联网业务也在逐渐地扩大,海量用户纷纷涌入到网络中,使得网络系统数据存储空间日益增大。然而海量数据的存储容量往往同存储性能是相反的,传统的数据库在面对海量数据时早已不堪重负,渐渐地就出现了扩展性能差、网络延迟、效率低下等问题。基于此,就车联网海量数据的分布式存储处理技术为研究方向,通过详细分析,构建出一种基于传统数据库存储模式的分布式存储技术,通过仿真实验测试后表明,该技术能够有效解决现有问题,具有一定的参考意义及推广价值。     

面向数据库查询的非结构化数据融合存储系统

为提升非结构化数据处理过程中数据库主机的存储能力,设计了面向数据库查询制度的非结构化数据融合存储系统。根据非结构化存储框架连接形式,确定融合控制电路对于数据存储载体的约束作用能力,完成数据融合存储系统的关联硬件执行环境搭建。定义查询指令所属类型,通过优化非结构化数据目标的方式,得到最终的数据融合代价估算结果,完善面向数据库查询的信息参量存储策略。联合相关硬件执行设备,实现非结构化数据融合存储系统设计。实验结果表明,与传统I/O模拟器存储网络相比,在处理非结构化数据时,融合存储系统的数据库主机明显具备更强的信息存储能力,与之相关的数据信息连接并发个数值也相对更大。     

光传输网管海量数据存储访问研究

文章主要针对光传输网管系统中网无数量急剧增长导致的网管数据库更新查询效率极低,甚至出现系统崩溃的问题,提出了一种高效的分布式数据库系统架构.该系统采用主从技术、Memcached技术与分布式数据库结合的方式,将数据分散地存储在多台独立的设备上,提高了数据的查询效率.系统容量大、可靠性高、扩展能力强,具有很强的实用性.     

中国分布式存储市场发展趋势

在新一代信息技术不断迭代升级的背景下,全球数据量呈现爆发式增长。作为全球数据生产大国,中国数据量也面临急剧增长的态势。数据量的急剧扩展,愈发凸显了数据存储及管理的重要性。传统存储面临拓展性有限、结构化/非结构化数据兼容性不佳、数据读写任务(I/O)性能与成本不经济、可靠性不高和面向新应用(如容器)支持能力有待提升等问题。在此背景下,分布式存储近年来迅速发展。     

支持事务的非结构化数据聚合存储系统GSL

文章提出了一种将非结构化数据集中存储,同时支持事务的存储方案,并依据此方案实现了一个高效、易用的数据存储系统GSL。GSL的数据存储接口与文件系统的接口风格一致,同时支持事务处理。文章将GSL与文件系统和Oracle数据库的BLOB存储效率进行了测试和比较,结果表明GSL的存储效率与文件系统相当,并优于BLOB。     

关于分布式存储应用技术的应用

随着我国计算机信息化建设的不断推进,互联网数据规模越来越庞大,传统的数据存储技术已经难以满足用户的使用需求。目前,我国已经有很多企业开始应用分布式存储系统,分布式存储可以对大量的数据进行存储与管理,提高了信息存储与管理的效率,同时降低了信息管理的成本。但现有的分布式存储系统仍然存在较多的缺陷,本文将深入地分析分布式存储技术的特点与应用,并根据使用需求提出可行的应用方案。     

以文档结构存储海量卫星遥测数据

通过对卫星遥测数据的分析与挖掘,可以有效地进行卫星故障诊断、卫星参数异常变化预测以及提升卫星运行的可靠性。针对无法在海量卫星遥测数据中进行高效储存、检索的问题,提出了利用No SQL数据库Mongo DB以文档的结构形式存储卫星遥测数据。实验结果表明,相对于传统的SQL数据库,此方法可以有效地减少数据冗余并提高查询效率。     

非结构化数据的ETL设计

为了实现非结构化数据的ETL处理,分析了数据整合的发展现状和业务需求,描述了目前国际流行的公共仓库元模型（CWM）以及在ETL实现中的作用,详细分析了结构化数据和非结构化数据的不同特点。针对两种数据的差异,提出了解决非结构化数据的属性提取和数据打包的方法,为非结构化数据形成元数据奠定了基础,从而实现了非结构化数据的ETL设计,设计完全满足标准的数据整合要求。     

非结构化数据存储中面向访问任务的小文件合并策略

分析了非结构化数据储存方式下云存储层次结构,探讨了面向访问任务的小文件存储问题,提出了小文件合并的策略.     

基于递归神经网络的非结构化数据加密存储

为实现非结构化大数据的安全存储并提高其抗攻击能力，提出了基于递归神经网络的非结构化数据加密存储方法。通过分块处理医院非结构化大数据，获得输入、输出张量，构建基于LSTM的递归神经网络，生成医院大数据序列；通过向前反馈和向后反馈获得加密数据，将加密后数据包用加密后源数据包的线性组合代替；再设计基于列不满秩概率存储算法，通过加密存储子节点控制器分配加密存储任务。实验结果表明：该方法具有较强的抗攻击能力，存储效率优势更显著。     

基于网络的分布式海量存储

面对宽带数据的急剧增长,海量存储将成为限制发展的"瓶颈".文章提出基于网络的分布式海量存储及运算方案.该方案通过网络各服务器间的协同工作,利用特征码避免相同资源的冗余存储,加入纠错码以进行差错重建,利用进程迁移平衡负载,采用超流水线执行技术加速程序运行速度,最终实现网络信息资源及存储资源的共享.     

云计算下非结构化大数据存储系统设计

当前云计算下非结构化大数据存储系统设计方法是通过使用分布式数据库存储跨区域的云计算数据和全局数据存储管理目录实现的,运行系统复杂,成本高昂。为此,提出基于HBase的云计算下非结构化大数据存储系统设计方法,首先对云计算下非结构化大数据进行分析,完成云计算下非结构化大数据提取,为云计算下非结构化大数据存储系统框架设计创造条件,并介绍HBase的特点,得到基于HBase非结构化大数据存储系统架构及运行流程,然后进行云计算下非结构化大数据存储结构模型总体设计及非结构化大数据分布式结构分析,采用负载均衡控制方法进行云计算下非结构化大数据存储系统冗余数据特征压缩及信息存储优化算法设计,完成云计算下非结构化大数据存储系统设计。通过仿真实验证明,所提方法能够有效降低云计算下非结构化大数据存储花费的时间,保证存储的数据可用、不丢失,方便云计算下非结构化大数据的使用,具有较强的使用价值。     

分析智能电网建设中分布式电源规划

分布电源技术的应用与推广是智能电网发展的必然趋势,随着其在智能配电网中大规模接入,将会对智能配电网的电压、潮流及可靠性等方面都会造成巨大的影Ⅱ向,同时也给智能配电网的规划带来新的挑战。本文从新型分布式的优化模型入手,并运用实例加分析,希望给行业相关人士一定的参考和借鉴。     

云计算环境下网络空间数据分布式存储方法研究

针对传统的网络空间数据分布式存储方法存储空间小的情况,提出云计算环境下网络空间数据分布式存储方法,首先对网络中的空间数据进行划分,在此基础上,建立网络空间分布式存储数据库,把基本的网络空间数据进行存储,为满足大数据的需要,最后对空间数据库存储空间容量进行设计,提高了网络空间数据分布式存储的存储量。并通过实验对比证明,此次设计的网络空间数据分布式存储方法比传统的存储方法的存储容量高,满足了大数据的存储需求,具有一定的实际应用意义。     

智能电网建设中分布式电源的规划研究

随着电力行业的快速发展和新的发展问题逐渐出现,最大限度的提升电网体系能源效率成为电力行业发展的重要方向,在不断探索的过程中随着现代科技的快速发展,智能电网出现并得到迅速推广,分布式电源作为智能电网的重要组成部分,其位置、容量等对电网的可靠性、节点电压等方面会产生重要影响,所以智能电网建设中分布式电源的规划受到高度关注,本文为对智能电网建设中分布式电源的规划产生更加全面的认识,提升其规划水平,对智能电网建设中分布式电源的优化规划模型、含分布式电源的配电网潮流计算和改进自适应遗传算法在分布式电源选址和定容中的应用进行研究.     

海量数据存储管理方法的研究

随着现代技术的发展,对数据资源的需求逐渐增多,对数据库规模、容量、性能等方面的要求也不断提高,如何提高数据库性能和效率,优化海量数据的存储,已成为一个研究课题。以优化海量数据存储为出发点,对海量数据存储原则、存储设计和实现进行了探索,提出海量数据查询的具体优化方法,对海量数据库的管理方法进行了研究。     

分布式数据存储中的机密性保护

结合对称加密技术和门限加密技术,提出了一种适用于分布式数据存储需要的有效的系统机密性保护方案,其中对称加密技术用于对所存储的文件进行加密,分布式门限加密技术则对对称加密方案中所用的密钥进行保护,可在不带来密钥存储问题情况下满足恶意环境中分布式数据存储系统的机密性要求。