智能电网海量非结构化数据分布式存储研究

为了加快非结构化电网数据存储的译码速率,从而促进电网主机分布式存储能力的提升,提出智能电网海量非结构化数据分布式存储方法。定义MongoDB数据格式的方法,对电网信息实施复制处理,联合分布式存储架构完成智能电网海量非结构化数据库搭建。在此基础上,分析电网数据的特性能力,通过信息增删排查的方式,确定最终的分布式查询语句,搭建智能电网海量非结构化数据分布式存储模型,实现数据的分布式存储。与局部修复型存储编码方法相比,在分布式存储模型作用下,电网主机的存储译码速率最大值能够达到54.5 MB/s,可在实现非结构化电网数据快速转码的同时,提升电网主机分布式存储能力。     

非结构化数据的ETL设计

为了实现非结构化数据的ETL处理,分析了数据整合的发展现状和业务需求,描述了目前国际流行的公共仓库元模型（CWM）以及在ETL实现中的作用,详细分析了结构化数据和非结构化数据的不同特点。针对两种数据的差异,提出了解决非结构化数据的属性提取和数据打包的方法,为非结构化数据形成元数据奠定了基础,从而实现了非结构化数据的ETL设计,设计完全满足标准的数据整合要求。     

大数据环境下的海量非结构化信息处理

文章针对大数据环境下的非结构化数据的特性和存储现状进行分析,运用分布式云存储理论,以及分布式技术和软硬件一体化原理,提出一个务实的高性能、可伸缩、易管理的分布式海量非结构化信息处理解决方案。     

支持事务的非结构化数据聚合存储系统GSL

文章提出了一种将非结构化数据集中存储,同时支持事务的存储方案,并依据此方案实现了一个高效、易用的数据存储系统GSL。GSL的数据存储接口与文件系统的接口风格一致,同时支持事务处理。文章将GSL与文件系统和Oracle数据库的BLOB存储效率进行了测试和比较,结果表明GSL的存储效率与文件系统相当,并优于BLOB。     

非结构化数据存储中面向访问任务的小文件合并策略

分析了非结构化数据储存方式下云存储层次结构,探讨了面向访问任务的小文件存储问题,提出了小文件合并的策略.     

基于递归神经网络的非结构化数据加密存储

为实现非结构化大数据的安全存储并提高其抗攻击能力，提出了基于递归神经网络的非结构化数据加密存储方法。通过分块处理医院非结构化大数据，获得输入、输出张量，构建基于LSTM的递归神经网络，生成医院大数据序列；通过向前反馈和向后反馈获得加密数据，将加密后数据包用加密后源数据包的线性组合代替；再设计基于列不满秩概率存储算法，通过加密存储子节点控制器分配加密存储任务。实验结果表明：该方法具有较强的抗攻击能力，存储效率优势更显著。     

关于分布式存储应用技术的应用

随着我国计算机信息化建设的不断推进,互联网数据规模越来越庞大,传统的数据存储技术已经难以满足用户的使用需求。目前,我国已经有很多企业开始应用分布式存储系统,分布式存储可以对大量的数据进行存储与管理,提高了信息存储与管理的效率,同时降低了信息管理的成本。但现有的分布式存储系统仍然存在较多的缺陷,本文将深入地分析分布式存储技术的特点与应用,并根据使用需求提出可行的应用方案。     

中国分布式存储市场发展趋势

在新一代信息技术不断迭代升级的背景下,全球数据量呈现爆发式增长。作为全球数据生产大国,中国数据量也面临急剧增长的态势。数据量的急剧扩展,愈发凸显了数据存储及管理的重要性。传统存储面临拓展性有限、结构化/非结构化数据兼容性不佳、数据读写任务(I/O)性能与成本不经济、可靠性不高和面向新应用(如容器)支持能力有待提升等问题。在此背景下,分布式存储近年来迅速发展。     

云计算下非结构化大数据存储系统设计

当前云计算下非结构化大数据存储系统设计方法是通过使用分布式数据库存储跨区域的云计算数据和全局数据存储管理目录实现的,运行系统复杂,成本高昂。为此,提出基于HBase的云计算下非结构化大数据存储系统设计方法,首先对云计算下非结构化大数据进行分析,完成云计算下非结构化大数据提取,为云计算下非结构化大数据存储系统框架设计创造条件,并介绍HBase的特点,得到基于HBase非结构化大数据存储系统架构及运行流程,然后进行云计算下非结构化大数据存储结构模型总体设计及非结构化大数据分布式结构分析,采用负载均衡控制方法进行云计算下非结构化大数据存储系统冗余数据特征压缩及信息存储优化算法设计,完成云计算下非结构化大数据存储系统设计。通过仿真实验证明,所提方法能够有效降低云计算下非结构化大数据存储花费的时间,保证存储的数据可用、不丢失,方便云计算下非结构化大数据的使用,具有较强的使用价值。     

面向电子数字文献保存的元数据存储系统设计

传统元数据存储方法受到非活跃元数据影响,存储耗费时间长,读写结果不精准,导致元数据存储效果不佳.为了解决该问题,提出了面向电子数字文献保存的元数据存储系统设计.为了方便系统调试,设计FPGA主控单元,对SRAM缓存管理模块中的缓存输入信号进行缓存.设计保存于电子数字文献中的元数据读写流程,利用元数据分级算法,区分活动和...     

Design of exact regenerating hierarchical code for distributed storage system

Erasure code is widely used as the redundancy scheme in distributed storage system. When a storage node fails, the repair process often requires to transfer a large amount of data. Regenerating code and hierarchical code are two classes of codes proposed to reduce the repair bandwidth cost. Regenerating codes reduce the amount of data transferred by each helping node, while hierarchical codes reduce the number of nodes participating in the repair process. In this paper, we propose a "sub-code nesting framework" to combine them together. The resulting regenerating hierarchical code has low repair degree as hierarchical code and lower repair cost than hierarchical code. Our code can achieve exact regeneration of the failed node, and has the additional property of low updating complexity.     

基于中心节点的云存储系统应用分析

在云计算的催生下,基于不同网络拓扑结构和数据传输机制的分布式云存储系统应运而生,系统特性不同,应用场合也不尽相同。本文从是否存在元数据中心节点的角度出发,以有元数据节点的MooseFS和无元数据节点的GlusterFS为代表,全面分析两种系统架构、工作机制、系统特点等,并对两种系统进行不同文件类型的读写测试,给出在现有硬件基础上选择适合的文件系统的方法,从而使云存储系统数据处理性能达到最优。     

A hierarchical network storage architecture for video-on-demandservices

The advances in cable TV networks and multimedia technologies have open the possibilities for network/service/content providers to offer residential customers with video-on-demand services. However, the mass storage system used in supporting such services demands proper organization and management. We present a three-level hierarchical network storage architecture for the video-on-demand storage system. At the first-level (local service center, LSC) a limited number of programs with high viewing probabilities are stored; while at the second-level (local central service center, LCSC) a few programs with the second highest viewing probabilities are stored. The third-level (central service center, CSC) contains all programs provided in the system. Based on this architecture and the program viewing probability distribution function, we use a minimum-cost function to find out the number of programs stored in the two service centers (LSC and LCSC) and the number of links among these three service centers. We also describe two program reallocation algorithms which swap programs between service centers according to the change in user request patterns     

分布式VoD系统的分级存储调度

提出了一种适于大规模分布式ＶｏＤ系统的分级存储调度算法。该算法建立在多队列的排队模型之上,使用上系统均衡方法及基于优先级的缓冲区管理算法,并提供了迁移等待时间的计算方法。通过仿真实验给出了缓冲区大小与业务量和节目驻留时间的关系,为ＶｏＤ分级存储系统的设计提供了依据。     

基于元数据的动态数据需求定制中间件设计

文中利用元数据作为中介,基于数据集成的中介模式设计了一种基于元数据的数据需求定制中间件.利用元数据作为数据源和数据需求之间的中介,完成异构的原始数据到统一的数据视图再到需求数据之间的数据格式转换与集成操作,并能够支持运行时的数据源结构修改和数据需求变更的操作.     

基于元数据的电力客户流量数据实时监测设计

为了提高电力客户流量数据实时监测能力,提出基于元数据的电力客户流量数据实时监测系统设计方法。构建电力客户流量数据的分布式采集和存储结构模型,采用多分布的传感器阵列进行电力客户流量数据采样,对采集的电力客户流量数据进行特征重组,提取电力客户流量数据的元数据结构特征,根据元数据的结构分布进行电力客户流量数据的模糊信息聚类处理,建立电力客户流量数据的多分布特征检测和属性聚类模型,采用模糊融合方法进行电力客户流量数据的多元信息重构,在重构的特征空间中实现电力客户流量数据实时监测。仿真结果表明,采用该方法进行电力客户流量数据监测的实时性较好,识别精度高,特征分辨能力较强,具有很好的电力客户流量信息检测和识别能力。     

Is it time for a moratorium on metadata?

This work discusses the author suggestion for locating content in mixed-media for context-sensitive queries. Also provides examples of nontextual approach, a system for organizing digital photographs in which all of the instances of a particular person can be found based on face recognition rather than keyword matching, and compared with a conventional metadata effort that uses predictive labelling of objects in the base data set.     

Design and analysis of defect tolerant hierarchical sortingnetworks

A hierarchical modular sorting network which achieves a balance in area-time cost between the odd-even transposition sort and the bitonic sort is presented. It consumes less hardware than a single-level odd-even sorter and reduces the wire complexity of the bitonic sorter in VLSI or WSI (wafer-scale integration) implementation. The optimal number of levels in the hierarchy is evaluated, and the sorting capability of each level is derived so as to minimize the hardware overhead. The hierarchical sorting network is very regular in structure and hence defect tolerance capability can be included more easily than in any existing sorting network with the same time complexity. Redundancy is provided at every level of the hierarchy. Hierarchical reconfiguration is performed by replacing the defective cells at the bottom level with the spare cells first and repeating the process at the next higher level if there is not enough redundancy at the current level. Yield analysis is performed to demonstrate the effectiveness of the approach