共查询到20条相似文献,搜索用时 0 毫秒
1.
2.
《信息技术》2017,(6)
针对各种数据呈几何级数爆炸式增长促使数据存储容量面对巨大压力的问题,本研究致力于开发设计一种面向非结构化元数据的分布式分级存储管理系统。通过在Client端和Server端分别组织Java jar和逻辑节点实现非结构化元数据管理平台的功能调用,并采用Mongodb数据库构建了自研元数据管理组件的文档数据库。将策略配置存放在Client端的Zookeeper中,并在Server端中实现非结构化元数据的分级存储。通过性能测试结果显示:相比传统的LRU存储方式,采用高低层Server端服务器对非结构化元数据分级存储过程中,平均响应时间下降了45.2%和36.7%,字节命中率分别提升了3.0%和2.6%。因此,本研究提出的分布式分级存储原理可以提升非结构化元数据存储效率。 相似文献
3.
为了加快非结构化电网数据存储的译码速率,从而促进电网主机分布式存储能力的提升,提出智能电网海量非结构化数据分布式存储方法。定义MongoDB数据格式的方法,对电网信息实施复制处理,联合分布式存储架构完成智能电网海量非结构化数据库搭建。在此基础上,分析电网数据的特性能力,通过信息增删排查的方式,确定最终的分布式查询语句,搭建智能电网海量非结构化数据分布式存储模型,实现数据的分布式存储。与局部修复型存储编码方法相比,在分布式存储模型作用下,电网主机的存储译码速率最大值能够达到54.5 MB/s,可在实现非结构化电网数据快速转码的同时,提升电网主机分布式存储能力。 相似文献
4.
文章提出了一种将非结构化数据集中存储,同时支持事务的存储方案,并依据此方案实现了一个高效、易用的数据存储系统GSL。GSL的数据存储接口与文件系统的接口风格一致,同时支持事务处理。文章将GSL与文件系统和Oracle数据库的BLOB存储效率进行了测试和比较,结果表明GSL的存储效率与文件系统相当,并优于BLOB。 相似文献
5.
6.
信息爆炸作为新时代的重要特征,在联通全球、强化共享等优势的背后所隐藏的信息安全问题值得关注,因此为提升网络通信数据存储的安全水平,研究其储存加密的方法十分必要。基于此,文章对基于交互局部性的网络通信数据存储加密办法进行了研究,提出通过数据建立模块密码通信模型等提升数据存储加密的水平,以期能够推动网络通信的良性发展。 相似文献
7.
为加强原始训练数据的传输安全性,实现对信息应用文件的及时性编码,设计基于递归神经网络的原始训练数据防泄漏密码生成系统。以递归神经网络框架作为数据信息的基层传输依据条件,借助训练数据收发器与信息防泄漏加密模块,实现密码生成系统的硬件执行环境搭建。在此基础上,通过建立源码文件、译码文件的方式,确定与原始训练数据相关的防泄漏信息编码原则,完成密码生成系统的软件执行环境搭建,联合相关硬件设备结构体,实现原始训练数据防泄漏密码生成系统的顺利应用。对比实验结果表明,所设计系统可同时处理的原始训练数据总量更大,但所需的译码等待时间却相对更短,可大幅增强训练主机对于信息应用文件的编码及时性。 相似文献
8.
非结构化数据的ETL设计 总被引:1,自引:0,他引:1
为了实现非结构化数据的ETL处理,分析了数据整合的发展现状和业务需求,描述了目前国际流行的公共仓库元模型(CWM)以及在ETL实现中的作用,详细分析了结构化数据和非结构化数据的不同特点。针对两种数据的差异,提出了解决非结构化数据的属性提取和数据打包的方法,为非结构化数据形成元数据奠定了基础,从而实现了非结构化数据的ETL设计,设计完全满足标准的数据整合要求。 相似文献
9.
为了能够充分保证用户的数据存储安全机密性,有效解决数据信息安全存储问题,文中引入了云计算技术,提出一种基于云计算的数据信息加密安全存储设计思路.通过将第三方TPA、RSA算法、DES算法及Hash函数引入该次设计中,能够为云计算提供完整、安全、机密的SCBRHD存储方案.该设计方案能够对数据的存储安全性和机密性形成有效... 相似文献
10.
云计算下非结构化大数据存储系统设计 总被引:1,自引:0,他引:1
《现代电子技术》2018,(1):173-177
当前云计算下非结构化大数据存储系统设计方法是通过使用分布式数据库存储跨区域的云计算数据和全局数据存储管理目录实现的,运行系统复杂,成本高昂。为此,提出基于HBase的云计算下非结构化大数据存储系统设计方法,首先对云计算下非结构化大数据进行分析,完成云计算下非结构化大数据提取,为云计算下非结构化大数据存储系统框架设计创造条件,并介绍HBase的特点,得到基于HBase非结构化大数据存储系统架构及运行流程,然后进行云计算下非结构化大数据存储结构模型总体设计及非结构化大数据分布式结构分析,采用负载均衡控制方法进行云计算下非结构化大数据存储系统冗余数据特征压缩及信息存储优化算法设计,完成云计算下非结构化大数据存储系统设计。通过仿真实验证明,所提方法能够有效降低云计算下非结构化大数据存储花费的时间,保证存储的数据可用、不丢失,方便云计算下非结构化大数据的使用,具有较强的使用价值。 相似文献
11.
提出了一种递归神经网络预测控制算法。该方法将预测控制中预测模型的误差项提取出来,专门建立神经网络模型来预测误差项,以此实现预测控制与神经网络的结合并用MATLAB仿真。该算法具有良好的控制品质,表现出较强的鲁棒性和适应性。 相似文献
12.
13.
《电子技术与软件工程》2017,(15)
为了解决当前存储方法在应对大数据存储时存在的安全问题,提出了基于三维改进加密的大数据信息存储方法。该方法利用相位对重要信息进行提取,在大数据中心将提取到的信息重新构建成三维信息,然后对其采用随机相位加密方法存储,并通过聚类隐藏掉重要信息,实现对大数据的安全存储。搭建实验平台对该方法进行性能对比验证,证明了该方法在大数据信息存储方面更加安全稳定。 相似文献
14.
15.
随着多传感器系统的发展以及非结构化手工数据记录机制的持续使用,不规则时间序列数据越来越普遍。不规则数据和由此产生的缺失值严重限制了对数据进行分析和建模以完成分类和预测任务的能力。通常情况下,用于处理时间序列数据的传统方法会引起偏差,并对底层数据的生成过程进行强假设,这可能会导致较差的模型预测结果。传统的机器学习和深度学习方法虽仍处于数据建模的前沿,但最多只能受到不规则时间序列数据集的影响,无法对不完整时间序列的时间不规则性进行建模。门控递归神经网络(RNN),如LSTM 和GRU,在序列建模方面取得了突出的成绩,并在许多应用领域得到了应用,如自然语言处理。这些模型已成为时间序列建模的良好选择,也是处理不规则时间序列数据的重要工具。文中重点介绍了处理不规则时间序列数据的两种常用方法,即在数据预处理阶段输入缺失值以及在学习过程中修改算法从而直接处理缺失值,旨在介绍这一研究分支中出现的有效的技术,以便研究人员创造出进一步处理不规则时间序列数据的新技术。 相似文献
16.
本文利用神经网络处理非线性、复杂性等优势,基于改进的递归神经网络预测网络安全态势,实验结果证明该方法运行效率较高,运行结果与实际值相比,误差较低,精确性较高。 相似文献
17.
本文利用神经网络处理非线性、复杂性等优势,基于改进的递归神经网络预测网络安全态势,实验结果证明该方法运行效率较高,运行结果与实际值相比,误差较低,精确性较高。 相似文献
18.
为提升非结构化数据处理过程中数据库主机的存储能力,设计了面向数据库查询制度的非结构化数据融合存储系统。根据非结构化存储框架连接形式,确定融合控制电路对于数据存储载体的约束作用能力,完成数据融合存储系统的关联硬件执行环境搭建。定义查询指令所属类型,通过优化非结构化数据目标的方式,得到最终的数据融合代价估算结果,完善面向数据库查询的信息参量存储策略。联合相关硬件执行设备,实现非结构化数据融合存储系统设计。实验结果表明,与传统I/O模拟器存储网络相比,在处理非结构化数据时,融合存储系统的数据库主机明显具备更强的信息存储能力,与之相关的数据信息连接并发个数值也相对更大。 相似文献