面向数据库查询的非结构化数据融合存储系统

为提升非结构化数据处理过程中数据库主机的存储能力,设计了面向数据库查询制度的非结构化数据融合存储系统。根据非结构化存储框架连接形式,确定融合控制电路对于数据存储载体的约束作用能力,完成数据融合存储系统的关联硬件执行环境搭建。定义查询指令所属类型,通过优化非结构化数据目标的方式,得到最终的数据融合代价估算结果,完善面向数据库查询的信息参量存储策略。联合相关硬件执行设备,实现非结构化数据融合存储系统设计。实验结果表明,与传统I/O模拟器存储网络相比,在处理非结构化数据时,融合存储系统的数据库主机明显具备更强的信息存储能力,与之相关的数据信息连接并发个数值也相对更大。     

基于随机森林的智能电网多源数据异常检测

智能电网多源数据具有海量化与复杂化特征,导致智能电网多源数据异常检测的难度增加,为此设计基于随机森林的智能电网多源数据异常检测算法。构建随机森林应用模型,根据评估指标选取结果,计算暂态稳定裕度指标的具体数值,实现对智能电网多源数据的暂态稳定性评估。设置Hadoop检测框架,通过求解多源数据负荷特征判断异常值检测系数所属取值范围,完成算法的设计。实验结果表明,异常多源信息的最大传输速率只能达到2.36 MB/ms,而常规数据传输速率却不会受到明显影响,说明设计方法能够有效提升智能电网主机对异常数据的检测能力。     

基于Hadoop的轴承监测海量数据的存储与管理

针对高速机车转向架滚动轴承监测数据的格式多样化、数据量激增带来的管理和存储问题,在分析监测数据特征和数据量大小的基础上,构建了树形索引结构对滚动轴承状态监测海量数据进行管理。利用研究所当前的软硬件环境,搭建了分布式集群系统存储海量监测数据,并对集群系统在存储和管理海量数据时的可用性和稳定性进行了探讨。通过对实际数据的测试和分析,结果表明基于树形索引结构的分布式集群系统能在一定程度上满足滚动轴承状态监测非结构化海量数据存储和管理的要求。     

云平台下的NoSQL分布式大数据存储技术与应用

随着移动互联网云计算、大数据的快速发展,以图片、视频等组成的数据存储急剧增加,目前已有存储方式无法满足系统需要,而No SQL分布式大数据存储技术因其具有可扩展、快速读取、海量处理等特点,其在云计算领域如雨后春笋般被广泛应用。采用基于Hadoop平台和No SQL的Mongo DB数据库技术设计非结构化数据云存储架构,证明云存储的非结构化数据存储技术可缓解当前非结构化数据存储面临的难题,提升非结构化数据存储服务质量。     

Hadoop在电信运营商经营分析系统中应用的研究

随着互联网发展带来的数据爆炸,很多企业都使用分布式文件系统来搭建高性能和高扩展性的应用,存储自身海量的数据并加以分析.Hadoop就是目前比较主流的开源分布式文件系统之一,它支持海量数据存储、可扩展性强、容错性强、可以运行在廉价的商用机器上,是大多数企业的首选.本文通过在电信运营商经营分析系统中引入Hadoop分布式技术,改变了经分系统中小型机加关系型数据库的传统架构,解决了经分系统中海量非结构化数据分析的问题,对电信运营商实现高效率地从海量日志里挖掘出有价值的信息具有重要的意义.     

大数据环境下的海量非结构化信息处理

文章针对大数据环境下的非结构化数据的特性和存储现状进行分析,运用分布式云存储理论,以及分布式技术和软硬件一体化原理,提出一个务实的高性能、可伸缩、易管理的分布式海量非结构化信息处理解决方案。     

基于SQL-on-Hadoop的分布式广电数据仓库的设计与实现

为解决传统数据仓库扩展能力弱,不支持非结构化数据的问题,江苏有线结合实际应用情况,基于SQL-on-Hadoop技术实现了分布式的广电数据仓库TRAF。TRAF融合了传统数据仓库与Hadoop技术,可以同时存储结构化和非结构化数据,具备良好的扩展能力。TRAF在HBase框架之上构建支持多重查询嵌套和多级索引ANSI SQL标准的查询接口,实现海量用户行为的实时分析;采用通用x86服务器替代原有小型机存储,大幅降低了系统构建成本。测试结果表明,数据量在10亿条时,TRAF的处理速度比传统关系型数据仓库提升了5倍,同时构建成本降低了50%,有效提升了广电数据分析系统的应用水平。     

移动云计算——移动增强现实技术和服务

提出了中兴通讯移动增强现实解决方案。方案针对增强现实目标的识别技术采用客户机/服务器(C/S)架构,以充分利用云的海量存储和并行计算能力,进行样本图像的训练以及识别样本库的生成和训练,从而实现快速的增强现实目标的迅速识别;针对海量增强现实内容信息和训练样本数据高效存储的需求,采用分布式的非结构化存储机制以保存图像等信息,对于兴趣点信息采用结构化存储机制以保存兴趣点各种增强现实元数据信息;通过在结构化存储机制中建立特征索引等快速查询机制,以达到高效数据查询的目的。此外,为了分担增强现实业务请求负载,在靠近用户的地方部署若干用户接入云,缓存热点的增强现实信息,减轻增强现实业务处理机的负载压力。     

基于HBase的分布式海量小型文件存储系统

随着互联网公司的业务不断发展,企业的大量数据以非结构化的形式存在,非结构化数据常常以小型文件为主,不仅体量大,而且分散性高,因此海量小型文件存储面临着存储性能和访问效率较低等问题。分布式小型文件存储系统是指在集群服务器的硬件存储资源环境下,对小型文件保存、读取和修改进行统一管理的系统。文章基于HBase实现了一个分布式小型文件存储系统,该文件系统有超强的处理海量小型文件的能力,同时有着良好的扩展性、容错性和稳定性,可以更好地支撑互联网企业的业务发展。     

云计算下非结构化大数据存储系统设计

当前云计算下非结构化大数据存储系统设计方法是通过使用分布式数据库存储跨区域的云计算数据和全局数据存储管理目录实现的,运行系统复杂,成本高昂。为此,提出基于HBase的云计算下非结构化大数据存储系统设计方法,首先对云计算下非结构化大数据进行分析,完成云计算下非结构化大数据提取,为云计算下非结构化大数据存储系统框架设计创造条件,并介绍HBase的特点,得到基于HBase非结构化大数据存储系统架构及运行流程,然后进行云计算下非结构化大数据存储结构模型总体设计及非结构化大数据分布式结构分析,采用负载均衡控制方法进行云计算下非结构化大数据存储系统冗余数据特征压缩及信息存储优化算法设计,完成云计算下非结构化大数据存储系统设计。通过仿真实验证明,所提方法能够有效降低云计算下非结构化大数据存储花费的时间,保证存储的数据可用、不丢失,方便云计算下非结构化大数据的使用,具有较强的使用价值。     

一种非结构化元数据的分级存储设计

针对各种数据呈几何级数爆炸式增长促使数据存储容量面对巨大压力的问题,本研究致力于开发设计一种面向非结构化元数据的分布式分级存储管理系统。通过在Client端和Server端分别组织Java jar和逻辑节点实现非结构化元数据管理平台的功能调用,并采用Mongodb数据库构建了自研元数据管理组件的文档数据库。将策略配置存放在Client端的Zookeeper中,并在Server端中实现非结构化元数据的分级存储。通过性能测试结果显示:相比传统的LRU存储方式,采用高低层Server端服务器对非结构化元数据分级存储过程中,平均响应时间下降了45.2%和36.7%,字节命中率分别提升了3.0%和2.6%。因此,本研究提出的分布式分级存储原理可以提升非结构化元数据存储效率。     

基于Hadoop的气象数据分布式存储技术研究

针对目前气象数据存储所面临的海量扩张、高并发读写、结构化和非结构化数据并存以及长时间序列和大数据集检索效率低下等问题,提出了以Hadoop开源框架为基础的气象数据分布式存储方案.通过对气象数据自身属性和特点进行分析,得出了气象数据在经过充分优化的基础上,在分布式存储框架中具有很强的适应性和规模化应用的潜力;并在HBas...     

基于HADOOP分布式系统的数据处理分析

各种信息数据在迅猛增长,云计算技术的出现为海量数据的处理提供了良好的解决方案。Hadoop 是云计算技术中分布式并行编程框架的开源实现,它利用集群的并行计算和存储能力,高效的完成对海量数据的处理,云计算能够为社会创造出更大的价值。最后通过Hadoop组织廉价的计算机资源搭建了一个分布式云计算平台,具有高容错、高效性、高扩展性等优势,并完成对数据处理能力和平台可扩展性进行性能测试与分析。     

大电网统一数据库建设相关技术整合研究

随着智能电网的发展和普及,我国已经构建了一张覆盖全国各地的大电网,电网运行产生了海量的信息化数据,亟需构建一个统一数据库,引入数据分类、动态迁移、访问重定向等技术,实现数据信息智能存储和管理,提高电网数据库访问效率。     

以混合存储模型实现云计算平台对电信海量数据的处理

利用云计算平台获取海量存储空间和弹性计算能力是当前学术界研究的重点和产业界应用的方向。文章提出的海量数据分布式处理模型,基于混合型数据存储,实现一种以数据为中心的、计算密集型的、高经济性云计算平台。实践证明,在海量数据处理方面,该模型可以很好发挥关系数据库和非关系数据库的优点,具有良好的参考示范价值。     

面向海量数据的存储技术发展分析

移动终端、智能感应终端设备的快速增加,以及云计算、物联网、人工智能等新兴信息技术的应用普及,使得全球数据总量快速增长,同时,用户对数据应用的实时性要求也在不断提升.海量非结构化、高时效性的数据对存储技术提出了新的要求,大容量、高速读写、高可靠的存储器件以及面向海量数据应用场景的存储架构、存储管理技术成为存储产业研究的热点.本文对数字新时代下海量数据存储需求进行了分析,对面向海量数据的存储技术的发展脉络进行了总结,并探讨了云存储架构及其关键技术.     

大数据技术在电力生产管理中的应用前景分析

随着智能电网深入发展,相应也提升了电力系统的智能化、信息化以及数字化水平,同时增加了电力数据生产量.电力企业信息化建设发展积累了大量历史数据,随着电力系统数据持续增长,传统处理技术困境较多,无法满足电力行业发展需求,不能在海量数据中获取知识信息.电力大数据技术符合电力行业智能化发展和信息化发展的要求,结构化数据和非结构...     

基于HBASE分布式存储的通用海量日志系统设计方法研究

运用HBASE分布式系统的强大存储、查询能力以及高性能的REDIS分布式缓存来实现通过海量日志系统。该系统将通用性的配置信息存储在REDIS分布式缓存,个性化的日志信息存储在HBASE分布式系统。用户只需要调整配置信息就可以方便的形成个性化的海量日志系统。最后本文给出海量日志系统详细的设计方法。     

中国分布式存储市场发展趋势

<正>在新一代信息技术不断迭代升级的背景下,全球数据量呈现爆发式增长。作为全球数据生产大国,中国数据量也面临急剧增长的态势。数据量的急剧扩展,愈发凸显了数据存储及管理的重要性。传统存储面临拓展性有限、结构化/非结构化数据兼容性不佳、数据读写任务(I/O)性能与成本不经济、可靠性不高和面向新应用（如容器）支持能力有待提升等问题。在此背景下,分布式存储近年来迅速发展。     

试论大数据在无线网络优化中的应用

大数据是指海量、复杂的数据集合,采用现有的软件工具还不能进行提取、存储和处理。由于大数据包含结构化的信息,也包含非结构化的信息,所以使用一般的技术不能正常的进行管理。将其应用在无线网络中,可以有效地提升网络运行的质量,可以建设更加优化的网络平台,大大增强网络平台的多样化功能。