分布式海量云存储平台的技术创新及应用

随着大数据、云计算、物联网等新技术的发展,电信、互联网、政企等行业应用日新月异,数据呈爆炸式增长并成为战略性资源.据思科VNI预测,全球数据量每年以约30％的速度递增,2020年将达到惊人的40ZB.传统存储面临的挑战面对海量数据,传统存储面临诸多挑战,主要体现在以下方面.     

基于云存储的异构海量数据搜索平台设计

针对云储存中充斥的各种各样异构数据带来的数据搜索复杂的问题,采用多核网络处理器技术构建平台内部硬件加速,结合MapReduce模型设计了API应用程序接口。在数据的搜索过程中,利用Sheduler为媒介对chunk Num个数据子模块划拨给操作模块,并在CPU-GPU并行条件下进行MapReduce流程操作,异构数据搜索平台又将工作chunk进行细化以提升数据的搜索能力。利用WC、SM、MM和KM四种负载测试信息对系统平台进行性能测试,结果显示四种信息的不平衡性均随着数据粒度不断上升,其中,MM数组相乘轨迹的非平衡性自4000开始向上攀升,而SM字符串配、WC字数统计和KM迭代聚类的非平衡性分别对应8000、12000和12000粒度级。     

基于网络的分布式海量存储

面对宽带数据的急剧增长,海量存储将成为限制发展的"瓶颈".文章提出基于网络的分布式海量存储及运算方案.该方案通过网络各服务器间的协同工作,利用特征码避免相同资源的冗余存储,加入纠错码以进行差错重建,利用进程迁移平衡负载,采用超流水线执行技术加速程序运行速度,最终实现网络信息资源及存储资源的共享.     

云存储服务端海量数据安全存储的加密解决方案

云存储是利用计算机网络技术发展起来的一种为使用者提供数据存储和访问的服务,是在云计算的基础上发展而来的。对云存储的主要概念及相关结构进行了具体介绍,对于现阶段安全方面云存储的问题进行研究,提出了一种适合的数据加密解决方案,能够对使用者的数据隐私有效保护,为云存储的发展及应用起到了重要作用。     

云存储与传统海量数据存储技术的比较

日益增长的数据量迫切需要找到一种高效、高性能、低成本的数据。文章从传统海量数据存储方式的结构特点出发,进行分析,对现在主流的云计算及云存储技术与传统技术进行比较,挖掘云存储的优势。     

基于Hadoop的海量数据存储平台设计

基于Hadoop开发的海量数据存储平台优势显著,使用者无需掌握架构底层的搭建细节,只需根据应用层的功能指引便可以开展分布式程序的开发工作。文章提出的存储平台的最底层即为HDFS系统,可用于存储Hadoop集群中所有存储节点对应的文件。HDFS上一层是MapReduce引擎,主要由Job Trackers和Task Trackers组成。基于Hadoop的海量数据存储平台能大幅度提升数据录入、查找、调用的效率。     

海量设计文档分布式存储及负载均衡的研究与实现

在对海量设计文档的分布式存储技术进行分析比较后,选取最适合现有生产环境的解决方案,并且在分布式存储的基础上,提出与Web应用系统负载均衡技术相结合的系统架构方案。该方案避免用户访问远程存储资源时的漫长等待,解决大型企业局域网之间专线带宽瓶颈对网络应用限制的问题,减轻集中存储资源的负担,实现负载均衡策略从前端Web应用至底层数据存储的全局均衡,从而保证系统的高可用性。     

智能电网海量非结构化数据分布式存储研究

为了加快非结构化电网数据存储的译码速率,从而促进电网主机分布式存储能力的提升,提出智能电网海量非结构化数据分布式存储方法。定义MongoDB数据格式的方法,对电网信息实施复制处理,联合分布式存储架构完成智能电网海量非结构化数据库搭建。在此基础上,分析电网数据的特性能力,通过信息增删排查的方式,确定最终的分布式查询语句,搭建智能电网海量非结构化数据分布式存储模型,实现数据的分布式存储。与局部修复型存储编码方法相比,在分布式存储模型作用下,电网主机的存储译码速率最大值能够达到54.5 MB/s,可在实现非结构化电网数据快速转码的同时,提升电网主机分布式存储能力。     

广电云平台存储应用分析与选型

存储技术在云计算时代得到了革新性发展,本文对现阶段广电云平台中主要使用的分布式存储类型进行了研究和分析,为行业内存储系统技术选型提供参考和依据。     

基于Hadoop云平台的海量数据挖掘方法

Hadoop云平台对海量数据的HDFS分布式存储,在应用map/reduce并行编程后,可实现数据挖掘技术的并行计算。文章对hadoop体系的实际部署和运行、map/reduce的数据挖掘程序架构方法和运行过程进行了构思和实现。     

基于云平台的海量视频教学资源管理系统

资源量提升对教学视频资源管理系统提出更高要求,为更好管理教学视频资源,设计基于云平台的海量教学视频资源管理系统。系统采用HDFS分布式结构,功能层包含系统事务逻辑规则等处理功能,能够明确体现各相对独立目标的功能,主要划分为用户模块、系统管理模块和教学视频资源管理模块。其中,用户模块可实现教学视频上传、下载、评价等相关功能;教学视频资源管理模块根据受限玻尔兹曼机推荐理论,通过训练数据集训练过程升级权重与偏好参数,得到用户对教学视频资源的预测评价,根据评价结果进行教学视频资源推荐。应用测试结果显示所设计系统能够满足用户多方面的搜索需求,并发应用条件下系统资源占用率低。     

基于云平台的海量数字图像数据挖掘探讨

本文借助云平台Hadoop的分布式文件系统(HDFS)和分布式并行计算框架(Map Reduce),来进行海量数字图像的数据挖掘。构建了基于Hadoop云平台的海量数字图像数据挖掘系统,实现海量数字图像信息数据挖掘。     

一种分布式编码算法在云存储中的应用

在云存储中为保证数据的完整可靠,必须采用冗余备份的方式存储数据.为了更好的发挥存储节点的作用,在分析现有的冗余方式基础上提出了一种分布式编码算法.在新的冗余方案中编解码操作在各存储节点并行完成,而不需要将整个数据文件集中进行编解码,充分发挥了分布式系统优势.通过实验仿真验证了方法的可行性,大大提高了数据存储速率,提高了数据可用性,改善了系统性能.     

虚拟化与分布式技术下的云存储

我国经济的不断发展,使得我国的科技水平也得到了迅猛的发展,尤其是云存储技术。云存储是实现云计算与云服务的核心要素之一,当前行业内已经出现了一些云存储解决方案在虚拟化技术和分布式存储技术的基础上,但是相关技术还有待提高,仍需不断的完善。本文分析了虚拟化和分布式的云存储技术,为之后的云存储应用和研究提供了参考。     

浅议供电企业海量数据的存储及应用

我国的电力企业建设为我国国民经济的发展以及人民生活水平的提高做出重要贡献。对于一个电力企业而言,电力网络无疑是其"生命的主动脉",随着电力网络的建设与发展,加之网络技术在其中的有效运用,网络所产生的数据越来越多,海量数据的存储与应用成为人们的研究重点。文章就提出一种基于云计算的海量数据存储。     

基于HBASE分布式存储的通用海量日志系统设计方法研究

运用HBASE分布式系统的强大存储、查询能力以及高性能的REDIS分布式缓存来实现通过海量日志系统。该系统将通用性的配置信息存储在REDIS分布式缓存,个性化的日志信息存储在HBASE分布式系统。用户只需要调整配置信息就可以方便的形成个性化的海量日志系统。最后本文给出海量日志系统详细的设计方法。     

激光点云数据库分布式存储模型构建

网络技术与三维激光扫描技术飞速发展,点云数据量激增,大幅降低了存储效率与稳定度,因此,面向激光点云数据库,采用分布式存储理念构建一种存储模型.通过边角定位与多角度扫描,采集三维激光点云数据,组建点云数据库,分割目标三维扫描区域为固定大小独立块,利用立体六边形长、宽、高的向上取整函数,描述三类独立块个数,按序嵌入独立块坐...     

分布式存储关键技术应用

云计算是随着网络的发展而产生的,如果没有将云计算工作做好,那么对整个的工作也会产生着影响,云计算环境便于网络资源的传递和存储,尤其是云存储技术的应用,为各行各业的发展奠定了基础,在各行各业的发展中是离不开云计算的,要重视云存储技术在云计算中的应用.本文就是对云计算环境下的分布存储关键技术进行分析,为相关的研究提供借鉴.     

基于PaaS云平台的数据存储方案设计与应用

当前的云平台数据存储方案忽略了数据的重复性,易产生大量冗余数据,为优化数据存储性能,基于PaaS云平台设计数据存储方案并实现应用.分区删减云平台冗余数据,计算各分区剩余数据权重因子,基于权重因子设计PaaS云平台数据存储顺序,动态生成数据存储方案,将Proxmox VE的虚拟环境模拟系统作为虚拟节点,通过底层服务器实现...