混合云存储中海洋大数据迁移算法的研究

海洋数据是一种典型的大数据,如何利用混合云存储架构存储海洋大数据是海洋数据管理面临的一个挑战.针对混合云存储架构中的关键问题——数据迁移,提出了海洋大数据的生命周期,并且基于此给出混合云存储中海洋大数据的迁移算法.在迁移算法中,将海洋数据的敏感度、数据访问频率、数据大小、数据时间长度等因素作为迁移因子.迁移算法兼顾考虑了数据存储容量、海洋数据本身的属性特征和数据访问过程中的动态变化.实验验证混合云存储模式能大大降低数据管理成本,同时,通过提出的迁移算法保证了数据的访问速度.     

混合云存储中网络稀疏大数据渗透迁移算法

当前方法没有考虑到特殊样本数据筛查的问题,导致数据渗透迁移完整度不高,所用时间较长,为此提出一种混合云存储中网络稀疏大数据渗透迁移算法.在主成分分析算法中引入信息熵的思想,对网络稀疏大数据进行降维处理,将降维结果与信息熵进行结合;筛选网络稀疏大数据的特征,将网络稀疏大数据中存在的无用特征进行剔除;计算网络稀疏大数据的敏感度、时间长度和访问频率,通过以上3个迁移因子构建网络稀疏大数据重组模型,实现混合云存储中网络稀疏大数据的渗透迁移.实验结果表明,提出算法在数据迁移完整性与效率方面明显优于传统方法,说明所提算法能够实现对网络稀疏大数据的有效迁移,为相关研究提供一定参考价值.     

基于列存储的MapReduce并行连接算法

针对传统关系型数据库在对大数据进行操作时,系统性能严重下降、计算效率提升有限以及可扩展性差等问题,引入MapReduce并行计算模型,提出一种大数据上基于列存储的MapReduce并行连接算法。设计面向大数据的分布式计算模型,包括MapReduce分布式环境下的列存储文件格式MCF,采用协同定位策略实现对分布式存储的优化。使用分片聚集和子连接启发式优化方法,实现大数据在MapReduce分布式环境下并行连接算法。实验结果证明,在大数据分析处理中,该算法在执行时间和负载能力上有着较好的优化性能,同时具有良好的可扩展性。     

基于列存储的大数据分析系统物化策略研究

大数据具有规模大、深度大、宽度大、处理时间短、硬件系统普通化和软件系统开源化特点.针对当前传统数据库在对大数据进行分析时系统性能严重下降、计算效率提升有限的问题,提出一种基于列存储的大数据分析系统物化策略(materialization strategies in MapReduce based on column-store,MSMC).首先,通过引入MapReduce物化代价估计模型,深入分析影响物化效率的各个因素.在此基础上设计了MapReduce分布式环境下的列存储文件格式(MapReduce column-store file,MCF),并在数据加载过程中采用协同定位策略实现对物化数据的存储优化.其次,分别针对不同的物化时机,构建了MapReduce早期物化策略(MapReduce early materialization strategy,MEMS)、MapReduce延迟物化策略(MapReduce late materialization strategy,MLMS)和MapReduce混合物化策略(MapReduceearly-late materialization strategy,MELMS).利用自适应物化调整策略对其做了进一步优化.实验结果在证明算法有效的同时,也显示出算法在存储空间和负载能力上都有很好的表现.     

基于大数据计算机体系的智慧校园云服务平台构建

采用传统的智慧校园云服务平台构建方法所构建的平台,存在对用户的反应速度慢的问题.本文为此提出一种基于大数据计算机体系的智慧校园云服务平台构建方法.在计算机体系作为硬件的基础上,通过对采用大数据分析技术的用户权限模块设计,采用MapReduce(大数据技术)的云存储模块设计,以及资源管理共享模块及其他模块设计,完成基于大数据计算机体系的智慧校园云服务平台构建.通过对比实验,与其他两种传统方法所构建的智慧校园云服务平台作对比,实验结果表明,采用提出的基于大数据计算机体系的智慧校园云服务平台构建方法,其构建的智慧校园云服务平台的用户反应速度更快,能够更为高效地为用户提供云服务.     

大数据场景下的云计算性能研究

为解决云计算中大数据分析和云计算系统管理等问题,通过对框架的集成,提高了大数据场景下的云计算性能.通过使用深度学习方法来对所提出的框架进行改进,主要采用了混合优化FPA-GA和FPA-PSO算法,涉及基于云的服务器的计算和存储.实验结果分析表明,该方法在成本、时间、安全性和准确性等方面有了显著的提升.     

基于ImpaIa的大数据查询分析计算性能研究

分析了 Cloudera 公司推出的 Impala 实时查询引擎原理与架构,并深入比较 Impala 与传统 MapReduce 的性能与特点,针对 Impala 进行复杂大数据处理方面的不足,提出了 MapReduce 与 Impala 结合的大数据处理方法,通过使用 MapReduce 对 Impala 的输入数据进行预处理,利用 MapReduce 在复杂作业处理方面的长处弥补了Impala 在这方面的不足。最后对电信手机上网日志进行大数据查询和分析计算实验,实验结果表明,在大数据查询性能方面,基于 MapReduce 与 Impala 结合的大数据处理速度比传统 MapReduce 快了一倍。特别地,在迭代查询实验中,基于 MapReduce 与 Impala 结合的处理方法超过传统 MapReduce 方法八倍以上。基于 MapReduce与 Impala 结合的处理方法在单次查询中的效率仍然高于传统 MapReduce;而在迭代查询中,MapReduce 与 Impala结合的处理方法远远地超过了 MapReduce。因此,MapReduce 与 Impala 结合的处理方法能够发挥 Impala 和 Ha-doop 各自的优点,让处理效率远超传统 MapReduce,对于复杂的大数据处理的能力高于 Impala。     

MR-DC:基于MapReduce的轻量级数据压缩策略

大数据平台Hadoop为追求通用性,牺牲了对结构化大数据的处理性能.为此,提出了一种Hadoop平台上的针对结构化数据的压缩存储策略.首先,针对多种不同的数据类型,结合轻量级压缩算法的特点,设计了多种数据类型的压缩数据页;然后,设计了基于HDFS的页式行列混合存储结构;最后,设计并实现了基于MapReduce的MR-DC数据压缩策略,将数据压缩存储到设计的存储结构中.在大规模数据仓库基准数据集上的实验结果验证了提出的策略能够显著减少结构化数据的存储量,从而为提高后续的数据分析处理性能打下基础.     

基于列存储的MapReduce分布式Hash连接算法

大数据具有规模大、深度大、宽度大、处理时间短、硬件系统普通化、软件系统开源化的特点。传统关系型数据库在对大数据进行操作时存在系统性能严重下降、计算效率提升有限以及可扩展性差等问题,因此引入MapReduce并行计算模型,提出一种大数据上基于列存储的MapReduce分布式Hash连接算法。首先,设计面向大数据的分布式计算模型,在设计的分片聚集并行连接的基础上,利用Hash连接以及动态探测方法优化了数据并行连接处理效率;然后,针对该算法开发了基于Hadoop的原型系统。通过实验证明,在大数据分析处理中,所提算法在执行时间和负载能力上都有很好的性能表现,也能提供良好的可扩展性。     

结合区块链的非结构化大数据云存储优化研究

针对非结构化数据云存储效率低下的问题,提出了结合区块链技术的非结构化大数据云存储方法.云存储网络利用F2域获得存储信息,根据域首判断出数据状况,实时更新存储策略;同时存储调度利用存储窗与采集窗估算出数据均值与动态振荡,确定存储更新的频次.另外,在云存储网络中引入存储审计策略,根据数据热度与损坏性确定存储审计需求,对存储数据进行存储时间、数据包量的审计,从而优化存储效率.最后考虑到传统非结构化数据云存储过程中的数据验证效率不佳问题,设计了区块链网络结构,并在其中实现了基于Merkle树与Hash的数据完整性高效验证.仿真结果表明,结合区块链技术的非结构化大数据云存储方法显著降低了数据的审计与存储时间,有效提高了非结构化数据的云存储效率,具有良好的大数据处理性能.