基于Hadoop的数据云存储研究与应用

随着教学平台数据的爆炸式增长,传统的教学平台在海量信息处理方面带来了较大的压力,对数据的存储、检索等关键技术提出了更高要求.在研究分析云计算领域的基础上,提出了利用Hadoop云计算框架解决教学平台中海量数据存储、检索的问题,优化了平台的数据存储和检索功能,并对平台做了系统的测试和验证.     

基于Hadoop的海量农业数据资源管理平台

使用传统分布式数据库架构存储和管理海量农业数据存在资源效率不高及存储能力不足的问题,为此,在Hadoop的基础上研究海量农业数据资源组织存储与检索技术,提出基于Hadoop的大文件分块存储方法和海量农业数据资源检索方法。测试及实践结果表明,该方法为构建海量农业数据资源管理平台提供了支持,实现了海量农业数据资源高效的组织和管理。     

基于改进的分布式K-Means特征聚类的海量场景图像检索

针对传统的图像检索方法在处理海量数据时面临的问题,提出一种基于改进的分布式K-Means特征聚类的海量场景图像检索方法。对分布式K-Means算法进行改进,优化了初始聚类中心的选择和迭代过程,并将其应用与场景图像的特征聚类中;充分利用Hadoop分布式平台的海量存储能力和强大并行计算能力,提出了海量场景图像的存储和检索方案,设计了场景图像特征提取、特征聚类以及图像检索三个阶段分布式并行处理的Map和Reduce任务。多组实验表明,提出的方法数据伸缩率曲线平缓,取得了优良的加速比,效率大于0.6,检索的平均准确率达到了88%左右,适合海量场景图像数据的检索。     

云环境下海量GPS、视频监控数据存储检索研究

监控数据在不断增大,且80%以上为非结构化数据,利用传统关系型数据库存储管理时,占用机器内存较大,检索数据需对数据库全表扫描,管理性能低。为解决海量监控数据的存储与管理,采用HDFS分布式文件系统存储视频非结构化数据,研究设计Hbase属性信息表,利用Hbase分布式数据库存储属性信息,研究Hbase全局检索信息行键及MapReduce工作流程,构建检索,实现视频监控数据的检索。最终基于非结构化数据的检索技术以及分布式数据处理框架的研究,得到的海量监控数据存储与检索方案。     

医学影像云存储模型的研究与设计

为解决早期云计算模型对医学小文件存储出现的单节点问题,数据高冗余造成数据的不一致性以及检索效率低等方面的问题,提出一种新型云存储模式。模型中,引入BWFS算法实现优化海量医学小文件序列化合并,优化纠删码算法实现数据块编码,减少数据块的冗余存储,而且引入位图索引技术与HBase索引结合形成新型并行索引策略,优化HBase主索引的缺点。实验表明,新型存储模型通过使用BWFS算法和纠删码技术减少了集群主控节点的内存消耗,在保证数据快速恢复的情况下,减少了集群数据的冗余存储,并行索引技术提高了医学数据影像的检索效率。     

关系数据库中海量要素存储的分区优化研究

目前,关系数据库中的分区技术应用相当广泛,但是用分区策略管理海量要素图层数据的存储与索引没有比较系统的技术方法。采用不同管理方式、不同分区粒度、不同索引方式及其组合的分区技术来系统地管理海量空间图层数据,进一步研究了不同的分区粒度及索引方式对查询效率的影响,并通过实验验证了关系数据库中的分区技术对海量要素图层数据的存储与管理具有优化作用。结果表明,在不使用分区键作为查询条件时,分区粒度越大查询效率越高;使用分区键作为查询条件时,本地分区索引查询效率更高等。利用合理的分区方案使得海量要素图层数据存储和管理得以优化,对矢量大数据的存储和管理研究具有重要意义,为更好地应用分区技术来解决实际遇到的存储与检索效率问题提供决策支持。     

海量结构化数据存储检索系统

Big Data是近年在云计算领域中出现的一种新型数据,传统关系型数据库系统在数据存储规模、检索效率等方面不再适用.目前的分布式No-SQL数据库可以提供分布式数据存储环境,但是无法支持多列查询.设计并实现分布式海量结构化数据存储检索系统(MDSS).系统采用列存储结构,采用集中分布式B+Tree索引和局部索引相结合的方法提高检索效率.在此基础上讨论复杂查询条件的任务分解机制,支持大数据的多属性检索、模糊检索以及统计分析等查询功能.实验结果表明,提出的分布式结构化数据管理技术和查询任务分解机制可以显著提高分布式条件下大数据集的查询效率,适合应用在日志类数据、流记录数据等海量结构化数据的存储应用场合.     

一种基于文件系统的海量遥感影像存储组织结构

针对传统数据库技术在管理海量遥感影像数据方面存在的不足,本文提出了一种基于文件系统的海量遥感影像存储组织结构,该结构能够快速检索影像数据.     

畅游数据的海洋：吴广印老师谈Internet时代的数据存储与检索技术

数字化和网络化的信息环境带来了数据库技术的变革,同时也为数据库的核心技术——信息存储与检索技术的发展提出了新的挑战,如何有效地存储海量的非结构化数据,如何从海量信息中检取有用的信息,成为了人们关注的热点。本期访谈中,我们邀请到国信贝斯公司总裁、研究员吴广印老师为我们谈一谈Internet时代的数据存储与检索技术。     

一种基于存储过程的高效空间可视化检索算法

现有的GIS空间数据管理引擎对海量遥感影像数据库的数据管理和空间可视化检索存在效率低下的问题,该文在深入研究海量遥感影像数据库的空间可视化检索特点的基础上,提出了一种基于关系型数据库存储过程实现的高效的海量遥感影像数据库空间可视化检索算法,并对算法进行了多个级男日的性能优化。最后实验结果说明该算法具有高效性、稳定性和普适性。