面向科研领域的分布式对象存储系统

随着科研工作的推进, 科研数据出现了海量的增长, PB级科研数据需要高效、稳定的存储系统. 传统的数据存储方案存在资源利用率差、集群扩展性能低以及用户界面操作不友好等问题, 严重限制了数据在科研场景下的有效利用. 依托中科院地球科学大数据专项, 本文设计并实现高效的存储系统i-Harbor. 该系统以对象存储系统为核心架构, 以开源的Ceph分布式存储系统和MongoDB数据库作为对象数据和元数据的存储载体, 设计通用的基于HTTP和FTP协议的数据接口, 同时利用多副本和纠删码技术消除单点故障, 配合Zabbix集群监控系统, 实时定位平台参数以及故障, 提高平台容灾性和安全性. 此外, 基于底层分布式结构的特点, 集群可以随意添加存储节点, 提高了平台的扩展性.     

一种支持多任务高效处理的遥感产品生产线架构研究

为了满足海量遥感数据产品的快速生产需求,尤其需要解决海量遥感影像数据的高效处理问题,即改变效率低、生产耗时长、计算资源利用率低等现状.通过分析遥感影像数据特点和遥感产品生产处理过程,采用集群并行计算技术,结合分布式数据存储和高效的任务调度策略,设计和实现一种支持多任务的遥感产品生产线架构.实验结果表明,该架构能够缩短生产时间,提高计算资源利用率,在性能上能够满足业务化生产的要求.     

一种面向海量遥感数据分类应用的并行解决方案

目前,遥感数据量呈海量增长趋势。如何在大数据环境下进行快速影像分类及信息挖掘,提升处理的业务化水平,是一个重要的研究方向。鉴于此,实现了一种高效的解决方案。首先,基于"五层十五级"数据结构,对以景为单位的影像进行离散化处理,建立以切片为单元的数据组织体系。其次,借助大数据云存储技术实现切片的集群分布式存储。其次采用了基于像元和对象的高效监督分类算法,并依据计算处理需求对集群环境下的并行架构和驱动机制进行适应性设计。最终,实现了该解决方案并以高分2号多光谱切片进行实验。结果表明:该方案在保证精度的前提下提高了分类处理的效率。     

基于改进集群计算的遥感数据快速处理平台

针对海量、大型遥感数据处理的难题,采用在集群计算环境中使用分布式存储、P2P通信,并与GPU相结合的策略,提出了一个基于改进集群计算的遥感数据快速处理平台。分析了该平台的体系结构与结构模型,并对其进行详细论述,最后,对平台的性能进行了分析。     

基于OBS的分布并行海量地形数据服务系统

海量地形数据的存储与管理是大规模地形实时漫游系统的关键。该文提出一种基于对象存储的分布式并行地形数据服务系统(DPTSS),采用自治的存储对象存储和管理地形块数据,实现了控制路径和数据路径分离。通过元数据集群提供高效率和高可用的元数据服务,以及基于对象的存储集群实现并行的地形数据块传输服务,提供高吞吐率和高带宽的地形数据服务。对比实验表明,DPTSS在较低的TCO情况下能提供高性能的地形数据服务。     

高性能气象数据存储集群及在线扩展技术应用

为了满足气象数据快速增长和高效应用的业务需求,设计采用基于SAN和GPFS的高性能存储集群进行数据存储,并随着数据量的快速增长,实现灵活在线扩展以满足数据存储需求.结合国家级气象资料存储检索系统、省级风能资源数据库共享服务系统和风能资源数值模拟系统的存储设计,阐述基于SAN和GPFS技术的存储集群架构,并重点介绍存储集群的在线扩展技术的实现.基于SAN和GPFS的存储集群在线扩展技术包含在线扩展服务器节点、在线扩展存储容量和在线扩展文件系统容量三方面,实现了气象数据存储系统随着业务数据变化的灵活扩展,使系统具备优秀的扩展性和适应性.     

基于NAS的非结构化数据分布式存储系统设计

随着气象事业发展,非结构化数据海量增长,针对传统非分布式、直联式存储方式支撑能力受限问题及对存储系统需要支持大容量、集中管理、高可扩展性、高可靠性的新需求出发,利用网络附加存储,采用分布式架构、堆叠组网冗余和纠删码冗余保护机制、运用NFS、CIFS、FTP等协议,搭建一个分布式架构集群存储系统,通过分布式文件系统对外提供统一网络存储空间,通过CIFS、NFS、FTP三种方式实现文件共享。解决旧系统存储能力不足、动态扩展性差、效率不高、可靠性和安全性低的问题,进一步提升重庆气象数据云平台基础支撑能力。     

基于内存云的大块数据对象并行存取策略

由于内存云(RAMCloud)只支持最大1 MB的小块数据对象存储,因此当大于1 MB的对象需要存储在内存云集群中就会受到对象大小的限制,无法在集群中进行存储。为了解决内存云存储限制的问题,提出了基于内存云的大块数据对象并行存取策略。该存储策略首先将大块数据对象分割成若干个1 MB的小块数据对象,然后在客户端生成数据摘要,最后使用并行存储算法将客户端分割成的小块数据对象存储在内存云集群中。读取时首先读取数据摘要,然后根据数据摘要从内存云集群中并行读取小块数据对象,并将小块数据对象合并生成大块数据对象。实验结果表明:大块数据对象的并行存取策略在不破坏内存云集群体系结构的前提下存储时间为16~18 μs,读取时间为6~7 μs。在InfiniBand网络架构下,所提并行算法的加速比呈现类似线性的增长,它使大块数据对象也能够像小块数据对象一样在微秒级别下快速、高效地进行存取。     

基于Kalman算法的大数据存储架构可扩展性优化算法

为了优化大数据存储架构可扩展性能,提高大数据架构资源利用率,通过引入Kalman算法设计了一种大数据存储架构可扩展性优化算法。首先,综合考虑大数据存储架构与多核环境内存布局之间的兼容性,设计架构内存布局。其次,设计分布式共享内存协议,确保各个进程在访问共享内存时能够正确地协同工作,提高存储架构的容错性。在此基础上,利用Kalman算法,动态调整存储节点的负载,进而优化大数据存储架构,以提高其可扩展性。实验结果表明,应用该算法后,大数据存储架构的资源利用率始终高于对照组,均达到了96%以上,最高达到了98%,架构可扩展性优化效果显著,服务器资源利用更充分,大规模数据处理更高效。     

基于云平台的企业远程办公文件分布式存储方法

为提高数据的读写性能,设计基于云平台的企业远程办公文件分布式存储方法。总体架构由计算层、数据接入层、存储层、数据聚集层构成。存储层由Hadoop集群构成,各集群由NameNode管理;计算层与数据接入层可以实现数据的持久化存储;数据聚集层采用一致性多副本哈希存储算法作为数据聚集算法。通过搭建虚拟化云平台统一管理多个服务器,创建主机虚拟集群。设计文件加解密过滤器进行数据加解密。设计随机化数据冗余算法进行数据冗余。测试结果表明设计方法的集群负载情况良好,读、写带宽最高达到3 798 bps和3 912 bps,读、写速率最高达到3 298字节/s和3 258字节/s。