基于Hadoop的海量农业数据资源管理平台

使用传统分布式数据库架构存储和管理海量农业数据存在资源效率不高及存储能力不足的问题,为此,在Hadoop的基础上研究海量农业数据资源组织存储与检索技术,提出基于Hadoop的大文件分块存储方法和海量农业数据资源检索方法。测试及实践结果表明,该方法为构建海量农业数据资源管理平台提供了支持,实现了海量农业数据资源高效的组织和管理。     

大规模非结构化数据资源快速存储方法研究

非结构化数据资源具有较高的研究价值,伴随着信息化技术、互联网技术应用范围的扩大,非结构化数据资源规模随之增大,对其存储技术提出了较大的挑战,因此提出了大规模非结构化数据资源快速存储方法,采用层次聚类算法分组处理非结构化数据资源。以某一组非结构化数据资源为对象,结合数据资源传输距离、节点能量、传输方向等因素,确定非结构化数据资源转发路径,描述非结构化数据资源存储过程,制定分层扩展存储机制,从而实现大规模非结构化数据资源的快速存储。实验数据表明,在不同实验工况背景下,应用本文方法后获得的非结构化数据资源存储速率最大值为1 920 MB/s,非结构化数据资源存储位置准确性最大值为98%。     

基于SAN存储架构下的海量信息管理

随着信息资源和数字资源类型增多,校园网络建设面临如何存储和管理这些数字资源的问题。本文介绍了湖南师范大学存储系统实施经验。从SAN管理、数据分级存储、数据生命周期管理三个方面着手,讲述了如何设计存储架构以及基于该体系结构下的海量信息的管理流程与算法。     

基于双数据目录存储的网格元数据的资源发现

提出了基于全局命名的数据网格环境下元数据目录和资源信息目录双目录存储和访问的概念,研究了全局命名的规则,给出了在该命名情况下元数据的注册和存储以及利用这种注册存储如何快速发现远程数据资源。说明了在多网格结点下寻找“对照表”采取时间戳抑制多次重发和导致多次访问数据资源的方法,并指出了“对照表”应采取的热点数据优先、冷僻数据清除的策略。     

语义Web中RDF元数据的存储与管理

语义Web的实现首要解决的问题就是对资源的描述,RDF是描述信息资源的基础,管理和存储RDF数据成为必须要解决的问题。如果把RDF数据存储在关系数据库中,就可以有效地利用现有的数据库资源来管理RDF数据。本文用垂直Scheme的格式来构造RDF数据存储表,通过模式映射把RDF数据映射成RDF数据存储表中的记录;此外又给出了用RDF视图查询RDF数据的方法为实现语义查询打下了基础。     

构建基于HDS AMS2100高性能存储网络

随着医院数字化进程的推进及信息与数据资源的飞速增长及存储安全的考虑,福州市第一医院选择以HDS AMS2100存储系统为基础平台,采用SAN技术为核心存储、整合数据,从而实现了统一数据存储平台,保障了网络业务的高效、正常运行。     

基于Kalman算法的大数据存储架构可扩展性优化算法

为了优化大数据存储架构可扩展性能,提高大数据架构资源利用率,通过引入Kalman算法设计了一种大数据存储架构可扩展性优化算法。首先,综合考虑大数据存储架构与多核环境内存布局之间的兼容性,设计架构内存布局。其次,设计分布式共享内存协议,确保各个进程在访问共享内存时能够正确地协同工作,提高存储架构的容错性。在此基础上,利用Kalman算法,动态调整存储节点的负载,进而优化大数据存储架构,以提高其可扩展性。实验结果表明,应用该算法后,大数据存储架构的资源利用率始终高于对照组,均达到了96%以上,最高达到了98%,架构可扩展性优化效果显著,服务器资源利用更充分,大规模数据处理更高效。     

基于云平台NoSQL的海量天文图像存储研究

云计算所提出的全新计算和存储思想,对海量数据的存储解决方案以及快速访问有效数据资源提供了参考。以云存储平台NoSQL数据库为背景,研究海量天文数据的存储和访问技术。首先构建了基于MongoDB平台的天文图像FITS文件存储原型,在此基础上设计并分析存储实验。实验结果表明,数据分片存储以及选择最佳的分片大小能有效提高天文数据的存储和访问效率。     

基于Docker的云资源弹性调度策略

针对云资源弹性调度问题,结合Ceph数据存储的特点,提出一种基于Docker容器的云资源弹性调度策略。首先,指出Docker容器数据卷不能跨主机的特性给应用在线迁移带来了困难,并对Ceph集群的数据存储方法进行改进;然后,建立了一个基于节点综合负载的资源调度优化模型;最后,将Ceph集群和Docker容器的特点相结合,利用Docker Swarm实现了既考虑数据存储、又考虑集群负载的应用容器部署算法和应用在线迁移算法。实验结果表明,与一些调度策略相比,该调度策略对集群资源进行了更细粒度的划分,实现了云平台资源的弹性调度,并在保证应用性能的同时,达到了合理利用云平台资源和降低数据中心运营成本的目的。     

数据依赖约束下的任务调度资源选择算法

大数据环境下的计算任务往往具有一定数据依赖性关系(如MapReduce),现有的分布式存储系统任务资源选择策略选择离请求者最近的数据块响应服务,忽略了对数据块所在服务器CPU、磁盘I/O与网络等资源负载状态的考虑。在分析研究系统集群结构、文件分块、数据块存储机制的基础上,定义了集群节点矩阵、CPU负载矩阵、磁盘I/O负载矩阵、网络负载矩阵、文件分块矩阵、数据块存储矩阵与数据块存储节点状态矩阵,为任务与数据之间的依赖性构建了基础数据模型,提出了一种数据依赖约束下的最优资源选择算法(ORS2DC)。任务调度节点负责维护基础数据,MapReduce任务与数据块读取任务由于依赖资源不同而采取不同的选择策略。实验结果表明：所提算法能够为任务选择质量更高的资源,提高任务完成质量的同时减轻了NameNode负担,减小了单点故障发生的概率。