PVFS元数据服务器的并行化设计与实现

PVFS并行文件系统采用集中式的元数据服务器,这使得元数据服务器在大量的文件操作情况下成为I／O瓶颈。该文通过增强PVFS的客户端和元数据服务器的相关功能,使得客户的文件请求按照文件名的Hash变换转向不同的元数据服务器,在保留原来的用户访问方式和系统配置不变的情况下实现元数据服务器的并行化,达到明显提高元数据服务器的总吞吐量和可扩展性。     

PVFS客户端目录缓存设计与实现

缓存技术是提高并行文件系统性能的关键性技术。在并行文件系统中实现客户端目录缓存，不仅可以减轻目录服务器的压力，避免目录服务器成为系统瓶颈，而且可以简化客户端操作过程，提高并行文件系统的性能。该文对PVFS并行文件系统进行了分析，建立了客户端目录缓存模型；就客户端目录缓存实现的一些关键性问题，如缓存池开辟位置、一致性等问题进行了研究，给出了解决方法，并在此基础上实现了一个客户端目录缓存的原型系统。测试结果表明，加入缓存后，PVFS系统性能有所提高。     

基于元数据的搜索引擎的设计与实现

针对物流元社区共享过程需要构建搜索引擎,对于普通用户来说,对物流元数据领域的相关认识还存在一定的缺陷,需要引入探索式访问技术,进一步表达检索请求,可实现元数据的检索功能,分面检索是一种探索检索方式,能够根据物体多维系最终完成检索结果聚类分析,因此用户可以选择分面值完成结果筛选。随着目前物流元数据增加以及异构化程度提升,分面数量逐渐增加,如果将所有分面均展示给用户则很容易导致用户出现选择困难。为将探索检索方式应用于物流元数据检索过程中,在本研究中针对物流元数据分面较多的问题,提出了基于保持率的分面推荐算法,并设计和实现物流元数据动态分面搜索引擎,通过研究结果发现所提出的算法能够显著提升最终的检索效率。     

一种新的文件系统元数据的检查点容错策略

针对目前在集群文件系统中出现的元数据的故障问题,在PVFS的基础上提出了一种新的元数据检查点的日志管理策略。该策略在Linux环境下实现,解决了文件系统中较慢的元数据管理这一瓶颈问题,并且具备了较强的容错功能。该方法采用磁盘日志和内存日志的结构,通过对事务的管理,能满足集群文件系统中元数据高可用性的要求。     

数据ETL软件中元数据模型设计与管理

元数据(Meta Data)是用来描述应用中数据结构的数据或文档,即关于数据的数据,处在数据ETL系统的核心位置。分析了元数据在ETL中的作用,设计了元数据模型,提出了元数据管理系统的设计原则和步骤,使其具有广泛的适应性、很好的扩展性和可重用性。     

数据集成中间件系统中元数据管理的设计与实现

本文介绍了元数据的概念并从分布式异步数据集成的需求出发,指出了数据集成中间件使用元数据技术的必要性,并阐述了元数据管理的设计与实现过程。     

数据集成中间件系统中元数据管理的设计与实现

本文介绍了元数据的概念并从分布式异步数据集成的需求出发,指出了数据集成中间件使用元数据技术的必要性,并阐述了元数据管理的设计与实现过程.     

元数据管理系统的设计与实现

大规模并行数值模拟程序通常会被运行十几次甚至上百次,每次运行都会输出几十、上百、甚至上千时间步的数据,每个时间步会产生几十、上百、甚至上千个数据文件.传统的数据管理方法是使用记事本记录数值模拟结果相关的元数据信息,这种方法的缺点是大量的信息需要手工录入,同时也不方便数据查询和共享.元数据管理系统的设计目标是通过自动提取元数据来减少需要录入的元数据信息,通过集成管理与结果数据相关的各种数据来方便数据查询与共享.该系统包含5个组成部分:层次化自描述通用数据存储模型、科学计算元数据、元数据自动提取、对象数据库系统、Web界面元数据管理系统.通过用户试用,验证了元数据管理系统实现了预期的目标.     

分布式文件系统中元数据操作的优化研究

分析了PVFS2中的元数据操作流程,以remove操作为例,通过测试发现其瓶颈之处,提出一种将判断过程放置到服务器端来减少通信次数的优化方法,这些方法同样可以应用于其他元数据操作。在PVFS2中实现了该优化方法,并将其同原来的remove操作耗时进行了对比,结果表明,该元数据操作的性能提高了10%左右。     

并行虚拟文件系统客户端缓存技术研究与实现

缓存技术是一种提高文件系统性能的关键性技术．在并行文件系统中实现客户端缓存，既能够减轻集群服务器系统的通信负载，又能有效地提高文件系统的性能．对PVFS并行文件系统进行了分析，建立了客户端缓存模型，就客户端缓存实现的一些关键性问题，如一致性、查找、替换等进行了研究，给出了解决方案，并在此基础上实现了一个客户端缓存的原型系统．测试结果表明，加入缓存后，PVFS整体性能有明显的提高．     

PVFS代码结构及并行Meta服务研究

PVFS(ParallelVirtualFileSystem)广泛应用于PC集群并行计算环境中,通过ROMIO形式的MPI-IO接口与MPICH结合,用于提高数据文件的访问性能,通过对PVFS的源代码分析,得出PVFS的系统架构、运行机制与采用的策略,并在这个基础上找出元数据服务器并行化的可行性,以设计出并行元数据服务方案来提高元数据访问的吞吐率。     

一种高性价比的PVFS并行文件系统

分析PVFS并行文件系统的构成,得出客户机软件、元数据服务器软件和数据服务器软件之间的接口关系,然后研究一种由PC客户机、PC元数据服务器和低价数据服务器共同构成的PVFS系统,其中客户及与元数据服务器不做重要改变,数据服务器软件需要开发修改以适应新的硬件平台,使得以更低的成本实现相同的系统或者以相同的硬件成本实现更高的性能。     

学生信息管理系统的设计与实现

系统运用了Visual Basic程序设计技术与Access数据库管理技术完成的。主要以学生信息管理为例,完成了学生基本信息、成绩、学费的输入、查询和修改等功能。介绍了从需求分析、设计、实现的整个过程。虽然该系统较小,并且功能也不太全,但却对数据库应用系统有了一个完整的认识。系统都是针对实际的学生信息管理需要而开发的,所以提高学生档案管理的效率,实现快速查询信息和进行科学统计。     

基于元数据模型的电子政务检索系统的设计与实现

在当前互联网和计算机飞速发展的形势下,电子政务类系统的数据量也逐渐呈现指数型增长的态势。如何在不影响报表传统格式展现的前提下对这些数据进行单表内检索以及多表间关联检索,已经逐渐成为当下亟须解决的一个问题。本文从传统报表结构出发,以用友插件为报表载体,对报表的元数据进行了模糊判断和精确判断的分类,并在此基础上提出了全新的模板检索机制。实践证明,该方法大大提高了报表全文检索的易用性以及可扩展性。     

PVFS文件系统吞吐率分析和改进

1.引言近年来工作站机群系统以其低成本、高性能而日益成为高性能计算的潮流。尽管机群系统为许多应用提供丁高性能的计算平台,但是其相对低速的文件系统成为了系统的瓶颈,因此提高机群文件系统的性能具有重要的意义。吞吐率是指在单位时间内所处理的作业数,它是评价系统性能的一个重要指标。PVFS是一个机群文件系统,目前在大规模并行计算     

小型图书馆管理系统的设计与实现

图书馆管理系统作为图书馆系统的重要组成部分,对图书馆发展以及读者的便利提供了重要的前提。在图书馆的运行过程中,最基本同时也是最首要的工作就是对大量的读者信息、图书馆借阅书籍信息以及两者相互作用产生的借书信息等进行相应的管理。在当前小型图书馆的管理过程中,有些还采用传统的人工管理方式,一方面浪费了大量的人力物力,同时还容易出现错误。因此,加强小型图书馆管理系统的设计与实现显得尤为重要。     

SNMP网络性能管理系统的设计与实现

首先介绍了SNMP的基本原理和网络性能管理的系统模型。较为详细的阐述了一个基于SNMP的网络性能管理系统的设计与实现,其特点是基于策略执行、区分服务及分布式管理等,能以丰富的图表等形式直观的反映出当前的网络性能状况。