BWMMS元数据分布信息缓存管理

BWMMS是BWFS的分布式文件系统元数据服务子系统。它充分利用系统访问负载的动态性和局部性特征,通过简单的集中决策机制管理元数据请求负载在多个元数据服务器的分布。为降低集中决策点可能的瓶颈限制,集中决策点位于元数据请求处理路径的末端。本文介绍各个元数据服务器上用来降低对后端集中决策点的压力,提高元数据访问效率的元数据分布信息缓存,并通过测试数据评估缓存命中率对后端集中决策点和元数据访问效率的影响。     

App架构接口的设计

现在,大部分App的接口都采用RESTful架构,REST-Ful最重要的一个设计原则是,客户端与服务器的交互在请求之间是无状态的,也就是说,当涉及到用户状态时,每次请求都要带上身份验证信息.实现上,大部分都采用token的认证方式,一般流程是:1.用户用密码登录成功后,服务器返回token给客户端;2.客户端将token保存在本地,发起后续的相关请求时,将token发回给服务器;3.服务器检查token的有效性,有效则返回数据,若无效,分两种情况:1) token错误,这时需要用户重新登录,获取正确的token;2) token过期,这时客户端需要再发起一次认证请求,获取新的token.     

一种加速广域文件系统读写访问的缓存策略

针对广域网高延迟、低带宽的特性给广域文件系统访问带来的性能影响问题,提出了一种不依赖于底层文件系统、能够加速广域文件系统读写访问的缓存策略.该策略支持基于区间粒度的文件数据缓存及访问,并支持元数据本地缓存;该策略提供基于阈值的容量管理功能,采用超时与最终一致相结合的方式维护缓存的一致性.最后使用典型的文件I/O基准测试工具和元数据性能测试工具对该缓存策略进行了评测,实验结果表明:该缓存策略减少了客户端与服务器的交互次数,给广域文件系统的数据访问带来了明显的性能提升,当缓存命中时其数据的读写性能与本地文件系统相近.     

一种元数据服务器集群的负载均衡算法

在基于对象的存储系统中,元数据访问非常频繁,大规模存储系统中元数据的访问是潜在的系统性能瓶颈.元数据服务器集群中必须负载均衡,以防某个元数据服务器成为存储系统访问的瓶颈.现有文章中很少有研究元数据服务器集群的负载均衡的文章.本文中采用元数据请求的响应时间来衡量一个元数据服务器的负载情况,首先从映射算法上实现静态负载均衡,并针对元数据热度差别大而引起的负载不均衡引入动态负载均衡,通过仿真结果显示其有效性.     

基于代理缓存的流媒体动态调度算法研究

该文研究了在Internet环境下通过代理服务器将流媒体从源服务器传输到多个客户端时的骨干网络及服务器带宽消耗问题．在分析了传统多媒体流动态调度算法不足的基础上,提出了基于代理服务器协助的补丁预取与服务调度算法(P^3S^2A)．由代理服务器通过单播连接从源服务器中获取流媒体数据,然后通过组播方式转发给客户端．同时根据当前客户请求到达的分布状况,代理服务器为后续到达的客户请求进行补丁预取及缓存．理论分析及实验结果表明,与传统的动态调度方法相比,该文提出的算法能够在不消耗更多的缓存空间的情况下,更有效地节省骨干网络的带宽资源,特别是在访问请求强度较高的情况下,效果更为突出。     

基于MapXtreme的WebGIS负载平衡服务器的设计与实现*

针对动态生成和发布GIS图幅的WebGIS应用系统以及多用户并发访问问题,提出了一种基于负载平衡方法的解决方案。用户动态生成和发布GIS图幅过程需消耗大量的服务器系统资源,使服务器处于严重的瓶颈状态,设定一个专门的负载平衡服务器来管理多个GIS服务器。客户端在进行GIS请求时首先访问该服务器,负载平衡服务器检测每个GIS服务器是否是处于饱和状态,若有未饱和的GIS服务器则让请求客户端连接到此服务器上进行GIS图件服务,从而解决了多用户并发访问时的瓶颈问题。设计并实现了B/S模式的基于WebGIS的地质图幅     

蓝鲸分布式文件系统的客户端元数据缓存模型

在蓝鲸分布式文件系统中,客户端的所有元数据操作都是通过远程过程调用由元数据服务器完成,所有数据读写都是直接与存储服务器交换完成的.由于通信延迟,在客户端进行频繁数据读写时,元数据信息交换影响了整个系统的性能.我们设计了一种在客户端尽量缓存文件元数据信息的模型,有效地减少了元数据通信,缩短了整个读写过程的延迟,极大地提高了蓝鲸分布式文件系统的性能.     

一种基于文件预测的分布式缓存模型

在分布式存储中,客户端的数据访问请求并非完全随机,它是由程序或者用户的行为驱动,因此文件访问顺序是可以预测的;服务器端收到的访问请求在时间轴上也非平坦分布,因此服务器有时繁忙有时空闲。为此,提出了一种基于文件预测的分布式缓存模型,在客户端预测将要访问的文件,并利用服务器空闲时间传输预测文件。     

PVFS元数据服务器的并行化设计与实现

PVFS并行文件系统采用集中式的元数据服务器,这使得元数据服务器在大量的文件操作情况下成为I／O瓶颈。该文通过增强PVFS的客户端和元数据服务器的相关功能,使得客户的文件请求按照文件名的Hash变换转向不同的元数据服务器,在保留原来的用户访问方式和系统配置不变的情况下实现元数据服务器的并行化,达到明显提高元数据服务器的总吞吐量和可扩展性。     

一种SAN环境下集群文件系统的元数据缓存研究

为了发挥SAN环境的存储访问优势,阐明了一种以CIFS协议为原型的集群文件系统,通过考察此架构下数据和元数据相互独立又彼此制约的特殊关系,提出了一种元数据缓存方法;为了减少因元数据获取而给数据读写带来的性能损失,对元数据缓存舍弃了原有的管理方法,尽可能地保证其在客户端是可缓冲的;针对可能引起客户端与服务器端元数据不一致的情况进行了分析,并提出了解决方法;最后通过测试进行了初步验证.     

一种高性价比的PVFS并行文件系统

分析PVFS并行文件系统的构成,得出客户机软件、元数据服务器软件和数据服务器软件之间的接口关系,然后研究一种由PC客户机、PC元数据服务器和低价数据服务器共同构成的PVFS系统,其中客户及与元数据服务器不做重要改变,数据服务器软件需要开发修改以适应新的硬件平台,使得以更低的成本实现相同的系统或者以相同的硬件成本实现更高的性能。     

A Universal File Server

A file server is a utility provided in a computer connected via a local communications network to a number of other computer. File servers exist to preserve material for the benefit of client machines or systems. It is desirable for a file server to be able to support multiple file directory and access management systems, so that the designer of a client system retains the freedom to design the system that best suits him. For example, he may wish to use the rile server to support a predefimed directory structure or as a swapping disk. The paper explores the dedgn issues associated with such a file server and proposes some solutions.     

基于Linux的文件加密传输技术

为实现Linux系统服务器端与客户端的文件加密传输,对RSA加密算法和Linux系统线程池技术进行了研究。通过在Linux上配置安装Openssl库来实现非对称RSA加密过程,并且利用线程池技术处理一个服务器与多个客户端的文件传输过程。最终实现了嵌入式ARM客户端与Linux服务器端的网络连接功能,并完成了基于TCP/IP协议上的文件加密以及传输过程。结论表明使用SSL协议设计的加密系统能够完成加密和传输过程,充分保障资料的私密性,并且能够方便的移植到安全级别需求高的嵌入式系统。     

NFS-CD: Write-Enabled Cooperative Caching in NFS

We present the network file system with cluster delegation (NFS-CD), an enhancement to the NFSv4 that reduces server load and increases the scalability of distributed file systems in computing clusters. The cluster delegation feature of NFS-CD allows data sharing among clients by extending the NFSv4 delegation model so that multiple clients manage a single file without interacting with the server. Based on cluster delegation, we implement a fast-commit primitive, cooperative caching, and the ability to recover the uncommitted updates of a failed computer. NFS-CD supports both read and write operations in the cooperative cache without degrading the consistency model of NFSv4. We have implemented NFS-CD by modifying the Linux NFSv4 client only. Because the server remains unchanged, NFS-CD preserves the simple administration model of NFSv4 and interoperates with standard NFS clients. NFS-CD offers improved performance when compared to NFSv4 at the expense of slightly weaker reliability guarantees. An experimental evaluation of our implementation, using industry standard benchmarks and application workloads, reveals that NFS-CD reduces server load by more than half. It also demonstrates that under most workloads, file systems must support writes to the cooperative cache to achieve scale.     

一种基于VirtFS的共享文件空间技术

由于虚拟环境多次I/O操作模拟的存在,运行在宿主服务器中的各虚拟客户机之间使用传统代理进行文件访问效率不高。为此,提出了基于VirtFS的共享文件空间技术。构建了虚拟客户机共享文件空间的系统架构,设计了虚拟磁盘操作映射机制,使用VirtFS框架提供的系统层接口,在宿主服务器中的VirtFS服务端截取和映射文件操作,直接将虚拟机文件系统的操作映射为对宿主服务器文件系统的操作。为了保障安全,彻底隔离用户域,实现分组共享。实验结果表明,采用该方法比现有代理方法文件读写效率分别提高9.7和5.7倍。     

基于文件类型的远程文件备份系统

rsync算法作为文件同步算法得到了广泛的应用,但是存在与服务器交互频繁、不适用特定文件等问题。设计和实现了一种基于文件类型的远程文件备份系统,通过文件类型的筛选避免特定文件的差异计算,在本地缓存文件摘要信息,将差异计算提前至文件上传前,减少了客户端与服务器间的交互。这样,不仅减少了差异备份中网络传输量,也减少冗余的差异计算。     

煤矿安全监控系统文件同步组件的设计

针对现有的煤矿安全监控系统文件同步模块功能单一且不可扩展的问题,提出了一种具有可扩展性的文件同步组件的设计方案。该组件采用事件触发模式识别发生改变的文件,选用HASH码作为文件更改判断依据,通过记录文件的最后修改时间来解决文件同步冲突问题,选用WCF进行服务器和客户端之间的通信。现场应用表明,该组件能够保证客户端和服务器之间配置文件的一致性,满足了煤矿安全监控系统的要求,提高了煤矿安全监控系统的可靠性。     

基于差异的文件同步系统的设计和实现

基于传统的文件同步框架（rsync）构建而成的文件备份中心存在着服务器负荷过重、网络传输数据过多等不足。通过对其架构做出改进,设计和实现了一种新的文件同步系统（DFSS）,系统采用在客户端加入卷影拷贝服务（VSS）功能,并在客户端通过使用快照来计算客户端文件和服务器文件之间的差异,从而达到快速计算文件差异、降低服务器计算量、减少网络传输数据量。     

远程文件备份与恢复系统的设计与实现

提出并实现一种远程文件备份与恢复系统（FBRS）,利用FBRS客户端将须备份的文件进行系统快照,判断该文件是否有更新,并进行差异计算,将差异计算结果（即差异文件）发送到FBRS服务器,在FBRS服务器端进行差异重放,实现远程文件同步。测试结果表明,FBRS同rsync相比,能显著减小网络带宽的消耗。