蓝鲸分布式文件系统的分布式分层资源管理模型

为了高效地管理海量分布式存储资源,蓝鲸分布式文件系统抛弃了传统的集中式资源管理方式。实现了分布式分层资源管理模型．该模型可以管理多个存储服务器,还能支持多个元数据服务器组成的集群进行分布式元数据处理,支持各种元数据和数据的负载平衡策略．同时,该模型中的带外数据传输功能克服了系统的性能瓶颈。提高了系统支持并发访问的能力．理论分析和实际测试结果都表明此模型能够满足多种不同的需求,提供很好的性能和良好的扩展性．     

一种支持媒体流的SIP性能测试工具的设计与实现

性能测试是SIP协议测试的一个重要方面．本文提出了一种支持媒体流的SIP协议性能测试工具的设计与实现方法．这种测试工具读取用户编写的XML呼叫流程测试用例脚本，据此生成并模拟多路并发呼叫对被测系统进行性能测试．和现有的其它SIP性能测试工具相比，本测试工具针对对称性NAT网络环境中存在的媒体流中继问题，嵌入了支持多种音频编码解码方式的媒体流传输，增强了模拟呼叫的真实性，从而更为准确的反映了被测系统的整体性能，提高了测试结果的可信度．     

基于LoadRunner的煤矿安全监控系统性能测试方法

针对现有煤矿安全监控系统性能测试方法无法满足系统在大数据量和多用户并发条件下的测试需求的问题,基于自动化测试工具Loadrunner,提出了一种煤矿安全监控系统性能测试方法;结合并发测试和稳定性测试的具体实现,详细介绍了测试计划、测试脚本创建、场景创建、场景运行和监控、测试结果分析等测试流程。该方法可提高测试效率和准确性。     

基于二层交换技术的改进型SSL VPN的设计与实现

在分析了传统SSL VPN对应用支持不足和存在安全问题的基础上,提出了基于二层交换技术的改进型SSL VPN系统结构,该结构包括三项关键性技术：虚拟二层交换机的SSL VPN代理服务器,数据封装标准和客户端防火墙。该系统不仅满足了为所有应用提供访问的需求,而且增强了通信隧道和客户端的安全性,最后还给出了改进后系统的延迟性能和并发性能测试。     

PVFS客户端目录缓存设计与实现

缓存技术是提高并行文件系统性能的关键性技术。在并行文件系统中实现客户端目录缓存，不仅可以减轻目录服务器的压力，避免目录服务器成为系统瓶颈，而且可以简化客户端操作过程，提高并行文件系统的性能。该文对PVFS并行文件系统进行了分析，建立了客户端目录缓存模型；就客户端目录缓存实现的一些关键性问题，如缓存池开辟位置、一致性等问题进行了研究，给出了解决方法，并在此基础上实现了一个客户端目录缓存的原型系统。测试结果表明，加入缓存后，PVFS系统性能有所提高。     

SIP协议测试方法和测试工具的研究

介绍SIP性能测试领域的一些技术背景,包括在测试中使用的性能评价标准以及测试方案.在对SIP性能测试方法和测试工具综合研究的基础上,设计一种新的测试工具的工作模式以及媒体流的传输机制,使得这种测试工具能够支持大量的媒体流并发的测试,并且突破了对于媒体源进行编解码的难点,提出一种新的解决方案.这种SIP性能测试工具可以为被测系统提供全面准确的性能测试结果,提高了测试结果的可信度.     

蓝鲸分布式文件系统的客户端元数据缓存模型

在蓝鲸分布式文件系统中,客户端的所有元数据操作都是通过远程过程调用由元数据服务器完成,所有数据读写都是直接与存储服务器交换完成的.由于通信延迟,在客户端进行频繁数据读写时,元数据信息交换影响了整个系统的性能.我们设计了一种在客户端尽量缓存文件元数据信息的模型,有效地减少了元数据通信,缩短了整个读写过程的延迟,极大地提高了蓝鲸分布式文件系统的性能.     

面向高并发在线考试系统的性能优化

在线考试是线上教育的重要组成部分,随着线上教育的迅速发展,加之考试本身的特殊性,在线考试系统往往会面临高并发场景。本文分析在线考试系统中出现的高并发场景,在传统的系统架构之上,加入基于Redis的缓存层,并提出两个优化方法：缓存预热和延迟写入,分别用于改善在线考试开始时高并发读和在线考试期间高并发写的性能。实验结果表明,这两种方法能有效提高单机处理请求的吞吐量,降低请求的平均响应时间,因而能在机器数量保持不变的情况下,提高整个在线考试系统的并发量。此外,为了避免缓存层不可用时,整个系统无法正常提供服务,本文提出一种容错机制,将系统与缓存层进行解耦,从而提高系统的可用性。目前,这些优化方法已经被用于华东师范大学研发的“水杉在线”学习平台,有效提高了用户的体验感。     

一种加速广域文件系统读写访问的缓存策略

针对广域网高延迟、低带宽的特性给广域文件系统访问带来的性能影响问题,提出了一种不依赖于底层文件系统、能够加速广域文件系统读写访问的缓存策略.该策略支持基于区间粒度的文件数据缓存及访问,并支持元数据本地缓存;该策略提供基于阈值的容量管理功能,采用超时与最终一致相结合的方式维护缓存的一致性.最后使用典型的文件I/O基准测试工具和元数据性能测试工具对该缓存策略进行了评测,实验结果表明:该缓存策略减少了客户端与服务器的交互次数,给广域文件系统的数据访问带来了明显的性能提升,当缓存命中时其数据的读写性能与本地文件系统相近.     

LDFS:NDN路由器的缓存扩充新方法

现有路由器因其存储容量无法满足命名数据网络(named data networking,NDN)对缓存容量的需求,导致了NDN部署困难。提出了一种软件扩展路由器缓存容量的方法——LDFS(lightweight distributed file system)。LDFS的主要思想是将边缘网络的终端用户和存储服务器作为存储节点,虚拟缓存服务器统一管理存储节点并向客户端提供缓存服务,客户端以库函数的形式向上层应用提供接口。LDFS的主要特点是轻量级客户端和多种存储资源提供存储服务。最后通过实验对系统的性能进行了测量,并验证了轻量级客户端设计的优势。     

集群协作缓存机制研究

计算机集群中的节点使用内存一般不均衡,往往有些节点使用太多内存,而其他节点又有较多的空闲内存.为了改进集群操作系统,将集群节点的内存作全局分布的资源使用,我们首先提出一个内存互操作高速缓存方案:通过使用集群范围内的内存作文件高速缓存,从其他节点的高速缓存中读文件,可以避免很多低速的磁盘访问,改进集群文件系统的总体吞吐量.然后利用我们提出的缓存页面代替策略GCAR来支持这种内存互操作的高速缓存方案.该算法与CAR相比,对缓存中被"经常"使用的页面的管理粒度更细,更适合集群协作缓存的计算环境.实验结果表明,GCAR对本地缓存的命中率比CAR略好,在集群协作缓存下能取得更好的缓存命中率.     

Lustre文件系统I/O锁的应用与优化

分布式文件系统需要有一种机制对来自各个客户端的并发访问进行控制,维护文件数据的一致性。锁是实现并发控制最流行的机制。研究了Lustre文件系统的分布式I/O范围锁的模型,并对它的各种应用进行了优化。介绍了Lustre分布式锁的基本概念,对基于锁实现数据客户端写回缓冲以及多写者文件大小的动态获取的算法进行了分析;提出自适应I/O锁策略,基于区间树的范围锁冲突检测优化策略以及客户端锁淘汰策略来增强Lustre锁服务的性能和扩展性。     

An adaptive cache coherence protocol specification for parallel input/output systems

Caching has been intensively used in memory and traditional file systems to improve system performance. However, the use of caching in parallel file systems and I/O libraries has been limited to I/O nodes to avoid cache coherence problems. We specify an adaptive cache coherence protocol that is very suitable for parallel file systems and parallel I/O libraries. This model exploits the use of caching, both at processing and I/O nodes, providing performance improvement mechanisms such as aggressive prefetching and delayed-write techniques. The cache coherence problem is solved by using a dynamic scheme of cache coherence protocols with different sizes and shapes of granularity. The proposed model is very appropriate for parallel I/O interfaces, such as MPI-IO. Performance results, obtained on an IBM SP2, are presented to demonstrate the advantages offered by the cache management methods proposed.     

基于磁光虚拟存储系统的文件调度算法

基于光盘库的Hadoop分布式文件系统（HDFS光盘库）在单位存储成本、数据安全性、使用寿命等方面非常符合当前大数据存储要求，但是HDFS不适合存储大量小文件和实时数据读取。为了使HDFS光盘库能更好地运用到更多大数据存储场景，本文提出一种更加适合大数据存储的磁光虚拟存储系统（MOVS, Magneto-optical Virtual Storage System）。系统在HDFS光盘库与用户之间加入磁盘缓存，并在磁盘缓存内通过文件标签分类、虚拟存储、小文件合并等技术将磁盘缓存内小文件合并为适合HDFS光盘库存储的大文件，提高系统的数据传输速度。系统还使用了文件预取、缓存替换等文件调度算法对磁盘缓存内文件进行动态更新，减少用户访问HDFS光盘库次数。实验结果表明，MOVS相对HDFS光盘库在响应时间和数据传输速度方面得到很大改善。     

A high performance NAND array file system based on multiple NAND flash memories

The existing NAND flash memory file systems have not taken into account multiple NAND flash memories for large-capacity storage. In addition, since large-capacity NAND flash memory is much more expensive than the same capacity hard disk drive, it is cost wise infeasible to build large-capacity flash drives. To resolve these problems, this paper suggests a new file system called NAFS for large-capacity storage with multiple small-capacity and low-cost NAND flash memories. It adopts a new cache policy, mount scheme, and garbage collection scheme in order to improve read and write performance, to reduce the mount time, and to improve the wear-leveling effectiveness. Our performance results show that NAFS is more suitable for large-capacity storage than conventional NAND file systems such as YAFFS2 and JFFS2 and a disk-based file system for Linux such as HDD-RAID5-EXT3 in terms of the read and write transfer rate using a double cache policy and the mount time using metadata stored on a separate partition. We also demonstrate that the wear-leveling effectiveness of NAFS can be improved by our adaptive garbage collection scheme.     

SAC: Exploiting Stable Set Model to Enhance CacheFiles

Client cache is an important technology for the optimization of distributed and centralized storage systems. As a representative client cache system, the performance of CacheFiles is limited by transition faults. Furthermore, CacheFiles just supports a simple LRU policy with a tightly-coupled design. To overcome these limitations, we propose to employ Stable Set Model （SSM） to improve CacheFiles and design an enhanced CacheFiles, SAC. SSM assumes that data access can be decomposed to access on some stable sets, in which elements are always repeatedly accessed or not accessed together. Using SSM methods can improve the cache management and reduce the effect of transition faults. We also adopt loosely- coupled methods to design prefetch and replacement policies. We implement our scheme on Linux 2.6.32 and measure the execution time of the scheme with various file I/O benchmarks. Experiments show that SAC can significantly improve I/O performance and reduce execution time up to 84%0, compared with the existing CacheFiles.     

利用批处理文件传输提高流媒体服务器资源利用率的方法

设计了一种双模式流媒体服务器(DM-MS)，利用同一个服务平台，为用户提供在线播放和文件传输 离线播放两种服务模式。在线播放模式为每个用户请求提供独立的服务连接。文件传输 离线播放模式合并同一媒体文件的多个用户访问请求，通过一次传输为多个用户提供服务，提高服务的并发程度，降低服务的资源消耗。文章提出TDM-MS的框架模型，并为实时播放模式和文件传输 离线播放模式设计不同的资源调度算法。     

支持Hadoop大数据访问的pNFS框架研究与实现*

随着大数据时代到来,分布式文件系统支持Hadoop大数据访问已成为一种趋势。本文以研究支持Hadoop大数据访问的pNFS框架为目的,采用在Hadoop与pNFS之间添加pNFS shim layer模块的方法,实现了pNFS支持Hadoop大数据访问的HDFS APIs;通过在pNFS shim layer中添加写缓存和节点级数据布局感知机制优化了系统性能。采用Hadoop基准程序对本文提出的框架进行测试,结果显示写性能提升超过45%,读性能提升超过97%,证明此框架可以有效的支持Hadoop大数据访问。     

面向云文件系统的隔离性度量方法研究

随着云计算的快速发展,云文件系统在云计算基础设施中扮演着越来越重要的角色。尽管目前业界已有不少面向云文件系统的性能评测工具,但大多数评测工具仅关注于传统的系统性能指标,比如IOPS和吞吐量,难以评估云文件系统在多租户环境下的性能隔离性。由于云环境I/O负载的动态性和异构性,所以准确评估云文件系统的隔离性变得更加具有挑战性。提出了一种新型的云文件系统隔离性度量模型,并在一个基准测试工具Porcupine中进行了实现。Porcupine通过模拟真实负载特征的I/O请求,实现对负载与性能的准确仿真并提高文件系统的测试效率。通过对Ceph文件系统的实验,验证了所提出的隔离性度量模型的有效性及准确性。