一种机群网络文件系统的合作高速缓存技术

随着网络技术和工作站性能的发展，合作高速缓存成为进一步提高机群的系统上的网络文件系统性能的有效方法。本文提出了适于机群系统的基于分布式客户／服务器模型的合作高速缓存结构，设计了一种采用改进的ＬＲＵ替换策略的弧本优先一致性协议，并对该协议的模拟实现的测试结果进行了分析评价，说明全作高速缓存的使用可大大减少磁盘访问次数，有效降低文件访问的平均响应时间。     

嵌入式系统的高速缓存管理

本文针对嵌入式文件系统提出了一套基于最久未使用页面替换算法的高速缓存管理方案。该高速缓存管理模块的使用,较好地提高文件系统的读写性能。以NorFlash操作为例,使用高速缓存以后,可以使多数量、小文件的写入速度提升20%左右,读出速度提升30%-40%。对于大容量数据传输,适当地调整缓存的容量,也可使得写入速度提升2%,读出速度提升10%左右。     

一种Internet上流媒体代理高速缓存的框架

文章采用代理高速缓存技术解决Internet上流媒体传输时瓶颈带宽对传输质量的影响，分析了现有Web缓存技术用于音频、视频等连续媒体对象的不足，提出了一种新的流媒体代理高速缓存的框架，讨论了框架中各模块实现的关键技术。     

XFS日志文件系统的关键技术研究

对日志文件系统和传统文件系统进行了比较 ,介绍了 XFS在日志文件系统上的改进。针对一种具体的日志文件系统—— XFS进行了详细的介绍 ,包括 XFS的体系结构 ,以及它进行的优化 ,主要表现在管理大文件、大目录、超多目录文件的各种机制和高效的 I/O处理。最后介绍了 XFS在项目里的应用。     

高清安防视频特征分析缓存系统设计

文中针对高清视频监控特征分析系统提出了一种新型视频存储方案,主要讨论了在大规模视频数据的需求下,视频缓存存储解决方案中可以加以利用的一些条件,包括磁盘硬件的数据存储过程特点和视频数据流的特征,设计了一个克服了通用文件系统存储视频的短板且能够充分利用这些特性的视频存储文件系统(简称FMFS),为高清视频数据提供了一个可靠的高速缓存。最后结合项目情况阐述了方案的技术细节,并根据实验数据,介绍了该解决方案的优势。和NT-FS等传统文件系统相比,其优势在于连续访问存储视频数据的应用场景下的I/O性能得到了较大的提高。     

CMP体系结构上非包含高速缓存的设计及性能分析

半导体技术的发展使得在芯片上集成数十亿个晶体管成为可能.目前工业界和学术界倾向于采用片上多处理器体系结构(CMP),对于此类结构,芯片性能受片外访存影响较大,因此如何组织片上高速缓存层次结构是一个关键.针对此问题,提出采用非包含高速缓存组织片上最后一级高速缓存,以降低片外访存次数.并通过对Splash2部分测试程序的详细模拟,对CMP上高速缓存层次结构的不同组织方式做了比较.数据显示非包含高速缓存最多可使平均访存时间降低8.3%.同时,指出非包含高速缓存有助于节省片上资源的特性,并给出片上集成三级高速缓存后CMP上高速缓存层次结构的设计建议.     

Linux日志文件系统研究

与传统的文件系统相比,日志文件系统可以在系统崩溃后快速地恢复,提高系统的高可用性。论文主要研究了日志技术及linux下的日志文件系统:EXT3、ReiserFS、XFS和JFS,并用测试工具PostMark和Bonnie++对它们进行了性能分析。     

高速缓存参数无关的高效算法

近年来,在高速缓存有效和磁盘有效的算法设计中提出了一个新的概念———高速缓存参数无关。在多级存储体系中,无需了解任何有关各层次的参数,高速缓存参数无关算法便可获得高的效率,且自动对所有各级存储体系都是有效的。本文主要讨论了多种不同的存储模型,并通过分析,证明了一些算法的高速缓存参数无关性。     

利用高速缓存技术提高SOAP性能

由于SOAP具有很多的优点，刚刚出现便得到了广泛应用。但SOAP与CORBA、COM／DCOM相比在执行效率上要低一些。本文介绍了高速缓存技术以及如何利用高速缓存技术来提高SOAP应用系统的性能，并给出了在SOAP应用系统中高速缓存技术的设计和实现的部分代码。     

基于多核计算平台和高速缓存感知的Haar小波变换算法

针对目前多核计算平台的普及性以及多核平台的强大计算能力,通过充分利用高速缓存的工作原理以及多线程程序设计的优势,提出了一种在多核平台上高速缓存优化的并行Haar小波计算算法.通过测定算法运行过程中高速缓存缺失率以及算法在不同多核计算平台上的运算性能,反映了该算法极大地降低了缺失率和减少了计算时间.如在数据规模8192条件下缺失率从95%降低到8.37%,计算时间从4.35s减至0.89s.由此证明了该计算方法具有高速且可移植的特性.     

典型商用并行文件系统分析

并行文件系统是高性能并行计算机的重要组成部分。本文分析了几种典型的商用并行文件系统，包括Intel的PFS．IBM的PIOFS和GPFS，SGI的XFS和CXFS等，详细比较了它们在提高并行性、维护数据一致性以及提供Unix兼容接口等备方面的技术特点，以对设计和实现高效的并行文件系统提供参考。     

一种适用于集群文件系统分级存储的分布式锁设计与分析

随着集群存储系统的规模越来越大,在一些系统搭建中出现分级存储的需求.目前集群文件系统的分布式锁管理器对于分级存储管理的数据迁移时,可能无法保证数据的一致性.参考传统分级存储系统的设计中,这里提出了集群文件系统布局锁的概念,通过布局锁来维护文件迁移时数据的一致性.通过分析目前的分布式锁机制在应用于集群文件系统分级功能时的不足,针对性地阐述了适用于集群文件系统分级存储的分布式布局锁,并对分布式布局锁的实现进行了分析.     

影响文件系统性能的若干因素的实验

影响文件系统的因素有很多，该文从不同访问模式、多通道硬件配置、文件系统老化等方面设计试验，利用多种性能评测工具，对EXT3、XFS两种本地文件系统进行试验，分析这些因素对本地文件系统性能的影响以及作为NFS服务器端的文件系统时，对NFS性能的影响。在试验过程中，编写了测试文件系统元数据性能的Thput benchmark以及使文件系统能够快速老化的工具FastAging。通过分析试验结果总结出针对应用中不同的访问模式配置最优的文件系统的解决方案，使用户能够获得最大的I/O性能。     

基于Trace重放的文件系统性能分析

基于Trace重放的基准测试是存储系统性能测试中的一个重要方法,本文提出一种如何利用Trace重放来对文件系统的性能进行对比测试,从而选出适合用户应用需求的文件系统的方法。本文选择有代表性的3种Trace集合,使用重放工具FSReplay对EXT2、EXT3、JFS、XFS、ReiserFS这5种文件系统进行对比测试,为用户在类似的应用中选择合适的文件系统提供了参考依据。     

MANET中P2P文件系统的设计与优化

设计了一个MANET环境下基于CBRP协议的优化的P2P文件系统,系统采用了基于簇的层次结构,论文对各种消息结构作出了定义,包括对簇结构及结点资源都做了详细的说明。论文提出了在MANET环境下一种新的P2P文件资源的定位方法,实验结果显示,MANET下采用CBRP协议对P2P文件系统优化后在减轻洪泛效应、减少网络负担方面具有很好的效果。     

Storage technique for real-time streaming of layered video

Scalable streaming technology has been proposed to effectively support heterogeneous devices with dynamically varying bandwidth. From the file system’s point of view, scalable streaming introduces another dimension of complexity in disk scheduling. Most of the existing efforts on multimedia file systems are dedicated to I/O scheduling algorithm and data placement scheme that efficiently guarantee I/O bandwidth. The important underlying assumption in these efforts is that most of the multimedia file accesses are simple playback operations and therefore are sequential. However, this workload characteristic is not valid in scalable streaming environment. In a scalable streaming environment, i.e., when only a subset of imagery is retrieved, the playback does not necessarily coincide with the sequential access on the file. The current file structure and the file system organization leaves much to be desired for supporting scalable streaming service. In this work, we propose a file system scheme, Harmonic Placement to efficiently support scalable streaming. The basic idea of Harmonic placement is to cluster the frequently accessed layers together to avoid unnecessary disk seeks. The data blocks are partitioned into two sets with respect to the layers: lower layers and upper layers. In Harmonic placement, the data blocks in the lower layers are placed with respect to their frame sequence and the data blocks in the upper layers are clustered according to the layers they belong to. We develop elaborate performance models for three different file system schemes: Progressive placement, Interleaved Placement and Harmonic Placement. We investigate the performance of the file server with different file system schemes. It was found that file system performance is very sensitive to the file organization scheme. When most of the service requests are for low-quality video (e.g., 128 Kbits/s ISDN), Progressive placement scheme supports twice as many sessions as the Interleaved placement scheme. When most of the service requests are for high-quality video (e.g., 1.5 Mbits/s MPEG-2 DVD quality), Interleaved placement can support twice as many requests as Progressive placement. In both cases, Harmonic placement scheme yields the most promising performance. Primitive version of this work has appeared on Proceedings of NOSSDAV ’06, Providence, Rhode Island, USA. This work is in part funded by KOSEF throught National Research Lab (ROA-2007-000-200114-0) and by HY-SDR center at Hanyang University.     

统计显著性标记的聚类分析算法与网络实现

聚类分析方法应用广泛,但过程及结果缺乏可靠的统计学检验,数学上不严格.另外,用于聚类分析的数据分布类型复杂多样,往往无法确定,而经典统计检验方法设定了各种统计前提和假设,应用依据不足.鉴于此,本研究用随机化方法对分类进行统计显著性检验,建立了具有统计显著性标记的聚类分析算法,用于对若干个样品进行有显著性标记的聚类分析. 该算法包括数据加权与规范化,计算距离测度,系统聚类,及随机化统计检验等过程.在该算法中,有14种距离测度、5种系统聚类方法、3种数据规范化方法及指标加权与否可供选择.随机化检验不需统计前提和假设,适用于各种统计问题.算法用Java语言网络化实现, 包含6个类和一个HTML文件.可通过网络在多种Java兼容的浏览器上实现算法共享. 以水稻田无脊椎动物多样性的调查数据,对该算法进行了对比分析,给出了选择距离测度的一些原则.     

异构存储共享系统的设计与实现

对基于SAN的异构系统间文件共享问题进行研究,采用异步I／O访问模式、缓冲I／O及双重缓冲区等优化方法,提高了系统运行性能,使得大型机与开放系统对SAN的磁盘子系统的存储共享效率更高。通过SAN连接大型机、Unix工作站、Window工作站和磁盘阵列,同时系统还提供一组文件访问API供上层应用程序调用。系统具有海量存储、高速数据存取、高可用性以及高可靠性等突出特性。     

PDF集群并行解析显示技术研究

针对大型拼接显示系统对PDF文件高分辨显示的需求,文中研究了集群并行高分辨信息显示平台的显示技术,分析了PDF在大屏显示系统中的重要性以及PDF文件格式和层次关系,研究并探讨了poppler库和mupdf库的优缺点,以及对PDF文件格式的解析与显示技术,并基于poppler库和mupdf库分别实现了PDF文件的解析和集群并行显示。通过对比实验,采用mupdf库能够更清晰、高效地实现PDF集群并行显示,验证了文中提出的PDF集群并行解析显示技术可极大地提高大型拼接显示系统对PDF文件的高分辨显示处理能力。