一种识别I/O Feature的文件预测模型

在文件预取技术中,如何提高文件预取的命中率和适用度一直是研究的焦点.尤其是在面对大批量数据读取的时候,如何提高预取命中率对系统的性能提升有着至关重要的影响.本文提出识别I/O Feature的预测模型(IOPM),该模型通过记录文件的历史访问信息获取I/O Features,然后分析这些I/O访问模式,设计一个简单高效的特征符号表来表示这些模式.此预测模型可以有效地识别出顺序读、固定点读、逆序读、跳读、多步跳读等多种模式.同时,该模型添加应用程序的信息,可以有效地对不同程序之间的交叉读做出预测,具有很高的预测命中率.     

一种优化分布式文件系统的文件合并策略

分布式文件系统的性能对整个分布式系统的性能有着重要的影响,以Hadoop分布式文件系统(HDFS)为研究目标,针对HDFS处理小文件数据性能差的问题,分析存在的问题,提出一种新的文件合并策略,优化系统I/0性能.实现结果表明这种合并策略能有效提高分布式文件系统的性能.     

面向用户态Click的I/O优化框架的设计与实现

软件路由器在现代网络的发展中发挥着越来越重要的作用,而Click是具有良好模块化设计的软件路由器,为开发和验证新的路由协议等应用提供了很好的软件平台。由于实现机制问题,用户态Click的I/O性能严重限制报文处理能力,影响以Click软件路由器为平台的系统的整体性能。针对现有Click用户态I/O机制的不足,提出了一种面向用户态Click的I/O优化框架,通过采用轮询技术、零拷贝技术和报文预取技术提升了I/O性能。实验结果表明:优化后的用户态Click的I/O性能提升了121倍。     

分布式文件系统的流式数据预读

在分布式文件系统中,网络和磁盘往往是影响IO性能的主要因素.如何最大限度地挖掘网络和磁盘的性能潜力,长期以来一直都是非常活跃的研究课题.已有研究工作主要侧重于预取策略和数据的缓存策略,而未能将网络和服务器端磁盘I/O统一进行调度.提出并设计实现了一种流式预读方法,通过在客户端改变发送预读请求和接收预读数据的顺序,交错网络传输和磁盘访问,实现了延迟隐藏.测试表明,这种方法确实显著提高了顺序读性能.     

多线程环境下基于多预取点的文件预取

为解决当前Linux内核的预取算法在多线程情况下出现预取误判的问题,依据多线程环境下进程对磁盘文件的访问特点,提出一种基于多预取点的预取算法。在Linux内核原有的预取算法的基础上,结合多线程环境下应用程序对数据的访问模式,在Linux内核的页面缓存层进行了实现。实验和分析表明,在IOzone单线程测试中,该算法和Linux内核原预取算法性能相当;在多线程测试中,读取相同大小的文件,耗时比Linux内核原预取算法至少少1/3。新算法对于提高I/O并行度,从而提高整个计算机系统并行化很有帮助。     

Lustre分布式锁管理器的分析与改进

分布式文件系统一般使用分布式锁管理器技术为系统中的共享资源提供协同访问和一致性视图,并且保证数据并发访问的安全性,避免潜在的数据破坏的危险。本文首先分析了分布式文件系统Lustre分布式锁管理器的基本原理和实现,并针对发生冲突时锁请求的延迟存在的问题提出了改进的方案,它不仅提高了I/O性能,降低访问延迟,而且提高了文件锁服务的可靠性。     

Lustre文件系统I/O锁的应用与优化

分布式文件系统需要有一种机制对来自各个客户端的并发访问进行控制,维护文件数据的一致性。锁是实现并发控制最流行的机制。研究了Lustre文件系统的分布式I/O范围锁的模型,并对它的各种应用进行了优化。介绍了Lustre分布式锁的基本概念,对基于锁实现数据客户端写回缓冲以及多写者文件大小的动态获取的算法进行了分析;提出自适应I/O锁策略,基于区间树的范围锁冲突检测优化策略以及客户端锁淘汰策略来增强Lustre锁服务的性能和扩展性。     

面向QEMU的分布式块存储系统的设计与实现

计算系统虚拟化是当前的主流趋势,然而为虚拟机磁盘提供存储的现有后端系统常直接沿袭分布式文件系统的设计,导致一系列虚拟磁盘I/O场景下不必要的开销。提出的COMET系统,是一个面向QEMU的分布式块存储系统。它基于Proactor模式,针对虚拟磁盘I/O特性扬弃文件系统的语义并在数据读写与一致性等方面采用精简合理的设计,尽可能缩短I/O路径,在具备线性扩展能力、高可用性的同时,实现了写时复制的磁盘快照和写时复制的磁盘克隆等创新功能。测试数据表明,COMET在部分I/O场景下拥有足以媲关乃至超越成熟开源系统的性能。     

Filter Cache:一种提高Lustre I/O性能的方法

高性能计算系统需要一个可靠高效的并行文件系统.Lustre集群文件系统是典型的基于对象存储的集群文件系统,它适合大数据量聚合I/O操作.大文件I/O操作能够达到很高的带宽,但是小文件I/O性能低下.针对导致Lustre的设计中不利于小文件I/O操作的两个方面,提出了Filter Cache方法.在Lustre的OST组件中设计一个存放小文件I/O数据的Cache,让OST端的小文件I/O操作异步进行,以此来减少用户感知的小文件I/O操作完成的时间,提高小文件I/O操作的性能.     

基于HDF5的结构网格计算流体动力学程序并行I/O技术

大规模计算流体动力学(CFD)计算对数据I/O能力提出了很高需求。层次式文件格式(HDF5)可有效管理大规模科学数据,并对并行I/O具有良好的支持。针对结构网格CFD并行程序,设计了其数据文件的HDF5存储模式,并基于HDF5并行I/O编程接口实现了其数据文件的并行I/O,在并行计算机系统上进行了性能测试与分析。结果表明,在使用4~32个进程时,基于HDF5并行I/O方式的写文件性能比每进程独立写普通文件的方式高6.9~16.1倍;基于HDF5并行I/O方式的读文件性能不及后者,为后者的20%~70%,但是读文件的时间开销远小于写文件的时间开销,因此对总体性能的影响较小。     

PDF文件格式及其向PS文件转换的研究

一、引言结构化的文档格式Portable Document Format(PDF),由美国排版与图像处理软件公司Adobe于1993年首次提出,它是Adobe继页面描述语言PS(PostScript)之后,推出的最重要的电子文件规范,被广泛地应用于电子文件传送、交换和发行。由于其“高保真”的特性,已成为事实上的国际标准,目前流行的电子出版物基本上都是PDF格式的。 PDF从PS而来,具有与PS语言几乎相同的页面描述能力和相似的描述方法,但与PS语言不同的是,PDF除了能描述复杂版面外,还具有交互功能(如超链接、交互表单等)、页面随机存取及字体仿真描述等特性。 PS语言可以生成高质量的图文印刷输出,已成为工业标准并在当前印刷领域占统治地位。因此,利用PDF文件生成PS文件从而得到高质量的印刷输出,具有重要的意义。     

NTFS文件系统的INDX文件结构

通过对索引文件INDX的结构研究,给出NTFS文件系统索引文件INDX结构主要字段的详细说明及实例分析与应用.     

并行文件系统自适应的文件条带化技术

研究并行文件系统自适应的文件条带(Striping)策略对改进文件访问性能的影响,并开发动态的文件条带分析模型,利用自动访问模式分类和实时文件系统性能数据为文件条带策略选择模糊逻辑规则库,来优化文件访问性能。研究结果表明：当文件系统负载低时,可以尽量将文件分布到所有磁盘上来最小化I/O的反馈时间;反之,在系统负载高时,使文件分布的范围小一些以便最大化文件系统整体的吞吐量。并通过实验给出了请求大小、请求宽度、请求到达率与系统性能的相互关系,实证了自适应规则库的正确性。     

应用VB实现的HEX文件到EXCEL文件的转换

由于工作于数千米的井下全旋转工作状态,很难找到一种结构简单、传输迅速准确的方法能将工作状态的各种数据传至地面,为解决此问题,系统中除了考虑设计无线短传加泥浆脉冲的信息上传手段外,同时还在工具中增加了数据自动存储功能。用VB6.0开发了相应转换程序,取得了满意的效果。     

基于文件规范描述的文件模糊测试

针对传统文件测试效率不高、存在功能遗漏的缺点,提出一种基于文件规范描述的文件模糊测试方法。给出基于文件规范的文件推导规则,用于描述文件中结构的组织形式、结构与结构之间的依赖关系,生成同一格式下不同类型的文件并对每类文件进行模糊测试。实验结果表明,该方法能有效找到文件处理软件的脆弱点。     

基于文件污染的BT文件传播控制技术

提出一种基于文件污染的BitTorrent(BT)文件传播控制方法。采用文件索引污染与数据污染相结合的方式,针对特定的下载任务,干扰其BT网络节点之间连接的建立及数据的传输。实验结果表明,该方法可以有效延缓甚至破坏BT网络中特定信息的传播,从而达到控制BT文件传播的目的。     

文本文件批量转换EXCEL表格文件格式的算法

介绍了一种由文本文件到Excel表格文件的大批量自动转换算法.     

用ActiveX控制技术实现PDB文件到HTML文件的转换

介绍了PalmOS平台上PDB文件的结构和基于COM理论的AcfiveX控制与其包容器之间的交互机制，分析了如何编写一个ActiveX控制的包容器程序以实现PDB文件到HTML文件的转换。给出了转换程序较详细的设计方案和可扩展的框架结构，为编写Windows环境下的多功能PDB文件编辑器提供了一个清晰的思路。     

一种将文本文件转换为数据库文件的方法

介绍了一种将文本文件转换为数据库文件的方法，该方法利用VB6．0的文件处理功能按行读取文件内容，并利用ADO对象模型把内容存放到数据表的相应字段中。