连接操作在SIMFS和EXT4上的性能比较

连接操作是关系数据库系统中最基本、最昂贵的操作,对数据库性能有巨大的影响。由于连接表存放在文件系统中,因此文件系统的性能对连接操作的性能有决定性的影响。不同文件系统的连接操作性能测试对数据库研究有重要意义,但目前相关测试较少。首先对比分析了新型内存文件系统SIMFS(Sustainable In-Memory File System)的数据读写路径与磁盘文件系统EXT4(Fourth Extended File System)I/O路径等方面的差异;然后设计实验测试了不同文件系统对连接操作的影响,其中对SIMFS和EXT4分别设置了不同的数据读写块大小和I/O块大小等测试指标。实验表明,连接操作在SIMFS和EXT4上的性能优化、块大小影响、性能提升瓶颈、硬件约束等方面均存在明显差异。在实验结果比较分析的基础上,给出了针对新型内存文件系统连接操作的优化建议。     

持久化内存文件系统的磨损攻击与防御机制

近来出现诸多以非易失性存储器（non-volatile memory,简称NVM）作为存储设备的新型持久化内存文件系统,充分发掘NVM的低延迟和可按字节寻址等优点,优化文件访问的I/O栈和一致性机制,极大提升文件系统的性能.然而,现有持久化内存文件系统都没有考虑NVM写耐受度低的缺陷,极易导致NVM被磨损穿（wear out）.针对NVM写耐受度低的缺点,探索多种利用基本文件操作对NVM造成磨损攻击的方式,并在真实持久化内存文件系统PMFS中以实验证明磨损攻击的严重性.为有效防御针对NVM的磨损攻击,提出了持久化内存文件系统磨损防御机制（persistent in-memory file system wear defense technique,简称PFWD）,包括索引节点元数据虚拟化技术、超级块迁移技术、文件数据页磨损均衡技术和文件索引结构迁移技术,保护文件系统中所有可能被磨损攻击利用的数据结构.实验结果证明所提出的PFWD技术能有效地防御病毒发动对NVM的磨损攻击,提高了存储系统的稳定性.     

高性能逻辑文件系统设计与实现

服务器端文件系统不仅需要很大的容量,而且要为大量并发访问提供很高的I/O性能。该文提出一种把多个物理文件系统通过软件集成为一个逻辑文件系统的技术,很好地聚合了各个文件系统所在磁盘设备的带宽和容量,综合了不同文件系统在元数据和数据处理性能上的优势。性能测试结果表明,逻辑文件系统技术是一种构造支持高度并发访问的高性能文件系统的有效方法。     

一种基于目录的软件事务性内存实现算法

软件事务性内存(STM)提供同步手段,让多线程程序高效并发执行.STM算法中一般包含记录所访问的共享数据、缓冲投机修改的数据以及处理事务冲突.STM中的主要开销在于维护共享数据访问记录和一致性验证.维护共享数据访问记录主要目的是便于进行验证.冲突检测(conflict detection)判断两个事务能否同时提交,而验证(validation)确保每个线程看到的数据状态是一致的.给出了关于STM一个简单模型,证明在STM中对共享数据的修改是线性的.提出的LDSTM算法通过在目录中维护版本信息,可以在读取各个共享对象时快速确定事务的内存视图是否处于一致状态,可以极大减少冲突检测和验证的开销.该算法可以实现早期发现写一写冲突,减少无效计算.在单线程情况下该算法开销很小.实验数据表明,LDSTM简单高效,冲突检测和验证开销减少明显.     

面向内存文件系统的数据一致性更新机制研究

近年来,研究界提出了多种管理新型存储级内存的内存文件系统,例如BPFS,PMFS和SIMFS。由于内存文件系统的设备访问方式和I/O路径不同于传统面向块设备的文件系统,适用于内存文件系统的数据一致性更新机制尚未得到很好的研究。为此,提出一种适用于内存文件系统的直接拷贝的数据一致性更新机制,讨论多种数据一致性更新机制在内存文件系统中的优缺点,并以内存文件系统SIMFS为基础,实现多种支持不同数据一致性更新机制的SIMFS版本。通过测试基准测试了各个SIMFS版本的性能,并分析了不同数据一致性更新机制对内存文件系统的整体性能的影响。实验结果表明,提出的直接拷贝机制在内存文件系统中取得了最好的性能。     

Linux EXT4文件系统分析

介绍EXT4文件系统的原理和数据结构,重点与EXT3文件系统做了比较,通过分析WRITE操作来解释EXT4文件系统的工作,为用户选择Linux内核提供参考。     

Windows可安装文件系统应用研究

由于Windows操作系统的源代码非开放性,其文件系统的工作机制并不为人们所熟悉。通过分析Windows2000/XP的可安装文件系统IFS以及如何利用IFS机制编制文件驱动程序来使Windows2000/XP支持新的文件系统,着重给出了如何在Windows操作系统下编制文件驱动程序来支持LinuxEXT2文件系统的思路和具体方法。     

闪存文件系统的快速挂载机制设计与实现

基于嵌入式文件系统CFFS提出一种快速挂载机制。该机制引入“静态超级块”、“引用节点”以及“页位图”等数据结构并采取相应算法,避免了在文件系统挂载过程中进行的全芯片扫描。测试表明,这种快速挂载机制减少了闪存文件系统在大容量NAND芯片上的挂载时间。     

基于闪存特性的EXT4文件系统读写性能优化研究

Android智能手机普遍采用闪存作为本地存储介质,这导致使用的EXT4文件系统存在读写性能损耗问题,间接影响了应用程序的使用体验,在分析性能损耗原因的基础上,提出一种针对EXT4文件系统日志功能优化方法。首先对EXT4文件系统日志功能进行研究,分析其如何维护日志数据,对比传统磁盘及闪存的不同特性提出性能损耗问题产生的原因,并给出解决方法,优化EXT4日志数据存取流程,以EXT4事务状态作为依据主动删除无用的日志数据,在不破坏原有日志功能的基础上,减少闪存设备垃圾回收过程中不必要的数据拷贝。通过对比实验证明,该方法能够提升Android手机中Ext4文件系统约11.8%的读写性能。     

基于EXT3文件系统数据恢复方法的研究

文章研究了基于日志文件的EXT3文件系统数据恢复方法,采用实例式研究方法,首先分析了EXT3文件系统中文件构成和文件被删除之后inode结点的变化;接下来研究了通过inode编号定位inode结点所在数据块的方法,以及通过日志恢复被删除文件的地址指针和文件名称的方法;最后介绍了通过地址指针和文件名将若干个地址空间中的数据合并成一个文件的方法。最终得出的结论是在日志文件和删除数据未被完全覆盖的情况下,可以通过日志有效恢复EXT3文件系统中被删除的文件。该研究成果可应用于公安机关的电子数据鉴定工作,也可作为公安院校的《电子物证检验》课程。     

Linux内核多语言文件子系统的设计与实现

操作系统的多语言支持是网络环境下计算机软件发展的必然结果。由于POSIX标准的国际化体系结构对多语言和分布式应用需求的支持有其局限性，导致遵循POSIX标准的Linux文件予系统在支持多语言文本时可能造成数据丢失。本文从多语言角度考察了Linux文件予系统，重新构造了一个能够支持Urdcode编码的逻辑文件系统EXT2U，改进了文件予系统，同时提供了基于Urdcode编码的系统调用接口。通过新文件系统与系统调用接口，为操作系统多语言处理提供了更好的基础。     

Fast-path I/O architecture for high performance streaming server

In a disk-network scenario where expensive data transfers are the norm, such as in multimedia streaming applications, for example, a fast-path I/O architecture is generally considered to be “good practice.” Here, I/O performance can be improved through minimizing the number of in-memory data movements and context switches. In this paper, we report the results of the design and implementation of a high-performance streaming server using cheap hardware units assembled directly on a test card (i.e., NS card). The hardware part of our architecture is open to further reuse, extension, and integration with other applications even in the case of inexpensive and/or faster hardware. From the viewpoint of software-aided I/O, we offer Stream Disk Array (SDA) for scatter/gather-style block I/O, EXT3NS multimedia file system for large-scale file I/O, and interoperable streaming server for stream I/O.     

Compressed page walk cache

GPUs are widely used in modern high-performance computing systems. To reduce the burden of GPU programmers, operating system and GPU hardware provide great supports for shared virtual memory, which enables GPU and CPU to share the same virtual address space. Unfortunately, the current SIMT execution model of GPU brings great challenges for the virtual-physical address translation on the GPU side, mainly due to the huge number of virtual addresses which are generated simultaneously and the bad locality of these virtual addresses. Thus, the excessive TLB accesses increase the miss ratio of TLB. As an attractive solution, Page Walk Cache (PWC) has received wide attention for its capability of reducing the memory accesses caused by TLB misses. However, the current PWC mechanism suffers from heavy redundancies, which significantly limits its efficiency. In this paper, we first investigate the facts leading to this issue by evaluating the performance of PWC with typical GPU benchmarks. We find that the repeated L4 and L3 indices of virtual addresses increase the redundancies in PWC, and the low locality of L2 indices causes the low hit ratio in PWC. Based on these observations, we propose a new PWC structure, namely Compressed Page Walk Cache (CPWC), to resolve the redundancy burden in current PWC. Our CPWC can be organized in either direct-mapped mode or set-associated mode. Experimental results show that CPWC increases by 3 times over TPC in the number of page table entries, increases by 38.3% over PWC in L2 index hit ratio and reduces by 26.9% in the memory accesses of page tables. The average memory accesses caused by each TLB miss is reduced to 1.13. Overall, the average IPC can improve by 25.3%.     

一种基于虚拟XML技术的XQuery查询器系统框架

1.引言 XML因具有可以直接在互联网(Internet)上使用、支持大量不同应用、与SGML兼容、XML文件容易编写且能够让人直接阅读等优点,受到人们的普遍关注,应用日益广泛。但因XML文件既包含内容也包含(通过标记表示的)内部结构,Web数据资源采用XML文件来描述,在下述方面可能会给应用处理带来不利影响:1)当XML文件内容繁多时,文件庞大,影响内存的处理效率;2)当需要在XQuery查询的     

应用透明的超算多层存储加速技术研究

在E级计算时代,超算系统一般使用多层存储架构以满足应用数据访问的容量和性能需求,这种架构中不同层次的存储介质差异较大,难以实现统一名字空间管理,往往需要应用修改数据访问流程才能最大程度利用到多层存储的性能和容量优势。针对多层存储统一名字空间的问题,提出针对非易失性双列存储模块（NVDIMM）的块级缓存和针对突发缓冲存储（BB）的文件级缓存技术。基于NVDIMM的块级缓存技术对缓存窗口灵活控制,以支持数据块粒度的异步读写,实现NVDIMM与BB层统一名字空间管理;基于BB的文件级缓存技术将数据缓存在BB层中,并动态迁移和管理文件副本,实现BB层与传统磁盘文件系统统一名字空间管理。在神威E级原型验证系统中的测试结果表明,所提出的两种技术较好地解决了多层存储的透明加速难题,NVDIMM块级缓存与BB相比,在缓存窗口16 MB时128 KB顺序读写带宽分别提升27%和36%,8 KB随机读写带宽分别提升20%和37%;基于BB的文件缓存技术利用BB的高带宽支撑数据访问,与全局文件系统相比,128 KB顺序读写带宽分别提升55%和141%,8 KB随机读写带宽分别提升163%和209%。此外,实际应用的测试也表明以上两种缓存技术具有透明的存储加速效果。     

基于EXT4文件系统的数据恢复方法研究

研究EXT4文件系统中删除文件的恢复方法对计算机取证工作有重要意义。文章研究了在EXT4文件系统中通过日志中的备份信息进行数据恢复的方法。采用了实例式研究方法,分析了EXT4文件系统中extent树的构成,分析了文件被删除之后extent树的变化,研究了通过inode编号定位inode结点所在数据块的方法,研究了通过日志恢复被删除文件的方法。文章得出的结论是在日志文件和删除数据未被完全覆盖的情况下,可以通过日志有效恢复EXT4文件系统中被删除的文件。文章的研究成果可以应用在公安机关的电子数据鉴定工作中,也可用于公安院校的《电子物证检验》课程教学。     

The Architecture of the Dalí Main-Memory Storage Manager

Performance needs of many database applicationsdictate that the entire database be stored in main memory.The dali system is a main memory storage manager designed toprovide the persistence, availability and safety guarantees one typically expects from a disk-resident database, while at the same time providing very high performance by virtue of being tuned to support in-memory data.User processes map the entire database into their address space andaccess data directly, thus avoiding expensive remote procedure calls andbuffer manager interactionstypical of accesses in disk-resident commercial systems available today.dali recovers the database to a consistent state in the case of system as well as process failures. It alsoprovides unique concurrency control and memory protection features, aswell as ordered and unordered index structures. Both object-oriented and relational database management systems have beenimplemented on top of dali. dali provides access to multiple layers ofapplication programming interface, including its low-level recovery,concurrency control and indexing components as well as its high-levelrelational component. Finally, various features of dali can be tailored tothe needs of an application to achieve high performance–for example,concurrency control and logging can be turned off if not desired, enablingdali to efficiently support applications that requirenon-persistent memory-resident data to be shared by multiple processes.     

QMDS: a file system metadata management service supporting a graph data model-based query language

File system metadata management has become a bottleneck for many data-intensive applications that rely on high-performance file systems. Part of the bottleneck is due to the limitations of an almost 50-year-old interface standard with metadata abstractions that were designed at a time when high-end file systems managed less than 100 MB. Today's high-performance file systems store 7–9 orders of magnitude more data, resulting in a number of data items for which these metadata abstractions are inadequate, such as directory hierarchies unable to handle complex relationships among data. Users of file systems have attempted to work around these inadequacies by moving application-specific metadata management to relational databases to make metadata searchable. Splitting file system metadata management into two separate systems introduces inefficiencies and systems management problems. To address this problem, we propose QMDS: a file system metadata management service that integrates all file system metadata and uses a graph data model with attributes on nodes and edges. Our service uses a query language interface for file identification and attribute retrieval. We present our metadata management service design and architecture and study its performance using a text analysis benchmark application. Results from our QMDS prototype show the effectiveness of this approach. Compared to the use of a file system and relational database, the QMDS prototype shows superior performance for both ingest and query workloads.     

基于NandFLASH高可靠自恢复实时文件系统

本文提出一种基于NandFLASH的高可靠自恢复实时文件系统,将文件存储于一个或多个NandFLASH块中。文件的特征信息存储于FLASH块的第一页中,文件的内容存储于其余页中,形成文件-块-页映射关系。利用FLASH掉电不丢失数据的特性,在系统重新上电时,扫描所有FLASH块的第一页,将所有文件的特征信息读入内存,并据此在内存中自行重新构建文件系统;当文件特征信息发生变化时,将变化信息同步映射至文件目录中。可以在保留文件处理灵活性的同时大幅提高实时性,可广泛应用于电力、化工等自动化控制领域。