基于闪存特性的EXT4文件系统读写性能优化研究

Android智能手机普遍采用闪存作为本地存储介质,这导致使用的EXT4文件系统存在读写性能损耗问题,间接影响了应用程序的使用体验,在分析性能损耗原因的基础上,提出一种针对EXT4文件系统日志功能优化方法。首先对EXT4文件系统日志功能进行研究,分析其如何维护日志数据,对比传统磁盘及闪存的不同特性提出性能损耗问题产生的原因,并给出解决方法,优化EXT4日志数据存取流程,以EXT4事务状态作为依据主动删除无用的日志数据,在不破坏原有日志功能的基础上,减少闪存设备垃圾回收过程中不必要的数据拷贝。通过对比实验证明,该方法能够提升Android手机中Ext4文件系统约11.8%的读写性能。     

一种采用消隐技术的锁无关栈算法

随着对实时系统的实时性和系统服务要求的不断提高,基于多核/多处理器硬件平台的实时系统成为发展趋势.相应的高性能实时操作系统需具有更高的硬实时性和可靠性,并避免优先级逆转、死锁.相比阻塞同步,非阻塞同步在提高实时系统性能、确定性和容错性等方面具有优势,有利于实现上述要求.设计锁无关数据结构是实现非阻塞同步的方法之一.文章介绍了锁无关算法的基本结构,提出一种采用消隐技术的锁无关栈算法及证明锁无关算法正确性的理论方法,并证明了该锁无关栈算法的正确性.实验结果表明,该算法提高了访问共享数据的执行速度,并避免了死锁、优先级逆转、低容错性等缺点.     

Alluxio数据随机访问方法的研究

为保证系统的可扩展性和容错性，Alluxio简化了文件系统实现，不支持数据随机访问，但在实际情况中仍有许多应用需要数据随机访问。Alluxio原生Java接口灵活性较差，不支持传统应用，不能完全发挥内存的高速性能。因此在深入分析Alluxio数据读写原理后，提出了新式数据随机访问方法，其核心思想是改变原有数据访问和缓存时机，将对Alluxio中的文件读写转化为对本地内存文件系统的文件读写，从而实现对数据的随机访问。在此基础上，还可以使用内存映射技术进一步提高本地文件的读写性能。测试结果表明，该方法的数据读取性能提升了14.5%，写入性能提升了1.4倍以上。在实际应用场景中合理使用Alluxio及新式数据随机访问方法，可获得数倍至数十倍的性能提升。     

面向海量非结构化数据的非关系型存储管理机制

针对传统的关系数据存储系统性能不足、容错性差,无法适应海量非结构化数据管理的问题,提出一种高性能、高可用非关系型存储管理机制。首先,设计了良好的用户访问服务接口,通过高效的一致性哈希算法支持数据分发到多个存储节点;其次,采用可配置的数据副本机制改善存储系统的可用性;最后,提出查询故障处理机制,用以提升存储系统的容错性,避免节点失效导致服务中断问题。实验结果表明,在不同规模用户负载下,新的存储系统的并发访问请求能力和传统的文件系统、关系数据库相比,分别提升了30%和50%;同时,在合理响应时间内,故障状态下的存储系统的可用性损失小于14%。因此,该机制适用于海量非结构化数据的高效存储管理。     

第二章 顺序文件

<正> 在数据库系统中,检索是最基本、最频繁的活动。检索机制的优劣对数据库系统性能的好坏起关键性的作用。数据库系统检索问题的核心是找出具有某种特征的记录,它所用到的技术和通常文件系统中的搜索技术是一样的。因此在本文的前几章(二、三、四、五章)中用较大的篇幅深入地探讨文件系统的搜索问题。所谓“搜索”的问题,就是怎样寻找以给定的标识而存放的数据。例如,在数值应用中,我们可以根据给定的x及f值的表来寻找f(x);在非数值应用中,我们可以根据给定的     

GeoFS:一个广域文件系统的设计与实现

GeoFS是一个遵从POSIX标准的广域分布式文件系统,用于站点之间共享数据.GeoFS使用FUSE用户态文件系统库,为应用程序提供标准文件系统接口,现有应用无需修改源代码即可运行其上.详述GeoFS副本及缓存设计,使得GeoFS适用于高时延、低带宽的广域环境的同时,提高GeoFS的可靠性与可用性.性能测试表明GeoFS在不同时延下,并行两副本读比单副本读性能平均提高56%,其中在100ms时延下,并行两副本读比单副本读性能提高66%;而当客户端缓存命中时,读写性能与本地文件系统性能相当.     

基于Web服务的工程数据库系统的设计与实现

本文回顾了工程数据库这一概念的提出,分析了工程数据库系统的相关需求和研究现状,并在此基础上提出了以Web服务为基础的工程数据平台代替纯粹的工程数据库系统的方案,并对该方案的架构和方案实现的几个重点问题进行了详细分析与讨论。本方案在现有较为成熟的关系型数据库和文件系统的基础上,在程序逻辑的帮助下,实现了对工程数据库系统的特有需求、保证了数据的完整性和一致性,并通过Web服务访问层实现与工程系统的互联互通。     

基于μClinux的大容量媒体文件系统

针对嵌入式系统资源有限、稳定性差的问题,通过分析现有文件系统的优缺点,提出一种面向大容量媒体文件的嵌入式文件系统设计方案,介绍其体系架构和内部组成,对该文件系统与传统嵌入式文件系统的存储性能及稳定性进行对比测试。实验结果表明,该文件系统在存储性能和稳定性方面具有较大优势。     

一种优化的光盘文件系统

首先简要介绍在光盘存储中应用广泛的文件系统--UDF（Universal Disc Format）,然后详细阐述UDF的组成,分析UDF的优缺点,提出通过增加光盘基本信息分区和刻录信息分区提高文件系统的扫描速度和可靠性。经过实际应用表明,优化后的UDF文件系统容错性能和时间性能都有所增强。     

计算与通信重叠和并行I/O在粒子模拟中的应用

三维电磁场粒子模拟是研究空间众多微观物理现象的一项先进数值模拟方法。虽然应用MPI和OpenMP混合编程技术实现了程序并行,但阻塞通信的通信同步和应用网络文件系统集中式数据I/O的数据传输降低了程序效率。介绍引入非阻塞通信法,最初计算需要通信部分,在其他计算继续时,进行非阻塞通信,最后接收全部数据,从而实现计算和通信重叠,减少通信等待时间;在分布式存储系统中,各节点同时把本节点数据输入输出到本地单独文件中,大幅度减少数据并行I/O时间,随着数据量和CPU数的增加,改善更加明显,从而提高程序性能。     

一种面向方面的软件容错能力增强工具

容错是保障软件可靠性的重要手段。该目标是利用对软件系统静态分析的信息,生成具有容错能力的方面文件来增强软件系统的容错能力。首先利用抽象语法树的分析工具,来获得一些有用信息,比如异常类型和抛出异常的方法。然后通过模板生成工具生成相应的恢复代码,利用面向方面机制,将代码动态编织入系统中。最后做一个案例证明方法在实现容错增强方面的可行性。     

Partial-TMR:A New Method for Protecting Register Files Against Soft Error Based on Lifetime Analysis

High-energy particles in the space can easily cause soft error in register file (RF).As a critical structure in a processor,RF often stores data for long periods of time and is read frequently,resulting in a higher probability of spreading corrupted data to other parts of the processor.The triple modular redundancy (TMR) is a common and effective fault tolerance method that enables multi-bit error correction.Designing full TMR for all the registers could cause excessive area and power overheads.However,some registers in RF have less impact on processor reliability.Therefore,there is no need to design TMR for them.This paper designs an efficient strategy which can rate the registers in RF based on their vulnerability.Based on the proposed strategy,a new RF fault tolerance method named Partial-TMR formulates in this paper,which selectively protects more vulnerable registers against multi-bit error,and improves fault tolerance efficiency.For integer RF,Partial-TMR improves its soft error correction capability by 24.5％ relative to the baseline system and 3％relative to ParShield,while for floating-point RF,the improvement comes to 5.17％ and 0.58％ respectively.The soft error correction capability of Partial-TMR is slightly lower than that of full TMR by 1％ to 3％,but Partial-TMR significantly cuts the area and power overheads.Compared with full TMR,Partial-TMR decreases the area and power overheads by 71.6％ and 64.9％,respectively.It also has little impact on the performance.Partial-TMR is a more cost-effective fault tolerance method compared with ParShield and full TMR.     

CEFT: A cost-effective,fault-tolerant parallel virtual file system

The vulnerability of computer nodes due to component failures is a critical issue for cluster-based file systems. This paper studies the development and deployment of mirroring in cluster-based parallel virtual file systems to provide fault tolerance and analyzes the tradeoffs between the performance and the reliability in the mirroring scheme. It presents the design and implementation of CEFT, a scalable RAID-10 style file system based on PVFS, and proposes four novel mirroring protocols depending on whether the mirroring operations are server-driven or client-driven, whether they are asynchronous or synchronous. The comparisons of their write performances, measured in a real cluster, and their reliability and availability, obtained through analytical modeling, show that these protocols strike different tradeoffs between the reliability and performance. Protocols with higher peak write performance are less reliable than those with lower peak write performance, and vice versa. A hybrid protocol is proposed to optimize this tradeoff.     

基于数据库的机群检查点的研究与实现

本文提出一种新的应用级机群检查点实现方案 .给出了与现有方案不同的方法 :首先 ,采用关系数据库系统来代替以前采用文件的方式来存储机群系统的检查点、管理数据、资源情况等信息 ,便于数据的索引与归一化 ,并且 ,当数据规模非常大时 ,数据库支持的访问速度要优于基于文件系统的访问速度 .其次 ,采用独立的服务器 ,使得这些检查点以及其他相关操作对机群系统本身的运算影响最小 ,并且对这个独立的管理服务器作镜像容错处理 ,在成本和效率上要优于为每个计算节点作镜像容错处理     

云文件系统中纠删码技术的研究与实现

云文件系统凭借高性能、高扩展、高可用、易管理等特点,成为云存储和大数据的基础和核心。云文件系统一般采用完全副本技术来提升容错能力,提高数据资源的使用效率和系统性能。但完全副本的存储开销随着副本数目的增加呈线性增长,存储副本时造成额外的写带宽和数据管理开销。纠删码在没有增加过量的存储空间的基础上,通过合理的冗余编码来保证数据的高可靠性和可用性。研究了纠删码技术在云文件系统中的应用,从纠删码类型、编码对象、编码时机、数据更改、数据访问方式和数据访问性能等六个方面,对云文件系统中纠删码的设计进行了探究,以增强云文件系统的存储模型。在此基础上,设计并实现了纠删码原型系统,并通过实验证明了纠删码能有效地保障云文件系统的数据可用性,并且节省存储空间。     

一种基于错误植入的JFFS2文件系统可靠性分析方法

JFFS2是目前比较流行的闪存文件系统,其可靠性对于闪存数据维护至关重要.提出一种基于错误植入的分析方法,首次对JFFS2文件系统的可靠性进行了深入研究.设计了8种类型的错误,在Linux内核中进行了错误植入.实验结果表明,JFFS2 文件系统具有一定的错误检测和恢复能力,可以检测到所有错误,并可以通过重试机制恢复写错...     

无线网络系统的舰船相对组合导航定位

针对现有单舰船组合导航定位技术存在的不足,如过度依赖GPS、差的可靠性和容错性以及缺乏网络系统概念等,将无线网络系统概念引入到舰船组合导航中,从而基于海上智能交通系统（MITS）提出一种新颖的网络舰船相对组合导航定位方法。该方法不再将海上舰船视为MITS中的孤立节点,因此目标舰船可使用来自网络内其它舰船节点的导航估计并采用最优分布式加权融合来改善自身的组合导航定位估计性能。与现有的单舰船组合导航方法相比,新方法具有更好的导航估训‘精度、更好的稳定性和容错性。     

基于RAM/Disk混合设备模型的FC-SAN存储系统

磁盘存取是基于光纤通道网络的SAN存储系统的目前性能瓶径，在综合和分析目前各种文件系统I／O操作工作负载的研究结果的基础上，提出了一个新的改进FC-SAN存储系统性能的方法：将各种文件系统I／O操作分为大数据量的文件读写操作、小数据量的文件读写操作和文件属性操作，大数据量的文件读写操作还是按照原来的I／O路径进行，存取物理磁盘；但其他各种文件操作包括小数据量的文件读写操作对基于内存的RAMDisk设备进行操作，实验结果显示，基于混合I／O子系统的FC-SAN存储系统的存取速率可以接近线速。