容错系统中文件状态的保存与恢复算法

在机群计算环境中实现容错是人们日益关心的热点。许多著名的机群计算环境都使用检查点实现了容错的功能。但目前的检查点算法在使程序卷回执行的同时，不能相应地恢复文件系统的状态，因而对应用程序访问文件系统有较多的限制。本文在原子操作和并发控制的基础上，提出了能够恢复文件系统状态的ＳＣＲ算法，进一步发展了文件系统可恢复性的概念，ＳＣＲ算法与检查点机制结合使用，便可支持分布式应用程序在容错运行时对文件系统的任     

可组合的描述符泄露类型检查

应用程序通过操作系统的系统调用对文件描述符进行操作并管理文件资源。如果应用程序对资源描述符的管理出现错误并发生描述符泄漏,会严重影响系统的可用性。据此,提出了一种检查程序是否会导致描述符泄漏的类型系统,给出了描述符操作方法的语义和类型约束,证明了类型系统的可靠性定理。此外,还初步讨论了该类型系统在并发程序下的扩展。     

The OPIT system I. A file-handling scheme for data in large applications programs

The OPIT program is briefly described. OPIT is a basis-set-optimising, self-consistent field, molecular orbital program for calculating properties of closed shell ground states of atoms and molecules. A file handling technique is then put forward which enables core storage to be used efficiently in large FORTRAN scientific applications programs. Hashing and list processing techniques, of the type frequently used in writing system software and computer operating systems, are here applied to the creation of data files (integral label and value lists etc.). Files consist of a chained series of blocks which may exist in core or on backing store or both. Efficient use of core store is achieved and the processes of file deletion, file re-writing and garbage collection of unused blocks can be easily arranged. The scheme is exemplified with reference to the OPIT program.A subsequent paper will describe a job scheduling scheme for large programs of this sort.     

浅析基于C语言的文件处理

文件是计算机领域中一个重要的概念,用户的程序和数据都是以文件的形式保存的。文章简要介绍了C语言中与文件操作相关的各种常用函数,利用这些函数,程序员可以很方便地实现文件的创建、打开、关闭、读、写等诸多操作。     

Fault-Tolerant File-I/O for Portable Checkpointing Systems

The ftIO-system provides portable and fault-tolerant file-I/O by enhancing the functionality of the ANSI C file system without changing its application programmer interface and without depending on system-specific implementations of the standard file operations. The ftIO-system is an extension of the porch compiler and its runtime system. The porch compiler automatically generates code to save bookkeeping information about ftIO's transactional file operations in portable checkpoints. These portable checkpoints can be recovered on a binary incompatible architecture. We developed a new algorithm for supporting transactional file operations in ftIO. Rather than using the well-known two-phase commit protocol, this algorithm uses only a single bit of information and an atomic rename file operation to guarantee fault tolerance. In this paper, we describe our new ftIO algorithm, discuss design choices for ftIO, and provide experimental data of our ftIO prototype.     

Rewriting executable files to measure program behavior

Inserting instrumentation code in a program is an effective technique for detecting, recording, and measuring many aspects of a program's performance. Instrumentation code can be added at any stage of the compilation process by specially-modified system tools such as a compiler or linker or by new tools from a measurement system. For several reasons, adding instrumentation code after the compilation process—by rewriting the executable file—presents fewer complications and leads to more complete measurements. This paper describes the difficulties in adding code to executable files that arose in developing the profiling and tracing tools qp and qpt. The techniques used by these tools to instrument programs on MIPS and SPARC processors are applicable in other instrumentation systems running on many processors and operating systems. In addition, many difficulties could have been avoided with minor changes to compilers and executable file formats. These changes would simplify this approach to measuring program performance and make it more generally useful.     

基于虚拟文件操作的文件检查点设置

实现分布/并行系统容错的基础是单进程检查点设置和卷回恢复技术,而对活动文件信息进行保存和恢复则是这种技术的重要方面.提出一种虚拟文件操作策略,实现了对用户文件的检查点设置,有效地解决了发生故障时用户文件内容与进程全局状态的不一致的问题.该方法通过文件块式管理、检查点分布操作等技术,使得在空间开销、正常运行时间、恢复时间等性能指标上优于其他方法,并且具有对用户透明、可最大限度地保留已完成工作的特点.     

InfiniBand Ⅲ型集群系统可视化监测工具的实现方法

随着集群系统的广泛应用,用户对系统的综合性能要求显得越来越重要。该文在基于InfiniBand[1]ⅢPC集群的平台上,通过对目前常用的监测系统的分析,针对它们所共有的一些不足之处,在其基础上开发了一个实用的对并行处理过程的可视化监测工具。工具通过lm_sensors获取硬件信息,以proc文件获取负载信息,并通过MPE生成记录并行程序执行过程的log文件,具有能以图形方式实时显示硬件信息和系统节点负载信息,以及需要时可以用图形方式重现程序执行过程的功能。     

连接操作在SIMFS和EXT4上的性能比较

连接操作是关系数据库系统中最基本、最昂贵的操作,对数据库性能有巨大的影响。由于连接表存放在文件系统中,因此文件系统的性能对连接操作的性能有决定性的影响。不同文件系统的连接操作性能测试对数据库研究有重要意义,但目前相关测试较少。首先对比分析了新型内存文件系统SIMFS(Sustainable In-Memory File System)的数据读写路径与磁盘文件系统EXT4(Fourth Extended File System)I/O路径等方面的差异;然后设计实验测试了不同文件系统对连接操作的影响,其中对SIMFS和EXT4分别设置了不同的数据读写块大小和I/O块大小等测试指标。实验表明,连接操作在SIMFS和EXT4上的性能优化、块大小影响、性能提升瓶颈、硬件约束等方面均存在明显差异。在实验结果比较分析的基础上,给出了针对新型内存文件系统连接操作的优化建议。     

DES加密算法与SHA1散列函数的结合应用

如何确保数据文件的保密性和完整性?这是应用程序开发与应用中的一个重要问题.在.NETFrameWork中,有多种算法可以实现文件的加密和解密,亦可用散列函数来验证文件的完整性.本文提出并实现了在.NET FrameWork中开发应用程序时,结合使用DES加密算法和SHA1散列函数,实现了文件加密并验证其完整性的方法.     

一种多文件任务调度算法

计算机在处理多文件任务的时候,会出现同时读写文件的情况,文件将会出现数据读写不全或数据缺失.在Linux内核中,单处理器情况下,通过同步机制来进行任务的分配和处理,其中经典的有原子操作,信号量机制,互斥锁等实现方案.在多处理器系统中则是通过test-and-set原语操作来实现.本文通过设计一种多文件任务调度的算法,避免整个系统发生互斥访问.本文通过Matlab编程实现该算法,其结果表明本文提出的多文件调度算法能够有效的并行执行多文件任务.     

Docker容器化下的遥感算法程序集成方法

目的 近年来，随着我国遥感技术的快速发展，遥感数据呈现出大数据的特点，遥感数据的时效性增强，针对新环境下遥感算法编程语言众多，程序运行和部署环境需求多样，程序的集成和部署困难的问题，提出了一种遥感算法程序快速封装与Docker容器化系统集成架构。方法 该系统架构主要包括：1）遥感算法程序的镜像自动化封装制作；2）镜像的分发管理，达到算法程序镜像的共享；3）遥感信息产品生产流程的容器化编排服务，将相关联的算法程序镜像串联，以满足特定遥感信息产品的生产；4）容器的调度运行，调用镜像，实现特定遥感产品的容器化运行。本文在上述容器化系统集成架构下，以Landsat5数据的NDVI、NDWI信息产品的生产作为容器化生产实例，并同物理机、KVM （kernel-based virtual machine）虚拟机在运行时间、内存占用量、部署效率等性能进行了对比。结果 Docker容器虚拟化环境下的产品生产和物理机环境下在运行时间和内存占用量上几无差别，优于KVM虚拟机。Docker容器虚拟化环境和KVM虚拟机环境下在部署上能够节省大量时间，相比于物理机环境能够提高部署效率。结论 容器化的系统集成方式能够有效解决遥感算法程序集成和部署困难的问题，有利于遥感算法程序的复用和流程的共享，提高系统集成效率，具备较强的遥感数据实时快速处理能力。     

基于图形化热工水力测控程序的解释性加载设计

在热工水力测控系统中,常采用图形化编程的方式构建编程控件之间逻辑关系,形成所需的系统功能。程序的部署和运行时,若采用程序实时编译的模式,会带来编译时间长、编译环境复杂等问题。为了提高测控程序的开发效率,采用控件组件化的思想,进行图形化程序逻辑关系的分解与重构机制设计;提出程序模板+轻量级配置交件的模式,利用程序模板对配置交件进行解释性加载。在热工水力测控系统的测试验证中,利用基于解释性加载机制的图形化编程平台完成了其中测控软件的开发及运行,功能及数据结果准确无误。该解释性加载机制真实、有效,可实现图形化热工水力测控程序的快速部署与加载运行。     

一种基于文件的持续数据保护系统

现有的持续数据保护系统往往关注于保护企业或机构中的大型数据库和应用系统,而忽略了对办公环境中的个人计算机上的数据的保护,因此有必要针对个人计算机设计轻量级的持续数据保护系统,提高个人计算机上的数据安全级别.介绍了一种基于文件的持续数据保护系统,并给出其设计思路和原型实现.该系统在文件接口层次捕获并记录所有对数据的操作,并将这些操作尽力传送到本地或异地的备份服务器上,备份服务器在收到操作记录后在本地进行重放,以便与远端的文件保持一致,同时这些文件操作所对应的逆操作连同相关数据一同被记录在恢复日志中,以备在恢复时将文件回退到任意的恢复点上.实验表明该系统在恢复点目标方面具有较高的容灾性能指标,适用于个人计算机的数据保护.     

FAT系统文件操作痕迹特征分析

计算机操作系统中的文件存储基于文件目录,文件操作（如文件的增加、删除、修改、文件内容的编辑）会在存储介质上留下操作痕迹．这些痕迹可以用于在文件编辑后恢复先前的数据、恢复删除的文件、追寻文件的变迁过程、提取有关证据,对于数据恢复、案件侦查具有重要作用。     

User‐level operating system transactions

User‐level operating system transactions allow system administrators and ordinary users to perform a sequence of file operations and then commit them as a group, or abort them without leaving any trace behind. Such a facility can aid many system administration and software development tasks. The snapshot isolation concurrency control mechanism allows transactions to be implemented without locking individual system calls; conflicts are detected when the transaction is ready to commit. Along these lines we have implemented a user‐space transaction monitor that is based on ZFS snapshots and a file system event monitor. Transactions are committed through a robust and efficient algorithm that merges the operations performed on a file system's clone back to its parent. Both the performance impact and the implementation cost of the transaction monitor we describe are fairly small. Copyright © 2009 John Wiley & Sons, Ltd.     

文件系统增量备份策略的形式化描述及实现

文件系统备份和恢复过程中,需根据当前备份资源树和历史备份资源树进行合并等操作,这种操作在物理上表现为对目录树和资源树的处理.特别是增量备份时,它指明备份资源.恢复过程中,用户可以利用该策略根据时间点进行完全恢复和部分恢复.给出一种对备份资源树的解析算法,并进行分析,在算法的基础上对备份资源树进行了形式化描述.     

Maintaining distributed logic programs incrementally

Distributed logic programming languages, which allow both facts and programs to be distributed among different nodes in a network, have been recently proposed and used to declaratively program a wide-range of distributed systems, such as network protocols and multi-agent systems. However, the distributed nature of the underlying systems poses serious challenges to developing efficient and correct algorithms for evaluating these programs. This paper proposes an efficient asynchronous algorithm to compute incrementally the changes to the states in response to insertions and deletions of base facts. Our algorithm is formally proven to be correct in the presence of message reordering in the system. To our knowledge, this is the first formal proof of correctness for such an algorithm.     

软件相似性分析算法的研究综述

软件相似性分析算法是为了更好地保护软件的知识产权。此算法并不会加固程序以增加其抵御攻击的能力,而是对两个或两个以上的程序进行比较,判断是否相互包含。该算法有重复代码筛选、软件作者鉴别、软件“胎记”和剽窃检测,它们最本质的操作就是直接处理程序的源码或二进制可执行文件,将其转换成一种更易于处理的表示形式,从而确定两个程序(或者程序片段)之间的相似度,或是其中一个(部分或全部)是否包含了另一个。最后总结出此类算法的通用格式,并对每种算法作出相应的分析综述表。