SOCKET通信平台的设计与实现

ＴＣＰ／ＩＰ协议的传输层提供了ＳＯＣＫＥＴ接口，供用户编程访问网络核心资源。但ＳＯＣＫＥＴ调用参数繁多，使用复杂，不便于用户直接使用，尤其是非网络专业用户。为解决这个问题，我们在ＳＯＣＫＥＴ接口上开发了一套ＳＯＣＫＥＴ通信平台原语，可应用于图像数据传输、远程数据库的访问等领域，也可以用于开发符合Ｃｌｉｅｎｔ／Ｓｅｒｖｅｒ模型或ＰＰＰ模型的网络应用系统。用户可以在自己的程序中调用通信平台，实现异种机     

利用socket实现Windows与Linux平台间的网络通信

介绍了socket的工作原理,构建出一个适用于Windows和Linux操作系统的、跨平台的网络通信程序,并给出设计原理和开发步骤。整个系统采用客户机／服务器（C／S）模型,在Windows系统中,socket程序利用VisualC#语言编写。Linux系统中的socket程序调用select（）函数,则该套接字自动设置为非阻塞方式,从而提高了程序的执行效率。经测试,通信两端的进程能够通过各自的套接字收发消息,从而实现了Windows与Linux平台间的通信。     

Analysis of file usage in personal computer environments

This paper discusses collection, analysis and interpretation of data pertaining to files in personal computer (PC) environments. We developed programs to collect and analyze data from PCs running the OS/2¹ operating system and using the High Performance File System (HPFS). The data collection program gathers the information about file sizes, the times and dates of file creation, the last file access, and the last file update by scanning the contents of disk storage devices. The gathered information is used to analyze the distributions of file sizes, functional file lifetimes, and functional lifetimes of file's data. The analysis shows that: most files are small (more than 60% of files on a system are smaller than 8 Kbytes), about 60% of files on a system have never been accessed again after being created and very few files are ever modified. Recommended by: N. Boudriga     

基于曙光3000并行机的远程文件浏览器

介绍了为曙光3000并行机开发的基于Java/CORBA的远程文件浏览器RFB(remote file browser)的设计与实现.在传统的并行机上,用户通过命令行接口对文件系统进行组织和管理,这给用户带来了诸多的不便.为此,设计并实现了一个具有图形用户界面的文件浏览器以支持用户对并行机文件系统的访问.RFB采用客户/服务器模式,实现了图形用户界面和对文件系统访问的分离.图形用户界面的实现采用Java语言及其图形工具包Swing,从而具有平台独立的特点,而客户/服务器之间的通信则采用当今流行的CORBA     

并发文件服务器的设计与实现

介绍了基于ＴＣＰ／ＩＰ协议的并发文件服务器的设计与实现,使用套接字进行网络编程实现数据传输使用多线程／进程响应多用户的并发请求,系统结合了调用Ｌｅｇａｔｏ ＮｅｔＷｏｒｋｅｒ命令对ＨＰ ＳｕｒｅＳｔｏｒｅ光盘库的管理。     

一种集群计算系统中并行I/O文件存储分配策略

现代计算机系统性能已经由受限于CPU转变为受限于I／O，近年来研究人员对高性能计算中的并行I／O问题进行了深入研究．本论文的主要工作是对集群计算中的并行I／O子系统进行研究，提出一种文件拆分与存储分配的新策略，即：已知知识的文件拆分与分配方法(KKFDA)，该方法保证文件存储方式与访问方式的一致性，达到了提高文件访问时的本地命中率、缩短访盘响应时间的目的．算法设计与实验证明了方法的有效性．     

Windows可安装文件系统应用研究

由于Windows操作系统的源代码非开放性,其文件系统的工作机制并不为人们所熟悉。通过分析Windows2000/XP的可安装文件系统IFS以及如何利用IFS机制编制文件驱动程序来使Windows2000/XP支持新的文件系统,着重给出了如何在Windows操作系统下编制文件驱动程序来支持LinuxEXT2文件系统的思路和具体方法。     

基于多路径地震资料处理集群存储系统

石油物探的深水海洋地震资料处理是大规模企业级高端存储系统的重要应用领域,满足计算量庞大地震资料叠前成像偏移的I/O访问需求,需要先进的集群存储体系结构和合理优化的系统部署.提出了一种基于多路径的地震资料处理集群存储系统的具体解决方案.从系统架构、文件系统、SAN网络、多路径软件、存储虚拟化等方面进行了设计与实现.集群存储系统的测试与运行表明该存储系统的正确性和优越性.     

在TCP／IP协议网络中实现任务间的数据通讯

本文通过简单介绍ＴＣＰ／ＩＰ协议的Ｓｏｃｋｅｔ界面以及ＴＣＰ的Ｃｌｉｅｎｔ客户进程建立，ＴＣＰ的Ｓｅｒｖｅｒ服务器进程的建立，使读者初步了解ＴＣＰ／ＩＰ的网络开发界面。并通过一个具体实例及其源程序，使读者了解如何实现在ＴＣＰ／ＩＰ协议网络中任务间的数据通讯。本文最后指出，由此用户可在网络应用层上进行许多网络开发工作，如远地过程调用（ＲＰＣ）等。     

基于Java的远程文件管理系统的设计与实现

为了实现远程文件管理系统的跨操作系统运行,设计了一套基于Java Socket的远程文件类应用程序接口(API),并在这套API的基础上实现了一个图形界面的Client／Server结构的远程文件管理系统。这套API在形式上类似于Sun JDK本地文件类,开发人员使用这套API能方便快速地实现能满足自身需要的远程文件管理系统。     

Reference implementation of scalable I/O low-level API on Intel Paragon

The Scalable I/O(SIO)Initiative‘s Low-Level Application Programming Interface(SIO LLAP)provides file system implementers with a simple low-Level interface to support high-level parallel /O interfaces efficiently and effectively.This paper describes a reference implementation and the evaluation of the SIO LLAPI on the Intel Paragon multicomputer.The implementation provides the file system structure and striping algorithm compatible with the Parallel File System(PFS)of Intel Paragon ,and runs either inside the kernel or as a user level library.The scatter-gather addressing read/write,asynchronous I/O,client caching and prefetching mechanism,file access hint mechanism,collective I/O and highly efficient file copy have been implemented.The preliminary experience shows that the SIO LLAPI provides opportunities of significant performance improvement and is easy to implement.Some high level file system interfaces and applications such as PFS,ADIO and Hartree-Fock application,are also implemented on top of SIO.The performance of PFS is at least the same as that of Intel‘s native pfs,and in many cases,such as small sequential file access,huge I/O requests and collective I/O,it is stable and much better,The SIO features help to support high level interfaces easily,quickly and more efficiently,and the cache,prefetching,hints are useful to get better performance based on different access models.The scalability and performance of SIO are limited by the network latency,network scalable bandwidth,memory copy bandwidth,memory size and pattern of I/O requests.The tadeoff between generality and efficienc should be considered in implementation.     

Learning to classify parallel input/output access patterns

Input/output performance on current parallel file systems is sensitive to a good match of application access patterns to file system capabilities. Automatic input/output access pattern classification can determine application access patterns at execution time, guiding adaptive file system policies. In this paper, we examine and compare two novel input/output access pattern classification methods based on learning algorithms. The first approach uses a feedforward neural network previously trained on access pattern benchmarks to generate qualitative classifications. The second approach uses hidden Markov models trained on access patterns from previous executions to create a probabilistic model of input/output accesses. In a parallel application, access patterns can be recognized at the level of each local thread or as the global interleaving of all application threads. Classification of patterns at both levels is important for parallel file system performance; we propose a method for forming global classifications from local classifications. We present results from parallel and sequential benchmarks and applications that demonstrate the viability of this approach.     

基于Web远程文件管理系统的java实现

为了实现远程文件管理系统的跨操作系统运行,设计了一套基于Java Socket的远程文件类应用程序接口(API),并在此基础上实现了一个图形界面的Client/Server结构的远程文件管理系统。这套API在形式上类似于SunJDK本地文件类,开发人员使用这套API能方便快速地实现能满足自身需要的远程文件管理系统。     

Grid VFS中代理管理客户端磁盘缓存的设计与实现

设计并实现了在网格虚拟文件系统Grid VFS客户端采用代理管理磁盘缓存来隐藏网络延迟，提高网格数据利用率。此方法扩展了虚拟化分布式文件系统，提高了对网格资源有效完整的数据访问。在Grid VFS中，客户端代理动态地产生和管理磁盘缓存，每一个未修改的应用程序和OS都能应用，支持write-back策略、文件系统之间缓存的共享以及磁盘缓存的多级化，通过用户级VFS可以完整的集成到网格应用程序和资源中，从而提高了网格数据的访问性能。     

基于RAM/Disk混合设备模型的FC-SAN存储系统

磁盘存取是基于光纤通道网络的SAN存储系统的目前性能瓶径，在综合和分析目前各种文件系统I／O操作工作负载的研究结果的基础上，提出了一个新的改进FC-SAN存储系统性能的方法：将各种文件系统I／O操作分为大数据量的文件读写操作、小数据量的文件读写操作和文件属性操作，大数据量的文件读写操作还是按照原来的I／O路径进行，存取物理磁盘；但其他各种文件操作包括小数据量的文件读写操作对基于内存的RAMDisk设备进行操作，实验结果显示，基于混合I／O子系统的FC-SAN存储系统的存取速率可以接近线速。     

Performance evaluation of client-server systems

A client-server system is a distributed system where a server station receives requests from its client stations, processes the requests and returns replies to the requesting stations. The authors consider client-server systems in which a set of workstations access a file server over a local area network. The systems are modelled by a class of stochastic Petri nets. The mean response time, the throughput and the parametric sensitivities are evaluated for a client-server system based on token ring network and a system based on CSMA/CD network. These models are different from the prevalent performance models of token ring or CSMA/CD network systems because of the message interdependencies introduced by the clients-server structure. An approximate analytic-numeric method rather than simulation is used to solve the models. The solution method and the accuracy of approximation are also discussed     

一种基于Socket通信实现数据一致性的工具研究

简述铁路局内部服务器之间交换数据,产生了数据一致性的问题。基于性能要求,系统将文件数据存储于服务器的文件夹中,使得数据库内部机制（如触发器等）难以控制文件数据一致性。针对该问题,基于socket通信设计一种工具实现文件数据一致性。该工具首先设计参数配置文件和利用工厂模式技术使程序访问数据库时不局限于何种数据库以及数据表等,使之成为一个可扩展的独立工具;实时监测数据库并自动实现文件记录的数据一致性;有较强的容错性如网络中断、文件传输中断、数据库连接错误等;产生日志文件以供查询。给出基于VC6.0平台的实现方法。     

一种改进的基于缓存池机制的小文件I/O策略

Lustre文件系统对大文件的I/O性能较好,但对小文件不佳。针对这个问题,提出建立一个基于MDS节点的小文件缓存池机制,在缓存池里缓存经常被访问的小文件。在该机制中,小文件缓存池与OST使用全相联映射方式对应,并且使用贯穿读出式和直写式策略保持文件的一致性;缓存池更新策略综合考虑了文件的访问时间和次数等因素,使用改进的近期最少使用算法（LRU）更新替换。实验结果表明,改进后的Lustre文件系统减少了小文件的网络传输开销和访问时间,对小文件的I/O性能有较明显的提高。虽然它对大文件的I/O性能有所降低,但在可接受范围之内,仍具有一定的实用价值。     

基于iSCSI网络存储协议的虚拟SCSIHBA驱动方法

iSCSI已成为网络存储的重要协议。基于该协议设计一种将普通的以太网卡虚拟成SCSI HBA的方法，并在Windows和Linux操作系统下开发了相应的虚拟设备驱动程序。根据本方法设计的虚拟SCSI HBA驱动在Linux和Windows平台上映射的SCSI硬盘呈现出和本地主机物理硬盘一样的访问机制，即由谊虚拟SCSI HBA驱动向主机应用程序或文件系统的I／O请求提供磁盘访问重定向服务。并且进行映射SCSI硬盘的读写性能测试。结果表明，读写映射SCSI硬盘性能接近1000M以太网络线速度的70％。应用证明，该虚拟驱动方法是一种最经济的SAN网络存储模式，它突破SCSI连接的物理距离限制，实现远距离工作主机共享SCSI磁盘阵列的需求。该方法可在不改变现有网络结构的前提下，实现SCSI直接连接存储（1）AS）模式向IPSAN存储模式的平滑过渡。     

云存储中副本自适应一致性研究

在云存储系统中,为了保证系统可用性的同时尽可能提高系统性能,降低副本同步过程中网络带宽等资源的消耗。提出了基于文件热度的副本自适应一致性方法。该方法根据文件的热度不同,动态调整副本同步的一致性策略,对于热度高的文件在副本同步过程中采用强一致性,对于热度低的文件在副本同步过程中采用最终一致性。在计算文件热度时,考虑了文件访问的时间序列并结合LRFU算法,该热度值表示了文件将来可能的访问情况,并与文件的实际访问情况一致。实验表明该方法在保证系统可用性的同时显著降低了网络带宽资源的消耗,有效地平衡了系统的可用性和性能。