PVFS代码结构及并行Meta服务研究

PVFS(ParallelVirtualFileSystem)广泛应用于PC集群并行计算环境中,通过ROMIO形式的MPI-IO接口与MPICH结合,用于提高数据文件的访问性能,通过对PVFS的源代码分析,得出PVFS的系统架构、运行机制与采用的策略,并在这个基础上找出元数据服务器并行化的可行性,以设计出并行元数据服务方案来提高元数据访问的吞吐率。     

PVFS元数据服务器的并行化设计与实现

PVFS并行文件系统采用集中式的元数据服务器,这使得元数据服务器在大量的文件操作情况下成为I／O瓶颈。该文通过增强PVFS的客户端和元数据服务器的相关功能,使得客户的文件请求按照文件名的Hash变换转向不同的元数据服务器,在保留原来的用户访问方式和系统配置不变的情况下实现元数据服务器的并行化,达到明显提高元数据服务器的总吞吐量和可扩展性。     

基于NT的实验室监控系统

本论文主要阐述了基于NT的局域网监控系统软件的开发,这里是在实验室的环境下来实现的。这套监控软件以Delphi 6作为开发工具,采用C/S编程模式,分为服务器软件和客户端软件两部分,本地客户机安装客户端软件,完成往服务器传送用户名和域名的功能;安装在监控端的服务器软件利用NT系统的管理策略使客户机一开机便自动运行客户端软件,并完成数据库查询、插入操作及日常维护等工作。位于同一局域网内的服务器和客户机之间采用Delphi 6的TServerSocket、TClientSocket控件完成数据交互功能。     

GO-Joe探访Unix/X

GraphOn公司日前宣布推出可用于所有Java桌面系统的瘦型客户机X服务器软件——GO-Joe。该软件可为所有Java桌面系统如JavaStation或Java浏览器及IE和Navigator提供访问Unix/X应用的能力。GraphOn公司已开始销售GO-Joe软件。通过采用RapidX协议和瘦型客户机体系结构,GraphOn公司已经实现一个纯Java客户机,这种客户机软件非常小,因此它能够很容易地被插入到Web网页中,并根据需要下载。GraphOn公司的第一个获得成功的瘦型客户机PC X服务器GO-Global使用了相同的协议并支持相同的瘦型客户机。 GO-Joe软件已广泛地在全球数千台Java桌面系统上进行了几个月的测试。许多大型企业正在计划将GO-Joe软件作为他们转移到基于Java计算环境的     

基于GSM短消息的整流装置远程监控系统

针对整流装置运行环境恶劣、故障率高和维护困难等特点,在Windows环境下基于短消息服务SMS(Short Message System)技术开发了一个远程监控与故障诊断系统;该系统由客户机和服务器组成,客户机负责采集数据、下达指令,服务器软件采用组态的方式开发,实现整流装置的在线监控、专家诊断、故障报警、数据综合管理等,服务器与客户机之间运用SMS短消息编程进行远程通信;该系统已成功应用于工业现场,取得了很好的效果。     

基于Socket的整流装置远程监控系统

针对整流装置运行环境恶劣、故障率高和维护困难的特点,开发一个远程监控与故障诊断系统。该系统由客户端和服务器组成,客户端负责采集数据、下达指令。服务器软件采用组态的方式开发,实现整流装置的在线监控、故障诊断报警、数据综合管理等。服务器与客户机之间采用Socket编程进行远程通信,并在数据传输中定义心跳包,用于检测通信状态,以保证通信和数据传输的正常。该系统已成功应用于工业现场。     

短信技术在大型整流装置远程监测系统中的应用

针对整流装置运行环境恶劣、故障率高和维护困难的特点,在分析了GSM网络特点的基础上,基于短消息(short messagesystem)技术开发一个远程监控与故障诊断系统;该系统由客户端和服务器组成,客户端负责采集数据、下达指令。服务器软件采用组态的方式开发,实现整流装置的在线监控、故障诊断报警、数据综合管理等。服务器与客户机之间采用SMS短消息进行远程通信;该监控系统具有使用方便、成本低等特点。该系统已成功应用于工业现场。     

Delphi使用技巧——第四讲 使用Delphi开发C/S应用软件

Borland公司发行的Delphi,除单机版外,还有Client/Serv-er版,专门用来开发客户机/服务器软件。 一、客户机/服务器体系结构简介 客户机/服务器(C/S)体系结构是相对于集中处理方式和分布处理方式而提出来的,是一种把应用处理负载分布到客户机和服务器上的处理模式。虽然客户机和服务器也可以同存于一台计算机上,但绝大多数客户机/服务器系统的客户机和服务器在物理上是分开的,通过网络连接来交换信息。这种模式保证了每台客户机既可以独立运行,又可以与服务     

基于OPC UA技术的Labview与PLC通信

本文提出了在系统中基于OPC UA技术的上位机Labview与下位机PLC-300的通信实现.该通信是在两台PC机间实现的数据交互.一台PC充当客户机,另一台充当服务机,服务器与PLC-300相连.客户机通过UA与服务器连接,进而实现客户机上的Labview与服务器相连的PLC进行通信.介绍了在Labview中如何创建可以与UA Server进行安全连接的UA Client,最终实现Labview与PLC的安全通信.在Labview中可以实时显示PLC中的数据变化,并把采集到的数据以文本文件的形式保存起来,供后续观察回放.通过实验验证了该方法的可行性,该系统具有开发周期短,灵活性强,系统稳定的优势.充分验证了利用此方法实现数据通信的可行性.     

一种算法无关的PVFS负载均衡机制

并行文件系统PVFS的数据服务器负载分配缺少均衡机制,因此无法减轻热点数据服务器负荷。通过文件数据备份的方式将任务迁移,同时解决在迁移过程中的数据服务器与元数据服务器上的数据一致性,将热点数据服务任务转移到较空闲的服务结点上,可以提高整个系统的数据吞吐率。主要涉及了热点监测与报告、迁移源-目的的选取以及数据备份与任务迁移过程三个部分的工作。由于采用了机制与策略分离的设计思想,在该框架下可以采用不同的均衡策略(算法)以适应不同的应用。     

并行虚拟文件系统客户端缓存技术研究与实现

缓存技术是一种提高文件系统性能的关键性技术．在并行文件系统中实现客户端缓存，既能够减轻集群服务器系统的通信负载，又能有效地提高文件系统的性能．对PVFS并行文件系统进行了分析，建立了客户端缓存模型，就客户端缓存实现的一些关键性问题，如一致性、查找、替换等进行了研究，给出了解决方案，并在此基础上实现了一个客户端缓存的原型系统．测试结果表明，加入缓存后，PVFS整体性能有明显的提高．     

一种基于授权机制的分布式文件系统小文件访问优化策略

针对分布式文件系统应用于海量小文件访问模式时, 元数据请求过多导致系统性能下降的问题, 提出了客户端元数据缓存授权机制的解决方案. 客户端从服务器读取元数据时, 申请相应类型的授权, 服务器分析请求并决定是否授予此客户端所访问的元数据的授权. 若客户端成功获取授权, 则将其与本地缓存的元数据相关联, 作为缓冲有效性的凭证. 当再次访问本地缓存的元数据时, 若有相关授权, 则可以直接从本地获取元数据, 无需向服务器发送缓存数据的有效性验证RPC. 仿真实验表明, 文中的方法有效的降低了客户端发送元数据请求RPC的数量, 节省了宝贵的网络带宽资源, 降低了元数据服务器的负载.     

一种基于副本的PVFS负载均衡机制

并行虚拟文件系统PVFS的数据服务器缺少负载均衡机制,因此存在热点服务器,降低了系统整体性能.提出了一种基于副本的负载均衡机制,通过文件数据备份的方式进行负载迁移,以解决这一瓶颈问题.其通过选择备份文件时权衡文件的热度与大小以降低数据备份的开销,将热点数据以较小代价转移到较空闲的服务器上,有效地提高了整个系统的数据吞吐量.其主要涉及了热点监测、数据备份源-目的节点选择以及备份文件策略3个部分的工作.实验结果表明:提出的负载均衡机制有效地提高了系统的整体性能,最高达到了24%.     

基于ARM11的H.264硬编解码视频传输系统设计

为了解决视频信息冗余、视频传输系统成本较高,视频编解码效率低等缺陷,研究了一种基于H.264硬编解码器的视频传输系统;该系统采用以ARM11为核心的,包含多媒体硬编解码器MFC的S3C6410作为处理器,使用CMOS摄像头采集实时视频数据;在嵌入式Linux操作系统上构建基于live555的RTSP服务器,监听客户端请求;重点阐述了多媒体硬编解码器MFC对视频数据进行的H.264硬件压缩编码,以及数据包的RTP封装,然后经由live555流媒体服务器转发至PC机;最后,在PC上对接收到的数据流进行解码播放,经实验测试证明,系统设计稳定可靠,具有可扩展性强、性能高、成本和功耗低等优点,图像质量和时延满足实际应用需求。     

面向嵌入式机顶盒终端的P2P网络电视直播系统的设计与实现

针对当前IPTV直播应用中,集中服务模式对服务器性能和网络设施要求较高、可扩展性较差的问题,提出了一种基于P2P(点对点)技术的直播系统Clear Live。与现有的P2P视频系统只针对PC终端的情况不同,该系统主要面向IPTV应用,面向嵌入式机顶盒终端,并兼容PC终端。Clear Live针对机顶盒终端的特点和IPTV应用的环境做了适当的和针对性的设计。实际系统测试结果表明,Clear Live系统能在较低的硬件配置下为大量用户提供高质量的直播服务。     

中间件技术在数据库中的运用

随着企业信息愈来愈庞大,网络环境的日益复杂,越来越多的客户机/服务器引入了中间件技术,中间件通常是由一个API定义的软件层,负责处理不兼容的操作系统或文件结构,调节客户机/服务器或服务器与服务器之间的通信。     

异构的多媒体数据共享系统的设计与实现

本文介绍一个异构环境的多媒体共享系统的设计与实现。系统基于客户／服务器模式，提供了异构平台的多媒体数据的共享和文件存取。试验结果表明，这是一个较低成本和较实用的多媒体数据共享系统。     

Performance benefits of non-volatile caches in distributed file systems

We study the use of non-volatile memory for caching in distributed file systems. This provides an advantage over traditional distributed file systems in that the load is reduced at the server without making the data vulnerable to failures. We propose the use of a small non-volatile cache for writes, at the client and the file server, together with a larger volatile read cache to keep the cost of the caches reasonable. We use a synthetic workload developed from analysis of file I/O traces from commercial production systems and use a detailed simulation of the distributed environment. The service times for the resources of the system were derived from measurements performed on a typical workstation. We show that non-volatile write caches at the clients and the file server reduce the write response time and the load on the file server dramatically, thus improving the scalability of the system. We examine the comparative benefits of two alternative writeback policies for the non-volatile write cache. We show that a proposed threshold based writeback policy is more effective than a periodic writeback policy under heavy load. We also investigate the effect of varying the write cache size and show that introducing a small non-volatile cache at the client in conjunction with a moderate sized non-volatile server write cache improves the write response time by a factor of four at all load levels.     

高性能集群文件系统的研究

集群系统提供了强大的批处理和并行计算的能力,具有高性能、高可扩展性、高吞吐量和易用性等特点,但是I／O性能和处理器性能的不匹配使得I／O成为许多应用的瓶颈,特别是处理大量数据的应用就更是如此。针对集群系统当前的现状,克服该瓶颈的常用方法就是采用一种并行虚拟文件系统（PVFS）技术。随着Linux群集系统性能的持续提高,高速并行文件已成为并行计算的一个必备部分。并行虚拟文件系统（PVFS）为高性能计算（HPC）群集和大型I／O密集并行应用提供了这样一个文件系统。首先介绍了PVFS的结构;然后研究了PVFS的存取和管理机制;最后分析,PVFS的工作原理。