集群计算中并行文件系统的设计研究

文中首先阐述了基于集群的并行文件系统和并行I/O的研究现状、并行文件访问特点及其研究必要性,然后介绍了所研究、设计的一种应用于集群中的新型并行文件系统CLUPFS,重点介绍了CLUPFS中的各组成部分的功能和实现,最后指出了CLUPFS并行文件系统进一步研究与实现的方向.     

并行文件系统在集群系统中的应用研究

随着集群系统得到广泛应用,集群系统计算能力的不断提高,在并行运算的过程中,对数据读写速度的要求也越来越高,I/O的吞吐能力成为该过程的瓶颈。为了提高读写速度,以解决I/O瓶颈问题,通过并行文件系统替代以前的NFS文件系统。并行文件系统具有管理简单,可合理保护已有投资的优势。并行文件系统由于其多I/O服务器并行读写,可有效提高数据的读写速度,解决数据读写瓶颈,缩短资料处理周期。在此基础上建立存储池,可为地震资料处理解释一体化打下坚实的基础。     

Parfsnow++:一个充分使用内存的并行文件系统

本文介绍了一个在工作站网络环境下实现的加入了分布式共享存储器机制的并行文件系统Ｐａｒｆｓｎｏｗ＋＋,它充分使用工作站的内存资源进行数据共享和替换。本文介绍了此文件系统的系统组成,文件操作,最后给出了性能评价。     

一种新的附网存储集群系统的研究与设计

设计了一种新的附网存储集群(简称NNASC)。在NNASC中:通过多用户文件系统将多iNAS(一种支持iSCSI的NAS)虚拟化成一个大的存储池,从而满足了海量存储和高扩展性的需求;通过iSCSI技术,NNASC同时提供文件I/O服务和块I/O服务,使NNASC具有NAS和SAN的优点;通过并行FTP,NNASC提供良好的并行文件I/O性能,并使整个NNASC的资源得到充分利用;通过高速附网通道,NNASC中的每一个NAS能同客户端直接通信,从而消除服务器瓶颈并提高了用户I/O请求的响应速度。实验结果显示,NNASC的文件I/O响应速度高于iNAS,比普通NAS的文件I/O响应速度高的更多,而块I/O响应速度也超过iNAS。     

并行文件系统简介及主流产品对比

对并行文件的主要功能及作用进行了描述,并对各类并行文件系统的技术原理进行了分析;通过对不同产品的元数据管理及锁管理的实现机制的分析,给出了相应技术指标的比较,同时分析不同机制下的优缺点,并结合中国联通BSS系统的特性,给出了各类共享文件系统的适用场景。     

并行文件系统PVFS

介绍了Linux集群上的并行文件系统PVFS(Parallel Virtual File System)系统的特点、设计原理及实现。该系统有开放的源代码，并支持多种应用程序接口(API)。     

基于海量日志的入侵检测并行化算法研究

随着计算机技术和互联网的迅猛发展,对海量日志进行分析并进行入侵检测就成为重要的研究问题。针对这一现象,提出在Hadoop平台下利用并行化的数据挖掘算法对海量的日志信息进行分析从而进行入侵检测,然后利用搭建好的Hadoop集群环境对其进行验证,对不同大小的日志文件进行处理,并与单机环境下对比,证明在该平台下进行入侵检测的有效性和高效性,同时实验证明如果增大集群中的节点数目,执行效率也会相应的提高。     

网络集群渲染的技术优势

介绍了利用集群计算机优势，通过网络分发软件和并行3D实现渲染的主要技术。     

基于OSD的pNFS性能评测与分析

传统高性能存储服务如存储局域网（SAN）和网络附加存储（NAS）在性能和扩展性上难以满足海量数据的处理要求。基于对象存储设备（OSD）的并行网络文件系统（pNFS）通过元数据和数据的分离,有效弥补网络文件系统（NFS）性能和扩展性上的不足。为了解其实际性能,文章对基于OSD的pNFS与传统NFS进行了对比测试。首先介绍了pNFS的结构和特点,然后从吞吐率、小文件事务处理性能等方面对其进行测试,并与NFS的性能进行了对比分析,结果表明pNFS在同等硬件条件下可提供较高的吞吐率和扩展性。最后,针对现有原型系统的不足,提出改进方案。     

并行文件系统PARFSNOW++中的CooperativeCache技术的研究

本文介绍了并行文件系统PARFSNOW++中采用的有权限控制的复合协作式缓冲管理机制,并针对当前协作式缓冲机制中的问题,提出了新的全局内存数据同步和数据替换策略.它们能有效地提高全局内存数据同步和缓冲数据替换的效率.通过实验,本文证明了引入这种改进的协作式缓冲机制后,并行文件系统效率得到了提高.     

一种多服务器协作文件动态调整并行下载机制

为提高分布式存储系统中文件的获取速度,提出一种尾块动态调整的多节点协作并行下载算法,通过对文件分块下载中的最后一块进行调整使得多个并行下载流尽可能同时结束.对比实验结果表明本文的下载算法提高了下载速度,改善了用户的下载体验.     

一种分层并行计算的软件化雷达系统

为解决软件化雷达系统实时处理大规模数据的问题,提出了一种分层级的分布式并行计算方法,并设计了一种低延时大规模数据处理能力的软件化雷达系统.该系统采用三层并行计算方法,利用ZeroMQ技术实现了任务级的分布式计算,多线程技术实现了线程级的多核并行计算,Arrayfire平台实现了数据级的图形处理单元(Graphic Pr...     

一种新型P2P应用层并行路径选择机制

在网格业务网络或者点对点（P2P）网络中使用并行路径来实现文件传输业务时,为了仅依靠P2P层的技术在多条可行的并行路径间选择较优并行路径,切实提高业务的稳定性,可靠性和吞吐率,提出了＂弱相关路径＂的概念,采用被动测量方法,设计了P2P层并行路径间相关性的测量算法和测量机制;进而,设计了基于测量结果的路径选择机制。使用网络模拟器NS-2对此算法和机制进行了仿真实验,实验结果证明此算法和机制能够增强并行路径文件传输的平均性能。     

基于多DSP的高速通用并行处理系统研究与设计

介绍了一种基于多DSP的并行处理系统设计与实现,以及其在分布式雷达组网航迹融合中的实际应用。重点介绍了该系统由1块系统主板和4块TS201处理板卡组成的原理和结构,即系统内主板与处理板卡的板级并行设计、单块板卡多DSP并行结构的设计、板级间,单块板卡内传输通道的设计。通过具体应用说明,该多DSP并行处理系统充分体现了航迹融合的实时、高速特性,作为硬件处理平台具备高速、通用的特点。     

并行多通道模式识别系统的研究

本文研究了在相干光和非相干光照明下,微透镜阵列的并行处理特性,并利用这种特性构造了并行多通道模式识别系统。     

一种高速并行信号处理系统设计

现代嵌入式系统的广泛应用对信号处理运算量以及实时性都提出了更高的要求,通过多处理器构建并行处理体系结构已经成为了解决这一问题的必然趋势。在研究并行处理体系结构的基础上,设计并实现了一种基于多DSP+FPGA的高速并行信号处理系统,该系统具有集成度高、运算能力强、通用性好、可扩展性好等特点,满足大规模实时信号处理的实际应用需求。     

基于Hadoop云计算平台的海量文本处理研究

针对海量文本数据处理,为实现快速文本处理响应,缩短海量数据为辅助决策提供服务的时间,基于Hadoop云计算平台,建立HDFS分布式文件系统存储海量文本数据集,通过文本词频利用MapReduce原理建立分布式索引,以分布式数据库HBase存储关键词索引,并提供实时检索,实现对海量文本数据的分布式并行处理。实验结果表明,Hadoop框架为大规模数据的分布式并行处理提供了很好的解决方案。     

基于NX主模型的模具并行设计在PDM中的实现

NX主模型是在产品生命周期中,协调全局,指导并保证数据共享和数据全局一致性的统一的数字化几何模型。在产品数据管理中,主模型是以基于产品数据管理为核心的一个中央数据库文件。利用NX软件主模型设计原理,以三维模型为单一数据源,实现产品数据管理系统(PDM)下的产品并行研发,能有效提高模具设计的效率和质量。文章探讨了PDM系统中利用主模型进行并行设计的原理和实现方法,最后以具体设计实例验证了方法的有效性。