海量存储系统中高可扩展性元数据服务器集群设计

海量存储系统都采用元数据服务器机群的方式来处理文件系统的元数据信息。很多存储系统采用Hash算法来实现文件元数据在元数据机群内的分布,但是这些算法都是针对文件进行Hash。本文提出了一种目录哈希的新算法,针对目录进行Hash,并把一个目录内的元数据集中存储。本算法克服了文件Hash的不足,改善了存储系统的性能,并极大地提高了存储系统的可扩展性。     

基于分区租借的大规模作业管理系统

PWS(partitioned workload system)是引入分区化技术以及资源租借技术的作业管理系统(JMS)。分区技术加强了机群系统中资源的可管理性,通过资源租借技术提高了系统资源的利用率。优化的通信方式让PWS能够支持上千节点的大规模机群系统。PWS已经在曙光4000A超级计算机以及相关高性能计算领域中得到了应用。该文介绍了PWS的设计与实现。     

EP*:一种新型的可扩展分布式数据结构

介绍了一种新型的可扩展分布式数据结构——EP*。EP*文件可以随着记录的插入而逐渐扩展到多台服务器上,它的结构比较简单,能够同时支持单记录操作和范围查询操作。实验结果显示,与现有的EH*结构相比,EP*结构不但增加了范围查询功能,而且在文件增长过程中,其填充因子和单记录操作的消息消耗数的变化都更加稳定,而平均填充因子和单记录操作的平均消息消耗数则与EH*结构很接近。     

分布非结构化P2P网络资源定位研究

P2P系统是一个分布式系统,其中的资源如何进行定位是一个重要的问题。通过对分布非结构化P2P系统的搜索机制以及现有的改进方法的研究,给出了一种基于语义路由改进算法,并对此算法进行了模拟仿真。     

智能合约技术下微电网群电能分布式交易模型

配电网中大量独立决策的微电网参与电力市场竞争,使传统集中化交易模式面临决策耗时长、信任成本高和隐私安全等问题.针对这种情况,文章提出智能合约技术下的微电网群电能分布式交易模型.首先,构建了一个适应于电能参与分布式交易的电能交易谈判市场智能合约模型,以保障参与用户的利益.其次,为实现配电网的安全运行,提出了适用于智能合约...     

一种自组织的应用层组播层次密钥管理方案

针对现有应用层组播密钥管理方案可扩展性差、时延较大等问题,设计一种适用于大规模的自组织的层次密钥管理方案(SOKM).该方案将密钥服务器(KS)的任务分散给各个簇的特殊节点来完成,将组密钥的更新和管理限制在簇范围内.分析和仿真实验表明,与分层分簇方案MHKM相比,SOKM虽然在一定程度上增加了计算量,却有效降低了KS受攻击的可能性和组密钥分发时延,使整个组播组的安全性和密钥分发效率得到了提高,因此具有较好的可扩展性.     

Distributed Mining of Maximal Frequent Itemsets on a Data Grid System

In this paper, we propose a new algorithm, named Grid-based Distributed Max-Miner (GridDMM), for mining maximal frequent itemsets from databases on a Data Grid. A frequent itemset is maximal if none of its supersets is frequent. GridDMM is specifically suitable for use in Grid environments due to low communication and synchronization overhead. GridDMM consists of a local mining phase and a global mining phase. During the local mining phase, each node mines the local database to discover the local maximal frequent itemsets, then they form a set of maximal candidate itemsets for the top-down search in the subsequent global mining phase. A new prefix-tree data structure is developed to facilitate the storage and counting of the global candidate itemsets of different sizes. We built a Data Grid system on a cluster of workstations using the open-source Globus Toolkit, and evaluated the GridDMM algorithm in terms of performance, scalability, and the overhead of communication and synchronization. GridDMM demonstrates better performance than other sequential and parallel algorithms, and its performance is scalable in terms of the database size and the number of nodes. This research was supported in part by LexisNexis, NCR and AFRL/Wright Brothers Institute (WBI).     

具有可扩展性的3D子带视频编解码系统

在异构网络中进行的多媒体传输要求视频压缩系统具有高度的调节变换能力，也就是说具有可扩展性．可扩展性是指对码流可以进行部分解码，解码获得的重构视频的质量与接收到的信息量成比例变化．为了获得视频流的高度可扩展性—包括时域，空域和质量，提出了基于SPIHT编码原则的扩展优先扫描的方法来组织时域空域系数的位平面比特流，并设计和实现了一个基于2D t小波变换的视频编解码系统．该系统可以获得具有高度可扩展性的视频流．     

一种基于三维小波系数上下文模型的视频压缩方法

受视频编码方法3D-ESCOT的启发，提出了一种新的基于三维小波系数上下文模型的视频编码方法．该方法分为：首先．利用人眼视觉模型（HVS）对经过三维小波变换的小波系数进行量化；然后利用空间和时间相邻的系数对当前系数进行预测．以预测值的量化值作为上下文，对系数进行基于上下文的算术编码．该方法具有空间和时间分辨率可扩展性质，在视频传输中能够自动适应不同类型设备和网络带宽的变化．实验表明，该方法不仅在每个质量等级和每个时间和空同分辨率获得了比3D-ESCOT更高的压缩比，而且编解码所需要的时间更少．     

可扩展的分布式邮件系统的研究与实现

提出了一种可扩展、分布式的邮件系统设计方案.通过远程过程调用和负载的动态分配,可以将邮件储存在多个服务器上,解决了单台服务器CPU、磁盘I/O性能不足的问题;通过邮件的同步备份实现了故障冗余.通过用户映射表结构,可以将用户分配到各个服务器上,当系统中有服务器发生故障或者新增加服务器时,能够对用户进行重新分配,动态地维持每一个服务器的管理责任.实际的测试结果表明,系统性能随着服务器数量的增加基本呈线性增长,邮件服务不会由于部分服务器发生故障而终止.