基于语义相关度排序的政务信息资源检索算法

政务信息资源检索是政务信息资源共享系统的重要功能。以《政务信息资源目录体系》国家标准中的XML元数据规范为依据,提出了一种支持关键词搜索的政务信息资源检索算法。该算法使用政务信息资源XML元数据的TF*IDF和关键词依赖度对检索结果集进行语义相关度排序,通过改进关键词倒排索引来提高检索效率。实验表明该算法在检索结果排序精确度和时间效率上均有较大的改善,可有效提高政务信息资源利用的数据共享服务能力。     

气象数据归档元数据索引重组织的并行算法设计与验证

气象资料归档和检索系统(MARS)实现了气象科学数据包括数值预报产品的归档和检索管理。但是,随着精细化数值预报技术的提高,MARS系统管理的气象科学数据呈海量增长趋势,对归档和检索处理技术提出了新的挑战。针对MARS系统归档操作时物理视图元数据索引结构串行更新效率低的问题,提出一种并行处理更新方法。该方法能够有效降低数据归档时物理索引结构再组织的系统开销。实验表明,相比原始的串行更新算法,采用索引结构并行更新的处理方法,使系统物理视图元数据索引结构的最大更新效率平均提高3倍左右,从而提高了气象科学数据快速归档效率。     

基于Hadoop的水利元数据语义搜索方法

为了解决水利领域中元数据搜索引擎缺乏语义理解,并且在集中式环境下索引水利元数据效率低下的问题,本文提出一种基于Hadoop的水利元数据语义搜索方法。首先结合本体与查询扩展技术的语义搜索方法,设计水利领域的本体推理规则、语义相似度计算方法、扩展词选择方法和语义相关度排序方法,从而有效地提高搜索结果的查全率与查准率;其次,针对XML形式的水利元数据建立索引的效率低下问题,引入Hadoop平台中的MapReduce并行处理模型,并行化处理解析提取元数据信息与索引建立工作,并修改SequenceFile的文件结构,以应对水利元数据的小文件问题,解决集中式环境下对水利元数据建立索引的性能瓶颈;最后利用Hadoop强大的并行计算能力,设计分布式环境下的语义扩展查询方法,从而提高水利元数据的查询效率。     

基于最短路径的道路网络k近邻查询处理

针对基于空间道路网络的k近部查询处理,提出了分布式移动对象更新策略以有效减少服务器计算代价,利用基于内存的空间道路网络部接矩阵、最短路径矩阵结构和移动对象哈希表索引分别对道路网络无向图与移动对象进行存储管理。提出了基于最短路径度量的网络扩展搜索(SPNE)算法,以通过裁剪网络搜索空间来减少k近部查询搜索代价。实验表明,SPNE算法的性能优于传统的NE和MKNN等k近邻查询处理算法。     

基于倒排索引的可搜索加密数据共享方案

针对当前医疗数据共享难、数据被攻击、密文搜索效率低的问题，提出了一种基于倒排索引的可搜索加密数据共享方案。采用基于私有链和联盟链的双链结构存储数据并实现数据共享；设计了一种新型倒排索引结构，防止敏感数据被攻击；提出了一种基于新型倒排索引结构的密文搜索算法，利用可搜索加密技术将陷门信息提交至倒排索引结构中实现密文搜索。实验表明，所提出的方案可以有效保证数据安全，提高搜索效率。     

基于SSD的云存储主服务器元数据管理研究

为了提高对云存储系统主服务器中元数据的有效管理,在数据密集型应用中,考虑到读多写少的特点符合网络中各种应用的基本特征,而文件存储的元数据往往小于4KB,我们提出一种基于SSD的针对云存储系统主服务器的元数据管理策略,建立了一套相对独立的存储服务器目录路径索引机制,此策略将元数据的管理分为两个部分：目录路径索引和文件名,充分利用SSD的低功耗与优越读性能。测试表明,基于SSD的云存储主主服务器元数据管理策略可以明显改善系统响应时间,降低延迟,提升云存储系统的性能。     

一种新的基于Dewey编码的XML路径索引

建立高效的索引来快速定位满足要求的节点是提高XML数据查询效率的一个必要手段.文中以降低复杂度和提高查询效率为目标,以基于路径的XML索引原理为基础,提出了一种新型的基于Dewey编码的索引结构RTL-Index.RTL-Index通过对文档节点编码来表示结构信息,利用前缀路径匹配操作完成结构查询,支持含通配符" 和后代轴"//"的查询以及兄弟节点无序的模式树的查询.仿真实验结果表明RTL-Index索引具有较低的时间和空间复杂度,解决了XML文档分支路径查找问题,是一种较为有效的XML索引结构.     

基于ElasticSearch的元数据搜索与共享平台

随着水利行业信息化的发展,针对海量、多源、异构数据的共享与发现成为行业研究的热点。本文设计与实现一种基于Elastic Search的水利元数据搜索与共享平台,提出针对水利异构数据的解决方案并对海量数据建立索引,利用多租户访问控制策略,保证用户索引数据的一致性与安全性。通过Rest服务对索引资源进行封装,提供搜索与多粒度的共享方式。应用表明,平台能够保证用户准确高效地获得水利行业数据,节约了水利单位构建搜索系统的成本。     

一种基于DTD的XML索引方法

路径查询是XML查询的一个主要特征,现已提出了多种XML索引方法．DTD的结构信息对于XML索引的建立及查询效率的提高很重要,但现有的大部分索引方法没有利用DTD这一有效资源,提出一种利用DTD的XML索引方法——DBXI(DTD-based XML indexing),该方法采用了新的编码方法,可使路径查询具备如下特征：对于由N个元素／属性组成的具有1个谓词约束的路径表达式,DBXI处理每个XML文档仅需0次或1次元素／属性结点集的结构连接操作;对于在XML文档中不存在匹配结构的路径查询,DBXI能够在比现有的XML索引方法较短的时间内给出无查询结果的判断．实验表明,与Lore,SphinX和XISS等索引方法相比,DBXI能够缩短路径查询的响应时间．     

非结构化P2P网络资源搜索改进算法

为了改善非结构化对等网络(peer-to-peer,P2P)资源搜索的网络负载大、搜索时间长的缺点。对现有P2P网络资源搜索算法进行了研究,在此基础上,提出一种基于索引表的跳跃式算法,该算法中每一个节点存有一定数量邻居节点的资源索引,节点利用资源索引表以跳跃方式查询节点,网络中的某些节点需要查询资源索引表,而某些节点无需查询资源索引表,直接转发查询消息即可。通过OPNET进行仿真实验表明,该算法能有效的减少网络负载和搜索延时,提高了搜索成功率。     

一种基于语义相似的P2P搜索机制

现有P2P网络规模大、动态性高、异构性强,有效的搜索技术一直是P2P系统研究中的核心问题。本文针对无结构P2P网络泛洪搜索机制的盲目性所导致的查询开销大、效率低的问题,提出了一种基于语义相似的P2P搜索机制SRVN,通过积累历史搜索经验获得路由指引信息,帮助搜索结点快速发现与搜索内容最相关的结点,从而提高搜索效率和目标命中率。实验结果显示,使用SRVN搜索机制,有效地提高了Gnutella查询性能。     

一种基于对象存储系统的元数据缓存实现方法

对象存储系统中元数据访问速度是影响文件系统性能的关键因素之一。提出了一种在客户端实现元数据缓存的方法,并用元数据操作协议保证缓存一致性,基于Hash的LFU-DA算法提高缓存查找效率。实验表明该方法减少了系统平均服务响应时间,提高了系统的I／O性能。     

叙词表及其管理系统在 CERN 生态学数据资源检索中的应用

为了更好地利用 CERN 数据管理与信息共享系统技术平台为广大科研人员提供 CERN 生态学数据资源服务,CERN 需要不断完善平台性能,其中包括提高用户搜索 CERN 数据资源的效率和可靠性.本文分析了导航式搜索、主题式搜索、关键词搜索等三种不同检索方式的优缺点,着重讨论了在关键词搜索方式中,如何引入叙词表的技术来提高检索结果的查全率、查准率和响应速度.本文介绍了叙词表的概念与 CERN 生态学叙词表的构建方法,以及如何将开源的叙词表管理系统 TemaTres 进行汉化,包括关键词浏览功能、关键词扩展功能、关键词自动填完功能、利用扩展后的关键词去搜索 CERN 生态学数据资源元数据功能的汉化实现过程.通过建设并运行 TemaTres 汉化版叙词表管理信息系统,增强了 CERN 生态学元数据中关键词编撰的可控性和规范性,并且在 CERN 数据资源元数据检索中引入了关键词之间的某些简单的语义关系,比如等级关系、等同关系 (即同义词)、相关关系,从而改善了搜索效率,同时为下一步构建生态学本体打下良好基础.     

A metadata filter for intranet portal organizational memory information systems

An intranet portal is proposed as an information infrastructure to support organizational learning. Specifically, an agent-like metadata filter for easy information/knowledge retrieval in the intranet portal is suggested and tested. The metadata filter preserves the context of digital objects and presents an uncluttered window by controlling the metadata elements. An experiment using 20 participants examined whether the metadata filter reduces search and retrieval performance time (the dependent variable). The main results indicate that the metadata filter significantly (36%) improved user's performance in identifying information. The results of the study suggest that the proposed metadata filer may be an effective interface tool to improve users' performances in identifying information in an intranet portal organizational memory information system.     

Adaptive metadata rebalance in exascale file system

This paper presents an effective method of metadata rebalance in exascale distributed file systems. Exponential data growth has led to the need for an adaptive and robust distributed file system whose typical architecture is composed of a large cluster of metadata servers and data servers. Though each metadata server can have an equally divided subset from the entire metadata set at first, there will eventually be a global imbalance in the placement of metadata among metadata servers, and this imbalance worsens over time. To ensure that disproportionate metadata placement will not have a negative effect on the intrinsic performance of a metadata server cluster, it is necessary to recover the balanced performance of the cluster periodically. However, this cannot be easily done because rebalancing seriously hampers the normal operation of a file system. This situation continues to get worse with both an ever-present heavy workload on the file system and frequent failures of server components at exascale. As one of the primary reasons for such a degraded performance, file system clients frequently fail to look up metadata from the metadata server cluster during the period of metadata rebalance; thus, metadata operations cannot proceed at their normal speed. We propose a metadata rebalance model that minimizes failures of metadata operations during the metadata rebalance period and validate the proposed model through a cost analysis. The analysis results demonstrate that our model supports the feasibility of online metadata rebalance without the normal operation obstruction and increases the chances of maintaining balance in a huge cluster of metadata servers.     

基于Hash和CAM的IPv6路由查找算法

分析实际网络中的IPv6前缀分布规律与增长趋势,提出一种基于Hash和内容可寻址存储器(CAM)的IPv6路由查找算法。将长度能被8整除的前缀存储在8个Hash表中,发生Hash冲突的前缀存储在CAM中,长度不能被8整除的前缀按照一定的组织方式存储在随机存取存储器中。分析结果表明,该算法具有较高的存储利用率、查找速率及更新速率,并且易于扩展和硬件实现。     

Ad Hoc网络QoS多播路由协议

随着高性能网络、移动网络及Internet的不断发展，具有QoS约束的多播路由技术已成为网络及分布式系统领域的一个重要研究课题．该文研讨了Ad Hoc网络中具有Qos约束的多播路由问题，其中主要包含延迟、带宽、代价等Qos约束．文中描述了一种适应于研究Ad Hoc网络Qos多播路由的网络模型，提出了Ad Hoc网络中一种具有QoS约束的多播路由协议(QMRP)．文中给出了该协议的正确性证明和复杂性分析．仿真实验结果表明，该协议较其它协议更适合于网络状态变化比较频繁的环境以及实时多媒体应用，优化了多播树的代价．QMRP为Ad Hoc网络QoS约束多播路由提供了一种新的有效途径．     

元数据管理系统的设计与实现

大规模并行数值模拟程序通常会被运行十几次甚至上百次,每次运行都会输出几十、上百、甚至上千时间步的数据,每个时间步会产生几十、上百、甚至上千个数据文件.传统的数据管理方法是使用记事本记录数值模拟结果相关的元数据信息,这种方法的缺点是大量的信息需要手工录入,同时也不方便数据查询和共享.元数据管理系统的设计目标是通过自动提取元数据来减少需要录入的元数据信息,通过集成管理与结果数据相关的各种数据来方便数据查询与共享.该系统包含5个组成部分:层次化自描述通用数据存储模型、科学计算元数据、元数据自动提取、对象数据库系统、Web界面元数据管理系统.通过用户试用,验证了元数据管理系统实现了预期的目标.     

DMetabench—a metadata benchmark for distributed file systems

The performance of metadata processing in large distributed file systems currently presents larger challenges than scaling of data throughput. The paper presents a novel, distributed benchmark called DMetabench for measuring the performance of metadata operations. DMetabench runs in environments with potentially thousands of nodes and allows an assessment of the scalability of metadata operations. Additionally, precise run-time performance data is preserved which allows for a better understanding of performance artifacts. Example results from production file systems are provided and discussed. Possible applications of knowledge about metadata performance scaling include the choice of an optimal parallelization strategy for metadata-intensive workloads in a specific runtime environment.     

对象存储系统中自适应的元数据负载均衡机制

面向对象的存储系统在研究、工程以及服务领域均得到了广泛的应用.在面向对象的存储系统中,元数据的负载均衡对于提高整个系统的I/O性能具有重要的作用.现有的元数据负载均衡策略不能动态地平衡元数据的访问负载,而且自适应性以及容错特性有待提高.提出了一种自适应的分布式元数据负载均衡机制(adaptabledistributed load balancing of metadata,简称ADMLB),包含基本的负载均衡算法和分布式的增量负载均衡算法.采用基本的负载均衡算法按照服务器的性能公平地分布负载,使用分布式的负载均衡算法定时地调整负载的分布.ADMLB采取分布式的方法均衡地在元数据服务器之间分布负载,根据负载的变化自适应地进行调整,具有很好的容错特性,而且用户可以高效地定位元数据服务器.