海量存储系统中的元数据分级索引算法*

海量存储系统中,高效的元数据索引是减少查找元数据所需时间与空间开销的重要手段。针对现有元数据管理方法存在查找元数据所需时间与空间开销大和性能波动大等问题,设计了元数据分级索引算法。依据元数据的生命周期,将元数据分为活跃和非活跃两级;使用Bloom Fliter对均衡的活跃元数据分区生成摘要串,并使用B-树建立活跃元数据分区的索引;使用类似的方法对非活跃元数据分区,并为每个分区选择各自的哈希函数。从查找元数据所需时间与空间开销、适应能力两方面对元数据分级索引算法进行了分析,并与现有元数据管理算法进行了比较。最后实现了元数据分级索引算法的原型系统,使用真实数据集进行了测试与分析,结果表明,元数据分级索引算法能减少查找元数据所需的时间与空间开销,并具有很强的适应能力。     

基于属性分频的元数据索引算法

高效的元数据索引是一个重要手段,提高大容量存储系统的性能,在时间和空间上的开销日本性能不稳定现有的元数据管理方法存在的问题,我们设计了元数据索引算法的属性分频器。基于元数据的元数据属性的访问频率等因素,分解的高频率元件的数据分别存储到属性集和低频率的元数据属性集中,KD树生成指数高的元数据属性设置满足许多条件高频混合查询元数据属性的要求;人工免疫算法索引低频率的元数据属性设置,避免了很多额外的存储空间,同时保持较高的查询性能。该算法的原型系统使用两个真实数据集上的测试和分析,结果表明,在的财产分频元数据索引算法有时间和空间的开销,适应性强。     

基于DBMS的元数据管理策略*

海量存储系统的元数据一般采用层次结构或哈希法来管理,存在元数据修改和查询目录等操作所需时间和空间开销大等问题,严重影响了系统的性能。通过引入二维表保存元数据信息,提出了一种基于DBMS的新型元数据管理策略。分析了将基于DBMS元数据管理策略用于管理海量存储系统中的元数据信息时,所需的时空开销以及管理元数据的灵活性。验证了基于DBMS元数据管理策略能有效地减少查询和更新所需的时空开销,实现高效、灵活的元数据管理功能,从而有效地提高海量存储系统的性能。     

基于银行数据仓库的元数据管理系统

元数据在银行数据仓库中具有重要意义。讨论元数据的分类和作用,分析元数据的管理功能,给出一种基于银行数据仓库的元数据管理系统,对其结构进行分析和说明。实践结果表明,该系统可以加强对数据的分析和管理能力,提高银行数据仓库等决策系统的灵活性和可扩展性。     

一种基于XML的CMS元数据索引算法

内容管理系统(CMS)的元数据管理是其核心模块,负责记录内容的描述信息和帮助其他模块快速定位相关内容,元数据索引是为检索提速的关键技术。根据XML语言的特点,可采用它作为元数据的描述语言,因此元数据索引问题转变为XML文档的索引问题。该文在对XML数据进行形式化描述的基础上,分析了XML索引算法的特点,针对CMS元数据的特点,提出了一种支持动态更新的XML索引算法。     

元数据管理策略的比较研究

本文讨论了元数据及元数据管理的若干问题,并通过对几种元数据管理策略和元数据交换标准的比较,来分析元数据管理的发展方向,以及实现元数据管理的方式和具体步骤。     

基于元数据的地理空间数据管理

针对目前油田勘探开发工作中,积累的大量地理空间数据不能有效的进行存储,管理和共享这一问题,提出了基于元数据的地理空间数据管理.通过分析目前的元数据及管理,在借鉴其它元数据管理模型的基础上,提出了一个三层的地球物理元数据模型框架.通过基础元数据,属性元数据和实体元数据三层对信息进行管理,并对该模型进行了分析说明,给出了基于该模型的地震数据综合管理系统的总体方案以及元数据及元数据库的建设.     

基于元数据的数据仓库并行方法的应用研究

提出一种并行转换元数据管理的软件体系结构,结构基于公共仓库元模型（CWM）规范,以CWM元模型规定元数据集成、交换内容,XML元数据交换提供实时元数据交换和共享机制。采用并行数据转换结构PDTS,即可实现时应分布元数据的动态读取。体系结构有效实现了对元数据互操作和实时分布存取的可行性和有效性。     

基于模型驱动元数据管理策略的研究

目前,元数据管理存在这样的问题,各开发商使用不同的元模型来设计自己的数据仓库工具,而且对元数据的描述往往不一致,这样给数据集成带来很大的问题。使用一种基于模型驱动的方式,将元数据描述规范化,并运用基于模型驱动的公共仓库模型CWM(Common Warehouse Metamodel)来实现这一过程。该模型可以充分发挥软件的复用性,使系统有良好的通用性,从而提高系统开发效率。     

基于不相关属性集合的属性探索算法

作为形式概念分析理论中的一个重要工具,属性探索算法能够以问题为导向,交互式地逐步发现系统知识,在知识的发现和获取中居于核心地位.但是,当形式背景的规模较大时,属性探索算法的计算过程过于耗时,严重制约了算法在当前大数据时代的推广与应用.耗时瓶颈主要存在于"寻找下一个与专家交互的问题"这一环节,传统算法在此过程中存在大量冗...     

基于改进关系积的最小属性约简算法

属性约简是粗糙集理论的核心内容之一。针对现有关系积理论不能求解不一致决策表中最小属性约简的缺陷,提出一种基于知识联合划分的改进关系积和关系积约简概念,分析了关系积约简、正区域和负区域之间的性质,提出一种基于改进关系积的最小属性约筒算法。理论分析和实例计算结果表明,该算法具有可行性,能求取一致或不一致决策表中所有最小属性约简。     

基于扩展属性的元数据管理算法

元数据的管理效率对大规模存储系统性能具有重要影响.在深入研究现有元数据管理算法的基础上,提出了一种基于扩展元数据属性的元数据分布算法.该算法通过对文件系统中目录进行编码并将编码作为Hash键值,有效解决了文件重命名导致的数据迁移问题,通过使用标志位,有效地解决了目前文件系统目录删除操作中使用递归遍历方式的低效问题,提升了大规模存储系统的元数据管理效率.     

基于标引信息的网络新概念发现算法

网络新概念的发现和识别是信息安全领域的一个基础技术,它可以为网络信息智能处理、网络有效信息识别提供底层支持。通过合理地利用标引信息,算法在速度上可以满足网络海量信息的要求;为了提高新概念发现的准确率,算法不但采用了传统的分词、串频统计技术,而且还采用了字偏旁部首自动组合、网站间串频同现等新技术。实验证明,算法识别的潜在新概念中可接受率完全可以满足当前的应用需求。     

一种基于元数据的分布式数据源定位算法

随着Internet和数字图书馆这两种基础信息资源的大量涌现,用户在检索信息之前,如何选择合适的目标站点来提交查询,从而降低查询代价、提高查询效率,已经成为一个重要任务。这个问题更加一般的说法是“数据源定位”或“数据库发现”。元数据是关于数据的数据,数字图书馆中,每个数据文档由其元数据描述,元数据是数字图书馆管理、检索数据以及在各个层面上实现互操作的重要手段。文章提出了一种基于元数据的数据源发现算法,并在召回率、检索精度等方面对这种算法作了评价。     

基于最小生成树的图数据库索引算法

对复杂数据进行图模式建模近几年越来越流行,因此,在查询执行的优化过程中图索引技术变得至关重要.研究了图模式的索引问题,并且提出了一种近似的索引方法,称为MSTA方法.MSTA方法利用最小生成树结构作为索引特征,依据最小生成树边序列的包含关系和基于最大公共子图的图距离度量,将最小生成树组织到一个称为MST树的索引结构中.MST树索引结构可以高效地支持多种查询,例如子图查询.MSTA方法具备高效的索引性能.在索引大小和索引建立时间方面,传统方法是MSTA方法的数十倍,甚至上百倍.MSTA方法虽然不能返回完整结果,但是可以返回经图距离度量排序最好的部分结果.     

基于信息熵的一种属性约简算法

文章针对Rough Set理论的核心内容之一属性约简进行了研究。结合信息论的有关知识,研究了在属性约简过程中决策属性集相对条件属性集的条件熵的变化规律,在此基础上提出了新的属性约简算法。实验分析表明,在多数情况下这种算法都能够得到决策表的最小约简,同时还对算法复杂度做了简单的分析。     

基于属性桶的约简算法

基于粗糙集理论的属性约简算法是机器学习和数据挖掘领域的研究热点之一。粗糙集理论是一种新型的处理模糊和不确定信息的数学工具,在保证分类能力不变的前提下,通过知识的约简导出概念的分类规则。文中提出了一种基于属性桶的约简算法,其约简过程类似基于属性频度函数的约简算法。该算法首先构造一组与决策表决策属性个数相同的属性桶,不同的属性桶划分了不同长度的区分矩阵项,避免了约简前的排序过程。通过构造属性桶时对核属性进行特殊处理,在一定程度上简化了属性约简过程。     

基于属性桶的约简算法

基于粗糙集理论的属性约简算法是机器学习和数据挖掘领域的研究热点之一.粗糙集理论是一种新型的处理模糊和不确定信息的数学工具,在保证分类能力不变的前提下,通过知识的约简导出概念的分类规则.文中提出了一种基于属性桶的约简算法,其约简过程类似基于属性频度函数的约简算法.该算法首先构造一组与决策表决策属性个数相同的属性桶,不同的属性桶划分了不同长度的区分矩阵项,避免了约简前的排序过程.通过构造属性桶时对核属性进行特殊处理,在一定程度上简化了属性约简过程.