GridDaEn数据网格中的元数据预取与缓存策略

因数据网格系统部署在广域网环境,所以网络传输延时将成为影响其服务质量(QoS)的主要因素之一。在对预取技术进行了深入细致的探讨之后,本文利用空间换取时间的思想提出了一种元数据的预取与缓存策略。考虑到Grid-DaEn系统中元数据自身的特点,还提出了一种新颖的元数据预取算法DHMP。     

多线程环境下基于多预取点的文件预取

为解决当前Linux内核的预取算法在多线程情况下出现预取误判的问题,依据多线程环境下进程对磁盘文件的访问特点,提出一种基于多预取点的预取算法。在Linux内核原有的预取算法的基础上,结合多线程环境下应用程序对数据的访问模式,在Linux内核的页面缓存层进行了实现。实验和分析表明,在IOzone单线程测试中,该算法和Linux内核原预取算法性能相当;在多线程测试中,读取相同大小的文件,耗时比Linux内核原预取算法至少少1/3。新算法对于提高I/O并行度,从而提高整个计算机系统并行化很有帮助。     

试分析数据挖掘技术在Web预取中的应用

互联网的出现为办公、娱乐提供了一种新方式.随着互联网的迅速发展,而在其过程中要面对的主要问题是在海量的信息中,进行有效信息的筛选.在数据挖掘技术的发展基础上,运用Web技术,分析Web预取中进行的数据检索现状,提高进行数据查询的准确性,并进行多方合作、资源共享,实现新技术的运用.     

数据挖掘技术在Web预取中的应用研究

由于近年来互联网的迅猛发展,越来越多的行业和领域都通过互联网来拓展和发展自己的市场,人们的生活方式也渐渐融入了互联网。但是,由于全球网民数量的急剧增加以及互联网本身固有的限制与传输延迟,网络对用户的服务质量越来越得不到保证。因此,由交通拥挤到网络塞车,我们需要一种更好的技术方式来解决这一问题。而未来的一大技术热点——数据挖掘技术,通过对用户的分析和归类,可以预先读取Web中的数据,从而减少网络延迟。重点介绍了数据挖掘中的关联规则算法在Web预取中的应用。     

数据挖掘技术在Web预取中的应用研究

WWW以其多媒体的传输及良好的交互性而倍受青睐,虽然近几年来网络速度得到了很大的提高,但是由于接入Internet的用户数量剧增以及Web服务和网络固有的延迟,使得网络越来越拥护,用户的服务质量得不到很好的保证。为此文中提出了一种智能Web预取技术,它能够加快用户浏览Web页面时获取页面的速度。该技术通过简化的WWW数据模型表示用户浏览器缓冲器中的数据,在此基础上利用数据挖掘技术挖掘用户的兴趣关联规则,存放在兴趣关联知识库中,作为对用户行为进行预测的依据。在用户端,智能代理负责用户兴趣的挖掘及基于兴趣关联知识库的Web预取,从而对用户实现透明的浏览器加速。     

Web预取技术的研究

预取技术是提高缓存命中率和解决Web访问延迟问题的主要方案,本文研究了网页预取技术,将数据挖掘应用于Web预取中,设计了一个为用户提供个性化服务的Web预取模型;详细介绍了对Web日志进行预处理的方法;提出了新的预取替换算法。     

Web预取技术综述

Web预取是减少用户访问延时、提高网络服务质量的关键技术之一,近年来已成为国内外的研究热点.通过利用WWW访问的空间局部性,Web预取使缓存机制从时间局部性向空间局部性扩展.归纳了Web预取技术的分类,概括和比较了不同类别的优势和局限性,给出了预取模型的基本框架及每部分的主要功能,并对各种评价标准进行了详细介绍.同时,深入分析和探讨了现有的几种典型预取算法,系统地比较了这些算法的优缺点.最后从在线性、协作预取、动态流行度、划分用户会话和基于语义与基于路径相结合等方面指出了Web预取技术的研究方向.     

基于用户当前兴趣的网页预取方法

提出了一种基于用户历史浏览情况和当前访问兴趣来对网页进行预取的算法.算法中改进了对用户页面兴趣的计算方法,借助于滑动窗口来实现预取,并综合考虑了用户兴趣和服务器负担的平衡来进行预取.实验结果表明,该算法能够较好地完成网页预取.     

多策略数据挖掘平台MSMiner的元数据管理

元数据在数据仓库中扮演着非常重要的角色,对数据仓库的设计、开发、维护和管理具有非常重要的作用.在作者开发的多策略数据挖掘平台(MSMiner)中将元数据的使用范围从数据仓库拓展到包括ETL和数据挖掘任务等的整个系统,使之成为系统的核心和各个子系统之间联系的纽带.文中介绍了MSMiner的体系结构、元数据的主要内容、元数据管理实现的难点及采用的技术.     

基于交织预取率的帮助线程预取质量调节算法

预执行帮助线程在预取过程中需要进行动态预取调节,而传统静态枚举控制参数值的控制方法在预取执行过程中保持固定不变,从而使得该方法不能够有效的为主线程提供预取质量保证（quality of service,QoS）。针对该问题,提出了一种基于交织预取率的帮助线程预取质量参数调节方法。首先,对帮助线程的预取QoS优化进行了建模分析;其次,在前期交织预取工作的基础上,提出了基于交织预取率的帮助线程参数值调节算法;最后,在真实的商用多核平台上对所提出帮助线程预取调节算法进行了评测和分析。实验结果是所提出的帮助线程预取调节算法使得基准测试程序的几何平均性能加速比为1.114,而传统静态枚举方法的几何平均性能加速比为1.135。实验结果表明,所提出的帮助线程预取质量调节算法解决了帮助线程预取过程中的参数值自动调节问题,算法不需静态枚举参数值便可以快速获得与之相近似的预取性能提升。     

基于银行数据仓库的元数据管理系统

元数据在银行数据仓库中具有重要意义。讨论元数据的分类和作用,分析元数据的管理功能,给出一种基于银行数据仓库的元数据管理系统,对其结构进行分析和说明。实践结果表明,该系统可以加强对数据的分析和管理能力,提高银行数据仓库等决策系统的灵活性和可扩展性。     

基于本体的主动元数据挖掘系统研究

传统网上信息检索是用户被动地依靠浏览超级链接网页而获取的。文中提出基于本体的主动元数据挖掘系统以及在果品领域的应用,在主动搜索、元数据生成、借助本体作用于数据的语义描述等方面,其效果是客观的。使得对信息数据的搜索从被动地获取到主动依靠计算机自动搜索;从依靠关键字作为查询依据到借助本体的作用获取语义描述的信息数据,进而提高了信息查询效率及查询的准确率,这也是当前信息检索研究的热门课题。实验证明,通过主动元数据挖掘实例可以实现语义的扩充,如同义、近义及上下位关系。同时也验证了本体对实施语义智能检索所带来的客观效果。     

一种基于元数据的数据自动提取方法

文章以高校招生数据提取为例,分析了高校招生数据的特点,设计了元数据表.通过程序从元数据表自动生成表间连接条件,动态生成结构化查询语句,实现了高校招生数据的自动提取.结果表明该方法具有操作简单、高效等特点.     

基于元数据的仿真数据质量研究

仿真数据是仿真系统重要组成部分,仿真数据质量直接决定着仿真系统的质量。为此,首先在研究仿真数据质量的基础上,对作战仿真数据进行分类并分析了仿真数据质量存在的问题;进而探索用于改进和提高仿真数据质量的途径,提出利用元数据来提高仿真数据质量的策略;研究了元数据的设计方法,并利用统一建模语言(Unified Modeling Language,UML)图描述了数据值元数据;最后在研究基础上提出了初步的基于元数据的数据管理系统结构和功能要求。     

分布式文件系统元数据服务的负载均衡框架

请求负载均衡,是分布式文件系统元数据管理需要面对的核心问题.以最大化元数据服务器集群吞吐量为目标,在已有元数据管理层之上设计实现了一种分布式缓存框架,专门管理热点元数据,均衡不断变化的负载.与已有的元数据负载均衡架构相比,这种两层的负载均衡架构灵活度更高,对负载的感知能力更强,并且避免了热点元数据重新分布、迁移引起的元数据命名空间结构被破坏的情况.经观察分析,元数据尺寸小、数量大,预取错误元数据带来的代价远远小于预取错误数据带来的代价.针对元数据的以上鲜明特点,提出一种元数据预取策略和基于预取机制的元数据缓存替换算法,加强了上述分布式缓存层的性能,这种两层的元数据负载均衡框架同时考虑了缓存一致性的问题.最后,在一个真实的分布式文件系统中验证了框架及方法的有效性.     

Metadata for Managing Grid Resources in Data Mining Applications

The Grid is an infrastructure for resource sharing and coordinated use of those resources in dynamic heterogeneous distributed environments. The effective use of a Grid requires the definition of metadata for managing the heterogeneity of involved resources that include computers, data, network facilities, and software tools provided by different organizations. Metadata management becomes a key issue when complex applications, such as data-intensive simulations and data mining applications, are executed on a Grid. This paper discusses metadata models for heterogeneous resource management in Grid-based data mining applications. In particular, it discusses how resources are represented and managed in the Knowledge Grid, a framework for Grid-enabled distributed data mining. The paper illustrates how XML-based metadata is used to describe data mining tools, data sources, mining models, and execution plans, and how metadata is used for the design and execution of distributed knowledge discovery applications on Grids.     

基于元数据的通用数据维护框架设计

针对数据维护程序代码重复、对需求变化适应性差等问题,提出一种以数据库表的元数据为核心的通用数据维护框架。该元数据模型能描述表之间的一般关系和基于面向对象的继承关系。框架实现了数据操纵SQL语句和数据维护程序界面的自动生成,并能自适应表结构的变化。实际应用验证了该框架的可行性和高效性。     

数据仓库中的元数据管理

本文首先介绍了典型的元数据管理结构;然后讨论了元数据的互操作和集成问题;最后,提出了一种多级邦联的元数据管理结构,并探讨了数据仓库与信息门户之间的元数据共享与交换问题。     

数据仓库中元数据标准的研究

元数据是数据仓库项目取得成功的关键因素之一，而元数据标准又是成功管理元数据的关键。文中介绍了数据仓库中元数据的意义，以及MDC的开放信息模型OIM和OMG的元数据规范MOF，并结合实际总结了其它几种元数据标准，在此基础上指出了元数据标准的发展方向。     

元数据驱动的数据采集系统的设计

对数据采集、元数据的概念及元数据驱动的数据采集系统的设计原则和实现方案进行了探讨.提出了通过分离系统中的元数据来实现将采集逻辑和业务逻辑相分离的数据采集体系架构.实践表明,该方案在数据仓库、数据中心等决策系统中的应用,可有效提高系统的灵活性和扩展性.