基于RSS的OAI框架中元数据同步问题解决方法

OAI协议的飞速发展促使了仓储数目的不断增大,导致服务提供者在短时间内无法及时收割数据提供者仓储更新的元数据记录.文中将RSS技术应用到OAI协议中,提出了一种OAI框架中元数据同步问题的解决方法.该方法以XSLT为基础,将数据提供方的元数据记录转换为对应的聚合文件(RSS1.0和RSS2.0),利用RSS技术的即时性、标准统一、易于整合等特点,有效地维护了数据提供方和服务提供方元数据的同步,从而实现了两方信息的同时更新并提高了信息的利用率.     

高校机构知识库元数据质量控制问题研究

纵观国内外研究现状,专家们还未制定出比较系统的、普遍适用的质量控制机制。机构知识库中的元数据的质量控制,对于提高整个知识库的质量有着重要意义。提出通过引入OAI—PMH元数据收割协议和DC元数据来保证元数据的规范性,并分析挖掘元数据之间的内在关系,以实现元数据的提交智能化,通过丰富机构中基础数据的建设和加强平台控制功能,从而实现对元数据的质量控制。根据以上提出的元数据质量控制方法,针对高校机构知识库中元数据的特点,提出了具体的质量控制方案,验证了所提方法的可行性。     

基于OAI协议的元数据交互解决方案

OAI旨在通过定义简单的协议来解决元数据的交互性问题,以便有效分发数据内容。本文简要介绍了OAI的历史并详细阐述了元数据收获的技术标准及其应用。     

分布式地球系统科学数据共享平台研究

科学数据共享平台是科学数据共享活动的重要支撑,既是标准规范和数据资源物化的平台,又是用户服务的窗口,其关键是要实现数据资源由数据生产者向数据使用者的流动。在分析分布式地球系统科学数据共享平台内涵的基础上,提出了以“总中心、认证中心和若干分中心”为构架的“物理上分布、逻辑上统一”的分布式软件体系。对用户单点登录与权限认证、数据中心信息同步、元数据汇交与同步收割、多源异地数据资源透明访问等关键技术进行了详细的论述。基于Java EE环境,研制开发了分布式地球系统科学数据共享平台,软件平台能够实现跨部门、跨操作系统的部署。目前,软件平台已经部署在总中心和13家分中心,为用户提供了稳定的“一站式”数据共享服务。     

元数据互操作技术探讨

首先分析了元数据互操作的三个层次和当前互操作技术的发展趋势；然后以元数据互操作技术OAI为实例分析，简单介绍了OAI的技术框架和OAI协议的主要特点，并给出了元数据采集系统一般的设计方法和需要考虑的问题；最后对元数据互操作的几种技术进行了效益分析和比较，并介绍了设计一个复杂的系统时通常采用的策略。     

基于OAI的数字图书馆中元数据互操作框架

提出一种基于最新的元数据互操作协议———OAI的元数据互操作框架。文章给出了框架中各个组件的模块及功能说明,并说明各模块之间的交互。这种框架克服了以前人们所提出的其他集成方法过于复杂、难于实施的缺点。     

图书馆元数据信息发布平台及其应用

文中研究了图书馆信息服务。信息服务呈现多元化、个性化的趋势,根据需求定制服务十分重要,图书馆信息可以重复利用是服务定制的保障。提出元数据信息发布平台设计方案,发布平台利用中国机读目录抽取信息,并结合互熵一信息检索方法提高抽取信息的正确性,抽取的信息以元数据形式存储,通过OAI协议发布。给出发布平台的应用实例,说明信息发布平台如何为毕业设计过程管理系统提供数据服务。     

科学数据中心间互操作模式研究

【目的】为了满足学科交叉融合对科学数据互操作的需求,解决科学数据中心资源重复存储问题,促进跨学科数据资源的有效利用。【方法】本文调研了现有的科学数据互操作技术与模式、国内外科学数据中心间互操作的现状,分析了各种互操作模式与技术适用的条件以及我国科学数据中心的特点。【结果】最终,提出了两大类共7种科学数据中心间互操作的模式,即基于元数据收割的转接板模式、基于元数据框架的元数据信息交换站模式、基于多领域本体映射的关联数据模式、元数据映射模式、本体模式、现有系统再整合模式和统一信息化系统模式,同时提供了我国科学数据中心互操作模式的实施建议。【结论】本研究提出的科学数据中心互操作模式具有可落地性和可实施性,能大大促进交叉学科科学数据资源的共享与利用,具有非常重要的推广意义和价值。     

面向无人机遥感数据共享的元数据设计与实践

针对无人机遥感数据的载荷类型多元、平台种类多样以及数据结构复杂的特点,文章在充分调研国内外已有的地理空间元数据标准基础上,设计了面向数据共享的无人机遥感数据的核心元数据总体结构和详细内容。同时,以基于B/S架构的数据共享平台为载体,通过元数据编辑和展示的方式实现无人机遥感数据的共享。通过实践应用,数据共享平台目前已汇集2 814例多载荷多平台的无人机遥感元数据,实现了无人机遥感数据共享的初始形态。该研究设计的无人机遥感元数据规则及构建的共享平台,可为实现进一步的无人机遥感数据共享提供核心基础和技术支撑。     

公共元数据配置管理平台设计

随着互联网快速发展,各平台利用元数据来组织和管理平台数据资源,平台内平台具有封闭性使得元数据资源分散、反复存储,增大元数据共享难度,降低元数据利用率。为解决这一问题,提出公共元数据配置管理平台,将公共元数据统一配置管理,利用Web Service技术提供配置与共享元数据服务,采用Redis内存数据库提高数据共享效率。目前,已在气象大数据平台中运用了基于气象公共元数据的配置管理平台,其不仅提高了平台公共元数据的利用率、节约存储,也提高了服务的响应速度。同时,将配置管理平台的主要功能抽象,使平台设计可适用于其他类似的基于元数据的数据共享平台。     

OAI-PMH中元数据重复问题解决方法

针对OAI-PMH框架中存在的元数据重复问题,根据重复元数据出现的两种情况给出了相应的解决方法.对于SP中来自同一个数据提供方中的元数据,根据元数据记录的标识符和时间戳去重;对于SP中来自不同数据提供方中的元数据,采用向量空间模型计算元数据间的相似度,进而达到去重目的.通过对OAI-PMH框架中元数据的去重,不仅减少了...     

基于FIHC的OAI-PMH服务提供者框架

针对服务提供者收割的大量元数据组织问题,提出一种基于以高频项目组合为基础之阶层式文件群聚法(FIHC)的元数据收割协议服务提供者框架,通过FIHC模块对元数据进行聚类并生成一棵簇树。实验结果表明,该框架能够合理组织元数据,提高了检索速度,便于用户按类浏览。     

空间数据库中栅格元数据管理模型的设计与实现

分析了栅格元数据基于文件、关系表和XML的3种存储管理方式,比较它们的优缺点,得出了XML适合描述空间数据库中栅格元数据的层次性、复杂性和面向对象性,并具有可扩展性。在BeyonDB中设计和实现了基于XML的栅格元数据管理模型,并以地球系统科学数据共享平台中DEM数据集为例验证该模型的可扩展性,为空间数据库中海量遥感影像数据的管理研究提供参考。     

数字资源共享平台框架的设计和实现

从数字资源共享平台的需求入手,分析了目前建设数字资源共享平台面临的一些问题,提出了一种数字资源共享平台的框架设计,并基于CNRI Handle System和OAI-PMH给出了该框架的技术实现方案.最后介绍了一个实现实例--中国大学数字博物馆共享平台.     

支持OAI-PMH的元数据互操作体系结构设计与实现

随着全球数字图书馆的迅猛发展,互操作成为亟待解决的重要问题。OAI-PMH协议的制定为在元数据级别上设计实现一个统一、高效的互操作框架创造了条件。文章基于北京大学数字图书馆项目,详尽阐述了一个典型的支持OAI-PMH互操作体系结构的完整的设计与实现;不仅包括在理论上逻辑清晰的设计方案,在实现上也采用了比较成熟又兼具理论和应用前景的技术,如Java、DOM、XML、Oracle9i等。该文的工作为将来联合式数字图书馆这一发展方向做出了很好的尝试。     

基于区块链的物联网数据服务信誉评估模型

地质大数据共享与应用平台、专业移动大数据服务平台等现有集中式物联网数据服务平台多数存在缺乏信誉评估体系、用户隐私泄露、数据防篡改能力弱等安全性问题。为使用户能从海量物联网数据中精准快速地检索出高质量数据,设计并实现基于区块链的数据服务信誉评估模型。利用层次分析法进行信誉评估指标权重计算,采用智能合约和星际文件系统实现物联网数据的存储、验证、保护和共享,通过区块链和Redis缓存技术完成物联网数据和信誉数据的安全快速存取,同时使用环签名技术保证评价真实性并隐藏用户个人信息。测试结果表明,该模型具有去中心化、可信、安全高效和不可篡改的特性,能够满足物联网数据服务平台的信誉评估需求。     

上海市资源与环境数据共享平台的实现

提出一种基于元数据和Web services的分布式异构数据共享技术方案,通过元数据实现对分布式数据的集中描述和管理,利用Web services标准化处理并获取异构数据。该方案已成功应用于上海市资源与环境数据共享平台,有效解决了分布式异构数据的共享问题,提高了数据的利用效率。     

QMDS: a file system metadata management service supporting a graph data model-based query language

File system metadata management has become a bottleneck for many data-intensive applications that rely on high-performance file systems. Part of the bottleneck is due to the limitations of an almost 50-year-old interface standard with metadata abstractions that were designed at a time when high-end file systems managed less than 100 MB. Today's high-performance file systems store 7–9 orders of magnitude more data, resulting in a number of data items for which these metadata abstractions are inadequate, such as directory hierarchies unable to handle complex relationships among data. Users of file systems have attempted to work around these inadequacies by moving application-specific metadata management to relational databases to make metadata searchable. Splitting file system metadata management into two separate systems introduces inefficiencies and systems management problems. To address this problem, we propose QMDS: a file system metadata management service that integrates all file system metadata and uses a graph data model with attributes on nodes and edges. Our service uses a query language interface for file identification and attribute retrieval. We present our metadata management service design and architecture and study its performance using a text analysis benchmark application. Results from our QMDS prototype show the effectiveness of this approach. Compared to the use of a file system and relational database, the QMDS prototype shows superior performance for both ingest and query workloads.     

Privacy-aware data cleaning-as-a-service

Data cleaning is a pervasive problem for organizations as they try to reap value from their data. Recent advances in networking and cloud computing technology have fueled a new computing paradigm called Database-as-a-Service, where data management tasks are outsourced to large service providers. In this paper, we consider a Data Cleaning-as-a-Service model that allows a client to interact with a data cleaning provider who hosts curated, and sensitive data. We present PACAS: a Privacy-Aware data Cleaning-As-a-Service model that facilitates interaction between the parties with client query requests for data, and a service provider using a data pricing scheme that computes prices according to data sensitivity. We propose new extensions to the model to define generalized data repairs that obfuscate sensitive data to allow data sharing between the client and service provider. We present a new semantic distance measure to quantify the utility of such repairs, and we re-define the notion of consistency in the presence of generalized values. The PACAS model uses (X, Y, L)-anonymity that extends existing data publishing techniques to consider the semantics in the data while protecting sensitive values. Our evaluation over real data show that PACAS safeguards semantically related sensitive values, and provides lower repair errors compared to existing privacy-aware cleaning techniques.