一种无改写的正则表达式分析树构造算法

数据抽取常用正则表达式(RE)来描述数据源.为实现可视化描述,需将RE转换成分析树.但现有基于改写的RE分析树构造方法会破坏数据对象的内在结构,不能用于数据抽取问题.提出了一种无改写的RE分析树构造算法.实验表明,该算法在时空间性能和实用性等方面优于现有RE分析树构造算法.     

VI-DE: DE-Wrapper的可视化编辑调试环境

介绍了VI—DE，数据抽取工具DE-Wrapper的可视化编辑调试环境。DE—Wrapper使用扩展正则表达式（ERE）描述数据源结构，根据陵ERE构造数据抽取树（DE-树），然后根据DE-树生成相应的关系数据库模式，最后抽取数据。VI-DE整合了DE-Wrapper的工作流程。该工具首先使用可视化界面支持ERE／DE-树可视化构建，然后自动检查该ERE／DE．树是否具有二义性，最后在样本数据七运行抽取算法并给出数据库结构和抽取结果，供用户进行评价，从而逐步引导用户设计出满足要求的ERE／DE-树。VI—DE已用于构建国内第1个整合的生物信息存线数据仓库系统。     

基于XML的Web数据抽取研究

文中介绍了三种常用的Web数据抽取的方法：直接解析HTML文档的方法,基于XML的方法（也称作为分析HTML层次结构的方法）以及基于概念建模的方法。重点研究其中的基于XML的数据抽取方法,基本做法是将原始的HTML文档通过一个过滤器检查并修改HTML文档的语法结构,从而形成一篇基于XML的XHTML,然后利用XML工具来处理这些HTML文档。实现了从非结构化的HTML文档向结构化的XML文档转化的预处理过程,给在Web挖掘中使用传统的数据抽取方法进行数据抽取创造了有利条件。     

基于本体的Web生物信息抽取方法研究

针对传统的基于关键词的搜索与数据检索存在的弊端,本文提出基于本体的Web信息抽取框架。该框架首先获取Web页面,将其转换为格式良好的HTML文档,然后利用HTML解析器将该文档转化为DOM树,再根据XPath表达式获取用户感兴趣的数据块,由此生成抽取规则,最后通过OntPMatch算法实现数据的抽取,并以RDF数据格式储存信息。本文以棉花信息为研究对象加以实证研究,实现Web生物信息数据抽取原型系统,为方便用户发现有价值的Web生物信息资源提供一个有效的工具。     

一种基于树结构的Web数据自动抽取方法

介绍了一种基于树结构的自动从HTML页面中抽取数据的方法．在HTML页面的树形结构之上，提出了基于语义块的HTML页面结构模型：HTML页面中的数据值主要存在于语义块中，不同的HTML页面的主要区别在于语义块的区别．基于语义块的结构模型，自动抽取通过4个步骤完成：通过HTML页面比较发现语义块；区分语义块中数据值的角色；推导数据模式和推导抽取规则．在实际HTML页面上的实验已经证明，这种方法能够达到较高的正确率，同时，随着文档的增大，方法也能够保证线性的时间复杂度．     

一种基于神经网络的规则获取方法

分类问题是数据挖掘中的一个重要问题，分类目的就是寻找规则，具体来说，就是从给定的数据集合中找出能把数据集划分成不相交的若干个组的规则，目前已有的在大型数据库中挖掘分类规则的数据挖掘方法，主要还是基于符号学习机制的决策树方法．本文研究了一种新型的规则抽取算法，能够从神经网络中抽取出较好的规则．     

RE-OEM：一种半结构化生物数据的信息抽取模型*

在分析半结构化生物数据特点的基础上,提出了一种新的半结构化数据抽取模型REOEM。它将OEM数据模型和正则表达式有机地结合起来,不但能够灵活方便地表示各种数据结构,而且能够非常方便地进行模式匹配和数据的定位,为半结构化生物数据的抽取打下坚实基础。     

事件抽取综述

将用户感兴趣的事件从非结构化信息中提取出来,然后以结构化的方式展示给用户,这就是事件抽取。事件抽取在信息收集、信息检索、文档合成、信息问答等方面有着广泛应用。从全局出发,事件抽取算法可以分为基于模式匹配的算法、触发词法、基于本体的算法以及前沿联合模型方法这四类。在研究过程中根据相关需求可使用不同评价方法和数据集,而不同的事件表示方法也与事件抽取研究有一定联系;以任务类型区分,元事件抽取和主题事件抽取是事件抽取的两大基本任务。其中,元事件抽取有基于模式匹配、基于机器学习和基于神经网络这三种方式,而主题事件抽取有基于事件框架和基于本体两种方式。事件抽取研究在中英等单语言上均已取得了优秀成果,而跨语言事件抽取依然面临着许多问题。最后,总结了事件抽取的相关工作并提出未来研究方向,以期为后续研究提供参考。     

基于深度学习的关系抽取研究综述

关系抽取(RE)是为了抽取文本中包含的关系,是信息抽取(IE)的重要组成部分。近年来,研究人员利用深度学习技术在该领域开展了深入研究。由于神经网络类型丰富,基于深度学习的关系抽取方法也更加多样。该文从关系抽取的基本概念出发,对关系抽取方法依据不同的视角进行了类别划分。随后,介绍了基于深度学习的关系抽取方法常用的数据集,并总结出基于深度学习的关系抽取框架。在此框架下,对关系抽取方法在面向深度学习的输入数据预处理、面向深度学习的神经网络模型设计等方面的具体工作进行了分析与评述,最后对未来的研究方向进行了探讨和展望。     

Web行情数据的抽取研究

根据“行情数据常表现为最大的表格区域”等规律，提出了先识别最大表格再自动抽取行情数据的抽取算法，该算法无需用户定义目标区域即可自动抽取并存储数据。     

L-Tree Match: A New Data Extraction Model and Algorithm for Huge Text Stream with Noises

In this paper, a new method, named as L-tree match, is presented for extracting data from complex data sources. Firstly, based on data extraction logic presented in this work, a new data extraction model is constructed in which model components are structurally correlated via a generalized template. Secondly, a database-populating mechanism is built, along with some object-manipulating operations needed for flexible database design, to support data extraction from huge text stream. Thirdly, top-down and bottom-up strategies are combined to design a new extraction algorithm that can extract data from data sources with optional, unordered, nested, and/or noisy components. Lastly, this method is applied to extract accurate data from biological documents amounting to 100GB for the first online integrated biological data warehouse of China.     

基于元数据的数据整合平台

针对数据资源整合的共性问题,提出了一种基于元数据、结合Web服务与本体技术的数据资源共享与整合平台的实现框架(MDDI).重点讨论了基于JavaCC设计与实现的元数据自动抽取与转换工具,该工具把与各平台相关的元数据自动提取并转换为与平台无关的元数据,实现了基于元模型的元数据集成,为最终实现数据的共享和整合奠定了基础.     

国产数据仓库管理系统DM-DW的设计

数据仓库能集成多个异构数据源上的信息，以支持决策分析。本文介绍了在国产数据库管理系统DM3基础上设计的数据仓库管理系统DM－DW的三层体系结构、元数据的管理、抽取引擎的主要功能和采用的关键技术：实化视图的内部表示，实化视图增量维护及优化、监视器的监视方式及策略。     

An XML-enabled data extraction toolkit for web sources

The amount of useful semi-structured data on the web continues to grow at a stunning pace. Often interesting web data are not in database systems but in HTML pages, XML pages, or text files. Data in these formats are not directly usable by standard SQL-like query processing engines that support sophisticated querying and reporting beyond keyword-based retrieval. Hence, the web users or applications need a smart way of extracting data from these web sources. One of the popular approaches is to write wrappers around the sources, either manually or with software assistance, to bring the web data within the reach of more sophisticated query tools and general mediator-based information integration systems. In this paper, we describe the methodology and the software development of an XML-enabled wrapper construction system—XWRAP for semi-automatic generation of wrapper programs. By XML-enabled we mean that the metadata about information content that are implicit in the original web pages will be extracted and encoded explicitly as XML tags in the wrapped documents. In addition, the query-based content filtering process is performed against the XML documents. The XWRAP wrapper generation framework has three distinct features. First, it explicitly separates tasks of building wrappers that are specific to a web source from the tasks that are repetitive for any source, and uses a component library to provide basic building blocks for wrapper programs. Second, it provides inductive learning algorithms that derive or discover wrapper patterns by reasoning about sample pages or sample specifications. Third and most importantly, we introduce and develop a two-phase code generation framework. The first phase utilizes an interactive interface facility to encode the source-specific metadata knowledge identified by individual wrapper developers as declarative information extraction rules. The second phase combines the information extraction rules generated at the first phase with the XWRAP component library to construct an executable wrapper program for the given web source.     

基于元数据的通用表单动态生成技术

在信息系统领域中利用元数据自动生成通用表单的技术,不仅能提高软件的开发效率,降低软件运行的出错率,而且大大提高了软件的复用率。研究基于Delphi集成开发环境,通过不依赖数据库环境的DATASET控件,将数据库中的数据暂时存储在DATASET中,然后通过统一接口可将异构数据库的库表中内容按照一定规则显示在动态生成的表单上进行数据展示和维护。     

面向蛋白质组学数据库的元数据提取与导入工具

本文给出了一种用于提取和导入蛋白质组学元数据的工具,它是"基于元数据的蛋白质组学数据资源共享与整合平台"的一个重要组成部分。该工具被设计为元数据提取、元数据缓存、元数据导入三个模块,为实现从多种蛋白质组学数据源中提取元数据并将其导入元数据库提供了一种有效的解决方案。     

Discovering interesting inclusion dependencies: application to logical database tuning

Inclusion dependencies together with functional dependencies form the most important data dependencies used in practice. Inclusion dependencies are important for various database applications such as database design and maintenance, semantic query optimization and efficient view maintenance of data warehouse. Existing approaches for discovering inclusion dependencies consist in producing the whole set of inclusion dependencies holding in a database, leaving the task of selecting the interesting ones to an expert user.In this paper, we take another look at the problem of discovering inclusion dependencies. We exploit the logical navigation, inherently available in relational databases through workloads of SQL statements, as a guess to automatically find out only interesting inclusion dependencies. This assumption leads us to devise a tractable algorithm for discovering interesting inclusion dependencies. Within this framework, approximate dependencies, i.e. inclusion dependencies which almost hold, are also considered.As an example, we present a novel application, namely self-tuning the logical database design, where the discovered inclusion dependencies can be used effectively.     

基于元数据的通用数据维护框架设计

针对数据维护程序代码重复、对需求变化适应性差等问题,提出一种以数据库表的元数据为核心的通用数据维护框架。该元数据模型能描述表之间的一般关系和基于面向对象的继承关系。框架实现了数据操纵SQL语句和数据维护程序界面的自动生成,并能自适应表结构的变化。实际应用验证了该框架的可行性和高效性。     

面向空间数据抽取、转换、加载的元数据管理系统实现

空间数据仓库技术是为地理信息以及为社会经济发展提供高质量的决策信息而产生的技术,而空间数据抽取、转换和加载（ETL）是构建空间数据仓库必经的步骤,空间ETL过程面临的主要难点是空间数据的多源异质性问题。采用元数据技术辅助空间ETL方法,实现了空间元数据管理系统。     

基于可变时间窗口的增量数据抽取模型

基于合适的数据抽取模型持续不断地将变化的数据从各个数据源系统进行抽取集成,是各个异构系统之间进行数据共享融合的关键,也是构建增量式数据仓库来进行数据分析的关键。传统的时间戳变化数据捕获方式存在因数据抽取过程中发生异常而导致数据抽取失效,进而影响数据抽取效率的问题。鉴于此,文中借鉴时间窗口的思想,采用先抽取少量重复记录再去重的做法,对传统的时间戳增量数据捕获模型进行了改进,提出了基于可变时间窗口的增量数据抽取模型。该模型减少了异常对数据抽取的影响,增强了时间戳增量数据抽取ETL流程的可靠性,在一定程度上提高了数据的抽取效率。