RE-OEM：一种半结构化生物数据的信息抽取模型*

在分析半结构化生物数据特点的基础上,提出了一种新的半结构化数据抽取模型RE-OEM。它将OEM数据模型和正则表达式有机地结合起来,不但能够灵活方便地表示各种数据结构,而且能够非常方便地进行模式匹配和数据的定位,为半结构化生物数据的抽取打下坚实基础。     

半结构化数据到结构化数据的模式抽取

在分析现有的半结构化数据的存储方式及存在的问题基础上,引入了小集合属性、集合属性、聚类集合、模板集合、父属性序列等概念,借助映射表达语言STORED,提出了一种基于数据挖掘的半结构化数据到结构化数据的模式抽取的方法。     

半结构化数据的模式抽取

模式抽取在半结构化数据研究领域中具有重要意义。论文结合同类对象集和标签路径的概念,提出了一种从OEM模型中抽取模式的新方法。算法的基本思想是:在用OEM模型表示的半结构化数据中查找同类对象集,并通过构造模式表的方法来实现模式抽取。这种方法不但能从层次结构数据中抽取模式,而且还能从包含环路的OEM数据中进行模式抽取,克服了其它一些算法不能从带有环路的数据中进行模式抽取的缺点。     

基于约束的半结构化信息的抽取方法

为了对WEB上不规则的动态信息按照数据库的方式集成和查询,本文采用对象交换模型(OEM)建立WEB上信息模型。为了将页面中各个部分表示为对应的OEM对象,本文(1)设计了半结构化信息的抽取算法;(2)定义了满足约束条件的数据抽取格式,并且设计了输出正确抽取格式的候选者算法;(3)给出测试结果。该方法可以抽取结构化和半结构化的信息,比现有的抽取方法通用性更强。     

一种基于XML的半结构化数据存储方法

提出了一种基于XML存储半结构化数据的方法,设计并实现了相应存储与解析算法。鉴于OEM模型是一种图状模型,而通常的XML据模型是树状模型,为此需解决图状模型数据映射为树状模型数据这一关键问题,利用XML元素和属性的语义信息可从语义级别解决该问题。,     

一种结构化数据和半结构化数据的统一集成模型

结构化和半结构化数据的统一集成和访问是目前Web数据访问中急需解决的问题。文章提出了一种半结构化数据表示模型———层次数据图(HDG),给出了结构化数据向HDG的转换方法,并就不同结构HDG的统一集成问题进行了探究。     

一种用于存储与查询半结构化数据的新方法

由于半结构化数据缺乏模式信息,因而半结构化数据的存储与查询将是一个十分重要且具有挑战性的研究课题。利用关系数据库存储半结构化数据可以重用数据库的查询优化器和事务处理机制,能够保证半结构化数据的一致性和完整性。该文提出一种实现半结构化数据存储与查询的新方法,该方法使用关系数据库系统来实现半结构化数据的存储与查询。给出了把基于半结构化数据的查询重写为基于关系的查询的算法,同时介绍一个可视化查询程序。     

网际网上半结构化数据抽取与知识发现方法及其实现

1.引言在信息化程度日益提高的今天,半结构化信息已遍及社会的各个领域。例如,网际网(World WideWeb,又称WWW)已成为一个巨大的信息源,然而WWW上的信息并不能以一种通用的方式进行查询及操纵,大量的信息是以静态的HTML文本形式存储并只能通过浏览器来浏览,因此如何有效利用这类信息显得尤为重要。虽然某些站点或许也提供了一些     

数据挖掘中的半结构化数据

半结构化数据是网络中一种重要的数据形式,也是进行数据挖掘的重要基础。因此要对Internet上巨量的数据进行数据挖掘,半结构化数据及模型是前提。本文介绍了半结构化数据的相关概念及其数据模型。     

半结构化数据的模式研究综述

1 引言近年来,Internet的飞速发展已经给人类的生活带来了翻天覆地的变化,网络迅速成为一种重要的信息传播和交换的手段。在Internet上,存在着大量的各种形式的数据,如文本文件,HTML文档,各种数据库等,如何快速准确地在网上查找所需的信息,成为一个重要的问题。为了解决这个问题,各种搜索引擎维护了大量网站和网页的索引信息,主要采用关键字匹配的     

ReDE:一个基于正则表达式的生物数据抽取方法

从异构生物数据源抽取数据,建立查询分析平台是目前研究的热点,而抽取过程会涉及大量相互依赖的元数据,充分利用这种依赖关系可降低维护工作量.基于正则表达式(RE)提出了ReDE抽取方法:通过围绕RE组建立分析树,设计了基于RE的关系数据库模式生成算法和通用抽取与组装算法,其特点是:RE是惟一的元数据,易于管理和维护.该方法奠定了生物数据库辅助设计工具和高自动化抽取工具的基础,已用于构建国内第1个整合的生物信息在线数据仓库.     

一种大数据时代海量数据抽取的开发模型研究

随着大数据增长速度提高、数据体量增大, 数据的冗余也将会越来越大, 传统的数据软件分析模型已经不能满足需要海量信息的处理和分析的需要, 如何从大数据里面抽取有效的信息, 对数据进行有效的分析和决策, 建立新的数据模型, 对数据进行分析和处理就显得尤为重要。采取了一种更适合大数据时代的数据抽取模型, 并给出了数据抽取的判定方法。此方法具有复杂度低, 易于实现, 具有良好的估计性能。     

L-Tree Match: A New Data Extraction Model and Algorithm for Huge Text Stream with Noises

In this paper, a new method, named as L-tree match, is presented for extracting data from complex data sources. Firstly, based on data extraction logic presented in this work, a new data extraction model is constructed in which model components are structurally correlated via a generalized template. Secondly, a database-populating mechanism is built, along with some object-manipulating operations needed for flexible database design, to support data extraction from huge text stream. Thirdly, top-down and bottom-up strategies are combined to design a new extraction algorithm that can extract data from data sources with optional, unordered, nested, and/or noisy components. Lastly, this method is applied to extract accurate data from biological documents amounting to 100GB for the first online integrated biological data warehouse of China.     

正则表达式的Web数据提取研究

Internet正在日益成为一个重要的信息来源,如何对Web数据进行检索和加工,使得用户能够更好地利用Intemet上的数据资源己经成为了新的研究热点。文中论述了半自动化数据提取算法,其中使用了基于扩展正则表达式的信息槽提取算法和基于网页特性的事件分割算法。同时描述了利用这些算法的信息提取系统,并详细介绍了系统的体系结构和实现细节。该系统可以被用于真实的Web环境中以提高存储、利用信息的效率,在一定程度上解决在Internet上获取信息及利用信息的困难。     

正则表达式的Web数据提取研究

Internet正在日益成为一个重要的信息来源,如何对Web数据进行检索和加工,使得用户能够更好地利用Internet上的数据资源己经成为了新的研究热点。文中论述了半自动化数据提取算法,其中使用了基于扩展正则表达式的信息槽提取算法和基于网页特性的事件分割算法。同时描述了利用这些算法的信息提取系统,并详细介绍了系统的体系结构和实现细节。该系统可以被用于真实的Web环境中以提高存储、利用信息的效率,在一定程度上解决在Internet上获取信息及利用信息的困难。     

基于结构化P2P的分布式数据流系统的查询处理模型

分析了基于结构化覆盖网的分布式查询处理模型,支持大量数据流的分布式存储,连续查询间、查询内的并行处理操作,能够在很大程度上消除资源约束问题（主要是内存）,提高了查询性能、服务质量,并且该查询模型具有很好的扩展性。     

BioSeg：一个生物序列数据模型

生物序列数据的表达和存储是生物序列数据处理的关键。当前的数据库管理系统不能有效地支持生物序列数据类型和操作,人们不得不用文本数据类型或直接使用文本文件存储生物序列数据。这种状况造成了生物序列比对、模式发现等数据处理的低效率。研究了生物序列数据的特征,分析并归纳了用户对生物序列数据的查询需求,提出了一个新的生物序列数据模型BioSeg。BioSeg模型由描述部分和多维数组组成,描述部分表示生物序列注释和其他相关信息,多维数组表示具体序列（如DNA序列“ATCCCGTA”）。BioSeg模型提供了实现生物序列数据查询的代数操作。相对于生物序列数据的文本存储方式,BioSeg模型提供的数据查询具有良好的效率和灵活性。     

仿生复眼型多源监测数据融合与专题信息提取

以天地网一体的水利立体监测体系建设,加强智能感知技术应用为背景,借鉴蝇类昆虫复眼的信息采集与处理机制,提出一种仿生复眼型多源监测数据融合与专题信息提取的系统设计模式.通过构建虚拟的"小眼"群汇聚卫星遥感和地面站网多传感器数据/信息,以及模拟大场景(LF)和小场景(SF)生物神经网络的适应性信息处理策略,对汇聚的数据/信...     

基于Web挖掘的化学物质信息提取应用研究

针对多信息源网站中化学物质信息的获取与数据库的更新查询问题,运用网络爬虫技术和包装器方法实现数据的抽取;采用自定义XML文件的方式,提出了任务分割、动态更新检查、失败重试机制方法,实现了动态信息源网站中化学物质信息的持续、实时抽取,并进行异常处理和监控。将抽取的数据运用正则表达式和排序算法进行预处理并构建全面而准确的化学品环境安全数据库,最终实现了对原有数据的更新查询,在一定程度上保证了可靠性、可用性、可扩展性、可维护性。