基于本体的网页数据抽取技术的研究

随着网络上信息的飞速增长,网络已发展成为一个巨大的数据库,人们对快速准确地获取网页数据提出了更多的需求。目前,自然语言处理领域已经将网页信息抽取技术的研究作为一个重点。首先该文介绍了关于本体的一些基础知识,在此基础上提出并实现了一种基于领域本体的网页数据抽取方法。在该文中,利用领域本体的关键词、概念及关系来生成抽取规则,采用语法分析模块对输入的文档进行预处理,最后根据语法分析的机构和生成的抽取规则来对文档实现数据抽取。实验证明,该方法具有良好的性能。     

基于本体的旅游信息抽取

基于本体的信息抽取技术是一种把本体和信息处理技术结合起来实现信息抽取的一种方法。提出一种基于本体的旅游领域信息抽取方法。该方法依据旅游本体的关键词定位页面信息区域,从网页中抽取正文信息,对其进行分词处理及过滤,再根据Java标注模式引擎JAPE(Java Annotation Patterns Engine)编写的规则进行本体匹配,形成结构化的内容,存入数据库。最后,通过实验证明了所提出的方法的准确性。     

基于个人信息领域的语义信息抽取系统①

在利用本体进行信息抽取的基础上,提出了一个基于个人信息领域的语义信息抽取系统框架,将语义抽取从WEB领域扩展到个人信息领域;系统对个人信息领域内的网页,电子邮件,本地数据库和本地文件夹建立本体,根据本体之间的语义关联,实现个人信息领域内数据的交流。系统详细描述了语义信息抽取系统的实现过程,并以电子邮件为例重点介绍了语义信息抽取的算法。     

基于网络资源与用户行为信息的领域术语提取

领域术语是反映领域特征的词语.领域术语自动抽取是自然语言处理中的一项重要任务,可以应用在领域本体抽取、专业搜索、文本分类、类语言建模等诸多研究领域,利用互联网上大规模的特定领域语料来构建领域词典成为一项既有挑战性又有实际价值的工作.当前,领域术语提取工作所利用的网络语料主要是网页对应的正文,但是由于网页正文信息抽取所面临的难题会影响领域术语抽取的效果,那么利用网页的锚文本和查询文本替代网页正文进行领域术语抽取,则可以避免网页正文信息抽取所面临的难题.针对锚文本和查询文本所存在的文本长度过短、语义信息不足等缺点,提出一种适用于各种类型网络数据及网络用户行为数据的领域数据提取方法,并使用该方法基于提取到的网页正文数据、网页锚文本数据、用户查询信息数据、用户浏览信息数据等开展了领域术语提取工作,重点考察不同类型网络资源和用户行为信息对领域术语提取工作的效果差异.在海量规模真实网络数据上的实验结果表明,基于用户查询信息和用户浏览过的锚文本信息比基于网页正文提取技术得到的正文取得了更好的领域术语提取效果.     

基于视觉特征和领域本体的Web信息抽取

为了解决网页信息的自动抽取,该文提出了一种基于视觉特征和领域本体的Web信息抽取算法。该算法以基于领域本体的信息抽取为基础,根据网页的视觉特征来准确划定信息抽取区域,然后结合DOM树技术和抽取路径的启发式学习,获得Web页面中信息项的抽取路径。通过信息项的抽取路径自动生成信息项的领域本体,通过信息项的领域本体解析出信息项的抽取规则。使用本算法来进行Web信息的抽取,具有查全率与查准率高、时间复杂度低、用户负担较轻和自动化程度高的特点。     

一种基于OWL-S领域本体的Web服务语义标注方法研究

提出一种基于领域服务本体的语义标注方法.并结合电力系统领域本体对该方法进行实例说明,该方法通过分析文档(或者网页)的关键信息,使用基于OWL-S本体的语义描述方法建立关键信息与本体概念之间的映射.采用这种方法对文档进行语义标注后,可以把文档隐含的Web服务信息显式地表现出来,这样多个文档(或者网页)之间就具有语义关联关系.为服务的语义解析及智能监控提供基础.     

基于视觉特征和领域本体的Web信息抽取

为了解决网页信息的自动抽取,该文提出了一种基于视觉特征和领域本体的Web信息抽取算法.该算法以基于领域本体的信息抽取为基础,根据网页的视觉特征来准确划定信息抽取区域,然后结合DOM树技术和抽取路径的启发式学习,获得Web贞面中信息项的抽取路径.通过信息项的抽取路径自动生成信息项的领域本体,通过信息项的领域本体解析出信息项的抽取规则.使用本算法来进行Web信息的抽取,具有查全率与查准率高、时间复杂度低、用户负担较轻和自动化程度高的特点.     

基于本体的甲骨文专业文档语义标注方法

在甲骨文领域本体语义环境的基础上,提出一种针对甲骨文卜辞这种特殊结构的文档进行语义标注的方法。为提高标注的准确率,分析甲骨文特有的特征,并针对这种特殊的文档提出一系列规则。该方法首先对甲骨片上的卜辞信息进行分解,然后在甲骨文本体知识的指导下进行概念抽取。对于每个具体的实例概念在本体知识库中寻找其语义环境信息。按照所提出的规则分别计算这些信息与具体一条卜辞的重要度,最后以三元组的形式把标注信息存放于标注库中。实验结果表示,该方法依据领域本体的语义环境大大提高了标注的准确率。     

基于本体的Web生物信息抽取方法研究

针对传统的基于关键词的搜索与数据检索存在的弊端,本文提出基于本体的Web信息抽取框架。该框架首先获取Web页面,将其转换为格式良好的HTML文档,然后利用HTML解析器将该文档转化为DOM树,再根据XPath表达式获取用户感兴趣的数据块,由此生成抽取规则,最后通过OntPMatch算法实现数据的抽取,并以RDF数据格式储存信息。本文以棉花信息为研究对象加以实证研究,实现Web生物信息数据抽取原型系统,为方便用户发现有价值的Web生物信息资源提供一个有效的工具。     

基于本体的Web信息抽取系统

为了解决已有信息抽取系统中方法不具有重用性及不能抽取语义信息的问题,提出了一个基于领域本体的面向主题的Web信息抽取框架.对Web中文页面,借助外部资料,利用本体解析信息,对文件采集及预处理中的源文档及信息采集、文档预处理、文档存储等技术进行了分析设计,提出了文本转换中的分词及词表查询和命名实体识别算法,并给出了一种知识抽取方案.实验结果表明,该方法可以得到性能较高的抽取结果.     

隐马尔可夫模型解决信息抽取问题的仿真研究

研究Web文档服务的准确性和快速性,网络信息抽取成为处理海量网络信息的重要手段,而大量异构信息的有效抽取是非常困难的,为了改进和提高系统对于海量异构网页信息的抽取查全率和查准率,提出了一种新的信息抽取的方法,算法利用了隐马尔可夫模型在处理规则知识上的优势对每个页面构建HTML树,并利用Shannon熵来定位数据域,再用Maxi-mum Likelihood方法实现隐马尔可夫模型的构建,实现对Web信息的抽取。仿真结果表明,通过对大量学术论文头部结构信息的抽取,应用算法可以使信息抽取在召回率和准确率方面有明显的提高。     

一种新的基于Ontology的信息抽取方法

把语法分析和Ontology 结合起来,先利用领域Ontology里的概念、关系、关键字自动生成标注规则(Rule),然后对文章、句子的语法结构进行分析,再利用语法分析的结果和先前生成的标注规则一起对文档进行信息标注与抽取,最后把信息抽取的结果以记录的形式输出。     

FORM表单反馈网页信息抽取的研究与实现

实现了以table标记为信息存贮特点的多记录网页信息的自动抽取工作,该抽取方法从网页信息的存贮特点入手,将有用信息定位于表格中,该抽取方法能够在一个网页中自动查找结构相同或相似的记录模式,并自动分析该记录模式的结构特点从而调用相应的抽取模式(XSLT文档)实现对信息的自动抽取。     

基于文档结构与深度学习的金融公告信息抽取

针对金融类公告中的结构化数据难以被高效快速提取的问题,提出一种基于文档结构与Bi-LSTM-CRF网络模型的信息抽取方法。自定义一种文档结构树生成算法,利用规则从文档结构树中抽取所需节点信息;构建基于信息句触发词的局部句子规则,抽取包含结构化字段信息的信息句;将字段的结构化信息抽取看作序列标注问题,分词时加入领域知识词典,构建基于Bi-LSTM-CRF的神经网络模型进行字段信息识别。实验结果表明,该信息抽取方法可以满足多类型公告的结构化信息提取,最终的信息句与字段信息抽取的平均F1值均可达到91%以上,验证了该方法在产品业务中的可行性和实用性。     

基于Bootstrapping的本体标注方法

实现语义Web目标的一个重要前提是利用本体词汇标注Web资源。为此,提出一种基于弱监督(Bootstrapping)的本体标注方法。对给定的本体进行解析,生成规则文件,通过文本分类筛选出领域文档。采用Bootstrapping的方法进行信息标注抽取和本体推理,经过几次循环后,只利用少量的训练文本就能达到较好的标注效果。实验证明,该方法实体识别准确率高,标注效果好。     

一种全自动生成网页信息抽取Wrapper的方法

Web网页信息抽取是近年来广泛关注的话题。如何最快最准地从大量Web网页中获取主要数据成为该领域的一个研究重点。文章中提出了一种全自动化生成网页信息抽取Wrapper的方法。该方法充分利用网页设计模版的结构化、层次化特点,运用网页链接分类算法和网页结构分离算法,抽取出网页中各个信息单元,并输出相应Wrapper。利用Wrapper能够对同类网页自动地进行信息抽取。实验结果表明,该方法同时实现了对网页中严格的结构化信息和松散的结构化信息的自动化抽取,抽取结果达到非常高的准确率。     

基于无秩树自动机的信息抽取技术研究

针对目前基于网页结构的信息抽取方法的缺陷,提出了一种基于无秩树自动机的信息抽取技术,其核心思想是通过将结构化(半结构化)文档转换成无秩树,然后利用(k,l)-contextual树构造样本自动机,依据树自动机接收和拒绝状态来对网页进行数据的抽取.该方法充分利用结构,依托树自动机将传统的以单一结构途径的信息抽取方法与文法推理原则相结合,得到信息抽取规则.实验结果表明,该方法与同类抽取方法相比在准确率、召回率以及抽取所需时间上均有所提高.     

基于Internet的军事演习信息抽取系统

论文论述了Web文档的信息抽取的基本方法,设计并实现了一个基于Internet上的军事演习信息抽取系统—SBIES。在系统中引入了分装器的机器学习算法来获取网页抽取规则,采用基于最大熵模型的组块分析方法进行部分语法分析,利用模式匹配的方法实现信息的自动抽取,以数据库与XML相结合的方式组织信息库,并实现信息的Web表示和查询。系统测试结果表明,它具有较高的抽取召回率和抽准确率。     

基于Ontology的视频描述信息抽取系统

网络视频信息包括视频内容和视频描述信息。鉴于效率问题,网络视频监管主要考虑视频描述信息。结合本体论和成熟的Java字符处理规则,提出基于Ontology的网络视频描述信息抽取方法。建立网络视频领域内的本体模型,自定义启发式抽取规则,并应用Java编程将该方法应用于某部委国家级视频监管项目中。实验结果表明,该方法在抽取的准确率和覆盖率上取得了较好的效果。     

启发式规则网页主题定位方法绿网系统的应用

随着Internet的迅猛发展,我国网民的数量激增。为了能快速地过滤网上的不良信息的传播,绿色网络软件就必须能快速地抽取网页的信息才能完成这个项目设计任务。这绿色网络软件要求提取信息抽取速率非常快速。传统的绿色网络信息抽取的方法无法适应绿色网络网页信息抽取在速率上的需求。文中提出启发式规则网页主题提取方法,去解决绿色网络中网页信息快速抽取这一问题,从而有效地解决快速抽取任务。给出了结合绿色网络实际情况实现一个可以快速定位主题的模块系统。