基于CCRF的领域本体概念上下位关系抽取

现有领域本体概念上下位关系抽取方法受到手工标注和特定模式的限制。针对该问题,提出一种基于层叠条件随机场的领域本体概念上下位关系抽取方法。以自由文本为抽取对象,采用两层条件随机场算法,将训练数据处理成条件随机场能识别的线性结构。低层条件随机场模型考虑词之间的长距离依赖,对词进行建模,识别出领域概念并对概念进行顺序组合,结合模板定义特征得到概念对;高层模型对成对概念进行上下位语义标注,识别出领域本体概念之间的上下位关系。采用真实语料进行实验,结果表明,该方法具有较好的识别效果。     

基于多模板隐马尔可夫模型的文本信息抽取算法

针对训练数据来源的多样化，提出了基于多模板隐马尔可夫模型的广本信息抽取算法。该算法利用形式的聚类方法将训练数据聚成几个类，每个类代表一个模板，在聚类的基础上利用隐马尔可丈模型进行文本的信息抽取。实验结果表明，新算法具有较高的精确度和召回率。     

基于模糊贝叶斯决策的核心概念抽取方法

为了提高特定领域核心概念抽取的效率,提出一种基于模糊贝叶斯决策的核心概念抽取方法。在特定领域内随机抽取大量文本并进行分词获取候选概念;然后采用TF-IDF算法计算候选概念的各项特征值,采用概念隶属度归一化处理候选概念特征值;最终通过贝叶斯决策计算候选概念为核心概念的概率。在财经领域相关数据集上进行文本核心概念抽取的实验结果表明,所提方法的F1值相比TextRank、LDA主题模型、word2vec词聚类模型、RNN、LSTM等的F1值有所提高。综合实验结果表明,基于模糊贝叶斯决策的核心概念抽取方法在核心概念抽取方面表现较好。     

BERT辅助金融领域人物关系图谱构建

现有的人员简历信息抽取方法无法针对金融公告中非结构化人员简历进行人员属性以及事件的抽取,无法发现金融公告中跨文档的人员之间关系。针对以上问题,将非结构化的人员简历抽取成结构化的人员信息模板,提出一种金融领域人物关系图谱构建方法。通过对BERT预训练语言模型进行训练,抽取出非结构化人员简历文本中的人员属性实体,利用训练好的BERT预训练模型获取事件实例向量,对事件实例向量进行准确的分类,填充层次化的人员信息模板,准确地关联人员属性。进一步地,通过填充好的人员信息模板,提取人员关系,构建人物关系图谱。通过构建人工标注的数据集,进行实验验证。实验表明所提出的方法可以有效解决非结构化金融人员简历文本信息提取问题,有效地构建金融领域人物关系图谱。     

一种软／硬模板相结合的定义抽取算法

术语定义抽取是信息抽取研究领域的重要内容之一。文中提出了一种结合硬模板匹配和软模板匹配技术的综合术语定义自动抽取方法。文中首先使用硬模板库对待抽取文本进行了初步的定义句匹配抽取。接着,通过使用基于N元语言模型的软模板匹配模型来计算待匹配文本中每个句子与软模板之间的匹配度,并通过设定匹配得分阈值来抽取定义句或过滤掉错误召回的非定义句。实验结果表明文中的术语定义抽取方法远远优于单纯的硬模板匹配或软模板匹配方法。     

气象文本推荐研究

气象文本是国家气象部门面向公众发布的气象信息,具体包括预警、预报、专报、公报、提示等类型。现有文本生产需要人工编写审核,效率不高,而全自动文本生成主要依赖模板、形式比较固定。针对这个现状,提出气象文本推荐思路并给出具体实现方法。气象文本推荐读入用户输入信息,自动推荐后续相关文本供用户选择,提升编写效率及质量。该方法分为两步:进行气象要素抽取,替换得到模板文本;基于模板文本构建邻居子句生成模型。要素抽取使用CRF序列标注模型,文本生成利用Seq2Seq模型。基于公开预警文本的实验结果表明:利用CRF进行要素抽取平均准确率超过90%,基于Seq2Seq模型的生成方法在BLEU值上达到12.2,准确率达到65%。     

领域相关的数学文本语义抽取

针对科技领域文档语义信息获取不充分的问题,提出一套基于规则的数学领域相关文本的语义抽取方法。首先从文本中提取领域概念并实现数学实体与领域概念之间的语义映射;然后对数学符号的上下文进行分析,获取数学符号的实体指代或文字描述,进而抽取其语义;最后基于已抽取的数学符号语义实现表达式的语义分析。以线性代数文本为研究实例,构建了一个语义标注数据集并进行实验,实验结果表明所提方法对标识符、线性代数实体以及表达式的语义抽取具有93%以上的精确率和91%以上的召回率。     

基于条件随机域模型的中文实体关系抽取

针对信息抽取领域中存在的抽取结果难以满足需要的问题,给出基于条件随机域模型的方法,以解决组块标注和实体关系抽取问题。通过定义中文组块和实体关系的标注方式,选择比较通用的《人民日报》语料,训练出效率较高的二阶模板来抽取文本中的实体关系。实验结果表明,该方法可以获得更好的抽取效果。     

基于LM算法的领域概念实体属性关系抽取

针对非结构化自由文本中关系模式比较复杂,关系抽取性能不高的问题,该文提出了利用BP神经网络的优化算法-LM算法,对非结构化自由文本信息中的领域概念实体属性关系进行抽取。首先对语料进行预处理,然后利用CRFs模型对领域概念的实例、属性和属性值进行实体识别,然后根据领域中各类关系的特点分别进行特征提取,构造BP神经网络模型,利用LM算法抽取相应关系。和适用于二分类问题的SVM相比,人工神经网络优化算法自主学习能力强,识别精度高,更适用于多分类的问题。通过几组实验表明,该方法在领域概念实体属性关系抽取方面取得了良好的效果, F值提高了12.8%。     

基于多任务学习的生物医学实体关系抽取

生物医学实体关系抽取是生物医学文本挖掘领域的一项重要任务,它可以自动从生物医学文本中挖掘实体间的相互关系。目前,生物医学实体关系抽取方法一般只针对某一特定任务(如药物关系,蛋白质交互关系抽取等)训练单任务模型进行抽取,忽略了多个任务之间的相关性。因此,该文使用基于神经网络的多任务学习方法对多个生物医学关系抽取任务间的关联性进行了探索。首先构建了全共享模型和私有共享模型,然后在此基础上提出了一种基于Attention机制的主辅多任务模型。在生物医学领域关系抽取的5个公开数据集上的实验结果表明,该文的多任务学习方法可以有效地在学习任务之间共享信息,使得任务间互相促进,获得了比单任务方法更好的关系抽取结果。     

基于维基百科的领域历史沿革信息抽取

针对在软件工程的教学过程中,由于领域概念种类多、演变快,导致学生理解记忆困难的问题,提出了通过抽取软件工程领域历史沿革主题信息构建知识库的方法。该方法首先结合自然语言处理技术与Web信息抽取技术从维基百科的自由文本中抽取实体与实体关系构建候选集;再利用关键词抽取方法TextRank从候选集中抽取与历史沿革关系最密切的实体关系;最后以关键实体关系为核心,抽取邻近的时间实体与概念实体组成五元组构建了知识库。在抽取信息的过程中,结合文本的语义信息对TextRank算法进行了改进,提高了抽取的准确率。实验结果表明,该知识库能够将软件工程领域的概念按时序特征组织在一起,验证了所提方法的有效性。     

基于领域本体的语义合成研究

为了在检索过程中全面挖掘用户查询信息,文中提出了一种基于领域本体的语义合成技术,该方法以文本为数据源,引用数据源和领域本体之间的映射关系来表达数据文本的语义.文章提出了一个语义合成模型,该模型由领域本体、关键词语义抽取、概念语义相似度计算及语义推理等相关技术模型组成.文中对该模型进行了实验验证,通过对实验结果进行分析推理可知,文中提出的基于领域本体的语义合成模型提高了检索系统的查准率和计算机处理信息的能力,从而也提高了用户的满意度.     

基于聚类的分级信息抽取方法初探

按照信息抽取粒度不同,本文在基于向量空间模型的句子聚类基础上,提出分两级建立事件模板的方法。相应地,信息抽取过程也分两级,即采用基于中心向量模型的方法抽取句子级信息,采取模式匹配的方法抽取词语或短语级信息。实验结果表明,此方法能对文本信息进行较有效的全面提取,实验结果令人满意。     

基于聚类的分级信息抽取方法初探

按照信息抽取粒度不同,本文在基于向量空间模型的句子聚类基础上,提出分两级建立事件模板的方法.相应地,信息抽取过程也分两级,即采用基于中心向量模型的方法抽取句子级信息,采取模式匹配的方法抽取词语或短语级信息.实验结果表明,此方法能对文本信息进行较有效的全面提取,实验结果令人满意.     

领域概念术语提取中特征项自动抽取方法

针对领域概念术语提取过程中特征项来源于人工获取领域文本集以及特征项抽取的准确性不高的问题,提出一种特征项自动抽取方法。首先利用第三方接口从文献资源库中获取大量领域文本集,并对其进行段落分析,在文本预处理阶段提出一种改进的无词典分词方法进行二次分词,结合TFIDF,开方检验,信息增益及词汇位置权重方法进行特征项抽取。实验结果表明,该方法能实现特征项自动化抽取,且准确性较高     

基于文本化简的实体属性抽取方法

研究了非结构化中文文本的实体属性抽取方法。引入文本化简作为抽取的预处理过程,解决传统信息抽取方法因为长难句的存在和自然语言表述多样性导致抽取效果不佳的问题。其中,文本化简被建模为一个序列到序列（seq2seq）的翻译过程,并用机器翻译领域的seq2seq-RNN模型进行实现。为了提升模型的化简效果,进行了不同层面的优化,包括使用预训练词向量、收集常用词汇表、引入词性标注和设计化简评分函数,这些优化使模型专注于化简过程中句法转换的学习。针对化简后的文本,设计基于简洁规则的方法进行信息元组和实体属性抽取。实验表明,对seq2seq-RNN的改进能提升文本化简的效果,而且在化简文本上抽取的信息数量比在原始文本上的多,信息也比较精确。     

基于领域本体的文本分割方法研究

文本分割在信息检索、摘要生成、问答系统、信息抽取等领域发挥着重要作用。在总结现有的国内外文本分割方法的基础上,提出了一种基于领域本体对文本进行线性分割的方法。该方法利用初始概念自动获取结构化语义概念集合,并根据获取的概念、属性及属性词在文本中出现的频次、位置和关系等因素为段落赋予语义标签,挖掘文本的子主题信息,将拥有相同语义标注信息的段落划分为相同语义段落,实现了文本不同子主题之间的分割。实验结果表明,该方法对于特定领域的文本分割的准确率、召回率以及F值分别达到了85%,90%和88%,分割效果能够满足实际应用需求,并优于现有的无需训练语料的文本分割方法。     

中文文本的信息自动抽取和相似检索机制

目前信息抽取成为提供高质量信息服务的重要手段,提出面向中文文本信息的自动抽取和相似检索机制,其基本思想是将用户兴趣表示为语义模板,对关键字进行概念扩充,通过搜索引擎获得初步的候选文本集合,在概念触发机制和部分分析技术基础上,利用语义关系到模板槽的映射机制,填充文本语义模板,形成结构化文本数据库.基于文本数据表述的模糊性,给出用户查询与文本语义模板的相似关系,实现了相似检索,可以更加全面地满足用户的信息需求.     

基于序列标注的漏洞信息结构化抽取方法

从漏洞信息当中抽取结构化信息对于安全研究而言有重要意义。安全研究者常需要在大规模的CVE数据中按特定要求进行筛选,或对漏洞进行自动化的分析测试。然而现有的CVE数据库中只包含了非结构化的文本描述和并不完备的辅助信息。从描述文本抽取结构化的信息能帮助研究者更好地组织与分析CVE。总结漏洞描述包含的七种核心要素,为结构化抽取建立模型,并将信息抽取转换为一个序列标注模型,构建数据集对其进行训练。实验表明,该模型能够以较高的准确率从CVE文本中抽取出各类关键信息。     

一种基于模板的快速网页文本自动抽取算法*

针对网页噪声和网页非结构化信息抽取模板生成复杂度高的问题,提出了一种快速获取非结构信息抽取模板的算法。该算法先对网页噪声进行预处理,将其DOM树结构进行标签hash映射,通过自动训练的阈值快速判定网页的主要部分,根据数据块中的嵌套结构获取网页文本抽取模板。对不同类型网站的实验表明,该方法快速且具有较高的准确度。