基于位置概率模型的哈萨克语人名识别

针对哈萨克语文本中人名构成特点,提出了一种基于位置概率模型的哈萨克语人名可信度计算方法,构建了一个哈萨克语人名识别系统.系统分为训练和识别两个模块,识别过程是:首先从训练语料中提取特征进行训练,得到一个特征训练模型,然后利用训练好的特征模型及少量的附加规则,对测试文本中的人名进行识别,实验结果表明此方法可行.     

一种基于词频统计的组织机构名识别方法

命名实体识别是自然语言处理必不可少的重要部分, 其中组织机构名识别占了很大的比例。提出了基于词频统计的组织机构名识别方法。训练数据主要通过百度百科词条整理得到。训练时, 利用百度百科词条名在词条文本中的频数统计进行机构构成词的词频统计。在此基础上, 构建了数学模型, 实现了组织机构名识别算法。该识别算法集成到了中文分词中, 取得了较好的识别结果, 可以满足一定的实际应用需求。     

基于词典分类器的细粒度机构名识别

为提高机构名识别精度,满足关系抽取等下游任务的需求,提出分阶段细粒度命名实体识别思想.利用Bert-BiLSTM-CRF模型对机构名进行粗粒度识别,将机构名视为短文本,采用Bert-CNN对构建的机构名词典训练细粒度分类模型,获取机构名的细粒度标签.实验结果表明,提出的分阶段方法在细粒度机构名识别上F1值最佳达到了0....     

利用未标注语料改进实体名识别性能

本文主要介绍了一个利用最大熵进行实体名识别的系统以及所采用的模型和选取的特征。这些特征包括单词本身的词法词态特征和上下文信息。利用这些在任何语言的文本上都极易获得的特征,我们采用最大熵分类器构建了一个基准系统。在此基础上,我们首先通过网络资源建立了实体名词典知识库;并利用词典和基准系统在未标注语料上抽取出现的实体名作为辅助的训练语料;最后再将这些语料加入训练。实验结果表明,辅助的训练语料能够在一定程度上提高系统的性能。     

基于CRF和规则的中文医疗机构名称识别

中文机构名称识别是中文自然语言处理的一项重要的研究课题。以中文医疗机构名识别为目标,从因特网上抓取了30余万条机构名和1 500篇包含医疗机构名的文本语料,对医疗机构名的组成特点和上下文信息进行详细的分析,总结出若干模式、规则和特征,最后结合条件随机场模型,建立了一个统计和规则相结合的中文医疗机构名识别模型。实验结果表明,该模型的识别效果很好。     

基于最大熵模型的不良文本识别

构建了一个基于最大熵原理的不良文本识别模型,该模型分为训练和测试两个模块,先从训练语料中抽取特征,利用最大熵方法对特征进行训练,然后使用经过训练的特征,对测试集中的不良文本进行识别,达到了比较满意的识别效果,最后对实验结果进行了分析。     

基于膨胀卷积迭代与注意力机制的实体名识别方法

针对传统实体名识别方法无法兼顾文本序列提取特征的有效性和神经网络模型训练速度的问题,提出一种基于迭代膨胀卷积神经网络(IDCNN)与注意力机制(ATT)的实体名识别方法。IDCNN可利用GPU并行计算的优化能力,保留长短期记忆神经网络的特性,即用简单的结构记录尽可能多的输入信息,并在准确提取文本序列特征的同时加快神经网络模型的训练速度。通过引入ATT运用文本语法信息和单词词性信息,从众多文本特征中选择对实体名识别更关键的特征,从而提高文本特征提取的准确性。在新闻数据集和微博数据集上的实验结果表明,神经网络模型的训练速度比传统的双向长短期记忆神经网络有显著提升,基于注意力的实体名识别方法的评价指标比传统的无注意力机制方法提高2%左右。     

结合多特征的支持向量机中文组织机构名识别模型

以支持向量机（SVM）为基本框架,提出一种结合多特征的支持向量机中文组织机构名识别模型。考虑中文组织机构名的特点,抽取局部特征与全局特征,并将特征向量转化为二进制表示,在此基础上建立训练集。基于1998年《人民日报》语料的实验结果表明,该混合模型对中文组织机构名的识别是有效的。同时基于不同测试数据的实验结果表明．该模型对不同测试数据源具有一致性。     

高速公路突发事件实体识别及事件分类联合模型研究

针对高速公路突发事件实体识别和事件分类任务中文本表征时存在的一词多义问题,提出使用层次多头注意力网络HMAN来学习文本字向量的高层次特征表示,结合经典的BiLSTM-CRF模型,构建一个称为HMAN-BiLSTM-CRF的多任务联合学习模型.模型共享文本特征表示模块,使用CRF对共享表征进行解码获得最优实体标注序列,而...     

一种基于主动学习支持向量机哈萨克文文本分类方法

将文本分类理论应用于哈萨克语中,给出基于支持向量机的哈萨克文文本分类系统的设计思想.从哈萨克语言学的角度对哈萨克文分析,提出哈萨克文词干提取的方法.在对支持向量机的理论分析基础上,提出主动学习算法对支持向量机进行训练,使用训练后的分类器对新的文本进行分类.实验结果表明,该方法在哈萨克文文本分类中能获得可接受的分类性能.     

基于最大熵的汉语人名地名识别方法研究

构建了一个基于最大熵原理的汉语人名地名自动识别混合模型．该模型分为训练和识别两个模块．先从训练语料中抽取特征，利用最大熵方法对特征进行训练．然后使用经过训练的特征，并结合动态词表和少量规则，对测试文本中的汉语人名地名进行识别．达到了比较满意的识别效果．最后对实验结果进行了分析．     

面向新类型人名识别的数据增强方法

人名识别常被作为命名实体识别任务的一部分,与其他类型的实体同时进行识别。当前使用NER方法的人名识别依赖于训练语料对特定类型人名的覆盖,在遇到新类型人名时性能显著下降。针对上述问题,该文提出了一种基于数据增强(data augmentation)的方法,使用新类型人名实体替换的策略来生成伪训练数据,该方法能够有效提升系统对新类型人名的识别性能。为了选择有代表性的特定类型人名实体,该文提出了贪心的代表性子类型人名选择算法。在使用1998年《人民日报》数据自动生成的伪测试数据和人工标注的新闻数据的测试结果中,多个模型上人名识别的F₁值分别提升了至少12个百分点和6个百分点。     

基于CRFs和领域规则的业务名称识别

提出一种基于条件随机场(CRFs)和领域规则的业务名称识别方法。通过实验词及词性的不同组合选择特征集合,由该特征训练得到CRFs模型,利用该模型测试得到业务术语,采用2-gram及编辑距离2种度量方式进行相似度计算,利用领域规则和相似度计算方法得到业务名称。实验结果证明了该方法的有效性。     

一种基于位置概率模型的中文人名识别方法

提出了一种基于位置概率模型的中文人名识别算法.系统的知识源来自于两个方面:人名列表以及标注语料库中提取的人名的左右边界词语.识别过程是:首先根据位置概率模型识别出篇章中可能的人名,然后扩散到整个篇章来召回遗漏人名,最后附加几条启发式规则来对结果进行修正.对40篇新闻语料共计120KB进行开放测试,准确率达80.5%,召回率为76.1%.     

融合词典特征的Bi-LSTM-WCRF中文人名识别

受限于标注语料的领域和规模以及类别不均衡,中文人名识别性能偏低。相比人名识别训练语料,人名词典获取较为容易,利用词典提升人名识别性能有待进一步研究。该文提取人名词典特征,融入到双向长短期记忆(Bi-LSTM)网络模型中,在损失函数中提高人名标签权重,设计加权条件随机场(WCRF)。从人名词典中获取姓和名相关的特征信息,Bi-LSTM网络捕获句子中上下文信息,WCRF提高人名识别的召回率。在《人民日报》语料和工程法律领域语料上进行实验,结果表明: 在领域测试语料上,与基于隐马尔可夫模型的方法相比,人名识别的F₁值提高18.34%,与传统Bi-LSTM-CRF模型相比,召回率提高15.53%,F₁提高8.83%。WCRF还可以应用到其他类别不均衡的序列标注或分类问题中。     

基于CRF的藏文地名识别技术研究

藏文地名识别是藏文命名实体识别中必须要解决的问题。通过分析藏文地名的特点及识别难点,阐述了藏文地名的音节、触发词、地名后续词和格助词等特性适用基于CRF模型的地名识别,通过实验,验证了6种特征对藏文地名识别的有效性。实验结果表明该方法对藏文地名识别的准确率、召回率和[F]值分别达到了96.12%、81.92%和88.45%,实验结果与已有的系统相比,取得了较好的效果。     

CRF和词典相结合的蒙古文地名识别研究

蒙古语在命名实体识别方面开展过人名的识别,但在地名的识别方面还没有开展相应的研究。首次实现了基于条件随机场模型的蒙古文地名识别。首先从蒙古语黏着性特点分析入手,研究了蒙古语语料库中地名的存在形式以及各类地名的特点,针对蒙古语语料库中地名的特点,在词汇特征、指示词特征、特征词特征等特征基础上引入了词性特征。之后通过地名词典补召了未识别的地名。以内蒙古大学开发的100万词规模的标注语料库为训练数据,该模型的地名识别性能达到了94.68%的准确率、84.40%的召回率和89.24%的F值。