基于CRF的蒙古文人名自动识别研究*

摘要：该研究以蒙古文人名识别为目的,实现了基于条件随机场模型的人名自动识别。首先从蒙古语黏着性特点分析入手,研究了蒙古语语料库中人名的存在形式以及各类人名的特点,针对蒙古语语料库中人名的特点,在词汇特征、词性特征和指示词特征等基本特征基础上引入了汉语姓氏特征、人名词典特征、兼类人名特征以及双词根特征。以内蒙古大学开发的100万词规模的标注语料库为训练数据,该模型的人名识别性能达到了94.56%的准确率,90.60%的召回率和92.54%的F值。该方法比起以往的基于的规则的系统取得了较好的结果。     

基于层次特征的藏文人名识别研究

为了提高藏文人名识别的效果,提出了结合三层的层次特征的藏文人名识别算法。提出了无需分词,仅在藏文音节粒度上,基于藏文人名三层特征：内部特征、上下文信息、并列关系特征,利用条件随机场（Conditional Random Fields, CRF）算法,进行藏文人名识别的研究。首先将人名的内部和上下文特征作为CRF特征,然后将人名并列关系特征设计为规则进一步提高识别效果。在不影响准确率的情况下,最终将人名识别的召回率提高了10.43%,综合F值达到了95.02%。其中对于藏族人名的F值提升了11%,音译人名识别的F值达到了94.09%。实验结果表明,该方法可以有效提升藏文人名的识别效果。     

基于特征耦合泛化的药名实体识别

药名识别的直接目的是从生物医学文本中寻找药名。目前,药物相关研究不断出现,远远超出了维护人员更新药物信息数据库的速度,这就迫切需要一种自动提取药物信息的技术。该文采用了一种基于特征耦合泛化(FCG)的半监督学习方法生成药名词典,然后将药名词典和条件随机场结合进行药名实体识别。首先我们用模板的方法构造了一个药名词典,然后用FCG方法对词典去噪,最后将去噪后的词典用在测试集上进行药名实体识别,得到了76.73%的F值。     

融合领域多词特征的英文武器装备名识别研究

武器装备名是军事领域中一类重要的命名实体,英文武器装备名的自动识别对于军事领域的信息处理有着重要的价值。作为一种融合了上下文特征的统计模型,条件随机场(conditional random field,CRF)在对命名实体的识别中有着广泛的应用。针对武器装备名的构造特点及CRF模型在使用语言特征上存在的不足,对已有CRF模型提出两点改进:丰富模型使用的特征,对武器装备名的构造模式与要素进行分析总结,形成针对武器装备名的要素类,并将该类别信息作为特征提供给CRF模型使用;针对构成武器装备名的要素大多是多词单位,将标注单元由词扩展到多词组合。实验结果显示,改进后模型对武器装备名识别的准确率和召回率均有明显提升,准确率由85.62%提升为90.60%,召回率由42.27%提升为88.17%。该方法不仅对于军事领域相关的信息处理任务有着重要价值,并且对于其他语种和相关领域的研究都有着重要的借鉴意义。     

基于多特征融合的东亚文种识别

针对目前基于统计特征和符号匹配的识别方法对字体较敏感的问题,提出一种基于多特征融合的东亚文种识别算法。该算法首先分析并提取高频形状特征、排版特征以及字符复杂度特征,然后采用模糊集贴近度准则进行识别。实验结果表明,该算法具有较高的识别准确率,并对不同字体具有较强的鲁棒性。     

基于多生物特征识别的网络身份认证研究

针对单项生物特征在网络身份认证过程中,可能由于用户身体受到伤病或污渍的影响而导致系统无法正常识别、合法用户无法登录的问题。提出了将多种生物特征用于网络身份认证的方法,并对相关技术进行了探讨。     

基于匹配分数的多生物特征识别融合综述

受数据噪音和识别系统本身的限制,基于单一生物特征的身份认证系统所能达到的准确率是有限的。通过多生物特征识别来提高识别的准确率成为当前生物特征识别领域的研究热点之一。首先介绍了多生物特征识别的必要性、多生物特征识别的分类,然后重点介绍了基于匹配分数的多生物特征识别融合的研究现状,最后总结了多生物特征识别研究中的问题和未来的研究方向。     

融合多类型特征的特定领域实体识别研究

特定领域实体具有分布稀疏、类型有限、领域性强等特点,与普通命名实体具有较大差别,在使用神经网络模型构建识别模型中面临训练语料规模有限、带标实体稀疏等困难。以武器装备名识别为例,研究深度学习框架下,词性、句法和领域知识融入神经网络模型的方法和效果。实验结果表明,在融入词性和领域知识后,武器装备名识别的F值分别提升了0.97%与9.5%。此外,通过在不同语料规模下进行实验并定量分析不同类型特征的分布特点,初步给出造成不同类型特征对深度学习模型有着不同支持作用的原因。     

多生物特征识别

生物特征的识别技术是一门利用人类特有的个体特征来验证个人身份的科学，它与 传统的基于口令和个人身份号码的识别方法相比更加可靠．本文先对各种不同生物特征识别 技术作了简要介绍，然后，介绍了多生物特征识别技术及其工作原理和方法，对生物特征识 别技术的应用前景和发展方向进行了分析．     

基于多尺度多粒度特征的行人重识别

针对现有的基于卷积神经网络的行人重识别方法所提取的特征辨识力不足的问题,提出了一种基于多尺度多粒度特征的行人重识别方法.在训练阶段,该方法在卷积神经网络的不同尺度提取特征;然后对获得的多尺度特征图进行分块和池化,从而得到不同尺度的全局特征和局部特征的多粒度特征,使用不确定性权重调节Softmax损失和三元组损失来对特征...     

基于置信度的藏文人名识别的主动学习模型研究

训练语料的标注成本是资源稀缺语言处理研究面临的一个重要问题,通过主动学习(active learning)方法可以选择信息量大、无冗余的语料供人工标注,进而大大降低语料标注成本。该文基于CRF模型给出的标注置信度提出了四种主动学习方法,并通过实验确定了这四种主动学习方法的相关参数。实验显示:选择置信度低于0.7的语料进行人工标注,直到新旧模型标注结果的差异度小于0.01%时,仅需6轮迭代;人工标注3.2MB的语料,藏文人名识别的F值可以达到88%,若要达到该识别效果,基于CRF的监督式学习模型需要标注约10MB的语料,该主动学习方法降低了约66%的语料标注规模。     

统计与规则相结合的维吾尔语人名识别方法

命名实体识别（Named entity recognition,NER）是自然语言处理（Natural language processing,NLP）中重要的任务,其中人名实体是主要的识别对象之一.本文从维吾尔语黏着性特点出发,从词干、音节、字符串三个角度对维吾尔语单词进行拆分,获得更小的语言单元,并把切分的新单元作为特征加入到条件随机场（Conditional random field,CRF）中,明显缓解了数据稀疏的影响,取得了比以单词为基本单元的人名识别方法更好的性能.同时还从维吾尔语中汉族人名的特点出发,提出了基于规则的维吾尔语中汉族人名的识别方法,最终利用统计和规则相结合的方法进一步提高了识别的准确率.实验结果表明,该方法人名识别的准确率、召回率和F1值分别达到了87.47%、89.12%和88.29%.     

融合词典特征的Bi-LSTM-WCRF中文人名识别

受限于标注语料的领域和规模以及类别不均衡,中文人名识别性能偏低。相比人名识别训练语料,人名词典获取较为容易,利用词典提升人名识别性能有待进一步研究。该文提取人名词典特征,融入到双向长短期记忆(Bi-LSTM)网络模型中,在损失函数中提高人名标签权重,设计加权条件随机场(WCRF)。从人名词典中获取姓和名相关的特征信息,Bi-LSTM网络捕获句子中上下文信息,WCRF提高人名识别的召回率。在《人民日报》语料和工程法律领域语料上进行实验,结果表明: 在领域测试语料上,与基于隐马尔可夫模型的方法相比,人名识别的F₁值提高18.34%,与传统Bi-LSTM-CRF模型相比,召回率提高15.53%,F₁提高8.83%。WCRF还可以应用到其他类别不均衡的序列标注或分类问题中。     

面向新类型人名识别的数据增强方法

人名识别常被作为命名实体识别任务的一部分,与其他类型的实体同时进行识别。当前使用NER方法的人名识别依赖于训练语料对特定类型人名的覆盖,在遇到新类型人名时性能显著下降。针对上述问题,该文提出了一种基于数据增强(data augmentation)的方法,使用新类型人名实体替换的策略来生成伪训练数据,该方法能够有效提升系统对新类型人名的识别性能。为了选择有代表性的特定类型人名实体,该文提出了贪心的代表性子类型人名选择算法。在使用1998年《人民日报》数据自动生成的伪测试数据和人工标注的新闻数据的测试结果中,多个模型上人名识别的F₁值分别提升了至少12个百分点和6个百分点。     

中文文本中外国人名与中国人名同步识别方法

根据中国人名和外国人名的构成特点产生潜在中国人名和外国人名，然后把它们作为节点词加入到句子的分词有向图中，利用上下文信息对有向图的边赋值．使有向图最短路径对应句子正确切分．在确定句子正确切分时识别出句子中的外国人名和中国人名，该方法可以避免由分词结果造成的人名不能被召回的现象，提高了人名识别的召回率．通过对真实语料的测试，在封闭测试中该方法对中国人名和外国人名识别的综合指标F值为97．30％．     

一种基于条件随机场的人名识别方法

本文提出了一种基于统计的中文人名识别方法，此方法使用最大概率分词模型对源句子进行粗切分，将粗切分信息融入到条件随机场模型中进行模型的训练。运用此方法分别对来自同一源语料的测试集和非同源语料的测试集进行了测试，F-值分别达到了91．3％和90．6％，证明了此方法的有效性。     

基于CRF的藏文地名识别技术研究

藏文地名识别是藏文命名实体识别中必须要解决的问题。通过分析藏文地名的特点及识别难点,阐述了藏文地名的音节、触发词、地名后续词和格助词等特性适用基于CRF模型的地名识别,通过实验,验证了6种特征对藏文地名识别的有效性。实验结果表明该方法对藏文地名识别的准确率、召回率和[F]值分别达到了96.12%、81.92%和88.45%,实验结果与已有的系统相比,取得了较好的效果。     

基于DBM-LSTM的多特征语音情感识别

为增强不同情感特征的融合程度和语音情感识别模型的鲁棒性,提出一种神经网络结构DBM-LSTM用于语音情感识别。利用深度受限玻尔兹曼机的特征重构原理将不同的情感特征进行融合;利用长短时记忆单元对短时特征进行长时建模,增强语音情感识别模型的鲁棒性;在柏林情感语音数据库上进行分类实验。研究结果表明,与传统识别模型相比,DBM-LSTM网络结构更适用于多特征语音情感识别任务,最优识别结果提升11%。     

基于膨胀卷积迭代与注意力机制的实体名识别方法

针对传统实体名识别方法无法兼顾文本序列提取特征的有效性和神经网络模型训练速度的问题,提出一种基于迭代膨胀卷积神经网络(IDCNN)与注意力机制(ATT)的实体名识别方法。IDCNN可利用GPU并行计算的优化能力,保留长短期记忆神经网络的特性,即用简单的结构记录尽可能多的输入信息,并在准确提取文本序列特征的同时加快神经网络模型的训练速度。通过引入ATT运用文本语法信息和单词词性信息,从众多文本特征中选择对实体名识别更关键的特征,从而提高文本特征提取的准确性。在新闻数据集和微博数据集上的实验结果表明,神经网络模型的训练速度比传统的双向长短期记忆神经网络有显著提升,基于注意力的实体名识别方法的评价指标比传统的无注意力机制方法提高2%左右。