统计和规则相结合的中文姓名识别方法研究

无论在自然语言处理还是在机器翻译中，中文自动分词都是一个重要的环节。歧义字段切分中的未登录词是中文自动分词中较难处理的部分，其中的中文姓名的识别对中文自动分词的研究具有重要的意义。本文针对基于统计的和基于规则的中文姓名识别方法的不足，使用统计和规则相结合的方法来识别中文姓名。利用统计方法对中文姓名进行初步识别，采用规则方法对统计识别的中文姓名进行校正，进一步提高中文姓名识别的精度。     

自动标引中中文姓名的切分

主题词的分割是计算机自动标引的第1步，由于中文姓名不像英文、欧洲语言那样可以通过大写字母来辨别，这就给姓名的识别带来一定的困难。该文根据自动标引系统的要求，充分利用姓名的特点及相关信息，给出了一个基于姓名基本结构的切分方法。通过系统标引结果证明了方法的可行性。     

多语料库作法之中文姓名辨识

专用名词虽然只占中文文章中的词的百分之一到百分之二, 但是, 如果不对这些专用名词加以处理, 将会形成自动分词的错误的大部分。本文首先描述了包括中文姓名辨识的分词方法, 然后介绍其实验结果。最后, 文章讨论了中文姓名辨识被遗漏和误判的原因, 升提出未来的研究方向。     

基于统计和规则的中文姓名识别

本文基于统计和规则提出一种中文识别方法。利用统计信息得到候选中文姓名,而后利用姓名前后的指界词、称谓词等相关信息从候选中文姓名中进行筛选,完成识别。实验表明该方法的正确率和召回率比较高,并且由于中文姓名在未登录词中占有很大比例,本文方法可以帮助进一步提高汉语自动分词的识别效果。     

基于语料库的中文姓名识别方法研究

本文在大规模语料基础上提取和分析了中文姓氏和名字用字的使用频率,研究了中文姓名识别的评价函数,动态地建立了姓名识别统计数据表和姓名阈值。提出了在不作分词处理的原始文本中进行中文姓名识别的方法。经开放测试,召回率为95.23%;精确率为87.31% 。     

基于统计的中文姓名识别方法研究

该文在大规模标注语料的基础上统计分析了中文姓名前置词频率、中文姓氏用字频率、中文名字用字频率、中文姓名后置词频率。利用这些统计数据在词语粗分的基础上实现了中文姓名的自动识别,实验测试结果:准确率93.82%、召回率89.37%。     

自动答疑系统中文自动分词模块设计与实现

中文自动分词模块是自动答疑系统的一个重要功能模块.在分析自动答疑系统中问句特点的基础上,提出一种面向课程答疑的中文自动分词算法和分词词典设计方案,并探讨运用Visual-Prolog开发基于该算法的中文自动分词模块的关键技术,包括词的表示、构建分词词典、检索分词词典和分词谓词的实现.     

火箭结构系统纵向模态自动辨识方法

针对工程中需要从火箭结构系统的整体模态中识别纵向模态,根据模态有效质量理论,提出了一种识别火箭结构系统纵向模态的自动辨识方法.以具有集中质量系统的振动特性作为算例,通过有限元软件,建立了具有集中质量系统的梁模型,利用自动辨识的方法,自动辨识出系统的纵向模态,并与应用模态分析法所计算的系统模态信息相比较,这种自动辨识方法不仅能准确的辨识出振动系统的纵向模态,而且还具有自动高效的识别特点.为准确快速建立液体火箭POGO振动系统的动力学模型等工程系统的模型提供理论依据.     

自动语音辨识对抗攻击和防御技术综述

语音辨识技术是人机交互的重要方式。随着深度学习的不断发展,基于深度学习的自动语音辨识系统也取得了重要进展。然而,经过精心设计的音频对抗样本可以使得基于神经网络的自动语音辨识系统产生错误,给基于语音辨识系统的应用带来安全风险。为了提升基于神经网络的自动语音辨识系统的安全性,需要对音频对抗样本的攻击和防御进行研究。基于此,分析总结对抗样本生成和防御技术的研究现状,介绍自动语音辨识系统对抗样本攻击和防御技术面临的挑战和解决思路。     

信息过滤中的中文自动分词技术研究

文本信息过滤技术需要解决的一个重要问题是对文档进行形式化处理,使得文本成为可计算和推理的信息,而中文自动分词是中文信息处理的基础性工作。本文对中文自动分词的主要方法进行了研究分析,构造了分词的形式化模型,说明了自动分词中存在的两个最大困难及其解决方法,最后指出了中文自动分词研究中存在的问题及未来的研究工作。     

基于中文机构名简称的检索方法研究

对于是否是中文机构名或机构名简称的自动判别,已经有广泛和深入的研究;但是对机构名简称和全称的匹配,目前鲜有研究成果。本文针对基于中文机构名简称的检索方法,研究了机构名的结构特征,总结出两种规则,定制了一个基于关键词类的分词工具,提出简称和全称匹配的一种算法,并且结合多级索引技术,实现了基于中文机构名简称的检索系统。实验结果表明,本文所提方法的准确性较好,首选准确率达到近95%,在全称机构名总数达到51万的情况下,检索平均耗时约0.21秒,达到实用要求。     

一种基于信息熵的中文高频词抽取算法

为扩展分词词典,提高分词的准确率,本文提出了一种基于信息熵的中文高频词抽取算法,其结果可以用来识别未登录词并扩充现有词典。我们首先对文本进行预处理,将文本中的噪音字和非中文字符转化为分隔符,这样文本就可以被视为用分隔符分开的中文字符串的集合,然后统计这些中文字符串的所有子串的相关频次信息,最后根据这些频次信息计算每一个子串的信息熵来判断其是否为词。实验证明,该算法不仅简单易行,而且可以比较有效地从文本中抽取高频词,可接受率可达到91.68%。     

对中文自动分词机制的研究和改进

本文研究了中文分词技术,改进了传统的整词二分分词机制,设计了一种按照词的字数分类组织的新的词典结构,该词典的更新和添加更加方便,并根据此词典结构提出了相应的快速分词算法。通过对比实验表明,与传统的整词二分、逐字二分和TRIE索引树分词方法相比,该分词方法分词速度更快。     

基于词典的中文分词算法研究

中文分词是计算机自动处理文本的基础。通过比较常用的机械分词算法的优缺点,提出了分层逐字二分算法,综合了TRIE树和逐字二分分词的特点,以求通过较小的开销来实现较快的匹配速度。实验结果表明,该算法在综合性能上有显著提高。     

基于贝叶斯网络的二元语法中文分词模型

提出基于贝叶斯网络的中文分词模型,使用性能更好的平滑算法,可同时实现交叉、组合歧义消解以及译名、人名识别。应用字齐Viterbi算法求解,在保证精度和召回率的前提下,有效提高了分词效率。实验结果显示,该模型封闭测试的精度、召回率分别为99.68%和99.7%,分词速度约为每秒74 800字。     

边界模板和局部统计相结合的中国人名识别

本文提出了一种基于篇章信息的中国人名识别算法。我们从标注语料中提取人名左右边界词语及人名用字频度作为系统知识源。识别过程是:首先利用带有频度的边界模板识别出可能的人名,并把识别结果扩散到整篇文章以召回数据稀疏导致的遗漏人名。然后应用上下文局部统计量及几条启发式规则对识别结果进行边界校正。该算法具有线性时间复杂度,大规模开放测试(针对1354篇新闻报道约304万字,含人名3.7万个)的正确率为94.52%,召回率为98.97%,效果非常令人满意。     

汉语自动分词词典新机制—词值哈希机制

汉语词典查询是中文信息处理系统的重要基础部分, 对系统效率有重要的影响. 国内自80年代中后期就开展了中文分词词典机制的研究, 为了提高现有基于词典的分词机制的查询效率, 对于词长不超过4字的词提出了一种全新的分词词典机制——基于汉字串进制值的拉链式哈希机制即词值哈希机制. 对每个汉字的机内码从新编码, 利用进制原理, 计算出一个词语的词值, 建立一个拉链式词值哈希机制, 从而提高查询匹配速度.     

基于k-近似的汉语词类自动判定

生词处理在面向大规模起初文本的自然语言自理各项应用中占有重要位置。词类自动判定就是对说情水知的生词由机器自动赋予一个合适的词类标记。文中提出了一种基于ｋ＝近拟的词类自动判定算法,并在一个１亿字汉语语料库及一个６０万字经过人工分词和词类标注汉语熟语料库的支持下,构造了相应实验。实验结果初步显示,本算法对汉语开放词类－－名词动词开窍词的词类自动判定平均正确率分别为９９．２１％、８４．７３％、７６．５     

基于统计的中文地名识别

本文针对有特征词的中文地名识别进行了研究。该系统使用从大规模地名词典和真实文本语料库得到的统计信息以及针对地名特点总结出来的规则,通过计算地名的构词可信度和接续可信度从而识别中文地名。该模型对自动分词的切分作了有效的调整,系统闭式召回率和精确率分别为90.24%和93.14% ,开式召回率和精确率分别达86.86%和91.48%。     

中文地名的自动识别

以带特征词的中文地名和不带特征词的中文地名作为识别对象，通过构建地名识别规则库，以及对规则库中规则的量化处理来体现规则在识别地名中的可信程度的不同；为提高识别的召回率，采用了两级处理策略，其中每级采用不同的识别方法。开放测试结果表明，召回率为92．23％，精确率为83.88％。