藏文自动分词系统中虚词识别算法研究

在分析现有藏文自动分词方法的基础上,针对藏文分词系统中虚词识别的难点进行深入研究。根据传统藏文文法,描述了藏文虚词在文本中不同的表现形式,用规则和统计相结合的方法,建立了较为全面的虚词知识库和规则库,并给出切分用虚词分块算法,该方法在不同领域的3 200个较典型的藏文句子进行了测试,结果表明,该方法的虚词识别率高达98%以上。     

基于混合策略的藏文虚词识别方法

藏文虚词在歧义消解、句法、句型和语义处理等方面起着重要的语法作用。该文在分析传统藏文虚词研究成果的基础上,统计了面向自然语言处理的藏文虚词及特征,提出了基于规则和最大熵模型相结合的藏文虚词识别策略。实验表明,该方法识别藏文虚词的准确率、召回率和F₁值分别达98.39%、98.75%、98.57%。     

藏文历史文献识别过程中藏文自由虚词的自动识别及消歧算法的研究

虚词作为藏文文献中重要成分,对文献识别过程也造成了很大的难度。本文通过传统藏文文法和语法规则,主要研究并提出了三种藏文历史文献中大量藏文自由虚词的识别算法,同时建立了具有284条规则的藏文自由虚词消歧规则库。使文献数字化过程中快速地识别并消除藏文句子中不自由虚词的歧义问题,提高藏文文献自动识别的准确率。     

现代藏语助动词结尾句子边界识别方法

藏语句子边界的正确识别是藏文文本处理首先要解决的问题。而藏语书面语中标点符号的特殊性是造成藏语句子边界识别困难的主要原因。该文主要对现代书面藏语中常见的以藏语助动词结尾的藏语句子边界识别进行研究,结合藏文标点符号的特点提出藏语助动词结尾句子边界识别方法。     

藏文问答系统中问句的分类方法研究

问句分类在问答系统领域有着重要的研究意义和应用价值。为了提高自动问句分类识别效率,本文提出了基于藏文疑问虚词的问句分类方法。该方法首先提取问句中的藏文虚词;然后根据所得的虚词进行问句分类;其次,进一步将问句细分为问题大类和小类;最后,给问题贴上分类标签。这种方法,既缩小了检索空间又提高了答案的准确性。最后对各种藏文问句分类的准确性进行了测试。结果表明基于藏文虚词问句的分类方法具有可行性和实用性。     

基于产生式规则的藏语存在句的识别研究

通过对藏语存在句的分析和研究,实现藏语存在句的识别。借助产生式的正向推理作为藏语存在句识别的知识表示方式,并用产生式规则搜索和匹配。从人工角度构建的一种基于产生式规则的藏语存在句的识别系统,以利藏语存在句的识别。该研究为实现藏语存在句的识别提供了基础。     

基于深度学习的格萨尔史诗命名实体识别研究

为深入研究藏文命名实体的基本结构、分类方法以及自动识别技术,同时为进一步完善藏语词法分析、句法和语义分析,以及机器翻译等信息处理领域的基础性研究工作,该文重点研究了实体类型较为丰富的格萨尔史诗文本,制定了六种格萨尔命名实体类型,提出了藏文音节和深度学习相结合的格萨尔史诗命名实体识别方法。在人工标注的10万多句命名实体训练集和测试集上,经实验命名实体识别的准确率、召回率和F值分别达到92.01%、91.96%和91.99%,满足了研究格萨尔史诗命名实体识别的应用需求。     

基于词语级的藏语显示情感句的情感分析与研究

藏语显示情感句是指在一个主观的语句中给一个定期或比较的意见;本文是在基于藏文显示情感句词语级语义的基础上进行藏文语句的情感研究,从藏语言显式情感句自身的特性出发,首先进行语句断句并划分出主体、客体,提取出每个显式情感句的带有情感色彩的情感词以及句子中影响句子情感极性的副词,通过义原相似度分析到概念情感相似度的计算最终得到词语相似情感理论值,在为句子情感分类的基础上扩展其他情感词。最后结合情感语义以及主体、实体之间关系的处理得出整个藏语句子的情感倾向,继而完成基于词语级的藏语显式情感句的情感研究。     

藻饰词语义网络的构建研究

藻饰词作为一种藏语词汇的特殊的语言表达形式,涉及到藏民族的生活的方方面面.随着藏语信息化的发展成为藏文信息处理中所关注的问题.首先对藏语藻饰词概念进行了界定,结合实例分析了藻饰词,进一步探讨了藏文藻饰词的语义网络的构建,即藻饰词语义场的结构与组织方法.从而更多的为计算机提供藻饰词的语义、语用层面上的信息.     

藏语语料库词类描述方法研究

藏语词类的基本属性描述是藏语语料库多级加工的基础,根据藏语语料库多级加工的实际需要,通过对藏语词类的语法、语义信息的描述和藏语词语后添加方式的分析,可以为计算机对藏文的词语搭配结构、语法信息、语义信息和词类标记进行自动处理提供一个切实可行的方法。     

基于藏语语义分析的机器翻译技术研究

藏汉机器翻译技术跟汉英机器翻译技术有所不同,其中,很重要的一个方面,藏语更依赖于格助词等虚词在句子中的作用,格助词种类繁多,用法差异很大。针对藏语格助词进行分析,在藏语短语句法树库的基础上,加入了藏语本体特征的语义信息,形成融合藏语语义信息的藏汉机器翻译方法。通过对比基于短语和句法的实验分析,该方法可以很好地应用于藏汉机器翻译系统。     

基于最大熵分类器的藏文句子边界自动识别方法研究

藏文句子的边界识别是藏文文本分析的基础性研究,是藏文与其他语种之间建立句子级平行语料库的必要工作,也是进一步进行藏汉机器翻译的基础。本文通过分析藏文句子的结束形式,研究藏文句子边界规则,提出了一种藏文句子的边界识别方法。该方法首先利用特殊规则和词表对藏文句子进行识别,然后利用最大熵模型对有歧义的句子进一步识别。从而提高藏文句子的边界识别率。     

藏文句义分割方法

句子是字或词根据语法规则进行组合的编码,句义分割是句子组合规律的解码问题,即对句义进行解析。在藏文分词后直接进行语义分析,其颗粒度过小,容易出现词语歧义,而以句子为分析单位,则颗粒度过大,不能较好地揭示句子的语义。为此,提出一种藏文句义分割方法,通过长度介于词语和句子之间的语义块单元进行句义分割。在对句子进行分词和标注的基础上,重新组合分词结果,将句子分割为若干个语义块,并采用空洞卷积神经网络模型对语义块进行识别。实验结果表明,该方法对藏文句义分割的准确率达到94.68%。     

基于条件随机场的藏语自动分词方法研究与实现

藏语自动分词是藏语信息处理的基础性关键问题,而紧缩词识别是藏语分词中的重点和难点。目前公开的紧缩词识别方法都是基于规则的方法,需要词库支持。该文提出了一种基于条件随机场的紧缩词识别方法,并在此基础上实现了基于条件随机场的藏语自动分词系统。实验结果表明,基于条件随机场的紧缩词识别方法快速、有效,而且可以方便地与分词模块相结合,显著提高了藏语分词的效果。     

信息处理中藏语虚词“na”和“la”的标注研究

藏文信息处理已经从最初字处理转向了自然语言处理的阶段。现如今正逐步向句法分析、语句分析、自动文摘、自动分类和机器翻译迈进。但是这些都基于词的层面上研究处理,而词则受许多格标记和虚词的制约。因此,在藏文信息处理中对格标记的分词标注更是一件棘手和复杂的事。该文通过研究藏文信息中的兼类虚词na和la,提出了如何在不同的语境中,处理和解决这类词性的标注问题。     

藏语语料库词语分类体系及标记集研究

青海师范大学藏文信息处理与机器翻译省级重点实验室已完成1 000万字的藏语语料库的加工实验,加工的主要目的是使计算机能够对藏语语料库中的藏语词语进行自动切分和自动标注。该文在对大规模藏语语料库进行自动切分和人工分析的基础上提出了一个藏语词语分类体系和标记集。根据藏语语料库和计算机自动切分和标注的实际需要,在藏语词语分类体系的构建上,采用先分虚实,再确定大类,在大类的基础上分出小类,再分出不同深度的子类。在藏语语料库加工实验中的应用表明,该分类方法和标记集是一个比较合理和实用的。     

基于规则的复句关系词的自动标识

关系词的自动标识是中文信息处理领域的基础性研究课题,该文利用规则实现其自动标识。首先通过语料的分析总结出关系词在使用过程中的12种特征,以这些特征建立规则的约束条件;然后提出包含匹配算法实现复句准关系词序列与规则索引词的匹配,以此获取目标规则,并根据目标规则约束条件与关系词所在语境的匹配结果得到匹配规则;最后利用匹配规则的结论实现关系词的自动标识。实验结果表明,该方法对关系词标识的正确率达到70.9%。     

基于分段的藏字校对算法研究

该文提出了一种规则和藏字语法分析相结合的藏字自动校对算法, 不使用藏字字典和大规模语料库。通过研究藏字构字语法,得到藏字的结构特征,进而对藏字的字母组合进行分段处理,简化藏字构字复杂度,研究出各分段部分的构字规则,然后按照规则进行字的校对。实验表明,系统对现代藏文字的查错率达100%。