汉藏政府公文机器翻译的语料对齐技术研究

针对汉藏政府公文机器翻译的数据稀疏和构建大规模的语料库等关键问题,提出了一种基于规则的句级语料对齐技术。所提出的技术以汉藏政府公文的句子特点为依据,结合了基于长度和词汇的混合式对齐方法,在国家和省级层面的5个汉藏政府公文数据集上进行了测试,测试结果表明,准确率在66%到75%之间,减少了句级语料对齐所需的人力、物力和财力,同时在构建大规模语料上取得了较好的效果。     

基于混合语料的无监督双语词典抽取

双语词典抽取作为机器翻译的基础是自然语言处理领域的重要任务.由于不需要任何监督信息,无监督双语词典抽取方法逐渐成为研究热点.无监督方法依赖于不同语言词向量之间的同构性,但是目前却少有提升词向量同构性的方法.本文提出了一种基于混合语料的同构性增强方法来提升不同语言词向量之间同构性,进而提升双语词典性能.该方法在中英维基百科上的抽取词典的性能有明显的提升.     

汉英主从对齐语料标注平台

针对机器翻译研究中缺乏主从对齐标注的问题,提出一种基于人工标注结合基于LSTM(长短期记忆)的汉英主从对齐语料标注方法,并开发语料标注平台.使用国际机器翻译提供的语料,从中选取12500句手工进行主从句及句子对齐的标注,将标注后的语料进行分词、词向量化操作,使用LSTM网络进行训练得到自动标注模型,并进行自动标注.为保...     

浅谈汉语方言语音数据库的语料设计

语言是人类互动的基本手段也是人机交互的重要方式,是通信的必要手段。语音是语言存在的形式。语音和语言的研究日益受到重视,语音研究的目的是揭示言语交际的机理,获取自然语音中的各种知识和信息,并为人类的信息交流服务。因此,语音处理成为目前发展最为迅速的一个研究领域,并形成了一门新兴的交叉学,而语音数据库中语料的设计是建立数据库首要的和关键的一个环节,本文从语料的单词、词语、数字、句子、短文等几个方面做了研究。     

基于数据驱动技术在语料词类分析中的应用

语料库语言学的主要研究内容之一是对所建立语料库中的语料,进行不同层次的语法分析。语法分析一般由两个层次组成,即词类分析(Part-of-Speech Analyzing)与句法分析(Parsing)。词类分析通常包括两个过程:(i)引入歧义(即,词法分析过程);(ii)消除歧义(即,排除非法选择的过程)。经过     

基于非监督训练的汉语词性标注的实验与分析

概率参数的获取是基于统计的词性标注的两个主要研究方向之一．侧重于研究非监督方式,利用未标注的语料进行训练获取概率参数．实现了一个非监督的训练标注模式－ＨＭＭ－Ｂａｓｉｃ;从不同的初始模型和训练集出发对汉语词性标注进行了实验;分析了训练集规模、初始模型的选择对系统标注性能的影响并讨论了其中所存在的问题。     

临近最优主动学习的藏语语音识别方法研究

语音识别模型需要大量带标注语音语料进行训练,作为少数民族语言的藏语,由于语音标注专家十分匮乏,人工标注语音语料是一件非常费时费力的工作。然而,主动学习方法可以根据语音识别的目标从大量未标注的语音数据中挑选一些具有价值的样本交给用户进行标注,以便利用少量高质量的训练样本构建与大数据量训练方式一样精准的识别模型。研究了基于主动学习的藏语拉萨话语音语料选择方法,提出了一种临近最优的批量样本选择目标函数,并验证了其具有submodular函数性质。通过实验验证,该方法能够使用较少的训练数据保证语音识别模型的精度,从而减少了人工标注语料的工作量。     

吕苏语口语标注语料的自动分词方法研究*

濒危语言典藏以抢救和长久保存濒危语言口语中所包含的声学、语言学以及文学、历史、传统文化等内涵的全部信息为目的,吕苏语作为一种无文字文献记录的濒危语言,对其口语语料典藏意义重大。吕苏语口语的汉语标注语料自动分词是后续建立高质量的吕苏语口语语料库和吕苏语典藏系统的基础性工作。目前对于吕苏语标注语料分词的研究几乎为零,本文首先对吕苏语特点进行了分析,同时将中文自动分词结巴方法应用到吕苏语汉语标注语料中,并针对结巴分词算法对吕苏语标注语料分词存在的误分词问题,提出了改进结巴算法。经过实验对比,改进结巴的分词方法准确率更高,提高了吕苏语汉语标注语料的分词效果。     

新闻领域双语语料建设与句子对齐方法的研究

双语对齐的平行语料库在机器翻译和自然语言处理领域中扮演着非常重要的角色,它的研究和制作具有重要的理论意义和实用价值,双语语料的建设十分必要,其中双语对齐是最基本的环节.文章首先简要介绍了语料库的建设情况,然后结合主流的句子对齐方法提出并实现了基于词典和语言学信息的英汉双语句子对齐.     

基于Struts＋Hibernate架构的少数民族语料资源管理系统研究

少数民族语言语料是一个重要的研究领域,针对目前国内尚未有一个相对完备、分类明确且整理有序的少数民族语料库系统的现状,为满足相关少数民族语料的使用者和研究者的需要,项目组结合Struts和Hibernate技术开发了少数民族语料资源管理系统。利用Struts优化了数据表示层和业务逻辑层的设计,利用Hibernate优化了数据持久层的设计。本文将分别介绍这两种技术,并详细说明如何利用Struts＋Hibernate框架进行系统开发,进而实现语料资源分级别和分层次管理,使系统具有语料资源的上传、下载、语料信息检索、数据备份等诸多功能。