无双语词典的英汉词对齐

该文提出了一种基于语料库的无双语词典的英汉词对齐模型．它把自然语言的句子形式化地表示为集合，通过集合的交运算和差运算实现单词对齐，同时还考虑了词序和重复词的影响．该模型不仅能对齐高频单词，而且能对齐低频单词，对未登录词和汉语分词错误具有兼容能力．该模型几乎不需要任何语言学知识和语言学资源，使语料库方法可独立应用．实验表明，同质语料规模越大．词对齐的正确率和召回率越高．     

多策略英汉词对齐方法的研究

词对齐技术在机器翻译,特别是在统计机器翻译中起着重要作用.词形、语义、句法的多样性和灵活性,未登陆词及分词错误等不利因素,直接或间接影响了词对齐的质量.多策略英汉词对齐方法,融合了基于词典、GIZA++以及基于知网的词对齐方法.通过对双语语料和多策略对齐结果的分析,利用集合形式的运算指导词对齐的消歧过程.实验结果表明,该方法在对齐结果上F值较IBM模型提高近10%,达到了85.07%,对齐错误率降低10%.该方法根据不同算法对齐结果的可靠性和相容性,实现了各种算法的优势互补.     

基于双语平行语料的中文缩略语提取方法

汉语缩略语在现代汉语中被广泛使用,其研究对于中文信息处理有着重要地意义。该文提出了一种从英汉平行语料库中自动提取汉语缩略语的方法。首先对双语语料进行词对齐,再抽取出与词对齐信息一致的双语短语对,然后用SVM分类器提取出质量高的双语短语对,最后再从质量高的短语对集合中利用相同英文及少量汉语缩略—全称对应规则提取出汉语缩略语及全称语对。实验结果表明,利用平行语料的双语对译信息,自动提取出的缩略语具有较高地准确率,可以作为一种自动获取缩略语词典的有效方法。     

基于统计和词典方法相结合的韩汉双语语料库名词短语对齐

韩汉双语语料库短语对齐对于基于实例的韩汉机器翻译系统具有重要意义,该文从韩国语名词短语结构特点出发,在基于统计和基于词典的词对齐方法进行试验分析的基础上,提出了基于词对齐位置信息的韩汉双语语料库名词短语对齐方法。该方法通过基于统计的方法获得词对齐位置信息,在此基础上利用基于词典方法的相似度计算进行词对齐校正;根据以上结果,该文通过韩国语名词短语左右边界规则抽取名词短语及其汉语译文,利用关联度度量方法进行过滤,实现名词短语对齐。实验结果表明,在较大规模语料库情况下,该方法取得了较好的短语对齐结果。     

基于子词的历史典籍术语对齐方法

由于历史典籍术语存在普遍的多义性且缺少古汉语分词算法,使用基于双语平行语料的对齐方法来自动获取典籍术语翻译对困难重重。针对上述问题,该文提出一种基于子词的最大熵模型来进行典籍术语对齐。该方法结合两种统计信息抽取频繁在一起出现的字作为子词,使用子词对典籍进行分词,解决了缺少古汉语分词算法的问题。针对典籍术语的多义性,根据典籍术语的音译模式制定音译特征函数,并结合其他特征使用最大熵模型来确定术语的翻译。在《史记》双语平行语料上的实验表明,使用子词的方法远远优于未使用子词的方法,而结合三种特征的最大熵模型能有效的提高术语对齐的准确率。
     

融合词簇约束的汉越跨语言词嵌入

针对传统跨语言词嵌入方法在汉越等差异较大的低资源语言上对齐效果不佳的问题,提出一种融合词簇对齐约束的汉越跨语言词嵌入方法。通过独立的单语语料训练获取汉越单语词嵌入,使用近义词、同类词和同主题词3种不同类型的关联关系,充分挖掘双语词典中的词簇对齐信息以融入到映射矩阵的训练过程中,使映射矩阵进一步学习到不同语言相近词间具有的一些共性特征及映射关系,根据跨语言映射将两种语言的单语词嵌入映射至同一共享空间中对齐,令具有相同含义的汉语与越南语词嵌入在空间中彼此接近,并利用余弦相似度为空间中每一个未经标注的汉语单词查找对应的越南语翻译构建汉越对齐词对,实现跨语言词嵌入。实验结果表明,与传统有监督及无监督的跨语言词嵌入方法Multi_w2v、Orthogonal、VecMap、Muse相比,该方法能有效提升映射矩阵在非标注词上的泛化性,改善汉越低资源场景下模型对齐效果较差的问题,其在汉越双语词典归纳任务P@1和P@5上的对齐准确率相比最好基线模型提升了2.2个百分点。     

汉英双语库自动分段对齐研究

双语库对齐是自然语言处理研究的重 要课题之一.其中,双语库段落对齐是指找出源文和译文中对应的翻译段落的对齐过程.它上 承篇章对齐,下接句子对齐,在整个双语库的对齐中起着承上启下的重要作用.但由于种种原 因,双语库段落对齐在当今研究中没有受到应有的重视.直接进行通用的段落自动对齐具有相 当的难度,也不必要,鉴于此,提出将段落对齐转化成分段对齐进行实现.通过汉英词汇对之 间的特征比较,首先找到可以用于汉英双语库分段的锚点词汇对,在此基础上,通过锚点词所 在句子的匹配获得锚点句子对来进行分段.实验结果表明,该方法具有良好的使用价值,可以 用于其他语言对的对齐.     

一种汉藏双语句子对齐算法

双语语料库建设及其自动对齐研究对计算语言学的发展具有重要意义。双语对齐技术是加工双语文本的核心,对齐效果的好坏直接影响了以后工作的进行。基于汉藏双语的实际情况,提出了一种利用句子长度、相似度和锚点信息的汉藏双语句子对齐方法,该方法用相似度找到句子的锚点,用锚点将双语文本分割成几个分块,在对应双语分块中用基于长度的对齐实现句子的对齐。通过测试数据进行的实验结果显示,这种方法有着良好的准确率,有效地解决了汉藏双语真实文本的句子对齐问题。     

融合语义信息的汉老双语句子对齐方法

双语句子对齐能够为机器翻译、信息检索等跨语言领域任务提供高质量的平行语料，在低资源的老挝语自然语言处理研究中显得尤为重要。由于汉老双语文本中存在非单调对齐(交叉对齐和空对齐)的情况，容易影响汉老句子对齐的效果。此外，人名、地名作为新闻要素，大多属于未登录词，也给汉老句子对齐研究增加了难度。该文提出了一种融合局部和全局语义信息的汉老双语句子对齐方法。首先，将汉老双语句长特征和人名地名特征融入Glove词向量，然后利用双向门控循环单元对特征词向量进行编码，以得到更细粒度的句子局部信息。其次，引入交互注意力机制，提取双语句子中的全局信息，保证对上下文语义特征的有效利用。最后，在多层感知机的基础上引入KM算法，该方法可以处理非单调对齐文本，提高模型的泛化能力。实验结果表明，该方法显著提高了汉老双语新闻语料的对齐性能。     

实体造型中集合运算研究

集合运算是实体造型的重要支持手段。本文着重对集合运算效率问题进行了分析。为了使求交运算的计算量更接近交线的数目,对交线的情况进行了研究,提出了一个有效的求交次序和一个将集合运算化为局部操作的控制方案,由此形成了一个新的实现集合运算的方法。本文估计了该方法解决问题时的计算量,并给出了证明。     

句对齐研究综述

神经机器翻译是目前机器翻译领域的主流方法,拥有足够数量的双语平行语料是训练出一个好的翻译模型的前提.双语句对齐技术作为一种从不同语言端单语语料中获取双语平行句对的技术,因此得到广泛的研究.该文首先简单介绍句对齐任务及其相应的评测标准,然后归纳总结前人在句对齐任务上的研究进展,以及句对齐任务的相关信息,并简单概括参加团队...     

基于双语模型的汉语句法分析知识自动获取

提出了一种汉语句法分析知识自动获取的新方法。该方法以双语语料库为基础，在双语语言模型的指导下，利用英语句法分析和双语词汇对齐得到汉语句子分析结果。根据得到的句子分析可以提取汉语组块边界信息和简单的句法分析规则。实验结果表明，自动获取的组块分析边界和已有的汉语句法分析体系取得了很好的一致性，证明了该方法的可行性和有效性。文中提出的方法充分利用现有的英语地研究成果，为汉语句法分析研究提出了一个崭新的思路。     

基于词典的汉藏句子对齐研究与实现

双语语料库加工的关键技术之一是对齐,构建句子级别的对齐语料是构建语料库最基本的任务。该文参考其他语言句子对齐的成熟的方法,针对藏文语言的特殊性,提出基于词典的汉藏句子对齐。整理了对齐所用双语词典,并对其词语覆盖率进行了评价。在汉藏句子对齐过程中发现汉语与藏文的分词粒度不同的问题,采用在藏汉词典中进一步查词并在汉语句子中比对的方法,使正确句对的得分增加,从而提高对齐正确率。采用该方法准确率为 81.11%。     

基于英汉平行语料库术语词典的自动抽取

该文提出了一种从英汉平行语料库中自动抽取术语词典的算法。采用的是已对齐好的双语语料,中文经过了分词处理。利用英文和中文词性标注工具对英文语料和中文语料分辨进行词性标注。统计双语语料库中的名词和名词短语生成候选术集。然后对每个英文候选术语计算与其相关的中文翻译间的翻译概率。再通过设定阈值过滤掉一些与该英文候选词无关的中文翻译,最后通过贪心算法选取概率最大的词作为该英文候选词的中文翻译。     

基于短语替换的汉越伪平行句对生成

神经机器翻译在语料丰富的语种上取得了良好的翻译效果,但是在汉语-越南语这类双语资源稀缺的语种上性能不佳,通过对现有小规模双语语料进行词级替换生成伪平行句对可以较好地缓解此类问题。考虑到汉越词级替换中易存在一词多译问题,该文对基于更大粒度的替换进行了研究,提出了一种基于短语替换的汉越伪平行句对生成方法。利用小规模双语语料进行短语抽取构建短语对齐表,并通过在维基百科中抽取的实体词组对其进行扩充,在对双语数据的汉语和越南语分别进行短语识别后,利用短语对齐表中与识别出的短语相似性较高的短语对进行替换,以此实现短语级的数据增强,并将生成的伪平行句对与原始数据一起训练最终的神经机器翻译模型。在汉-越翻译任务上的实验结果表明,通过短语替换生成的伪平行句对可以有效提高汉-越神经机器翻译的性能。     

基于多特征融合和图匹配的维汉句子对齐

维吾尔语新闻网页与对应的中文翻译网页在内容上往往并非完全可比,主要表现为双语句子序列的错位甚至部分句子缺失,这给维汉句子对齐造成了困难。此外,作为新闻要素的人名地名很多是未登录词,这进一步增加了维汉句子对齐的难度。为了提高维汉词汇的匹配概率,作者自动提取中文人名、地名并翻译为维吾尔译名,构造双语名称映射表并加入维汉双语词典。然后用维文句中词典词对应的中文译词在中文句中进行串匹配,以避免中文分词错误,累计所有匹配词对得到双语句对的词汇互译率。最后融合数字、标点、长度特征计算双语句对的相似度。在所有双语句子相似度构成的矩阵上,使用图匹配算法寻找维汉平行句对,在900个句对上最高达到95.67%的维汉对齐准确率。     

基于锚信息的生物医学文献双语摘要句子对齐

双语句子对齐在双语语料库的处理中有着非常重要的地位,是构建双语词典的第一步工作。该文利用基于带权二部图的最大权重匹配模型为生物医学文献双语摘要建模。在无双语词典的情况下,将基于长度的句子对齐方法和句子的位置信息相结合,充分利用医学文献双语摘要语料中的锚信息,将生物医学摘要段落和句子进行分类计算相似度,实现了生物医学文献双语摘要的句子对齐,取得了较好的实验结果。     

二分图顶点配对模型下的英汉句子对齐研究

英汉平行文本句子对齐可以视为一个二分图顶点配对模型。利用完全基于英汉词典的双语句子相关性评价函数,能够对二分图的“顶点对”进行加权。该文提出的顶点配对句子对齐方法首先获取二分图全局最大权重顶点配对作为临时锚点;在此基础上,根据句子先后顺序,局部最大权重顶点配对和英汉句长比的值域范围,纠正临时锚点中的错误,补充锚点序列未覆盖的合法顶点对,同时划分句对,实现句子对齐处理。在对比实验中该句子对齐方法优于Champollion句子对齐系统。从实验对比结果和实践效果看,该句子对齐方法可行。