基于语义信息内容的FCA概念相似度计算方法

基于概率信息内容的FCA概念相似度计算方法依赖于语料库中概念的频次信息,这种方法仅使用出现概率作为信息内容度量指标计算FCA概念相似度,其计算结果的准确率不高.针对上述问题提出一种基于语义信息内容的FCA概念相似度计算方法,该方法利用本体中概念间的上下位语义关系度量信息内容,以进一步提高概念一般/具体程度的度量精度;然后在本体派生的ISA层次结构上计算语义信息内容相似度,从而避免基于概率信息内容的方法对语料库的依赖;最后把语义信息内容相似度作为度量FCA概念相似度的依据,并给出了通过构造带权二部图提高相似度计算效率的方法.实验结果表明使用基于语义信息内容的方法能够在不牺牲时间性能的前提下有效提高FCA概念相似度计算结果的准确率.     

跨语言相似文档检索

检索一篇文档在其他语言中的译文对于双语平行语料库的建立是一件很有意义的工作。本文提出一种改进的跨语言相似文档检索算法,该算法使用双语词典或统计翻译模型作为双语知识库,查找两篇文档的共同翻译词对,把翻译词对的权重作为一种特征来进行相似度计算,用Dice方法的改进算法计算双语文档的相似度。在实验中,统计检索文档的译文排在检索结果前 N位的总次数来评价算法的性能,并使用了两个噪音数据集来评价算法的有效性。实验表明,在噪音数据干扰比较大的情况下,译文排在检索结果前5位的译文结果接近90%。实验证明,翻译词对的权重对于相似度计算有很大帮助,本算法可以有效地发现一种语言书写的文档在另一种语言中的译稿。     

基于分子指纹的化学结构相似度检索系统的研究(英文)

化学结构相似性检索在现代化学研究中具有重要作用。而化学结构的相似性度量是进行相似度检索的基础和前提。目前在化学信息学的研究中,有数量众多的化学结构距离度量和相似度表示方法。本文采用了Daylight的分子指纹方法,并采用了Tanimoto系数定义的相似度度量方法。并根据这种度量方法使用CDK来进行计算化学结构的相似度指数。在上述研究工作的基础上,开发了基于浏览器/服务器模式的化学结构相似度检索系统,通过该系统可以在中药活性成分数据库中进行化学结构相似度检索。用户在进行化学结构相似度检索时,可以选择已存在的化学结构,也可以采用JME来绘制新的化学结构。下一步将在该数据库中进行聚类分析和分子多样性的研究。     

基于词向量的越汉跨语言事件检索研究

为了解决越汉跨语言事件检索中的查询翻译问题,该文提出了一种基于词向量的越汉跨语言事件检索方法。首先利用词向量构建事件关键词的汉语语义特征向量,然后计算越语的事件关键词的特征翻译向量,最后通过计算语义特征向量之间的相似度完成跨语言关键词对齐,从而实现查询关键词的自动翻译,进而完成跨语言事件检索。在构建的南海话题相关越汉语料库上进行的实验证明了该方法的有效性。     

基于百度百科的词语相似度计算

词语相似度计算是自然语言处理的关键技术之一,是一个被广泛研究的基础课题.传统的词语相似度量方法大多是基于语义知识和基于语料库统计的方法,即这两类方法需要具有层次关系组织的语义词典和大规模的语料库.提出了一种新的基于百度百科的词语相似度量方法,通过分析百度百科词条信息,从表征词条的解释内容方面综合分析词条相似度,并定义了词条间的相似度计算公式,通过计算部分之间的相似度得到整体的相似度.实验结果表明,与已有的相似度计算方法对比,提出的算法更加有效合理.     

词语相似度计算方法分析

词语相似度计算是自然语言处理、智能检索、文档聚类、文档分类、自动应答、词义排歧和机器翻译等很多领域的基础研究课题。词语相似度计算在理论研究和实际应用中具有重要意义。本文对词语相似度进行总结,分别阐述了基于大规模语料库的词语相似度计算方法和基于本体的词语相似度计算方法,重点对后者进行详细分析。最后对两类方法进行简单对比,指出各自优缺点。     

大规模句子相似度计算方法

如何根据源语言文本从大规模语料库中找出其最相近的翻译实例,即句子相似度计算,是基于实例翻译方法的关键问题之一.本文提出一种多层次句子相似度计算方法首先基于句子的词表层特征和信息熵从大规模语料库中选择出少量候选实例,然后针对这些候选实例进行泛化匹配,从而计算出相似句子.在多策略机器翻译系统IHSMTS中的实验表明,当语料规模为20万英汉句对时,系统提取相似句子的召回率达96%,准确率达90%,充分说明了本文算法的有效性.     

汉语句子相似度计算方法比对之研究

相似句子检索,在自然语言处理领域具有非常广泛的应用背景,如信息过滤技术中的句子模糊匹配,基于实例的机器翻译的原语言检索,自动问答系统中常问题集的检索以及问题与答案的匹配,基于双语语料库的英文辅助写作等。本文在介绍了汉语句子相似度计算的有关概念之后,对几种典型的汉语句子相似度的计算方法进行了介绍,并分析了各方法的优缺点。     

多策略机器翻译系统IHSMTS中模式库的设计

本文介绍了语料库研究的一些特点，并以交互式多策略的思想为背景，对IHSMTS系统CBMT翻译引擎中模式库的设计思想，并对模式的表示，模式库的组织进行了阐述，方便了模式库检索，添加等操作的实现。同时介绍了近似模式匹配算法，从句法功能相似的角度抽取出所比较事例的功能词和句法特征，作为检索模式库和相似度计算的依据。最后介绍了模式库知识获取和知识精练的过程。     

新相似性度量在文档模糊聚类中的应用研究

相似文档检索在文档管理中是很重要的,提出一种在大文档集中基于模糊聚类的快速高效的聚类方法,传统方法大都通过词与词之间的比较来检索文档,该方法让文档通过两层结构得出相似度。系统用预定义模糊簇来描述相似文档的特征向量,用这些向量估计相似度,由此得出文档之间的距离,系统应用了新的相似性度量方法,并通过实验证实了其可行性和高效性。     

多策略机器翻译系统IHSMTS中候选实例模式检索算法

基于实例的机器翻译系统EBMT都需要有一个非常大的实例模式库，其数量级通常在百万句对以上．因此，如何从中快速地选择出一定数量的与待翻译的输入句子比较相似的候选实例，提供给后续句子相似度计算、类比译文构造等模块作进一步的处理，是EBMT系统所必须解决的一大难题．文章基于句子的词表层特征和信息熵提出了一种多层次候选实例模式检索算法，通过在多策略机器翻译系统IHSMTS上的运行测试。结果表明该算法较好的解决了这一难题．     

一种维吾尔语句子相似度算法的研究

基于实例的机器翻译是一种重要的机器翻译技术,句子相似度的衡量是基于实例机器翻译研究中最重要的一个内容。对于基于实例的维吾尔语机器翻译研究,维吾尔语句子相似度衡量的准确性,直接影响到最后翻译结果的输出。提出了一种维吾尔语句子相似度的计算方法,采用的基于词形特征的粗选算法、散列单词倒排索引能够有效提高算法的查找速度,快速从语料库中筛选出候选句子集合;多策略精选算法中采用基于维吾尔语词频的单词区分度算法、连续单词序列抽取算法,可以有效衡量两个维吾尔语句子的相似程度,实验结果证明算法是有效的。     

基于短语串实例的汉藏辅助翻译

目前汉藏机器翻译的研究主要集中在基于规则的方法上,主要原因在于汉藏的平行语料等基础资源相对匮乏,不方便做大规模的基于统计的汉藏机器翻译实验。该文依据汉藏辅助翻译项目的实际需求,在平行语料资源较少的情况下,提出了一种基于短语串实例的机器翻译方法,为辅助翻译提供候选译文。该方法主要利用词语对齐信息来充分挖掘现有平行语料资源信息。实验结果表明,该文提出的基于短语串实例方法优于传统基于句子实例的翻译,能够检索出任意长度的短语串翻译实例。在实验测试集上,该方法与默认参数下的Moses相比,翻译的BULE值接近Moses,短语翻译实例串的召回率提高了约9.71%。在平均句长为20个词的测试语料上,翻译速度达到平均每句0.175s,满足辅助翻译实时性的要求。     

一种混合式机器翻译方法的分析研究

在机器翻译的研究中,混合式方法是一种好方法。本文的工作有两部分:第一部分提出新的句型转换的机器翻译方法;第二部分讨论近似机器翻译方法的改进,并对对齐处理、相似度计算和检索方法做了详细说明。     

跨语言信息检索中查询语句翻译转换算法

跨语言信息检索中，输入的查询语句往往是一系列关键词组合，而不是一个完整意义上的句子，致使查询关键词序列缺乏必要的语法、语境信息，难以实现查询语句的精确翻译。该文基于大规模双语语料库，以向量空间模型和词汇同现互信息为理论基础，运用传统单语信息检索技术，将查询语句的翻译问题转换为查询关键词词典义项的boost值计算，重构目标语查询语句。     

多策略机器翻译系统IHSMTS中实例模式泛化匹配算法

基于精确匹配的EBMT,由于翻译覆盖率过低,导致其难以大规模实际应用。本文提出一种实例模式泛化匹配算法,试图改善EBMT的翻译覆盖率:以输入的待翻译句子为目标导向,对候选翻译实例有针对性地进行实时泛化,使得算法既能满足实时文档翻译对速度的要求,又能充分利用系统使用过程中用户新添加和修改的翻译知识,从而总体上提高了系统的翻译覆盖率和翻译质量。实验结果表明,在语料规模为16 万句对的情况下,系统翻译覆盖率达到了75 %左右,充分说明了本文算法的有效性。     

EXTRA: a system for example-based translation assistance

In this paper we present EXTRA (EXample-based TRanslation Assistant), a translation memory (TM) system. EXTRA is able to propose effective translation suggestions by relying on syntactic analysis of the text and on a rigorous, language-independent measure; the search is performed efficiently in large amounts of bilingual texts thanks to its advanced retrieval techniques. EXTRA does not use external knowledge requiring the intervention of users and is completely customizable and portable as it has been implemented on top of a standard DataBase Management System. The paper provides a thorough evaluation of both the effectiveness and the efficiency of our system. In particular, in order to quantify the benefits offered by EXTRA assisted translation over manual translation, we introduce a simulator implementing specifically devised statistical, process-oriented, discrete-event models. As far as we know, this is the first time statistical simulation experiments have been used to face the nontrivial problem of evaluating TM systems, particularly for comparing the time that could be saved by performing assisted translation versus “manual” translation and for optimally tuning the system behaviour with respect to differently skilled users. In our experiments, we considered three scenarios, manual translation with one or two translators and assisted translation with one translator. The time needed for one translator to do an assisted translation is significantly closer to that of a team of two translators than to that of the single translator. The mean sentence translation time is by far the lowest for this scenario, corresponding to the highest per translator productivity. We also estimate the total translation time when the number of query sentences, the maximum number of suggestions to be read, and the probability of look up are varied: the best trade-off is given by reading (and presenting) four or five suggestions at the most.     

汉英跨语言检索系统中关键词提取方法的研究

设计与实现了基于语句的汉英跨语言检索系统的关键词提取模块,关键词提取模块包括中文关键词提取和翻译转换两部分,此模块为后续的检索模块提供输入信息．其性能及效率对整个跨语言检索系统有重要影响。该文首先通过Dijkstra算法的改进方法求解分词的最短路径,实现了汉语检索语句的分词处理。然后以汉英双语词典为基础,对语法提取后的中文关键词实现了汉英翻译转换。最后提取的关键词供检索使用,实验结果表明用本文方法提取的关键词能满足检索要求。     

IHSMT中的实例优化策略

在基于实例的机器翻译方法中，通常采用双语句子实例的形式，但由于自然语言表达的无限多样性，使得这种存储粒度过大的句子级翻译实例的利用率较低；而在基于规则的机器翻译方法中，规则和词典具有一定的抽象性，其重复利用率高，但其中存在大量的歧义，提出了一种IHSMT中的实例自动优化算法，该算法引入了实例粒度的概念，根据规则和实例使用率，将粒度大的实例分解为较小的单元，并建立相应的词典，以提高实例的使用频率和检索效率，同时在翻译过程中，根据用户修改的统计和上下文信息，对粒度小并且有歧义的实例进行合并，以提高翻译质量和推理效率，从而使实例粒度更加合理，存储结构更优化，系统的效率更高。     

融入事件实体知识的汉越跨语言新闻事件检索

现有汉越跨语言新闻事件检索方法较少使用新闻领域内的事件实体知识,在候选文档中存在多个事件的情况下,与查询句无关的事件会干扰查询句与候选文档间的匹配精度,影响检索性能。提出一种融入事件实体知识的汉越跨语言新闻事件检索模型。通过查询翻译方法将汉语事件查询句翻译为越南语事件查询句,把跨语言新闻事件检索问题转化为单语新闻事件检索问题。考虑到查询句中只有单个事件,候选文档中多个事件共存会影响查询句和文档的精准匹配,利用事件触发词划分候选文档事件范围,减小文档中与查询无关事件的干扰。在此基础上,利用知识图谱和事件触发词得到事件实体丰富的知识表示,通过查询句与文档事件范围间的交互,提取到事件实体知识表示与词以及事件实体知识表示之间的排序特征。在汉越双语新闻数据集上的实验结果表明,与BM25、Conv-KNRM、ATER等基线模型相比,该模型能够取得较好的跨语言新闻事件检索效果,NDCG和MAP指标最高可提升0.712 2和0.587 2。