基于ListMLE排序学习方法的机器译文自动评价研究

机器翻译译文质量的自动评价是推动机器翻译技术快速发展的一条重要途径。该文提出了基于List-MLE 排序学习方法的译文自动评价方法。在此基础上,探讨引入刻画译文流利度和忠实度的特征,来进一步提高译文自动评价结果和人工评价结果的一致性。实验结果表明,在评价WMT11德英任务和IWSLT08 BTEC CE ASR任务上的多个翻译系统的输出译文质量时,该文提出的方法预测准确率高于BLEU尺度和基于RankSVM的译文评价方法。     

基于融合策略的机器翻译自动评价方法

机器翻译自动评价发展至今,各种自动评价方法不断涌现。不同的自动评价方法从不同的角度评价机器译文的质量。该文提出了基于融合策略的自动评价方法,该方法可以融合多个自动评价方法,多角度地综合评价机器译文质量。该文主要在以下几个方面探索进行: (1)对比分别使用相对排序(RR)和直接评估(DA)两种人工评价方法指导训练融合自动评价方法,实验表明使用可靠性高的DA形成的融合自动评价方法(Blend)性能更好; (2)对比Blend分别使用支持向量机(SVM)和全连接神经网络(FFNN)机器学习算法,实验表明在当前数据集上,使用SVM效果更好; (3)进而在SVM基础上,探索使用不同的评价方法对Blend的影响,为Blend寻找在性能和效率上的平衡; (4)把Blend推广应用到其他语言对上,说明它的稳定性及通用性。在WMT16评测数据上的实验,以及参加WMT17评测的结果均表明,Blend与人工评价的一致性达到领先水平。     

翻译质量自动评价研究综述

随着机器翻译研究的推进和翻译教学方式的革新,译文质量自动评价问题近年来受到大量关注。为把握翻译质量自动评价的思路、方法,通过对目前研究脉络的梳理,从研究特点角度绘制出了一个树型分类图谱,并对典型算法及其改进思路进行了分析;还对自动评价算法的评测方法、国际机器翻译评测平台和自动评测开放工具等给予了介绍。最后分析了当前研究存在的主要困难和问题,提出了对发展方向的展望。     

基于生成模型的闲聊机器人自动评价方法综述

近年来,随着人工智能技术的发展,更多数据被利用,数据驱动的端到端闲聊机器人技术得到快速发展,受到了学术界和工业界的广泛关注.但是对于闲聊机器人的评价,现在没有标准的自动评价方法,而自动评价方法对于闲聊机器人对话效果的评估及闲聊机器人的快速迭代是十分重要的.该文综述了基于生成模型的闲聊机器人的自动评价方法.首先介绍了自动...     

英语学习者书面语法错误自动检测研究综述

英语学习者书面语法错误检测和修改系统可为作文自动评分提供参数,评测作文整体质量;也可用于计算机辅助英语教学,为学生提供书面纠错反馈,促进其二语写作能力的发展。该文概述了近十年来自然语言处理技术在英语学习者语法错误自动检测研究中的应用,首先介绍了基于大规模本族语和学习者语料库的三种数据驱动的系统设计方法,然后讨论了语误检测系统的评测标准,最后提出了提高现有系统准确率的一些建议。     

基于结构化学习的语句压缩研究

近年来随着各类信息的日益增多,语句压缩作为自动摘要的重要部分也越来越引起研究者的关注。然而当前针对语句压缩的研究才刚刚展开,存在压缩效果不佳、没有统一的自动评测指标等问题。该文在简单的删除单词的方法框架下,采用基于特征权重的最大边缘训练的结构化学习方法实现语句压缩。同时该文还提出了两种新的自动评价指标(N-Gram和BLEU)来评价语句压缩的性能。实验结果表明,采用结构化学习方法能够在保持较好压缩率的情况下保留源语句的主要信息,并且新提出的两个评价指标能够有效反映语句压缩性能。     

机器翻译评测的新进展

机器翻译评测对机器翻译的研究和开发具有至关重要的作用,对其的研究一直是国内外机器翻译界的重点课题。本文首先全面地介绍了最近出现的而且受到极大关注的机器翻译评测技术,即IBM公司的BLEU机器翻译评测标准和NIST采用的机器翻译评测技术。实验表明,自动翻译评测技术能够接近人工评价,评测结果也是可接受的。因此,采用自动翻译评测技术能够给自然语言处理的研究人员和开发人员带来很大的便利性。本文还展示了一个开放式的可扩展的自动翻译评测的平台,完全实现了BLEU和NIST评测标准,并做出了一定的改进使得该系统具有良好的使用性和可扩展性。     

基于多元信息融合的神经机器译文自动评价方法

机器译文自动评价对推动机器翻译发展和应用有着重要作用。最新的神经机器译文自动评价方法使用预训练语境词向量提取深层语义特征，并将它们直接拼接输入多层神经网络预测译文质量，其中直接拼接操作容易导致特征间缺乏深入融合，而逐层抽象进行预测时容易丢失细粒度准确匹配信息。针对以上问题，该文提出将中期信息融合方法和后期信息融合方法引入译文自动评价，使用拥抱融合对不同特征进行交互中期融合，基于细粒度准确匹配的句移距离和句级余弦相似度进行后期融合。在WMT’21 Metrics Task基准数据集上的实验结果表明，提出的方法能有效提高其与人工评价的相关性，达到与参加评测最优系统的可比性能。     

自然语言水印隐蔽性自动评测方法

对自然语言水印(NLW)隐蔽性评测的缺乏严重影响了该领域技术的发展,为此,结合NLW的特点和语言心理学,以人类对语言释义的速度及难易程度为依据,提出了NLW隐蔽性的感知模型和相应的评测方案：从语法错误、搭配错误和语义损失三个方面对隐蔽性进行评测。最后,针对四种不同水印技术(基于绝对同义词替换的T-Lex水印系统、相对同义词替换水印系统、基于句法树的水印系统和中文句法水印系统),一方面利用该方案进行自动评测,另一方面进行置信度为90%的人工评测。两种方法得到了相同的结论：基于词汇的NLW技术的隐蔽性优于基于句子的NLW技术,说明该自动评测方法是评测NLW隐蔽性的有效评测方法。     

基于向量空间模型的中文搜索引擎评测系统研究与实现

提出了能够综合衡量搜索引擎工作性能的六个评测指标,选择了当今主流的三个搜索引擎：谷歌、雅虎和百度进行评测,成功地在两个大型的数据集上实现了整个自动评测系统。实验表明,谷歌工作性能最稳定;雅虎返回的第一个结果最能满足用户的要求,但会受时间因素的影响;百度明显地受关键字类别因素的影响。最后对中搜、狗、爱问进行了评测。     

基于全自动控制显微镜的自动聚焦算法研究

图像自动聚焦评价函数的选择是垒自动控制显微镜无源方式自动聚焦系统的关键问露。对几种主要的图像聚焦评价函散(灰度方差算子、灰度梯度算子、能量谱方法等)进行了比较、研究，并在此基础上首次将改进的Laplacian算子作为聚焦评价函数引人自动聚焦之中,同时为了消除噪声的影响，引入了步长和阈值两个参数。实验结果表明，改进的LapIacian算子比其他评价函数更为准确、稳定和可靠，该算法已成功应用于显微镜自动词焦系统中。     

一种面向口语的译文质量自动评价方法

译文质量的自动评价对机器翻译研究具有十分重要的意义。但现有方法主要是针对书面语翻译,没有考虑到口语翻译的特征。因此,本文提出了一种面向口语的新型的自动评价方法,通过定义信息段、标注权重和设计多种匹配策略等方法,使自动评价结果与人工打分更为接近,同时也提高了评价过程对不同输出译文的适应能力。各项实验表明,该算法对译文质量变化具有较高的敏感度,而且可以对输出译文质量作出与手工评判较为接近的评价结果。     

peC语言的部分求值器及在编译器测试中的应用

部分求值技术在程序优化及软件自动生成等方面,有着极为重要的作用.本文将部分求值技术应用到编译器测试中.为此,设计了一个C语言的子集peC语言,给出了该语言的部分求值策略的形式化描述,实现了peC语言的部分求值器,设计了基于部分求值技术的编译器测试框架.通过实验,本文的方法可以检测出大部分之前的其它的方法发现的GCC、LLVM编译器中的错误,此外还发现了其它方法不能发现的错误,表明将部分求值技术应用到编译器测试中是有效的.     

自动文摘评价方法综述

评价是自动文摘领域长期关注的焦点,对自动文摘技术的发展起着积极的促进作用。本文首先介绍了自动文摘评价方法的应用背景和面临的困难;然后对自动文摘评价方法进行了简单介绍和评价;接着在了解国内外研究现状的基础上详细分析了文摘评价方法的关键技术;最后对自动文摘评价方法未来的发展趋势进行了展望。     

机器生成语言的质量评价方法综述

生成语言的质量评价很大程度上影响着自然语言生成的研究,已成为制约该领域发展的瓶颈问题。通过对机器翻译、自动文摘、对话系统、图像标题生成和机器写作等广义自然语言生成任务的语言质量评价方法的汇总,介绍了人工评价和自动评价的特点、优缺点和开放评价资源,分析了不同任务的不同评价角度和适用面。不同评价方法的对比分析,可为方法融合和关键问题的探索提供借鉴。整体上机器生成语言质量评价还局限于语言形式的比较,在语义表达的准确性、衔接连贯性等深层评价上存在诸多挑战。结合评价难点问题和现有研究的推进情况,分析了生成语言质量评价的研究趋势。     

基于Agent的改进贴近度的多属性评价模型

商务智能中,基于Agent的自动谈判利用Agent的各项人工智能优势,日益受到重视。针对当前对其中的多属性评价量化研究不够的现状,结合犹豫模糊理论,构建基于多属性的方案;将属性分为等级属性和数量属性,采用语言术语集对等级属性进行区间数转换,并给出将数量属性转换成区间数的方法;综合以上研究,引入总体贡献率,对理想贴近度模型进行改进,提出基于总体贡献率的相对贴近度模型,从而提出基于Agent的改进贴近度的多属性评价模型,并对模型步骤进行了归纳和梳理;以北京市碳排放权交易为背景拟定算例和数据,通过计算和对比分析验证了该模型的合理性和有效性。     

表格结构识别的自动性能评估

评估算法的性能需要反复大量的测试。人工评估既难以保证评价标准的一致,又无法保证测试的速度和规模,只有自动的性能评估才能解决上述问题。表格结构识别是进一步理解表格内容的前提。在定义通用表格结构描述的基础上,提出了基于表格线的表格结构识别的性能评估方法。自动评估系统能够指出识别结果与基准数据的区别,平均每秒比较38.6个表格,远超过人工评估的效率。