自然语言处理评测数据集质量评估研究

评测数据集是评测任务的载体，评测数据集的质量对评测任务的开展和评测指标的应用有着根本性的影响，因此对评测数据集的质量进行评估有着必要性和迫切性。该文在调研公开使用的自然语言处理主流数据集基础上，分析和总结了数据集中存在的8类问题，并在参考人类考试及试卷质量评估的基础上，从信度、效度和难度出发，提出了数据集评估的相关指标和将计算性与操作性相结合的评估方法，旨在为自然语言处理评测数据集构造、选择和使用提供参考依据。     

机器翻译评测的新进展

机器翻译评测对机器翻译的研究和开发具有至关重要的作用,对其的研究一直是国内外机器翻译界的重点课题。本文首先全面地介绍了最近出现的而且受到极大关注的机器翻译评测技术,即IBM公司的BLEU机器翻译评测标准和NIST采用的机器翻译评测技术。实验表明,自动翻译评测技术能够接近人工评价,评测结果也是可接受的。因此,采用自动翻译评测技术能够给自然语言处理的研究人员和开发人员带来很大的便利性。本文还展示了一个开放式的可扩展的自动翻译评测的平台,完全实现了BLEU和NIST评测标准,并做出了一定的改进使得该系统具有良好的使用性和可扩展性。     

复述技术研究

对自然语言处理研究中的复述的研究现状与进展进行了总结,分别介绍了复述的应用、复述资源的获取、复述句的生成、复述的评测以及与复述紧密联系的相关研究等.重在对复述研究的主流方法和前沿进展进行概括、比较和分析,以期对后续研究有所助益.     

篇章分析技术综述

篇章作为词和句子之后的一种文本分析粒度在自然语言理解和自然语言生成中起到至关重要的作用。该文从计算语言学角度出发,对中英文篇章分析技术的研究现状进行了综述。介绍了中英文篇章分析技术在自然语言处理中的应用,并分别从篇章理论、篇章语料库及评测、篇章分析器的自动构建等方面详细阐述了中英文篇章分析技术。最后归纳出篇章分析技术后续研究的几个方向。     

基于实体名的文本自动综述研究

自动文摘是自然语言处理的一个重要分支，在信息检索领域中有着重要的用途．文本自动综述是自动文摘在多文档上的推广。本文提出了基于实体名扩展的自动综述方法，这种方法认为综述中的实体名个数反映其中所蕴含信，S量的多少。我们用该方法实现针对事件的自动综述生成，并参加了2003年文本理解会议(Document Understanding Conference，DUC)进行统一评测，DUC反馈的评测结果显示这种方法是有效的。此外，本文还对文本理解会议的任务、评测方法和测试结果做了简单介绍。     

英语学习者书面语法错误自动检测研究综述

英语学习者书面语法错误检测和修改系统可为作文自动评分提供参数,评测作文整体质量;也可用于计算机辅助英语教学,为学生提供书面纠错反馈,促进其二语写作能力的发展。该文概述了近十年来自然语言处理技术在英语学习者语法错误自动检测研究中的应用,首先介绍了基于大规模本族语和学习者语料库的三种数据驱动的系统设计方法,然后讨论了语误检测系统的评测标准,最后提出了提高现有系统准确率的一些建议。     

2005年度863机器翻译评测方法研究与实施

为了能够全面了解国内外机器翻译技术的现状,促进机器翻译技术的研究,2005年度863计划机器翻译评测于2005年9月举行.本次评测进行了汉英、英汉、汉日、日汉、日英、英日6个语言方向,两种类型的评测以及汉英词语对齐的评测.本次评测采用了网上评测的形式,利用基于N-gram的NIST、BLEU以及人工评测方法对各系统的结果进行评测.本文给出了此次评测的组织、准备、过程、结果及分析.为国内外研究单位在机器翻译方面的进一步研究提供了数据.     

问答式检索技术及评测研究综述

问答式检索系统(简称问答系统) 是集自然语言处理技术和信息检索技术于一身的新一代搜索引擎。它的出现旨在提供更有力的信息获取工具,以应对信息爆炸带来的严重挑战。经过这几年的发展,问答系统已经成为自然语言处理领域和信息检索领域的一个重要分支和新兴的研究热点,其“通过系统化、大规模地定量评测推动研究向前发展”的发展轨迹,以及某些成功的启示,如基于字符表层的文本分析技术(模板技术) 的有效性,快速、浅层自然语言处理技术的必要性,都极大地推动了自然语言处理研究的发展,促进了NLP研究与应用的紧密结合。回顾问答系统研究的历史,总结问答技术的研究现状,将有助于这方面工作向前发展。     

基于工具软件的数字IP软核评测平台设计

本文探索了可供EDA工具度量的数字IP评测指标以及这些指标的评测方法,提出了数字IP评测平台的总体设计方案,该仿真平台的开发和建立将为IP评测技术的工程实用化打下基础.     

属性抽取研究综述

属性抽取是一种自动识别和提取属性表述文字的自然语言处理任务.首先重温了属性抽取的基本任务、权威数据资源和通用评测规范,并在此基础上全面回顾了现有前沿技术,包括基于统计策略和特征工程的传统抽取技术以及利用深度学习的神经抽取技术.特别地,以属性表述语言的本质为出发点,结合现有技术暴露出的不足,对该领域的技术难点和推演方向给出了详细解释.     

自然语言文本共指消解性能评测算法研究

在自然语言文本处理中,共指研究处于基础且关键的一环,它的有效解决将为众多的语言工程处理问题提供有力支持,因此对于共指消解性能的评测就显得尤为重要.针对共指消解任务的几种评测算法进行了深入研究,分析各种方法优缺点,指出CEAF方法是目前缺乏用于指代任务处理开放语料情况下,较适合汉语自然语言文本共指消解性能评价的一种方法.     

选择式机器阅读理解综述

机器阅读理解是自然语言处理领域的研究热点之一,对提升机器阅读能力和智能水平有着重要意义,为跟进相关领域的研究进展对其进行综述。首先,介绍机器阅读理解的发展历程及主要任务;其次,重点梳理当前选择式机器阅读理解基于深度学习方法的相关工作,并从语义匹配、预训练模型、语义推理、外部知识四个方面展开叙述;归纳总结了相关数据集以及评价指标;最后,对选择式机器阅读理解的未来发展趋势进行了展望。     

Multimodal Machine Learning for Natural Language Processing: Disambiguating Prepositional Phrase Attachments with Images

Neural Processing Letters - Although documents are increasingly multimodal, their automatic processing is often monomodal. In particular, natural language processing tasks are typically performed...     

抽取式机器阅读理解研究综述

机器阅读理解要求机器能够理解自然语言文本并回答相关问题,是自然语言处理领域的核心技术,也是自然语言处理领域最具挑战性的任务之一。抽取式机器阅读理解是机器阅读理解任务中一个重要的分支,因其更贴合实际情况,更能够反映机器的理解能力,成为当前学术界和工业界的研究热点。对抽取式机器阅读理解从以下四个方面进行了全面地综述：介绍了机器阅读理解任务及其发展历程;介绍了抽取式机器阅读理解任务以及其现阶段存在的难点;对抽取式机器阅读理解任务的主要数据集及方法进行了梳理总结;讨论了抽取式机器阅读理解的未来发展方向。     

MACHINE PROCESSING OF SINHALA NATURAL LANGUAGE: A STEP TOWARD INTELLIGENT SYSTEMS

An intelligent machine can be thought of as a human friendly machine system that identifies or understands the problems of generating tasks, developing plans, compiling and executing the tasks automatically. High performance dependable intelligent systems must understand and translate natural languages. The translation of natural languages for intelligent systems has been one of the most challenging problems in intelligent systems from the very beginning. It is the responsibility of a translation system to assign the responsibility of task generation ability of the machine to automate a program generation.

In this paper, the problem of advanced machine translation capabilities is approached by examining the Sinhala natural language. Sinhalese has not been analyzed using computational linguistics. Our earlier system on Sinhalese morphology is the first attempt of such a study. This paper extends it to syntactic and semantic analysis. We formalize grammar rules for unit, phrase, clause and sentence, and developed a semantically characteristic Sinhalese dictionary, and a conceptual dictionary based on English, Japanese, and Sinhalese. Syntactic and semantic analyses are implemented on the computer and sound experimental results are obtained.     

第七届全国机器翻译研讨会机器翻译评测总结

该文介绍了第七届全国机器翻译研讨会(CWMT2011)机器翻译评测的具体情况。本次评测重点关注各种语言到汉语的翻译,除了汉英、英汉、日汉三个语言对以外,评测还新增了五种民族语言(藏语、蒙古语、维吾尔语、哈萨克语、柯尔克孜语)到汉语的翻译评测。共有19家国内外单位的165个系统参加此次评测。除了介绍评测项目的设置、评测数据的准备、评测流程、参评单位等,本文还重点介绍了CWMT2011的评测结果,并对评测结果进行了分析,用实例说明了与评测结果相关的几个因素 源语言与目标语言是否相似、评测领域是否集中、测试集与训练及开发集语料是否相似、训练语料的规模、参评系统的技术和成熟度等。     

Interactive Analysis of Word Vector Embeddings

Word vector embeddings are an emerging tool for natural language processing. They have proven beneficial for a wide variety of language processing tasks. Their utility stems from the ability to encode word relationships within the vector space. Applications range from components in natural language processing systems to tools for linguistic analysis in the study of language and literature. In many of these applications, interpreting embeddings and understanding the encoded grammatical and semantic relations between words is useful, but challenging. Visualization can aid in such interpretation of embeddings. In this paper, we examine the role for visualization in working with word vector embeddings. We provide a literature survey to catalogue the range of tasks where the embeddings are employed across a broad range of applications. Based on this survey, we identify key tasks and their characteristics. Then, we present visual interactive designs that address many of these tasks. The designs integrate into an exploration and analysis environment for embeddings. Finally, we provide example use cases for them and discuss domain user feedback.     

Named Entity Recognition by Using XLNet-BiLSTM-CRF

Neural Processing Letters - Named entity recognition (NER) is the basis for many natural language processing (NLP) tasks such as information extraction and question answering. The accuracy of the...     

视觉问答与对话综述

视觉问答与对话是人工智能领域的重要研究任务,是计算机视觉与自然语言处理交叉领域的代表性问题之一.视觉问答与对话任务要求机器根据指定的视觉图像内容,对单轮或多轮的自然语言问题进行作答.视觉问答与对话对机器的感知能力、认知能力和推理能力均提出了较高的要求,在跨模态人机交互应用中具有实用前景.文中对近年来视觉问答与对话的研究...