自然语言处理评测数据集质量评估研究

评测数据集是评测任务的载体，评测数据集的质量对评测任务的开展和评测指标的应用有着根本性的影响，因此对评测数据集的质量进行评估有着必要性和迫切性。该文在调研公开使用的自然语言处理主流数据集基础上，分析和总结了数据集中存在的8类问题，并在参考人类考试及试卷质量评估的基础上，从信度、效度和难度出发，提出了数据集评估的相关指标和将计算性与操作性相结合的评估方法，旨在为自然语言处理评测数据集构造、选择和使用提供参考依据。     

智能文本搜索新技术

面对当今互联网上海量的信息,以及搜索信息准确、高效、个性化等需求,提出了一套包括信息检索、信息抽取和信息过滤在内的智能文本搜索新技术.首先举荐了与信息检索新技术相关的企业检索、实体检索、博客检索、相关反馈子任务.然后介绍了与信息抽取技术相关的实体关联和实体填充子任务,以及与信息过滤技术相关的垃圾邮件过滤子任务.这些关键技术融合在一起,在多个著名的国际评测中得到应用,如美国主办的文本检索会议评测和文本分析会议评测,并且在互联网舆情、短信舆情和校园网对象搜索引擎等实际系统中得到了检验.     

写作智能评测研究综述和发展前景

随着计算机技术的发展,写作智能评测研究有了更加丰富的技术手段和应用场景。该文对写作智能评测的相关研究进行了梳理,首先对写作智能评测系统的发展历程进行了阶段性梳理;其次介绍了写作智能评测研究的任务模式、常用数据库、评估方式;再次梳理了写作智能评测的主要技术方法;再次以面向汉语母语者、面向汉语非母语者两个不同维度展开介绍中文写作智能评测研究的现状及面临的挑战;最后对未来写作智能评测研究发展进行展望。     

藏文词向量相似度和相关性评测集构建

词向量评测是词向量研究的基础,包括内部评测(intrinsic evaluation)和外部评测(extrinsic evaluations)。外部评测是将得到的词向量应用到具体某个任务中进行评测,是词向量研究的目标。内部评测是通过建立词之间的语义相似度或相关性能力的评测集,评价词向量模型的性能,是一种常用的词向量评测方式。该文通过分析英文、汉文词向量评测集构建方法,结合藏文的特点,研究藏文词向量评测集构建方法,构建了用于评价藏文词向量相似度和相关性的评测集TWordSim215和TWordRel215,并分析其有效性。     

基于trace的网络存储系统评测研究

网络存储系统规模的膨胀和应用范围的扩大,使网络存储系统评测研究越来越重要。网络存储系统的评测包括性能、可用性、可管理性和功耗等内容。论述了网络存储系统主要评测指标的研究内容和研究现状,给出了网络存储系统评测的逻辑框架,分析了在多项指标的实际评测中如何用基于trace的方法分别从trace收集、重放和可用性等几方面对其相关研究现状和常用工具进行讨论。通过分析、总结研究中的问题,展望了相关研究在未来的发展方向和前景。     

自然语言处理评测中的问题与对策

自然语言处理中的评测任务引导和推动着技术、模型和方法上的研究。近年来,新的评测数据集和评测任务不断被提出,与此同时,现有评测暴露的一系列问题也限制了自然语言处理技术的进步。该文从自然语言处理评测的概念、构成、发展和意义出发,分类综述了主流自然语言处理评测的任务和特点,进而总结归纳了自然语言处理评测中的问题及其成因。最后,该文参照人类语言能力评测规范,提出类人机器语言能力评测的概念,并从信度、难度、效度三个方面提出了一系列类人机器语言能力评测的基本原则和实施设想,并对评测技术的未来发展进行了展望。     

话题检测与跟踪的评测及研究综述

话题检测与跟踪是一项面向新闻媒体信息流进行未知话题识别和已知话题跟踪的信息处理技术。自从1996年前瞻性的探索以来,该领域进行的多次大规模评测为信息识别、采集和组织等相关技术提供了新的测试平台。由于话题检测与跟踪相对于信息检索、信息挖掘和信息抽取等自然语言处理技术具备很多共性,并面向具备突发性和延续性规律的新闻语料,因此逐渐成为当前信息处理领域的研究热点。本文简要介绍了话题检测与跟踪的研究背景、任务定义、评测方法以及相关技术,并通过分析目前TDT领域的研究现状展望未来的发展趋势。     

情感倾向性分析及应用研究综述

在情感倾向性分析领域,关于情感的收集、分析和聚合等技术一直是近年来的关注热点。该领域的相关发展带动了各个子任务及其相关研究的大力发展。本文主要综述了面向情感的信息系统中使用的情感分析相关的需求,技术,应用以及评测方法等。在情报分析方面,存在许多不同于传统的主题分析的新需求,这就是对情感分析技术的强烈需求。接着,介绍了词级、句子级、段落篇章级等不同层次的情感分析技术。然后,还综述了采用情感分析技术的各种典型应用。最后,为了工作开展的便利,讨论了情感分析领域的词库资源、样本集资源、评测方法及重要会议等。     

基于图像识别的对抗鲁棒性评测系统

深度神经网络的对抗鲁棒性研究在图像识别领域具有重要意义, 相关研究聚焦于对抗样本的生成和防御模型鲁棒性增强, 但现有工作缺少对其进行全面和客观的评估. 因而, 一个有效的基准来评估图像分类任务的对抗鲁棒性的系统被建立. 本系统功能主要为榜单评测展示、对抗算法评测以及系统优化管理, 同时利用计算资源调度和容器调度保证评测任务的进行. 本系统不仅能够为多种攻击和防御算法提供动态导入接口, 还能够从攻防算法的相互对抗过程中全方面评测现有算法优劣性.     

Web应用系统安全评测研究

随着Web应用的发展,其安全问题引起了越来越多的关注,是信息安全领域当前的热点问题,但目前关于Web应用安全的相关研究工作还比较少。该文讨论了web应用安全的评测方法,以Nikto和Paros为例介绍了Web安全评测工具的原理及主要的功能。     

汉语概念复合块的自动分析

为解决句法分析任务中的块边界识别和块内结构分析问题,该文基于概念复合块描述体系进行了块分析探索。通过概念复合块与以往的基本块和功能块描述体系的对比分析,深入挖掘了概念复合块自动分析的主要难点所在,提出了一种基于“移进-归约”模型的汉语概念复合块自动分析方法。在从清华句法树库TCT中自动提取的概念复合块标注库上,多层次、多角度对概念复合块自动分析性能进行了纵向与横向评估,初步实验结果证明了该分析方法对简单概念复合块分析的有效性,为后续进行更复杂的概念复合块的句法语义分析研究打下了很好的基础。     

基于条件随机场的汉语框架语义角色自动标注

在给定目标词及其所属框架的条件下,汉语框架语义角色标注可以分为语义角色识别和角色分类两个步骤。该文将此任务通过IOB2标记策略形式化为词序列标注问题,以词为基本标注单元,采用条件随机场模型进行自动标注实验。先对语料使用清华大学的基本块自动分析器进行分析,提取出15个块层面的新特征,并将这些特征标记形式化到词序列上。以文献[20]已有的12个词层面特征以及15个块层面特征共同构成候选特征集,采用正交表方法来选择模型的最优特征模板。在与文献[20]相同的语料上,相同的3组2折交叉验证实验下,语义角色标注的总性能的F1-值比文献[20]的F1-值提高了近1%,且在显著水平0.05的t-检验下显著。实验结果表明: (1)基于词序列模型,新加入的15个块层面特征可以显著提高标注模型的性能,但这类特征主要对角色分类有显著作用,对角色识别作用不显著;(2) 基于词序列的标注模型显著好于以基本块为标注单元以及以句法成分为标注单元的标注模型。     

分层次的汉语功能块描述库构建分析

现有功能块分析器对于不同长度和不同结构功能块的分析性能研究表明,长的结构复杂的功能块正是功能块自动分析的难点所在。由此,我们设计了新的分层次的功能块体系,并从清华句法树库TCT中自动生成了新的功能块语料库。通过对新的功能块语料库长度分布、内部结构分布分析,以及与单层次功能块语料库的相互关系的研究,我们证实了新的分层次功能块描述体系具有结构简单、长度短且分布均匀的优良特点。这些性质对功能块分析器的性能提高将会有很大的帮助。     

基于神经元网络的问句组块分析

问句分析是自动问答系统研究中的重点和难点。在中文问句的结构特点基础上,结合机器学习及组块分析理论,对问句进行组块分析,实现了基于神经网络的问句组块识别算法,并应用于银行领域自动问答系统中。测试结果表明,对问句组块的识别能够达到比较满意的效果。     

基于中英平行专利语料的短语复述自动抽取研究

短语复述自动抽取是自然语言处理领域的重要研究课题之一,已广泛应用于信息检索、问答系统、文档分类等任务中。而专利语料作为人类知识和技术的载体,内容丰富,实现基于中英平行专利语料的短语复述自动抽取对于技术主题相关的自然语言处理任务的效果提升具有积极意义。该文利用基于统计机器翻译的短语复述抽取技术从中英平行专利语料中抽取短语复述,并利用基于组块分析的技术过滤短语复述抽取结果。而且,为了处理对齐错误和翻译歧义引起的短语复述抽取错误,我们利用分布相似度对短语复述抽取结果进行重排序。实验表明,基于统计机器翻译的短语复述抽取在中英文上准确率分别为43.20%和43.60%,而经过基于组块分析的过滤技术后准确率分别提升至75.50%和52.40%。同时,利用分布相似度的重排序算法也能够有效改进抽取效果。     

面向口语翻译的双语语块自动识别

语块识别是实现“基于语块处理方法”的基础 .目前 ,针对单语语块的研究成果已有很多 ,但机器翻译更需要双语相关的语块分析 .该文根据口语翻译的实际需要 ,提出了“双语语块”的概念 .并在此基础上 ,实现了一种针对并行语料库进行双语语块自动识别的新方法 .该方法将统计和规则相结合 ,可同时保证双语语块的语义特性和句法规范 .通过在一个 6万句的旅馆预定领域口语语料库中的实验可以看出 ,该方法对汉英并行语料的双语语块识别正确率可达到 80 %左右 .     

基于最大熵模型的汉语问句语义组块分析

问句分析是问答系统的关键，为降低问句完整语法分析的复杂度，该文应用浅层句法分析理论，采用问句语义组块方式来分析问句。以“知网”知识库为基础，提取和定义了表达汉语问句的6种语义块，定义了语义组块最大熵模型的特征表示，通过最大熵原理实现了语义组块特征抽取和特征选取学习算法，并以模型为基础实现了真实问句的语义块的标注，从而为在语义层面上理解汉语问句奠定了基础。实验结果说明最大熵模型应用于汉语问句语义组块分析具有较好的效果。     

汉语组块分析研究综述

组块分析作为浅层句法分析的代表,既可以满足很多语言信息处理系统对于句法功能的需求,又可以作为子任务,在词法分析和完全句法分析以及语义分析中间架起一座桥梁,为句子进行进一步深入分析提供有力的支持,因此众多的研究将注意力集中于组块分析上。该文主要对组块的定义和分类、组块识别方法、组块的标注和评测以及组块内部关系分析等几方面的研究进展进行详细的综述。最后,探讨了组块分析存在的问题并对未来的发展方向进行了展望。     

基于SVM的组块识别及其错误驱动学习方法

给出了一种错误驱动学习机制与SVM相结合的汉语组块识别方法。该方法在SVM组块识别的基础上,对SVM识别结果中的错误词语序列的词性、组块标注信息等进行分析,获得候选校正规则集;之后按照阈值条件对候选集进行筛选,得到最终的校正规则集;最后应用该规则集对SVM的组块识别结果进行校正。实验结果表明,与单独采用SVM模型的组块识别相比,加入错误驱动学习方法后,组块识别的精确率、召回率和F值均得到了提高。     

基于最大熵模型的组块分析

采用最大熵模型实现中文组块分析的任务．首先明确了中文组块的定义，并且列出了模型中所有的组块类型和组块标注符号．组块划分和识别的过程可以转化为对于每一个词语赋予一个组块标注符号的过程，我们可以把它作为一个分类问题根据最大熵模型来解决．最大熵模型的关键是如何选取有效的特征，文中给出了相关的特征选择过程和算法．最后给出了系统实现和实验结果．