结合语言学特征和自编码器的英语作文自动评分

近年来,越来越多的大规模英语考试采用了自动评分系统.因此,对英语作文自动评分的研究有着非常重要的价值.我们先依据英语作文写作技巧提取了大量语言学特征,再分别使用自编码器,特征值离散化方法对特征进行重构,最后我们使用分层多项模型来输出文章的最终得分.实验表明,该方法能取得很好的预测效果,而且面对不同主题的作文进行预测时也能显示出较好的鲁棒性.相比于传统自动评分方法皮尔森相关系数高出9.7%,具有良好的实际应用价值.     

作文自动评分技术综述

在作文自动评分任务的研究取得了长足发展,教育领域对自动评分任务的需求日益提升的趋势下,通过对现有文献的调研,对作文自动评分技术进行分析与综述。首先,根据技术发展的流程,介绍具有代表性的作文自动评分系统,分析现有模型中采用的评分技术与特征提取技术;其次,从传统技术、深度学习模型、预训练技术以及主题独立环境下的应用四个方面分析作文自动评分任务的关键节点以及相应技术的发展;最后,对值得关注的技术和当前的作文自动评分系统的发展方向进行总结与展望。分析结果表明,不同特征的结合是一种值得关注的研究方向。作文自动评分技术在语法修正及作文润色方面具有较大的应用前景。     

HSK自动作文评分的特征选取研究

作文特征选取是研究汉语作为第二语言的水平测试自动作文评分的关键问题之一,以中国汉语水平考试作文为研究对象,从字、词、语法、成段表达、庄雅度等多个层面上,选取107个作文特征,经相关度计算得到19个与作文分数较为相关的作文特征。基于选取的作文特征,采用多元线性回归方法进行回归实验和稳定性交叉实验。实验表明,作文长度、词汇使用和成段表达方面的作文特征对作文得分具有较好的解释能力,多元线性回归方法应用于中国汉语水平考试自动作文评分具有较好的稳定性。     

英语学习者作文自动评分特征选择及模型优化研究

通过集成学习方法,探索影响英语学习者作文质量的语言特征,提高现有作文自动评分系统的准确率.基于剑桥FCE考试数据集,使用支持向量回归和随机森林算法筛选特征,构建并评测自动评分模型.与现有方法对比实验的结果表明,基于集成学习的评分模型准确率有所提升.该方法可以有效评估英语学习者的作文质量,有助于开发面向大规模机考和网络自主学习平台的作文自动评阅系统.     

基于多尺度上下文的英文作文自动评分研究

目前作文自动评分模型缺乏对不同尺度上下文语义特征的提取,未能从句子级别计算与作文主题关联程度的特征。提出基于多尺度上下文的英文作文自动评分研究方法 MSC。采用XLNet英文预训练模型提取原始作文文本单词嵌入和句嵌入,避免在处理长序列文本时无法准确捕捉到符合上下文语境的向量嵌入,提升动态向量语义表征质量,解决一词多义问题,并通过一维卷积模块提取不同尺度的短语级别嵌入。多尺度上下文网络通过结合内置自注意力简单循环单元和全局注意力机制,分别捕捉单词、短语和句子级别的作文高维潜在上下文语义关联关系,利用句向量与作文主题计算语义相似度提取篇章主题层次特征,将所有特征输入融合层通过线性层得到自动评分结果。在公开的标准英文作文评分数据集ASAP上的实验结果表明,MSC模型平均二次加权的Kappa值达到了80.5%,且在多个子集上取得了最佳效果,优于实验对比的深度学习自动评分模型,证明了MSC在英文作文自动评分任务上的有效性。     

电子词典与词汇知识表达

词汇知识的表达与取得是自然语言处理极须克服的问题,本论文提出一个初步的架构与常识的抽取机制。语言处理系统是以词为讯息处理单元,登录在词项下的讯息可以包括统计、语法、语义、常识等。语言分析系统利用〈词〉为引得取得输入语句中相关词汇的语法、语义、常识等信息,让语言处理系统有更好的聚焦能力,可以藉以解决分词歧义、结构的歧义。对于不易以人工整理取得的常识,本论文也提出计算机自动学习的策略,以渐进式的方式累积概念与概念之间的语义关系,来增进语言系统的分析能力。这个策略可行的几个关键技术,包括(1)未登录词判别及语法语义自动分类, (2)词义分析, (3)应用语法语义及常识的剖析系统。     

少数民族汉语考试的作文辅助评分系统研究

随着计算机的普遍应用以及计算机技术的快速发展,计算机辅助性测试和计算机自适应性测试都已先后成为现实。计算机辅助评分,也称作计算机自动评分,就成为人们所希望的下一代计算机辅助工具。中文辅助评分系统的研究尚处于起步阶段,据我们了解还没有一个能大规模使用的系统。我们研究了许多英文的辅助评分系统,并按照文章中的算法提取特征,但是特征的相关度并不高。在该文中,我们利用统计自然语言处理和信息检索的技术提取作文写作水平和作文主题特征。在建模时,融入样本分数分布和一位评分员的评分的信息,创造性的提出三重分段回归模型。实验表明,利用我们的辅助评分系统协助评分,在节省一半阅卷量的情况下,精度可以达到97%以上。     

格语法在主观题自动阅卷中的应用

主观题阅卷技术是计算机自动阅卷中的关键技术。国内外专家都致力于自动批改技术的研究,但成熟应用的系统很少。语句相似度计算是主观题自动阅卷的关键问题,本文结合格语法进行语义分析,在此基础上设计语句相似度算法,能有效提高评分准确率。     

一种英文自动摘要方法

随着在线网页的指数型增长,自动摘要技术越来越受到人们的关注。针对抽取型摘要很少对文本进行语义分析、抽取出的句子可能偏离主题等缺陷,结合单文本摘要的特点,提出了一种英文自动摘要方法TLETS（TF-ISF and LexRank based English Text Summarization）。该方法采用WordNet对向量空间模型的特征词进行概念统计,计算每个概念词的TF-ISF值作为其权值,最后计算每个句子的LexRank权值并提取出权值最高的几个句子作为摘要。实验结果表明,TLETS方法能很好地得到摘要结果。     

利用词的分布式表示改进作文跑题检测

作文跑题检测任务的核心问题是文本相似度计算。传统的文本相似度计算方法一般基于向量空间模型,即把文本表示成高维向量,再计算文本之间的相似度。这种方法只考虑文本中出现的词项(词袋模型),而没有利用词项的语义信息。该文提出一种新的文本相似度计算方法:基于词扩展的文本相似度计算方法,将词袋模型(Bag-of-Words)方法与词的分布式表示相结合,在词的分布式表示向量空间中寻找与文本出现的词项语义上相似的词加入到文本表示中,实现文本中单词的扩展。然后对扩展后的文本计算相似度。该文将这种方法运用到英文作文的跑题检测中,构建一套跑题检测系统,并在一个真实数据中进行测试。实验结果表明该文的跑题检测系统能有效识别跑题作文,性能明显高于基准系统。
     

基于文档发散度的作文跑题检测

作文跑题检测是作文自动评分系统的重要模块。传统的作文跑题检测一般计算文章内容相关性作为得分,并将其与某一固定阈值进行对比,从而判断文章是否跑题。但是实际上文章得分高低与题目有直接关系,发散性题目和非发散性题目的文章得分有明显差异,所以很难用一个固定阈值来判断所有文章。该文提出一种作文跑题检测方法,基于文档发散度的作文跑题检测方法。该方法的创新之处在于研究文章集合发散度的概念,建立发散度与跑题阈值的关系模型,对于不同的题目动态选取不同的跑题阈值。该文构建了一套跑题检测系统,并在一个真实的数据集中进行测试。实验结果表明基于文档发散度的作文跑题检测系统能有效识别跑题作文。     

利用深层语言分析改进中文作文自动评分方法

利用自然语言处理技术对作文进行自动评阅是有重要意义和挑战的研究课题,引起了人工智能领域与教育领域学者的共同关注。该文聚焦于语文作文自动评分任务,提出通过深层语言分析,包括应用高性能别字、语法纠错器分析语言运用能力,采用自动修辞分析、优秀表达识别等手段反映语言表达能力,以及通过细粒度篇章质量分析评估篇章整体质量,来构建有效特征。该文同时提出了结合语言分析特征与深度神经网络编码的自适应混合评分模型。在真实语文作文数据上的实验表明,融入深层语言分析特征可有效提高作文评分效果;年级与主题自适应的模型训练策略,可提高模型的迁移能力和预测效果。消融实验进一步分析和解释了不同类型特征对评分效果的贡献。     

嵌入语言深度感知的汉语作文评分算法

从语言深度感知设计了一种汉语作文自动阅卷评分算法,抽象出语感特征的计算模型以模拟人类对自然语言的评价标准,弥补了早期作文自动阅卷中的机械统计式自然语言处理技术的不足。采用AC自动机对语感支撑要素,即作文作者的个人语言素材,进行快速分析。利用文本分词和主干提取等技术实现了对诸如句子流畅度等语句级评价,并将待评测作文的上下文结构与标准作文框架进行相似性比对,从而在作文自动评分系统中建立对作者语言运用能力的综合评价。实验结果表明,该算法增强了自动评分的语言能力评定的合理性,也更加贴切与专家校准后的人工评分样本。     

基于客观赋权的网络资产重要性评估方法

鉴于资产重要性评估中权值赋予主观性过强,造成资产重要性评分不够准确问题。提出一种客观赋权法(M-EWM&VCM),用于网络空间的资产重要性评估。该方法给出网络资产重要性评估所参考的六个评价指标,使用min-max归一化方法进行数据预处理,依靠改进熵权法(M-EWM)和变异系数法(VCM)共同作用,求得各评价指标权值,计算出资产重要性评分。实验证明,该方法较熵权法或变异系数法单独作用后计算出的重要性评分,其结果与选取的评估基线更贴近,更符合客观实际。同时,该方法能够解决权值赋予均衡化弊端,克服对异常数据过敏感问题,获得鲁棒性更强的评估结果。随着网络环境变化,该方法还能适当调整指标权值计算出更准确的资产重要性评分。     

面向数据的句法分析技术

面向数据的分析技术(Data-Oriented Parsing ,DOP) 首先由Scha (1990) 年提出。该处理技术具体表达了这样的假设:人类对语言的领悟和创造依赖于以往具体的语言经验,而不是依赖于抽象的语法规则。DOP 技术框架可以分为: (1) 建立包括以往成功分析的语言经验的标注语料库; (2) 从语料库中抽取片段单元来构造新语言的分析过程;(3) 计算分析过程的概率。DOP 模型建立在包含大量语言现象的语料库基础上,把经过标注的语料库看作一个语法( Grammar) 。当输入一个新的语言现象时,系统通过对语料库中片段单元的组合运算来组合分析过程。根据所有片段单元的共现频率来评估最有可能性的分析结果。本文详细论述了语料库的标注,片段单元的定义,组合分析和概率计算。     

融合MLP与循环神经网络算法的语法自动纠错方法研究

为了进一步提升语法自动纠错技术的实用性，研究对以循环神经网络为核心的Sep2Sep模型进行优化改进，引入双向LSTM循环神经网络，将基于双向LSTM的Sep2Sep模型与MLP神经网络相结合构建语法自动纠错系统，并通过测试实验验证语法自动纠错系统的准确率。研究结果表明，研究所设计的语法自动纠错系统F_0.5值为56.37,P值和R值分别为66.78和35.09,检测准确率较高。纠错系统的运行响应时间保持在1.34 s,能在多个检测目标并发情况下进行快速系统响应。研究利用双向LSTM和MLP神经网络解决传统纠错模型的梯度爆炸问题，并采用分布式架构提升自动纠错系统的运行能力，对进一步加强自动语法纠错技术的实用性具有重要意义。     

基于语句成分的英语语义分析算法及应用

英语语句的语义分析是英语考试主观题计算机自动评分、英语机器翻译、英语自动应答、英文文章摘要自动获取等课题的研究基础.基于语句成分的英语语义分析算法可以从英语语句中提取主语成份、谓语成分、宾语成分和其他成分,从而分析英语语义,该算法成功实现了英语汉译英主观题的自动评分.     

集中趋势自适应增强的英语作文评分算法

为更好地对英语作文进行智能评分,提出了一种改进算法Adaboost/CT。算法以机器筛选得到的主成分作为弱分类器集,通过集中趋势的方法改进了自适应增强技术。这样既避免了过拟合问题,也解决了弱分类器叠加错误陷阱。实验表明该算法能有效地应用于英语作文智能评分系统,且与人工评分相比,其邻接准确率为94%,误差均小于20%且不存在奇异值性误差。该算法在智能评分和机器学习方面具有理论和实用价值。     

基于局部密度的无监督作文跑题检测方法

针对现有的无监督作文跑题检测方法中,使用作文内容向量表示作文存在非主题词噪声所导致的相似度不准确问题,该文提出一种基于作文主题词抽取和局部密度阈值选择的无监督作文跑题检测方法。首先使用LDA主题生成模型挖掘待测作文的主题词,并使用分布式表示向量寻找与题目词项语义相似的词,作为对作文题目的主题词扩展,在此基础上使用提出的切题度计算方法计算待测作文的切题度,并使用所提出的基于作文集切题度局部密度的阈值抽取方法动态选取切题阈值,进而实现一种无需训练集和主题无关的无监督作文跑题检测方法。在以英语为母语的学习者和以汉语为母语的学习者所写的8个作文集共9 381篇作文上的实验结果表明,该文提出的作文跑题检测方法能有效识别跑题作文,加入拼写检查预处理后,平均F1值为79.64%,单个作文题目下F1值最好为96.1%。     

面向作文自动评分的优美句识别

语言优美是学生写作能力中重要的一部分。该文提出一个面向作文自动评分的作文优美句识别任务,主要识别中学生中文作文中的优美句。相比传统文本分类任务,优美句识别更加难以用特征工程的方式解决。因此,该文提出一种基于卷积神经网络(CNN)和双向长短时记忆(BiLSTM)网络的混合神经网络结构进行优美句识别,并和CNN、BiLSTM网络进行了对比。实验证明,混合神经网络的准确率最高,达到89.23%,F₁值与BiLSTM相当,达到75.39%。此外,该文将优美句子特征用于作文自动评分任务,可使计算机评分和人工评分的大分差比例下降21.41%。