英语学习者作文自动评分特征选择及模型优化研究

通过集成学习方法,探索影响英语学习者作文质量的语言特征,提高现有作文自动评分系统的准确率.基于剑桥FCE考试数据集,使用支持向量回归和随机森林算法筛选特征,构建并评测自动评分模型.与现有方法对比实验的结果表明,基于集成学习的评分模型准确率有所提升.该方法可以有效评估英语学习者的作文质量,有助于开发面向大规模机考和网络自主学习平台的作文自动评阅系统.     

基于多层次语义特征的英文作文自动评分方法

作文自动评分（AES）技术能够自动地对作文进行分析和评分,其已成为自然语言处理技术在教育领域应用的热点研究问题之一。针对目前AES方法割裂了深层和浅层语义特征,忽视了多层次语义融合对作文评分影响的问题,提出了一种基于多层次语义特征的神经网络（MLSF）模型进行AES。首先,采用卷积神经网络（CNN）捕获局部语义特征,并采用混合神经网络捕获全局语义特征,以从深层次获取作文的语义特征;其次,利用篇章级的作文主题向量来获取主题层特征,同时针对深度学习模型难以挖掘的语法错误和语言丰富程度特征,构造了少量人工特征以从浅层获取作文的语言学特征;最后,通过特征融合对作文进行自动评分。实验结果表明,所提出模型在Kaggle ASAP竞赛公开数据集的所有子集上性能均有显著提升,该模型的平均二次加权的卡帕值（QWK）达到79.17%,验证了该模型在AES任务中的有效性。     

基于多尺度上下文的英文作文自动评分研究

目前作文自动评分模型缺乏对不同尺度上下文语义特征的提取,未能从句子级别计算与作文主题关联程度的特征。提出基于多尺度上下文的英文作文自动评分研究方法 MSC。采用XLNet英文预训练模型提取原始作文文本单词嵌入和句嵌入,避免在处理长序列文本时无法准确捕捉到符合上下文语境的向量嵌入,提升动态向量语义表征质量,解决一词多义问题,并通过一维卷积模块提取不同尺度的短语级别嵌入。多尺度上下文网络通过结合内置自注意力简单循环单元和全局注意力机制,分别捕捉单词、短语和句子级别的作文高维潜在上下文语义关联关系,利用句向量与作文主题计算语义相似度提取篇章主题层次特征,将所有特征输入融合层通过线性层得到自动评分结果。在公开的标准英文作文评分数据集ASAP上的实验结果表明,MSC模型平均二次加权的Kappa值达到了80.5%,且在多个子集上取得了最佳效果,优于实验对比的深度学习自动评分模型,证明了MSC在英文作文自动评分任务上的有效性。     

嵌入语言深度感知的汉语作文评分算法

从语言深度感知设计了一种汉语作文自动阅卷评分算法,抽象出语感特征的计算模型以模拟人类对自然语言的评价标准,弥补了早期作文自动阅卷中的机械统计式自然语言处理技术的不足。采用AC自动机对语感支撑要素,即作文作者的个人语言素材,进行快速分析。利用文本分词和主干提取等技术实现了对诸如句子流畅度等语句级评价,并将待评测作文的上下文结构与标准作文框架进行相似性比对,从而在作文自动评分系统中建立对作者语言运用能力的综合评价。实验结果表明,该算法增强了自动评分的语言能力评定的合理性,也更加贴切与专家校准后的人工评分样本。     

基于文本语义离散度的自动作文评分关键技术研究

该文尝试从文本语义离散度的角度去提升自动作文评分的效果,提出了两种文本语义离散度的表示方法,并给出了数学化的计算公式。基于现有的LDA模型、段落向量、词向量等具体方法,提取出四种表征文本语义离散度的实例,应用于自动作文评分。该文从统计学角度将文本语义离散度向量化,从去中心化的角度将文本语义离散度矩阵化,并使用多元线性回归、卷积神经网络和循环神经网络三种方法进行对比实验。实验结果表明,在50篇作文的验证集上,在加入文本语义离散度特征后,预测分数与真实分数之间均方根误差最大降低10.99%,皮尔逊相关系数最高提升2.7倍。该表示方法通用性强,没有语种限制,可以扩展到任何语言。     

面向作文自动评分的优美句识别

语言优美是学生写作能力中重要的一部分。该文提出一个面向作文自动评分的作文优美句识别任务,主要识别中学生中文作文中的优美句。相比传统文本分类任务,优美句识别更加难以用特征工程的方式解决。因此,该文提出一种基于卷积神经网络(CNN)和双向长短时记忆(BiLSTM)网络的混合神经网络结构进行优美句识别,并和CNN、BiLSTM网络进行了对比。实验证明,混合神经网络的准确率最高,达到89.23%,F₁值与BiLSTM相当,达到75.39%。此外,该文将优美句子特征用于作文自动评分任务,可使计算机评分和人工评分的大分差比例下降21.41%。     

基于词汇评分的汉语作文自动评分

该文研究了通过作文词汇评分来实现汉语作文自动评分的新算法。在作文评分应与词汇评分高度相关的假设基础上,实现了这种关系的量化计算。该文从通用词表方法、常规方法以及提出的三种改进算法上进行方法性能的比较,并对比了E-rater作文评分系统中同样采用基于词汇方法的性能。实验结果表明,基于新的词汇评分的作文评分方法相关度^①接近0.7的水平,高于E-rater中采用的基于词汇的方法的相关度。同时,这一方法的结果已经接近于人工作文评分的相关度。     

作文自动评分技术综述

在作文自动评分任务的研究取得了长足发展,教育领域对自动评分任务的需求日益提升的趋势下,通过对现有文献的调研,对作文自动评分技术进行分析与综述。首先,根据技术发展的流程,介绍具有代表性的作文自动评分系统,分析现有模型中采用的评分技术与特征提取技术;其次,从传统技术、深度学习模型、预训练技术以及主题独立环境下的应用四个方面分析作文自动评分任务的关键节点以及相应技术的发展;最后,对值得关注的技术和当前的作文自动评分系统的发展方向进行总结与展望。分析结果表明,不同特征的结合是一种值得关注的研究方向。作文自动评分技术在语法修正及作文润色方面具有较大的应用前景。     

基于混合神经网络模型的英文写作评分方法研究

为提高英文写作评分的信息化水平，使计算机自动评分效果与人工评分效果更加接近，提出了一套基于混合神经网络模型的英文写作评分方法。通过transformer编码器工具从英文文本中提取语义特征向量、句法特征向量、浅层语言特征向量和主题文本向量，并通过sigmoid函数将各向量特征数值化，再对各项数据实施加权求和处理进而生成最终的评分数值。经实验研究发现，基于混合神经网络模型的英文写作评分方法所得出的评分结果相比于其他主流算法更加接近人工评分。     

基于要点匹配的文科主观题通用评分

主观题自动评分是智慧教育创新中的重要环节，逐步成为人工智能与教育行业领域交叉的热门方向之一。该文面向文科要点主观题，提出基于多任务学习的要点匹配评价模型：评估学生作答与标准答案各个要点之间的匹配等级，并抽取其中与要点相对应的具体片段，通过这两个任务的结果同时刻画学生对每个要点的掌握程度，并作为自动评分的关键特征；将要点匹配评价结果与文本相似度特征相结合，实现主观题作答自动评分，在无定标数据的通用评分场景下大幅提升了效果。对比实验证明了相比传统特征，基于要点匹配评价结果的特征在评分模型中更加重要。     

HSK自动作文评分的特征选取研究

作文特征选取是研究汉语作为第二语言的水平测试自动作文评分的关键问题之一,以中国汉语水平考试作文为研究对象,从字、词、语法、成段表达、庄雅度等多个层面上,选取107个作文特征,经相关度计算得到19个与作文分数较为相关的作文特征。基于选取的作文特征,采用多元线性回归方法进行回归实验和稳定性交叉实验。实验表明,作文长度、词汇使用和成段表达方面的作文特征对作文得分具有较好的解释能力,多元线性回归方法应用于中国汉语水平考试自动作文评分具有较好的稳定性。     

Automatic pronunciation scoring of words and sentences independent from the non-native’s first language

This paper describes an approach for automatic scoring of pronunciation quality for non-native speech. It is applicable regardless of the foreign language student’s mother tongue. Sentences and words are considered as scoring units. Additionally, mispronunciation and phoneme confusion statistics for the target language phoneme set are derived from human annotations and word level scoring results using a Markov chain model of mispronunciation detection. The proposed methods can be employed for building a part of the scoring module of a system for computer assisted pronunciation training (CAPT). Methods from pattern and speech recognition are applied to develop appropriate feature sets for sentence and word level scoring. Besides features well-known from and approved in previous research, e.g. phoneme accuracy, posterior score, duration score and recognition accuracy, new features such as high-level phoneme confidence measures are identified. The proposed method is evaluated with native English speech, non-native English speech from German, French, Japanese, Indonesian and Chinese adults and non-native speech from German school children. The speech data are annotated with tags for mispronounced words and sentence level ratings by native English teachers. Experimental results show, that the reliability of automatic sentence level scoring by the system is almost as high as the average human evaluator. Furthermore, a good performance for detecting mispronounced words is achieved. In a validation experiment, it could also be verified, that the system gives the highest pronunciation quality scores to 90% of native speakers’ utterances. Automatic error diagnosis based on a automatically derived phoneme mispronunciation statistic showed reasonable results for five non-native speaker groups. The statistics can be exploited in order to provide the non-native feedback on mispronounced phonemes.     

面向学科题目的文本分析方法与应用研究综述

分析学科题目含义、模拟人类解决问题,是当前“人工智能+教育”融合研究的重要方向之一。近年来,智能教育系统的快速发展积累了大量学科题目资源,为相关研究提供了数据支撑。为此,利用大数据分析与自然语言处理相关的技术,研究者提出了大量面向学科题目的文本分析方法,开展了许多重要的智能应用任务,对探索人类知识学习等认知能力具有重要意义。该文围绕智能教育与自然语言处理交叉领域,介绍了若干代表性研究任务,包括题目质量分析、机器阅读理解、数学题问答、文章自主评分等,并对相应研究进展进行阐述和总结;此外,对相关数据集和开源工具包进行了总结和介绍;最后,展望了多个未来研究方向。     

少数民族汉语考试的作文辅助评分系统研究

随着计算机的普遍应用以及计算机技术的快速发展,计算机辅助性测试和计算机自适应性测试都已先后成为现实。计算机辅助评分,也称作计算机自动评分,就成为人们所希望的下一代计算机辅助工具。中文辅助评分系统的研究尚处于起步阶段,据我们了解还没有一个能大规模使用的系统。我们研究了许多英文的辅助评分系统,并按照文章中的算法提取特征,但是特征的相关度并不高。在该文中,我们利用统计自然语言处理和信息检索的技术提取作文写作水平和作文主题特征。在建模时,融入样本分数分布和一位评分员的评分的信息,创造性的提出三重分段回归模型。实验表明,利用我们的辅助评分系统协助评分,在节省一半阅卷量的情况下,精度可以达到97%以上。     

Artificial intelligence in educational assessment: ‘Breakthrough? Or buncombe and ballyhoo?’

Artificial Intelligence is at the heart of modern society with computers now capable of making process decisions in many spheres of human activity. In education, there has been intensive growth in systems that make formal and informal learning an anytime, anywhere activity for billions of people through online open educational resources and massive online open courses. Moreover, new developments in Artificial Intelligence-related educational assessment are attracting increasing interest as means of improving assessment efficacy and validity, with much attention focusing on the analysis of the large volumes of process data being captured from digital assessment contexts. In evaluating the state of play of Artificial Intelligence in formative and summative educational assessment, this paper offers a critical perspective on the two core applications: automated essay scoring systems and computerized adaptive tests, along with the Big Data analysis approaches to machine learning that underpin them.     

基于语义选择与信息特征的英语机器翻译系统

本文基于语义选择与信息特征设计了英语自动化机器翻译系统。通过语义信息特征制定了机器翻译流程,以GIZA++为载体进行翻译,利用伯克利对准器对齐词语,基于反向转换语法,详细阐述汉语语言模式与英语翻译语言模式的结构关联特性,以语句动静配置,实现自动化机器翻译。最后通过系统测试,结果表明,与传统机器翻译系统相比,准确率显著提高,这就表明基于语义选择与信息特征的英语自动化机器翻译系统的翻译准确率较高,可为英汉机器翻译奠定坚实的基础支持。