基于机器学习的科学论证自动评分个案研究

科学论证能力是国际教育评价项目的重要测评内容。随着人工智能在自然语言处理等领域取得突破性进展,国外已实现科学论证的计算机自动评分,并尝试结合实时反馈系统将科学论证自动评分用于改进课堂教学。本研究聚焦国际上关于科学论证自动评分的最新进展,以较为成熟的文字类科学论证作品的自动测评为研究对象,借助典型个案分析自动评分中的科学论证框架、自动评分的实现路径及保障测评工具精确性的方法。研究发现:1)自动测评一般使用图尔敏论证模型作为测评框架,并采用主观题与客观题相结合的试题结构;2)科学论证分析框架具有操作简便、通用性强、应用广泛等特点;3)基于机器学习的自动评分工具c-rater-ML具有人力资源耗费相对较小、评分精确性相对较高的特点;4)一般采用二次权重卡帕和皮尔逊相关性检验自动评分的精确性。尽管自动评分取得了令人满意的进展,未来仍有较大的改进空间。     

剑桥入学考试评价模式——以生物医学入学考试为例

作为剑桥评价集团的考试项目之一,剑桥评价入学考试遵循以下原则进行考试开发、实施和研究:1)适用性;2)交流与合作;3)质量与公信力;4)效度与效度验证。以生物医学入学考试为例,着重介绍适用性、效度与效度验证2项原则在剑桥入学考试中的应用,简要介绍交流与合作、质量与公信力2项原则及其应用。     

效度验证:教育考试亟需补齐的短板

效度是开发、运作和评价考试时所需考虑的一项最为基础和重要的内容,效度验证则是收集证据为分数解释提供支持的过程,是评价考试质量的重要手段。然而,在考试研究的具体实践中,效度验证远未得到应有的重视。因此,有必要正确认识效度验证的意义、内容和方法。     

智能评分技术在计算机等级考试中的应用研究

近年来随着各用人单位对大学计算机等级考试证书要求的不断提高以及全国计算机等级考试报名人数的不断攀升,如何在大学计算机等级考试相关课程教学以及等级考试过程中采取自动智能化评分方法,成为很多高校以及相关考试机构迫切需要解决的问题,本文对当前国内大学计算等级考试科目所采用的主要智能评分系统进行分析和总结,为智能评分技术在其他科目如Visual Basic、Python等计算机等级考试中的应用研究提供有益参考。     

主观题评分中的评分者漂移及其传统检测方法

评分者漂移是指评分员跨时间、场合或任务的行为改变,即评分者效应的波动。该构念的提出反映了研究者对评分者效应的兴趣由静态转为动态。在高利害教育考试的背景下,对评分者漂移进行检测是保障结果分数的信度、效度和考试公平性的必然要求。目前,对评分者漂移的检测主要采取基于多面Rasch模型和差异检验的传统方法。评分者漂移的模型拓展、认知与测量结合以及改进评分设计等方面值得做进一步的研究。     

浅论语言测试的效度

信度与效度是语言测试两大基本要求,信度与效度的关系问题是语言测试的根本问题。考试的效度指的是考试在多大程度上测出预期要测量的东西,信度指的是考试结果的可靠性。本文重点介绍了效度的含义,对效度的测量方法以及效度与信度的关系等问题做了详细的阐述。     

大学英语口语测试研究综述

本文回顾了中国近13年来关于大学英语口语测试的研究,通过数据分析,归类了发表外语类核心期刊上有关口语测试的论文。就研究内容而言,这些论文主要涉及口语测试任务的效度、口语测试评分信度以及非面试型口语考试。笔者通过对这些论文的综述,展示了我国口语测试的发展现状及现存的问题,希望为大学英语口语测试的发展和完善提供借鉴。     

关于C语言程序设计题自动评分算法的探究

主要结合C程序设计题的评分规则,提出了自动评分方案。自动评分方案包括静态评分方案和动态评分方案,主要解决的问题是C程序设计题自动评分方案的结果的客观性,并通过数据验证自动评分方案的合理性。     

英语专业四级考试“语法与词汇”效度分析研究

作为一种全国性标准化测试——英语专业四级考试越来越受到人们的重视。近年来,随着中国国际地位的不断提高与国际贸易的日趋频繁,英语学习日益重要。本文对"语法与词汇"题的效度进行分析,并提出一些提高"语法与词汇"效度的方法,希望对英语专业四级考试的"语法与词汇"题的命题有所帮助,从而整体提高英语专业四级考试的含金量。     

论外语教学多元评价体系下的评估效度

在教育信息化的影响下,外语课程结构发生了巨大的变化,以培养学习者的批判性思维、创造性思维和问题解决能力等为教学过程的重点,进而需要效度验证来说明课堂教学是否达到了学习目标,同时对学习者产生了什么样的后效影响。教师可对课堂评价中的效度概念进行梳理,并探讨课堂评价所需要验证的效度维度,进而提出通过效度检验来验证课堂评价对学习效果的影响。