一种基于向量空间模型的主观题批改算法

文字类主观题的自动批改是在线考试系统的一个关键技术。本文在研究主观题自动批改技术现状的基础上,提出了一种基于向量空间模型的短语级句子相似度计算方法,并基于该计算方法设计了一种主观题自动批改算法,经验证,实验结果基本达到预期目标。     

基于领域概念网络的自动批改技术*

随着网络教学的飞速发展和推广应用,作为网络教学核心技术的自动批改技术是近年来讨论的热点问题。针对主观题自动批改技术的难点,提出一种基于带权概念网络进行分层语义相似度计算的主观题自动批改方案,并且通过实际应用验证了该解决方案的可行性,从而在一定程度上解决了自动批改问题。     

基于TF-IDF及LSI模型的主观题自动评分系统研究

随着计算机辅助教学,多媒体处理以及计算机网络技术的发展与成熟,目前已经有许多考试都采用无纸化考试,即机考的形式进行。采取电子化考试的优点在于考试可监控性强,考试效率高,考试标准化和程序化。并且对于选择题判断题这样的客观题自动化批改技术已经十分成熟,极大的缩减了改卷时间,提高了改卷效率。但是,由于受到自然语言理解的限制,至今没有比较完善的主观题自动批改系统对主观题进行批改和评分。本文采用TF-IDF及LSI两种模型作为文本分析模型,使用jieba中文分词工具进行文本预处理,使用Python语言实现该系统。通过考生答案与标准答案的语义相似度分析,对考生作答的主观题进行批改和评分。之后随机抽取5份大学考试中的考生试卷,使用该主观题自动评分系统进行测试,与改卷老师所给出的评分进行对比分析和说明。实验结果表明,本文所提出的主观题自动评分系统在一般情况下可以满足主观题自动评分的功能,是一种值得继续深入研究的可行方法。     

《机械制图》绘图作业的自动批改

主要讨论在《机械制图》远程教学中，学生在计算机上完成作业后，系统可以自动进行批改，并且对于学生的学习情况给予评价。所有功能通过利用ActiveX技术自行开发的绘图程序得以实现。该工具实现了网络绘图主观题的大部分批改功能，将教师从繁重的作业批改中解脱出来。     

语句相似度计算在主观题自动批改技术中的初步应用

文字类主观题的自动批改是实现远程教学系统中在线考试功能的一个关键技术,由于其具有相当的难度,目前国内外在这方面的研究还不是很多,真正实用的系统更少。该文着重对语句相似度的计算进行了深入的研究,利用基于动态规划的语句相似度计算方法实现了文字类主观题的自动批改,测试结果初步达到预期目标。     

格语法在主观题自动阅卷中的应用

主观题阅卷技术是计算机自动阅卷中的关键技术。国内外专家都致力于自动批改技术的研究,但成熟应用的系统很少。语句相似度计算是主观题自动阅卷的关键问题,本文结合格语法进行语义分析,在此基础上设计语句相似度算法,能有效提高评分准确率。     

主观题中模糊含权概念图匹配问题研究*

由于汉语自身的复杂性、主观题的多样性和灵活性,使主观题的自动阅卷成为计算机无纸化考试的技术难点。结合主观题中简答题的人工批改过程,提出以概念图理论为基础的模糊含权概念图知识表示方法;从汉语自然语言理解的语义分析角度研究了特定课程主观题自动阅卷问题,设计了自动阅卷部分的模块结构,实现了简答题的计算机自动阅卷过程。经过测试分析,该方法反映了考生主观题的答卷情况与人工阅卷的结果基本一致,是一个切实可行的解决方案,而该课题的研究对其他课程主观题的计算机自动阅卷具有一定的参考作用。     

基于模糊含权概念图的主观题自动阅卷方法研究*

由于汉语自身的复杂性、主观题的多样性和灵活性,使主观题的自动阅卷成为计算机无纸化考试的技术难点.结合主观题中简答题的人工批改过程,提出以概念图理论为基础的模糊含权概念图知识表示方法;从汉语自然语言理解的语义分析角度研究了特定课程主观题自动阅卷问题,设计了自动阅卷部分的模块结构,实现了简答题的计算机自动阅卷过程.经过测试分析,该方法反映了考生主观题的答卷情况与人工阅卷的结果基本一致,是一个切实可行的解决方案,而该课题的研究对其他课程主观题的计算机自动阅卷具有一定的参考作用.     

主观题自动阅卷技术研究

为了实现考试系统中主观题型的自动阅卷,提出了基于语句相似度的计算方法对主观题进行自动批改.通过对语句相似度的定义和计算模型的建立以及汉语的特殊性分析,同时借鉴自动问答、自动文摘、信息检索等领域内关于语句相似度的研究,建立了对主观题的自动阅卷模型.通过对语句的词形、词序、词义3个层次计算相似度的融合,使句子的相似度计算更加准确.实验结果表明,主观题自动阅卷技术的正确率达到81.5%.     

多层次结构句子相似计算的应用研究

汉语句子的相似度计算是中文信息处理中的一个关键问题,也是自动阅卷系统中文字类主观题自动阅卷急需解决的核心问题.在词性、词义以及句子深层结构的基础上提出一种多层次结构句子相似度算法.该算法在自动阅卷系统中的应用能优化文字类主观题的自动评阅功能,提高自动批改的效率及准确性,具有较强的实用价值,并在实际的应用中已取得了较好的效果.     

基于模糊理论的主观题自动评分算法研究与实现

主观题的自动评分一直制约着考试系统的发展,通过分析阅卷教师在评阅主观题时的思维方法,在基于模糊数学中贴近度理论及其实际应用的基础上,设计一种基于模糊数学理论中带权单向匹配的算法,能有效提高主观题自动评分的准确度的问题.     

Subjective evaluation of speech compression codecs and other non-linear voice-path devices for telephony applications

Subjective assessment plays a key role in characterizing the voice quality of new telecommunications devices, both individually and in conjunction with other network equipment. This article discusses subjective test methods for speech quality evaluation with a particular focus on methods used to evaluate speech compression codecs and other non-linear DSP techniques used in modern communications networks. Understanding test designs and trade-offs will help codec designers and network planners appreciate what subjective tests are capable of, what the results of the tests mean, and how the results of different tests may be compared.The general categories of listening tests and conversation tests are compared, ACR and DCR methods are considered, and the details of listening test design, testing procedure, data analysis, and interpretation of results are discussed in detail.     

Subjective tests for image fusion evaluation and objective metric validation

This paper focuses on the methodology for perceptual image fusion assessment through comparative tests and validation of objective fusion evaluation metrics. Initially, the theory of subjective fusion evaluation, adopted practice and methods to gauge relevance and significance of individual trials are examined. Further in this context, the methodology, experiences and results of a series of specific, subjective preference tests aimed at relative evaluation of fusion algorithms are presented. Test conditions and experimental procedure are described in detail and a number of explicit fusion metrics derived from the subjective test data are proposed. Relative fusion quality, fusion performance robustness (to content) and personal preference are all assessed by the metrics as different aspects of general image fusion performance. Finally, the methodology for subjective validation of objective fusion metrics using the reported test procedures is presented. In particular, explicit subjective–objective validation algorithms are defined and applied to a range of established objective measures of fusion performance in order to evaluate their subjective relevance.     

Paired comparison-based subjective quality assessment of stereoscopic images

As 3D image and video content has gained significant popularity, subjective 3D quality assessment has become an important issue for the creation, processing, and distribution of high quality 3D content. Reliable subjective quality assessment of 3D content is often difficult due to the subjects’ limited 3D experience, the interaction of multiple quality factors, minor quality differences between stimuli, etc. Among subjective evaluation methodologies, paired comparison has the advantage of improved simplicity and reliability, which can be useful to tackle the aforementioned difficulties. In this paper, we propose a new method to analyze the results of paired comparison-based subjective tests. We assume that ties convey information about the significance of quality score differences between two stimuli. Then, a maximum likelihood estimation is performed to obtain confidence intervals providing intuitive measures of significance of the quality differences. We describe the complete test procedure using the proposed method, from subjective experiment design to outlier detection and score analysis for 3D image quality assessment. Especially, we design the test procedure in a way that quality comparison across different contents is enabled while the number of pair-wise comparisons is minimized. Experimental results on a stereoscopic image database with varying camera distances demonstrate the usefulness of the proposed method and enhanced quality discriminability of paired comparison in comparison to the conventional single stimulus methodology.     

基于感知视觉重要性的立体图像质量评价

视觉心理、生理因素是有效、准确评价图像质量的重要依据.尽管在计算层面已有众多视觉心理、生理计算模型及方法为其提供支持,但在图像质量评价任务中如何分析各种孤立方法之间的内在关系进而使之有效协同,是使得评价结果更符合人主观评测的关键.从图像质量评价的角度出发,功能上将人眼的视觉注意区域定义并数学形式化为视觉初期注意区域与视觉转移期的劣质区域;同时考虑人眼的感知冗余特性,结合JND感知冗余模型,进而提出了图像质量评价范畴下的视觉感知模型PVSSIM.以此为依据,将感知视觉的方法在二维图像数据库中验证其可行性,并将其引入到立体图像质量评价中.实验结果表明,提出的客观评价方法与传统方法相比,充分考虑到了图像质量评价任务中各种视觉心理、生理因素的协同,与人主观的图像质量评价相比具有更高的相关度,评价方法在立体图像库中能很好地与主观评价相吻合,达到了预期的效果.     

基于客观参数的图像质量评估

图像质量评价采用小波变换把自然图像分解成十个子带,在每个子带中设置两个参数和两个Logistic函数.通过计算客观度量与主观评估测试结果之间的关系来定义两个基于感知的模型,评估测试在包含344幅JPEG和JPEG2000图像的数据库中进行.线性预测模型能够反映图像的真实主观评分,而相关预测模型则能用来区分图像间的相对质量.在这两个模型中,每个客观参数和主观感知特性的关系用两个Logistic函数逼近,从而获得每个参数的最佳估计缺损程度.最终的图像质量度量通过组合各个估计缺损程度获得.实验表明这两种模型性能优良,和主观感知的图像质量有很强的相关性.     

A new standard method of subjective assessment of barely visible image artifacts and a new public database

Assessing image quality is an important aspect of developing new display technology. A particularly challenging assessment is determining whether a bitwise lossy operation is visually lossless. We define “visually lossless” and describe a new standard for a subjective procedure to assess whether the image quality meets these criteria. Assessments are made between a reference image and temporally interleaved reference and test images using a forced‐choice procedure. In extensive testing, we have validated that this method is suitable for discriminating between subtle differences in image rendering and is free of observer bias or criteria variability. The results of these tests demonstrate the efficacy of using as few as five randomly chosen observers. We have found that the subjective testing is more reliable than several widely available image quality metrics. As part of this work, we release a database of nearly 0.25 million subjective responses collected from 35 observers to 18 different images. The study uses a largely within‐subjects design and tested observers from two viewing distances. We encourage the use of this dataset in future research to refine objective image quality metrics to improve predictability of subtle but potentially visible compression‐induced image impairments.     

文本相似度计算在主观题评分中的应用

针对传统主观题自动评分准确度低的问题,提出一种基于文本相似度计算的主观题评分方法。利用扩展的《同义词词林》计算词语之间的相似度,根据标准答案中的词语和学生答卷中的词语以及词语之间的相似度构造二部图,通过二部图的最大匹配算法获得标准答案和学生答案的相似度。实验结果表明,该方法可以给主观题评分提供一个较好的参考。