主观题自动批改技术的研究

在分析主观题自动批改技术的现状和困难的基础上,提出了一种利用中文信息处理中的句子相似度的主观题自动批改算法,并对两种不同的相似度计算方法进行了对比研究,试验说明该算法取得了较好的效果.     

基于语义扩展度的中文分词交叉歧义处理方法

提出一种歧义字段与其所在句子语义联系为依据的中文分词交叉歧义处理方法。该方法模拟人浏览句子按照语义和词语相关度寻找消歧证据的经验,通过比较计算歧义字段与整个句子的语义相似度和语义相关度,提出基于语义扩展度的中文分词交叉歧义处理算法,进而提高分词准确率,与经典的ICTCLAS分词系统相比,切分准确率和召回率均有很大提高。     

匈牙利算法在主观题自动批阅中的应用研究

针对主观题自动批阅中的学生答案和标准答案中对应句子的相似度计算问题,提出采用最优指派问题的匈牙利算法,并从两方面对其进行改进,进而建立基于匈牙利改进算法的句子相似度计算模型。实验表明,将改进的匈牙利算法应用到主观题自动批阅中,其试题评分的准确率可达90%。     

基于相似度计算的主观题阅卷系统设计

网络在线考试以其高效性和公正性正逐步取代传统的考试方法,客观题评阅通过将标准答案和学生答案进行精确比较给出评分,而主观题由于其复杂性和多样性成为机器阅卷算法关键点和难点.简单的关键词匹配算法速度较快但准确率不高,本文采用向量空间模型来表示文本,通过计算文本之间的相似度来进行主观题评阅,并在系统中增加一些策略和规则,取得了较好的阅卷效果.     

基于NLP技术和相似度计算的智能搜索引擎研究

针对传统的搜索引擎对于自然语言理解方面存在的问题,文章研究了一种新的基于自然语言处理技术和相似度计算的智能搜索引擎的模型.其核心技术是基于自然语言处理的中文分词技术、语义相似度和对立度等理论,将这些概念理论结合起来,从用户习惯的思考角度,结合DotLucene开源全文搜索引擎建立一个智能的搜索引擎.研究表明,该模型在对已经收录的文档有着86.1%的查准率.该智能搜索引擎较好的对查询语句的实现了理解,能够对用户的提问做出正确的回答.     

跨语言文献相似度的分析方法

对不同语言的句对齐文献资料进行分析,提出了基于多语主题模型的跨语言文献相似度的计算方法.首先,对收集整理的不同语言(中文、英文、韩文)文献构建数据模型,通过分词、分词结果修正及选择、词权重计算等预处理工作构造词项-文档矩阵.其次,建立多语主题语义空间,将译成3种不同语言的文献映射到语义空间,在语义空间中每一主题都由3种语言构成.最后,通过其语义空间中对应的主题计算比较不同语言间的文献相似度.实验结果显示,不同语言之间的文献相似度可以直接在语义空间中计算,且相似度计算的准确性在90%以上,验证了本文方法在跨语言文献相似度计算时的有效性.     

基于自然语言处理的智能评分系统

针对目前考试系统和主观题评分算法的研究现状,引入了自然语言处理技术。在对已有的相似度计算的算法进行改进的基础上,提出了一种新的排序和划分区间的评分方法,并在.NET平台上设计一个智能评分系统。实验表明该智能评分算法及智能评分系统有效且可行。     

中文主观题自动批改中相似句子检索算法

学生答案与标准答案语义匹配程度的计算是基于中文文字类主观题自动批改中的关键问题。提出了学生答案与标准答案匹配程度的计算分两步进行：候选相似语句的检索和基于语义依存的句子相似度计算。利用动态规划法实现候选语句检索，确定数量不多但有可能与标准答案相似的候选句子，然后对标准答案中的句子与少量的候选句子进行深层的句法分析，找出依存关系，并在依存分析结果的基础上进行语义相似度计算，得出最终的结果。该方法可以提高主观题自动批改的效率及准确性，具有一定的实用价值。     

基于修正相似度的User-Based协同过滤推荐算法

运用传统的User-Based协同过滤算法计算用户相似度时,因数据过度稀疏而易造成较大的计算偏差。为了有效提高该算法的准确性,研究改进相似度计算方法。根据用户现有的评分数据计算每个项目的自信息量,根据自信息量为不同的项目分配权值,利用权值来修正传统的相似度计算方法。当用户共同评分项目数量较少时,增加惩罚因子,以避免评分相似所致相似度过高的问题。     

基于多层次融合的语句相似度计算模型

句子相似度的计算在自然语言处理的各个领域都占有很重要的地位,且在主观题自动批改技术中,句子间相似度的计算是一个关键的问题.本文提出一种基于多层次融合的语句相似度计算模型,在对句子的词形、词序、词义三个层次进行相似度计算的基础上,融合这三个层次,从而使句子相似度计算更加准确,并通过实验验证了此方法的有效性.     

基于领域本体的专业领域词汇相似度算法

专业领域词汇相似度计算是词汇语义相似度计算中的重要问题.通过分析专业领域词汇的构词特点,并结合领域本体概念模型,提出一种专业领域词汇相似度计算算法（domain ontology and morphology based algorithm,DOMBA）.该算法将专业领域词汇构词法与领域本体的概念相似度影响因子相结合,融于词汇相似度计算中.实验结果表明,词汇相似度计算结果符合客观实际的判断认识,DOMBA算法可有效应用于专业领域词汇相似度计算中.     

自动组卷中试题去重技术研究

针对大规模题库中存在相似试题的问题,提出一种自动识别相似试题的方法.在知网词汇语义相似度模型的基础上,引入领域词汇对其进行改进,并且提出一种试题去重模型,来实现试题相似度的计算,解决了题库中相似和重复试题的自动识别问题,提高了相似试题识别的准确率.综合随机抽取法和试探回溯法两种组卷算法的优点,提出一种基于相似试题识别的组卷算法,提高了组卷的质量.实验表明试题相似度识别准确率达96%,非常接近人工判断结果,该方法不仅可以从同一试题类型内部,还可在不同类型之间消除相似试题.该方法已在C语言上机考试中进行了应用.     

WordNet中的综合概念语义相似度计算方法

作为语义异构问题的基础,概念间语义相似度计算已成为研究热点,对此,提出一种基于WordNet的综合概念语义相似度计算方法. 该方法不仅集成了传统的基于语义距离的算法和基于信息内容的算法,而且引入了深度、密度因子和语义重合度来进行综合分析,并针对综合算法中权值难以确定的问题,引入主成分分析改进权值分配方法. 实验结果表明,改进后的方法计算的相似度与人工判断的相似度相关性较高,有效改善了概念语义相似度计算的准确性.     

复合型日志的模板提取方法

为了解决目前复合型日志无法被模板提取算法正确解析的问题,设计新的模板提取算法CLEA来处理复合型日志的模板提取. 该算法使用符号将所有日志划分为集群,基于Drain模板提取算法提取每个集群各自的日志模板,存储并缓存模板提取结果,在更新集群的同时更新缓存的模板;将差异度计算引入简单共有词算法中,增强简单共有词算法对模板中不同词语的敏感度,计算模板之间的相似度;设计BMerge算法,利用该算法对相似度大于阈值的模板进行合并,获取并输出合并日志作为最终结果. 在相似度算法中引入差异度计算,增强算法对模板中不同词语的敏感度,并设计BMerge算法对模板进行合并,输出无损日志作为结果. 所提方法适用于处理复合型日志,且正确率较高.     

基于sigmoid函数的评分特征规整在计算机辅助学习中的应用

计算机辅助语言学习是近十年来日益热门的研究课题,语音评分是其重要的组成部分。目前,国内大部分评分系统在运用机器评分特征预测人工分时,都是采用简单的线性回归模型。虽然该模型具有很好的集外推广性,但要求机器的评分特征与人的主观评分呈近似的线性关系,这一点在实际情况中往往难以满足。对此,本文引入sigmoid函数对评分特征进行规整,并采用数据驱动的方式得到其参数,使得提取的评分特征更符合评分员的主观评分准则。同时,在算法优化的问题上,本文将该方法完全地嵌入经典的线性回归模型中求解,大大提高了其收敛速度。实验表明。在普通话水平考试的单字、词语朗读及中学生考试翻译题自动评分方面,该算法使得评分的系统性能得到明显的优化。     

基于编辑距离的词序敏感相似度度量方法

为改善余弦相似度不能反映词袋模型中词项间顺序差异的缺点,提出了一种基于编辑距离的文档相似度度量方法.首先分析了基于 tf - idf 的词袋模型和余弦相似度计算方法所存在的问题; 其次利用Jaccard系数和编辑距离描述两个字符串的公共子串中词语之间的顺序差异,并提出了一种词序敏感相似度计算方法; 最后利用实验数据对算法的有效性进行了验证,结果显示本文方法在Top1、Top3上的F1指标比原始的余弦相似度方法分别提高了0.082 5、 0.112 6,表明本文方法能够有效地提升信息检索系统的性能,具有很好的应用价值.     

可并行中文同主题词聚类新算法

提出了一种高效的自动按照主题对中文词进行聚类的算法.该算法利用顿号(、)切分抽取语料库句子中的并列中文词,并以抽取出的中文词为节点构建一个共引用图; 然后对每个中文词节点产生若干个locality sensitive Hashing (LSH)签名组合; 最后将至少有1个相同LSH签名组合的任意2个中文词标记为同一个主题类.实验表明,该算法运算速度快,且易并行实现,在海量语料库的支持下,执行效率高,聚类效果较好.