深度知识追踪模型综述和性能比较

知识追踪是一种重要的认知诊断方法,往往被用于在线学习平台、智能辅导系统等信息化教学平台中.知识追踪模型通过分析学生与课程作业的交互数据,即时模拟学生对课程知识点的掌握水平,模拟的结果可以用来预测学生未来的学习表现,并帮助他们规划个性化的学习路径.在过去20多年中,知识追踪模型的构建通常基于统计学和认知科学的相关理论.随着教育大数据的开放和应用,基于深度神经网络的模型(以下简称“深度知识追踪模型”)以其简单的理论基础和优越的预测性能,逐渐取代了传统模型,成为知识追踪领域新的研究热点.根据所使用的神经网络结构,阐述近年来代表性深度知识追踪模型的算法细节,并在5个公开数据集上对这些模型的性能进行全面比较.最后讨论了深度知识追踪的应用案例和若干未来研究方向.     

LFKT:学习与遗忘融合的深度知识追踪模型

知识追踪任务旨在根据学生历史学习行为实时追踪学生知识水平变化,并且预测学生在未来学习表现.在学生学习过程中,学习行为与遗忘行为相互交织,学生的遗忘行为对知识追踪影响很大.为了准确建模知识追踪中学习与遗忘行为,本文提出了一个兼顾学习与遗忘行为的深度知识追踪模型LFKT.LFKT模型综合考虑了四个影响知识遗忘因素,包括学生重复学习知识点的间隔时间、重复学习知识点的次数、顺序学习间隔时间以及学生对于知识点的掌握程度.结合遗忘因素,LFKT采用深度神经网络,利用学生答题结果作为知识追踪过程中知识掌握程度的间接反馈,建模融合学习与遗忘行为的知识追踪模型.通过在真实在线教育数据集上的实验,与当前知识追踪模型相比,LFKT可以更好地追踪学生知识掌握状态,并具有较好的预测性能.     

基于上下文表示的知识追踪方法

知识追踪是教育数据挖掘领域中一个十分重要的问题,旨在利用可观测到的学生历史交互数据和习题包含的知识点相关信息来推断学生对知识点的掌握情况。已有方法虽在不同程度上取得了一些进展,但大多忽略了使用知识点表示习题的重要性,并且对使用诸如学习因素之类的上下文表示知识点的研究也不够充分。针对上述问题,提出基于上下文表示的知识追踪方法KTCR。首先,综合考虑影响学生学习过程的因素,并基于学生响应数据设计了知识点上下文表示方法,从而基于Q矩阵表示知识点上下文;其次,为了实现习题向量的降维,利用融合上下文信息的知识点和学生响应数据对习题向量进行重表示;最后,结合学生历史交互数据,使用长短期记忆网络对学生的知识状态进行估计。在4个真实数据集上的实验表明了本文方法对于习题嵌入表示的合理性,并且能够有效地估计学生的知识状态。     

时空相关性融合表征的知识追踪模型

知识追踪通过对知识点的表示来描述习题,以此建模知识状态,最终预测学习者的未来表现。然而目前的研究在知识点的表示方面既没有建模历史知识点对当前知识点产生的时间关系上的影响,又未能刻画习题内部各知识点之间产生的空间关系上的作用。为了解决上述问题,提出了时空相关性融合表征的知识追踪模型。首先,以知识点之间的时间相关程度为基础,建模历史知识点对当前知识点的时间作用;其次,利用图注意力网络建模习题所包含的若干知识点之间的空间作用,得到蕴涵了时空信息的知识点表示;最后,利用上述知识点的表示推导出习题的表示,通过自注意力机制得到当前的知识状态。在实验阶段,与五种相关知识追踪模型在四个真实数据集上进行性能对比,结果表明提出的模型在性能方面有更出色的表现。特别地,在ASSISTments2017数据集中所提模型比五个对比模型在AUC、Acc方面分别提升了1.7%~7.7%和7.3%~2.1%;消融实验证明了建模知识点之间时空相关影响的有效性,训练过程实验表明了提出的模型在知识点的表示及其相互作用关系的建模等方面具有一定的优势,应用实例也可看出该模型优于其他知识追踪模型的实际结果。     

融合通用题目表征学习的神经知识追踪方法研究

知识追踪是一项评估学生学习过程中知识状态演变情况的任务。现有大多数方法都致力于探索不同的知识状态评估方法。然而,答题过程中更为基础的题目表征受到的关注相对较少。因此,该文提出了一种融合通用题目表征学习的神经知识追踪框架。具体地,该文首先设计了一种通用的题目表征方法,通过知识点、难度和题目独有特征来区分题目。然后,采用现有知识追踪方法同时捕捉知识状态演变并学习题目表征。最后,利用知识状态和待回答题目表征的内积来模拟回答过程。在三个真实数据集上的实验结果表明,该文方法可以在知识追踪过程中学习精确有效的题目表征,并且显著提升了基线知识追踪方法的性能,使其能够超过现有最优方法。     

Multi-type factors representation learning for deep learning-based knowledge tracing

Knowledge Tracing (KT) refers to the problem of predicting future learner performance given their historical interactions with e-learning platforms. Recent years, Deep Learning-based Knowledge Tracing (DLKT) methods show superior performance than traditional methods due to their strong representational ability. However, researchers usually focus on innovations in model structure, while ignoring the importance of Representation Learning (RL) for DLKT. Investigating previous studies, it is found that the mining and integration of learning-related factors can effectively improve the performance of DLKT models. This paper focuses on providing a model embedding interface for DLKT by considering multiple types of learning-related factors. We first explore and analyze four types of learning-related factors: exercise and skill, the attributes of exercise, learners’ historical performance, and learners’ forgetting behavior in the learning process. We then propose an Extensible Representation Learning (ERL) approach for DLKT to extract and integrate the representations of these four types of factors by setting five components: base embedding, auxiliary embedding, performance embedding, forgetting embedding, and embedding integration. Finally, we apply ERL into two mainstream DLKT models and comprehensively evaluate the proposed approach on several real-world benchmark datasets. Results show that ERL can significantly improve the performances of these two network on predicting future learner responses.

     

学习者知识追踪研究进展综述

学习者建模是自适应学习系统的支撑技术之一,其中以知识追踪为代表的学习者知识状态建模研究最为广泛。3种代表性的知识追踪技术分别为基于隐马尔可夫模型的贝叶斯知识追踪、基于逻辑回归模型的可加性因素模型、基于循环神经网络的深度知识追踪。通过综述发现,贝叶斯知识追踪模型适用于含单一知识点的学习任务的知识追踪,可加性因素模型和深度知识追踪模型适用于含多知识点的学习任务的知识追踪,但深度知识追踪模型的教学可解释性不佳。在综述现有研究的基础上,受到知识空间理论的启发,将知识点之间的先决关系融入到知识追踪模型是未来的一个重要研究方向,并初步提出了一种融合知识点先决关系的可加因素模型。     

概念表示增强的知识追踪模型

知识追踪模型以学习者的历史学习行为数据作为输入,通过概念表示来描述学习者的概念掌握状态,从而预测学习者未来的学习表现。然而在概念的外延表示方面,当前知识追踪研究的概念外延信息被限制在一阶相关的范畴内,无法表征概念的一阶以上外延信息。为了解决这一问题,提出方法首先使用图结构描述概念内涵信息及其相互关系;其次使用图神经网络的池化操作等提取概念的外延表示,这保证了概念的外延信息来源于多阶相关关系;再与概念的内涵表示进行融合;最后预测学习者未来的答题情况。为了验证该模型的有效性和效率,选取了四个主流知识追踪模型作为对比模型,在四个常用的知识追踪数据集上进行实验。结果表明,提出模型在若干评价指标上均取得了一定的优势,说明了它的有效性;在模型性能方面,提出模型达到最优评价指标所需的迭代次数最少,说明了它的效率;在实际应用方面,以该模型为基础实现了一个智能学习平台,在三门线下课程的教学过程中判断和预测学习者未来答题情况,取得了优于其他知识追踪模型的表现。     

融合注意力机制的时间卷积知识追踪模型

针对基于循环神经网络（RNN）的深度知识追踪模型存在的可解释性不足和长序列依赖问题,提出一种融合注意力机制的时间卷积知识追踪（ATCKT）模型。首先,在训练阶段学习学生历史交互的嵌入表示;然后,使用基于题目的注意力机制学习特定权重矩阵,从而识别并强化学生的历史交互对每一时刻知识状态不同程度的影响;最后,使用时间卷积网络（TCN）提取学生动态变化的知识状态,在这个过程中利用扩张卷积和深层神经网络扩大序列学习范围,缓解长序列依赖问题。将ATCKT模型与深度知识追踪（DKT）、卷积知识追踪（CKT）等四种模型在ASSISTments2009、ASSISTments2015、Statics2011和Synthetic-5这4个数据集上进行对比实验,实验结果显示,所提模型的曲线下面积（AUC）和准确率（ACC）均有显著提升,尤其在ASSISTments2015数据集上表现最佳,分别提升了6.83～20.14个百分点和7.52～11.22个百分点,并且该模型的训练时间与DKT模型相比减少了26%。可见,所提模型可以更准确地捕捉学生的知识状态,更高效地预测学生未来的表现。     

习题内外表示异质融合的知识追踪模型

现有知识追踪研究大多使用习题蕴涵的知识点等内隐信息或历史交互数据等外显信息建模习题表示,没有注意到内外信息的异质性特征,缺乏对习题内外信息的异质融合。针对上述问题,提出了融合内外异质信息的知识追踪模型。首先,基于知识点等内隐信息,计算历史知识点与当前知识点之间的相关程度,刻画历史知识点对当前知识点的影响,建模习题的内隐表示;其次,基于交互数据等外显信息,计算历史习题与当前习题之间的相关程度,获取历史习题对当前习题的影响,建模习题的外显表示;再次,基于上述习题的内外表示,使用通道注意力机制融合得到习题的内外异质表示,从而预测学习者的作答表现。为了验证提出模型的性能和有效性,选取了四个相关的基线模型,在三个真实数据集上进行了对比实验。实验结果表明：在性能方面,提出的模型在多个评价指标上均取得较好的效果;在有效性方面,消融实验证明了提出的模型可以更好地根据内外信息建模习题表示;在应用方面,设计智慧学习环境证明了提出的模型在实际教学场景中的可用性。     

F-TCKT：融合遗忘因素的深度时序卷积知识追踪模型

智慧教育中，对学生的知识水平进行追踪是很重要的技术之一。传统的深度知识追踪方法的主要关注点集中在循环神经网络(recurrent neural network, RNN)上，但RNN存在梯度消失或者梯度爆炸的问题，并且很多知识追踪方法没有考虑到学习过程中遗忘行为对结果的影响。针对以上问题，为了准确地预测学生的知识水平，提出了一种融合遗忘因素的深度时序卷积知识追踪模型(temporal convolutional knowledge tracking with forgetting, F-TCKT)。该模型引入了三个影响学生遗忘行为的因素，包括学习相同知识点的时间间隔、学习的时间间隔和同一知识点的学习次数。首先利用全连接网络计算得到表示学生遗忘程度的向量并与学生的答题记录进行拼接，然后使用梯度稳定的时间卷积网络(temporal convolutional network, TCN)和注意力机制预测学生下一次答题正误的概率。经实验验证，与传统方法相比，F-TCKT具有更好的预测性能。     

A probabilistic generative model for tracking multi-knowledge concept mastery probability

Knowledge tracing aims to track students’ knowledge status over time to predict students’ future performance accurately. In a real environment, teachers expect knowledge tracing models to provide the interpretable result of knowledge status. Markov chain-based knowledge tracing (MCKT) models, such as Bayesian Knowledge Tracing, can track knowledge concept mastery probability over time. However, as the number of tracked knowledge concepts increases, the time complexity of MCKT predicting student performance increases exponentially (also called explaining away problem). When the number of tracked knowledge concepts is large, we cannot utilize MCKT to track knowledge concept mastery probability over time. In addition, the existing MCKT models only consider the relationship between students’ knowledge status and problems when modeling students’ responses but ignore the relationship between knowledge concepts in the same problem. To address these challenges, we propose an inTerpretable pRobAbilistiC gEnerative moDel (TRACED), which can track students’ numerous knowledge concepts mastery probabilities over time. To solve explain away problem, we design long and short-term memory (LSTM)-based networks to approximate the posterior distribution, predict students’ future performance, and propose a heuristic algorithm to train LSTMs and probabilistic graphical model jointly. To better model students’ exercise responses, we proposed a logarithmic linear model with three interactive strategies, which models students’ exercise responses by considering the relationship among students’ knowledge status, knowledge concept, and problems. We conduct experiments with four real-world datasets in three knowledge-driven tasks. The experimental results show that TRACED outperforms existing knowledge tracing methods in predicting students’ future performance and can learn the relationship among students, knowledge concepts, and problems from students’ exercise sequences. We also conduct several case studies. The case studies show that TRACED exhibits excellent interpretability and thus has the potential for personalized automatic feedback in the real-world educational environment.     

基于掌握速度的知识追踪模型

知识追踪（Knowledge Tracing,KT）是教育数据挖掘领域的研究热点。KT能够自动发现学生的薄弱知识点,向学生推荐最佳的学习路径和练习题。针对现有的KT模型只适用于对单个知识点建模并没有考虑学生掌握知识点快慢的问题。提出了一种基于掌握速度的知识追踪模型（Mastery Speed Knowledge Tracing,MSKT）,MSKT采用了记忆增强神经网络（Memory Augmented Neural Network,MANN）的思想和动态键值记忆网络模型（Dynamic Key-Value Memory Networks,DKVMN）的优点,并且在计算删除向量和增加向量时,使用了当前的记忆内容。通过对比实验验证了MSKT模型的有效性和优越性,并且可以自动地发现相似练习题。     

融合状态关系的知识追踪模型

知识追踪模型建模学习者对每个知识点的状态推断其知识总状态,预测其未来的学习表现。但现有研究在建模知识总状态时,没有融合知识点状态之间的关系,影响了最终的预测效果。针对这一问题,提出一种融合知识点状态关系的知识追踪模型。首先向量化表示数据集中的知识点,构建知识点表示图;其次将知识点表示图扩散至潜式空间以反映其内在结构和本质信息;融合当前时刻的习题与知识点作为引导向量,从知识点表示图的潜式表示中提取知识点状态图;以知识点状态图为基础,推导知识总状态,预测当前习题的表现。通过在三个数据集上对比四个相关模型的实验证明,提出的模型在AUC、ACC和表示质量方面均取得了一定的优势。其中,在 ASSISTments2009数据集上表现最佳,与对比模型中的最优值和最低值比较,AUC分别提升了1.17%、10.57%,ACC分别提升了3.23%、12.17%,表示质量分别提升了1.95%、10.40%。进一步地,可视化地展示了知识点状态及其关系的内部推导过程,以及它们与真实答题结果之间的对应关系,说明模型具备一定的可解释性。同时,将该模型应用于三门课程以预测学生的表现,与相关模型对比取得了更好的结果,说明模型具备一定的实用性。     

An Exercise Collection Auto-Assembling Framework with Knowledge Tracing and Reinforcement Learning

In educational practice, teachers often need to manually assemble an exercise collection as a class quiz or a homework assignment. A well-assembled exercise collection needs to have the proper difficulty index and discrimination index so that it can better develop students' abilities. In this paper, we propose an exercise collection auto-assembling framework, in which a teacher provides the target values of difficulty and discrimination indices and a qualified exercise collection is automatically assembled. The framework consists of two stages. At the answer prediction stage, a knowledge tracing model is utilized to predict the students' answers to unseen exercises based on their history interaction records. In addition, to better represent the exercises in the model, we propose exercise embeddings and design a pre-training approach. At the collection assembling stage, we propose a deep reinforcement learning model to assemble the required exercise collection effectively. Since the knowledge tracing model in the first stage has different confidences in the predicted answers, it is also taken into account in the objective. Experimental results show the effectiveness and efficiency of the proposed framework.     

基于贝叶斯网络的个体隐性知识测度方法研究

隐性知识是企业创新力和竞争力的源泉，因此对其进行合理地表达、转换、分享和测度，将会为企业带来无形却巨大的经济效益。基于此，提出基于贝叶斯网络的个体隐性知识测度方法。构建了包括特定情境的设定和分析，贝叶斯网络拓扑结构的构建、节点概率的参数学习，贝叶斯网络的概率推理、排序和解释及其模型的有效性测试等在内的个体隐性知识测度模型。最后，以L企业研发部的招聘活动为例进行算例分析。结果表明该算例模型的有效性约为75%～80%，验证了所提方法对隐性知识的客观量化测度具有较好可行性和有效性。     

基于节点相似性的图注意力网络表示学习模型

图注意力网络(GAT)通过注意力机制聚合节点的邻居信息以提取节点的结构特征,然而并没有考虑网络中潜在的节点相似性特征。针对以上问题,提出了一种考虑网络中相似节点的网络表示学习方法NSGAN。首先,在节点层面上,通过图注意力机制分别学习相似网络和原始网络的结构特征;其次,在图层面上,将两个网络对应的节点嵌入通过基于图层面的注意力机制聚合在一起,生成节点最终的嵌入表示。在三个数据集上进行节点分类实验,NSGAN比传统的图注意力网络方法的准确率提高了约2%。     

基于动态偏好机制的学生群体演化合作研究

社交网络具有随机性和复杂性的特点,针对大学生群体中社交关系的异质性以及动态变化情况,构建博弈模型并设计动态偏好机制用于模拟和促进学生在交互网络中的合作行为。在该机制中,首先构建了加权网络用于描述学生交互网络的异质性;然后通过学生动态的交互关系,模拟学生的社交偏好。仿真结果表明,该机制能够有效促进合作者密度。为了进一步验证该机制在学生群体交互中的有效性,通过线下社交网络收集系统收集学生群体的交互行为信息并构建交互网络,通过数据分析发现学生群体在动态偏好机制下更愿意与其他个体进行交流。研究结果对学生合作行为演化具有参考作用。     

深度学习驱动的知识追踪研究进展综述

随着教育信息化程度的不断加深,以预测学生知识状态为目标的知识追踪正成为个性化教育中一项重要且富有挑战性的任务。知识追踪作为一项教育数据挖掘的时间序列任务,与深度学习模型强大的特征提取和建模能力相结合,在处理顺序任务时具有得天独厚的优势。为此,简要分析传统知识追踪模型的特点及局限性,以深度知识追踪发展历程为主线,总结基于循环神经网络、记忆增强神经网络、图神经网络的知识追踪模型及其改进模型,并对该领域的已有模型按照方法策略归类整理。同时梳理了可供研究者使用的公开数据集和模型评估指标,比较和分析不同建模方法的特点。对基于深度学习的知识追踪的未来发展方向进行探讨和展望,奠定进一步深入基于深度知识追踪研究的基础。     

基于知识图谱和图注意力的众包任务推荐算法

为解决目前众包任务推荐存在未考虑任务文本信息和数据稀疏的问题,提出一种基于知识图谱与图注意力的众包任务推荐模型。该模型首先利用自然语言处理技术提取任务文本信息中的关键要素,用于丰富图谱信息和缓解数据稀疏性;通过融合用户—任务交互图中的协同信息来构建协同知识图谱,在协同知识图谱中按协同邻居的类型分别运用图注意力网络;为获取用户准确的偏好,聚合邻居信息时按注意力得分从高到低采样固定数目的邻居;最后通过聚合不同类型的协同信息生成用户和任务的嵌入表示并得到交互概率。在构建的众包数据集上进行实验的结果表明,该模型在AUC、精准率、召回率和NDCG四个指标上均优于基线模型,验证了模型的可行性和有效性。