知识状态神经推理的知识追踪模型

针对知识追踪研究忽略知识点之间的拓扑关系,从而限制了知识点状态的表示并最终影响预测效果的问题,提出一种知识状态神经推理知识追踪模型。首先建立知识点关系图和知识点状态图;其次利用扩散模型得到关系图和状态图的投影并完成融合;然后利用逆扩散过程得到融合了知识点关系的整体知识状态表示;最后预测学习者的表现。在模型有效性方面,在若干数据集上对比四个相关模型,所提模型均取得了一定的优势。在可解释性方面,展示了知识状态进化过程与真实答题结果之间的对应关系。在实际应用方面,以该模型为基础的智慧学习环境已分别应用于一门人工智能课程和英语语法课程,并取得了优于对比模型的结果。     

时空相关性融合表征的知识追踪模型

知识追踪通过对知识点的表示来描述习题,以此建模知识状态,最终预测学习者的未来表现。然而目前的研究在知识点的表示方面既没有建模历史知识点对当前知识点产生的时间关系上的影响,又未能刻画习题内部各知识点之间产生的空间关系上的作用。为了解决上述问题,提出了时空相关性融合表征的知识追踪模型。首先,以知识点之间的时间相关程度为基础,建模历史知识点对当前知识点的时间作用;其次,利用图注意力网络建模习题所包含的若干知识点之间的空间作用,得到蕴涵了时空信息的知识点表示;最后,利用上述知识点的表示推导出习题的表示,通过自注意力机制得到当前的知识状态。在实验阶段,与五种相关知识追踪模型在四个真实数据集上进行性能对比,结果表明提出的模型在性能方面有更出色的表现。特别地,在ASSISTments2017数据集中所提模型比五个对比模型在AUC、Acc方面分别提升了1.7%~7.7%和7.3%~2.1%;消融实验证明了建模知识点之间时空相关影响的有效性,训练过程实验表明了提出的模型在知识点的表示及其相互作用关系的建模等方面具有一定的优势,应用实例也可看出该模型优于其他知识追踪模型的实际结果。     

图谱波纹特征驱动的知识追踪算法

知识追踪是智能教学系统中用于建模学生知识状态的关键技术.尽管研究者们提出了多种知识追踪模型，但这些模型没有充分挖掘知识点之间的关联性，限制了知识追踪的性能和应用.为此，本文提出了RKT(RippleNet Knowledge Tracing),一种利用知识状态传播将知识图谱融入到知识追踪的模型.首先以学生掌握的题目为起点，将题目-知识点的对应关系及知识点之间的关联形成一个知识图谱，然后将学生的知识状态沿着该知识图谱不断传播，产生向外扩散的多个“波纹”,再叠加起来，形成学生对未知题目的多阶响应，自动探索学生潜在的学习能力，最后预测回答正确的概率.通过对Assistment2009＿Skill＿builder、Junyi Academy等经典数据集的对比实验，结果表明RKT在AUC和ACC性能上有着显著提升.     

可解释深度知识追踪模型

知识追踪任务通过建模用户的习题作答序列跟踪其认知状态,进而预测其下一时刻的答题情况,实现对用户知识掌握程度的智能评估.当前知识追踪方法多针对知识点建模,忽略了习题信息建模与用户个性化表征,并且对于预测结果缺乏可解释性.针对以上问题,提出了一个可解释的深度知识追踪框架.首先引入习题的上下文信息挖掘习题与知识点间的隐含关系,得到更有表征能力的习题与知识点表示,缓解数据稀疏问题.接着建模用户答题序列获得其当前知识状态,并以此学习个性化注意力,进而得到当前习题基于用户知识状态的个性化表示.最后,对于预测结果,依据个性化注意力选择一条推理路径作为其解释.相较于现有方法,所提模型不仅取得了更好的预测结果,还能为预测结果提供推理路径层面的解释,体现了其优越性.     

习题内外表示异质融合的知识追踪模型

现有知识追踪研究大多使用习题蕴涵的知识点等内隐信息或历史交互数据等外显信息建模习题表示,没有注意到内外信息的异质性特征,缺乏对习题内外信息的异质融合。针对上述问题,提出了融合内外异质信息的知识追踪模型。首先,基于知识点等内隐信息,计算历史知识点与当前知识点之间的相关程度,刻画历史知识点对当前知识点的影响,建模习题的内隐表示;其次,基于交互数据等外显信息,计算历史习题与当前习题之间的相关程度,获取历史习题对当前习题的影响,建模习题的外显表示;再次,基于上述习题的内外表示,使用通道注意力机制融合得到习题的内外异质表示,从而预测学习者的作答表现。为了验证提出模型的性能和有效性,选取了四个相关的基线模型,在三个真实数据集上进行了对比实验。实验结果表明：在性能方面,提出的模型在多个评价指标上均取得较好的效果;在有效性方面,消融实验证明了提出的模型可以更好地根据内外信息建模习题表示;在应用方面,设计智慧学习环境证明了提出的模型在实际教学场景中的可用性。     

多学习行为协同的知识追踪模型

知识追踪模型主要使用学习过程、学习结束和学习间隔等三类学习行为数据，但现有研究没有融合上述类型的学习行为，无法准确描述多种类型学习行为的相互作用。针对上述问题，提出多学习行为协同的知识追踪（MLB-KT）模型。首先采用多头注意力机制描述每类学习行为的同类约束性，然后采用通道注意力机制建模三类学习行为的多类协同性。将MLB-KT模型与深度知识追踪（DKT）、融合注意力机制的时间卷积知识追踪（ATCKT）模型在3个数据集上进行对比，实验结果表明，MLB-KT模型的曲线下面积（AUC）有明显增加，且在ASSISTments2017数据集上的表现最佳，与DKT、ATCKT模型相比分别提升了12.26%、2.77%；表示质量对比实验的结果也表明MLB-KT模型具有更好的表现。可见建模同类约束性和多类协同性能更好地判断学生的知识状态、预测学生未来的答题情况。     

融合注意力机制的时间卷积知识追踪模型

针对基于循环神经网络（RNN）的深度知识追踪模型存在的可解释性不足和长序列依赖问题,提出一种融合注意力机制的时间卷积知识追踪（ATCKT）模型。首先,在训练阶段学习学生历史交互的嵌入表示;然后,使用基于题目的注意力机制学习特定权重矩阵,从而识别并强化学生的历史交互对每一时刻知识状态不同程度的影响;最后,使用时间卷积网络（TCN）提取学生动态变化的知识状态,在这个过程中利用扩张卷积和深层神经网络扩大序列学习范围,缓解长序列依赖问题。将ATCKT模型与深度知识追踪（DKT）、卷积知识追踪（CKT）等四种模型在ASSISTments2009、ASSISTments2015、Statics2011和Synthetic-5这4个数据集上进行对比实验,实验结果显示,所提模型的曲线下面积（AUC）和准确率（ACC）均有显著提升,尤其在ASSISTments2015数据集上表现最佳,分别提升了6.83～20.14个百分点和7.52～11.22个百分点,并且该模型的训练时间与DKT模型相比减少了26%。可见,所提模型可以更准确地捕捉学生的知识状态,更高效地预测学生未来的表现。     

基于上下文表示的知识追踪方法

知识追踪是教育数据挖掘领域中一个十分重要的问题,旨在利用可观测到的学生历史交互数据和习题包含的知识点相关信息来推断学生对知识点的掌握情况。已有方法虽在不同程度上取得了一些进展,但大多忽略了使用知识点表示习题的重要性,并且对使用诸如学习因素之类的上下文表示知识点的研究也不够充分。针对上述问题,提出基于上下文表示的知识追踪方法KTCR。首先,综合考虑影响学生学习过程的因素,并基于学生响应数据设计了知识点上下文表示方法,从而基于Q矩阵表示知识点上下文;其次,为了实现习题向量的降维,利用融合上下文信息的知识点和学生响应数据对习题向量进行重表示;最后,结合学生历史交互数据,使用长短期记忆网络对学生的知识状态进行估计。在4个真实数据集上的实验表明了本文方法对于习题嵌入表示的合理性,并且能够有效地估计学生的知识状态。     

多知识点融合嵌入的深度知识追踪模型

知识追踪任务是根据学生历史答题记录追踪学生知识状态的变化,预测学生未来的答题情况.近年来,基于注意力机制的知识追踪模型在灵活性和预测性能上都明显优于传统知识追踪模型.但是现有深度模型大多只考虑了单一知识点题目的情况,无法直接处理多知识点题目,而智能教育系统中存在着大量的多知识点题目.此外,如何提高可解释性是深度知识追踪模型的关键挑战之一.为了解决这些问题,提出一种多知识点融合嵌入的深度知识追踪模型.所提模型考虑涉及多知识点的题目中知识点之间的关系,提出两种新颖的多知识点嵌入方式,并且结合教育心理学模型和遗忘因素提升预测性能和可解释性.实验表明所提模型在大规模真实数据集上预测性能上优于现有模型,并验证各个模块的有效性.     

融合IRT的图注意力深度知识追踪模型

知识追踪，旨在根据学生的历史答题表现实时追踪学生的知识状态(知识的掌握程度)并且预测学生未来的答题表现。目前的研究仅仅探索了问题或概念本身对学生答题表现的直接影响，而往往忽略了问题及包含的概念中存在的深层次信息对学生答题表现的间接影响。为了更好地利用这些深层次信息，一种融合项目反应理论的图注意力深度知识追踪模型GAKT-IRT被提出。模型将图注意力网络应用于知识追踪领域，取得了显著的提升效果，并使用IRT增加了模型的可解释性。首先，通过图注意力网络层获得问题的深层次特征表示；接着，根据结合了深层次信息的学生历史答题序列对学生的知识状态进行建模；然后，使用IRT对学生未来的答题表现进行预测。在6个公开真实在线教育数据集上的对比实验结果证明了，GAKT-IRT模型可以更好地完成知识追踪任务，在预测学生未来答题表现上具有明显的优势。     

概念表示增强的知识追踪模型

知识追踪模型以学习者的历史学习行为数据作为输入,通过概念表示来描述学习者的概念掌握状态,从而预测学习者未来的学习表现。然而在概念的外延表示方面,当前知识追踪研究的概念外延信息被限制在一阶相关的范畴内,无法表征概念的一阶以上外延信息。为了解决这一问题,提出方法首先使用图结构描述概念内涵信息及其相互关系;其次使用图神经网络的池化操作等提取概念的外延表示,这保证了概念的外延信息来源于多阶相关关系;再与概念的内涵表示进行融合;最后预测学习者未来的答题情况。为了验证该模型的有效性和效率,选取了四个主流知识追踪模型作为对比模型,在四个常用的知识追踪数据集上进行实验。结果表明,提出模型在若干评价指标上均取得了一定的优势,说明了它的有效性;在模型性能方面,提出模型达到最优评价指标所需的迭代次数最少,说明了它的效率;在实际应用方面,以该模型为基础实现了一个智能学习平台,在三门线下课程的教学过程中判断和预测学习者未来答题情况,取得了优于其他知识追踪模型的表现。     

基于知识图谱的双端知识感知图卷积推荐模型

针对现有基于知识图谱的推荐模型仅从用户或项目一端进行特征提取, 从而缺乏对另一端的特征提取的问题, 提出一种基于知识图谱的双端知识感知图卷积推荐模型. 首先, 对于用户、项目及知识图谱中的实体进行随机初始化表征得到初始特征表示; 接着, 采用基于用户和项目的知识感知注意力机制同时从用户、项目两端在知识图谱中进行特征提取; 其次, 使用图卷积网络采用不同的聚合方式聚合知识图谱传播过程中的特征信息并预测点击率; 最后, 为了验证模型的有效性, 在Last.FM和Book-Crossing两个公开数据集上与4个基线模型进行对比实验. 在Last.FM数据集上, AUC和F1分别比最优的基线模型提升了4.4%、3.8%, ACC提升了1.1%. 在Book-Crossing数据集上, AUC和F1分别提升了1.5%、2.2%, ACC提升了1.4%. 实验结果表明, 本文的模型在AUC、F1和ACC指标上比其他的基线模型具有更好的鲁棒性.     

融合实体概念描述与图像特征的知识图谱表示学习研究

知识图谱表示学习将实体和关系映射到一个连续的低维空间.传统学习方法是从结构化的三元组学习知识表示,忽略了三元组之外与实体相关的丰富多源信息.针对该问题,提出一种将实体概念描述和图像特征与事实三元组相结合的知识图谱表示学习模型DIRL.首先,利用BERT模型进行实体概念描述的语义表示;其次,使用CNN编码器对图像总体特征进行提取,然后通过基于注意力的方法表示图像特征;最后,将基于概念描述的表示和基于图像特征的表示与翻译模型TransR结合起来进行知识图谱表示学习.通过实验验证,DIRL模型优于现有方法,提高了多源信息知识图谱表示的有效性.     

基于用户潜在兴趣的知识感知传播推荐算法

知识图谱引入推荐系统可以利用知识图谱实体之间的语义关系学习用户及项目表示。基于嵌入传播的方法利用知识图谱的图结构学习相关特征,但随着传播范围增加,多跳实体间的语义相关性减小。为有效提升推荐语义表达能力并提高推荐准确度,提出基于用户潜在兴趣的知识感知传播推荐模型,该模型采用异构传播方式传播项目关联知识并迭代学习用户的潜在兴趣,以此增强模型对用户与项目的表示能力。具体地,首先图嵌入层生成用户与项目的初始化表示,随后在异构传播层中采用知识感知注意力机制区分同一层中实体之间的重要性,更精确生成目标实体的表示。随后通过用户潜在兴趣传播学习用户的高阶潜在兴趣,增强多跳实体语义相关性。最后在预测层中使用信息衰减因子区分不同传播层次的重要性,生成用户及项目的最终表示。实验表明,该模型在Last. FM与Book-Crossing两个公开数据集上AUC值相较于最先进的基线提升了2.25%与4.71%,F1值分别提升3.05%和1.20%,recall@K值均优于对比的基线模型,提出的模型能有效提高推荐准确度。     

基于知识图谱的用户表征及在互补产品推荐中的应用

互补产品推荐旨在为用户提供经常一起购买的产品,以满足共同的需求。现有的互补产品推荐方法大多考虑对产品的内容特性(视觉和文本内容)建模,而没有考虑用户购买产品的偏好。为此设计了一种融合用户偏好的互补产品推荐模型(complementary product recommendation models that integrate user preferences, CPRUP)。该模型首先计算产品之间图像和文本特征的互补关系;然后将知识图谱与注意力机制相结合,基于n-hop邻居挖掘用户历史购买产品之间的相关性,提出一种基于知识图谱的用户表征来提取用户对互补产品的偏好;最后基于神经网络实现互补关系与用户偏好的共同学习。使用Amazon数据集进行实验,提出的CPRUP模型与次优基线模型相比,ACC提升了5%,precision提升了4%,表明CPRUP模型可以更准确地为用户推荐互补产品。     

融合实体描述信息和邻居节点特征的知识表示学习方法

知识图谱表示学习旨在将实体和关系映射到一个低维稠密的向量空间中。现有的大多数相关模型更注重于学习三元组的结构特征,忽略了三元组内的实体关系的语义信息特征和三元组外的实体描述信息特征,因此知识表达能力较差。针对以上问题,提出了一种融合多源信息的知识表示学习模型BAGAT。首先,结合知识图谱特征来构造三元组实体目标节点和邻居节点,并使用图注意力网络（GAT）聚合三元组结构的语义信息表示;然后,使用BERT词向量模型对实体描述信息进行嵌入表示;最后,将两种表示方法映射到同一个向量空间中进行联合知识表示学习。实验结果表明,BAGAT性能较其他模型有较大提升,在公共数据集FB15K-237链接预测任务的Hits@1与Hits@10指标上,与翻译模型TransE相比分别提升了25.9个百分点和22.0个百分点,与图神经网络模型KBGAT相比分别提升了1.8个百分点和3.5个百分点。可见,融合实体描述信息和三元组结构语义信息的多源信息表示方法可以获得更强的表示学习能力。     

引入知识表示的图卷积网络谣言检测方法

在谣言检测的问题上,现有的研究方法无法有效地表达谣言在社交网络传播的异构图结构特征,并且没有引入外部知识作为内容核实的手段。因此,提出了引入知识表示的图卷积网络谣言检测方法,其中知识图谱作为额外先验知识来帮助核实内容真实性。采用预训练好的词嵌入模型和知识图谱嵌入模型获取文本表示后,融合图卷积网络的同时,能够在谣言传播的拓扑图中更好地进行特征提取以提升谣言检测的精确率。实验结果表明,该模型能够更好地对社交网络中的谣言进行检测。与基准模型的对比中,在Weibo数据集上的精确率达到96.1%,在Twitter15和Twitter16数据集上的F1值分别提升了3.1%和3.3%。消融实验也表明了该方法对谣言检测皆有明显提升效果,同时验证了模型的有效性和先进性。