F-TCKT：融合遗忘因素的深度时序卷积知识追踪模型

智慧教育中,对学生的知识水平进行追踪是很重要的技术之一。传统的深度知识追踪方法的主要关注点集中在循环神经网络(recurrent neural network, RNN)上,但RNN存在梯度消失或者梯度爆炸的问题,并且很多知识追踪方法没有考虑到学习过程中遗忘行为对结果的影响。针对以上问题,为了准确地预测学生的知识水平,提出了一种融合遗忘因素的深度时序卷积知识追踪模型(temporal convolutional knowledge tracking with forgetting, F-TCKT)。该模型引入了三个影响学生遗忘行为的因素,包括学习相同知识点的时间间隔、学习的时间间隔和同一知识点的学习次数。首先利用全连接网络计算得到表示学生遗忘程度的向量并与学生的答题记录进行拼接,然后使用梯度稳定的时间卷积网络(temporal convolutional network, TCN)和注意力机制预测学生下一次答题正误的概率。经实验验证,与传统方法相比,F-TCKT具有更好的预测性能。     

融合注意力机制的时间卷积知识追踪模型

针对基于循环神经网络（RNN）的深度知识追踪模型存在的可解释性不足和长序列依赖问题,提出一种融合注意力机制的时间卷积知识追踪（ATCKT）模型。首先,在训练阶段学习学生历史交互的嵌入表示;然后,使用基于题目的注意力机制学习特定权重矩阵,从而识别并强化学生的历史交互对每一时刻知识状态不同程度的影响;最后,使用时间卷积网络（TCN）提取学生动态变化的知识状态,在这个过程中利用扩张卷积和深层神经网络扩大序列学习范围,缓解长序列依赖问题。将ATCKT模型与深度知识追踪（DKT）、卷积知识追踪（CKT）等四种模型在ASSISTments2009、ASSISTments2015、Statics2011和Synthetic-5这4个数据集上进行对比实验,实验结果显示,所提模型的曲线下面积（AUC）和准确率（ACC）均有显著提升,尤其在ASSISTments2015数据集上表现最佳,分别提升了6.83～20.14个百分点和7.52～11.22个百分点,并且该模型的训练时间与DKT模型相比减少了26%。可见,所提模型可以更准确地捕捉学生的知识状态,更高效地预测学生未来的表现。     

融合行为和遗忘因素的贝叶斯知识追踪模型研究

贝叶斯知识追踪模型(Bayesian knowledge tracing,BKT)被用于智能教学系统中追踪学习者的知识状态并预测其掌握水平和未来表现.由于BKT容易忽视记忆遗忘现象,以及未考虑学习行为对表现结果产生的影响,导致模型预测结果与实际情况出现偏差.针对此问题,提出了一种融合学习者的行为和遗忘因素的贝叶斯知识追踪模型(behavior-forgetting Bayesian knowledge tracing,BF-BKT).首先,采用决策树算法处理学习行为数据,引入行为节点;然后初始化遗忘参数并赋值,更新学习者知识掌握水平的算法;最后,利用ASSISTMENTS提供的公开数据集对相关模型的预测精度进行对比.实验验证,BF-BKT能够达到更好的预测精度.     

练习嵌入和学习遗忘特征增强的知识追踪模型

现有知识追踪模型大多以概念为中心评估学生的未来表现,忽略了包含相同概念的练习之间的差异,从而影响模型的预测准确性.此外,在构建学生知识状态过程中,现有模型未能充分利用学生在答题过程中的学习遗忘特征,导致对学生知识状态的刻画不够精确.针对以上问题,提出了一种练习嵌入和学习遗忘特征增强的知识追踪模型(exercise embeddings and learning-forgetting features boosted knowledge tracing,ELFBKT).该模型利用练习概念二部图中的显性关系,深入计算二部图中的隐性关系,构建了一个练习概念异构关系图.为充分利用异构图中的丰富关系信息,ELFBKT模型引入了关系图卷积网络.通过该网络的处理,模型能够增强练习嵌入的质量,并以练习为中心更准确地预测学生的未来表现.此外,ELFBKT充分利用多种学习遗忘特征,构建了两个门控机制,分别针对学生的学习行为和遗忘行为进行建模,更精确地刻画学生的知识状态.在两个真实世界数据集上进行实验,结果表明ELFBKT在知识追踪任务上的性能优于其他模型.     

LFKT:学习与遗忘融合的深度知识追踪模型

知识追踪任务旨在根据学生历史学习行为实时追踪学生知识水平变化,并且预测学生在未来学习表现.在学生学习过程中,学习行为与遗忘行为相互交织,学生的遗忘行为对知识追踪影响很大.为了准确建模知识追踪中学习与遗忘行为,本文提出了一个兼顾学习与遗忘行为的深度知识追踪模型LFKT.LFKT模型综合考虑了四个影响知识遗忘因素,包括学生重复学习知识点的间隔时间、重复学习知识点的次数、顺序学习间隔时间以及学生对于知识点的掌握程度.结合遗忘因素,LFKT采用深度神经网络,利用学生答题结果作为知识追踪过程中知识掌握程度的间接反馈,建模融合学习与遗忘行为的知识追踪模型.通过在真实在线教育数据集上的实验,与当前知识追踪模型相比,LFKT可以更好地追踪学生知识掌握状态,并具有较好的预测性能.     

时空相关性融合表征的知识追踪模型

知识追踪通过对知识点的表示来描述习题,以此建模知识状态,最终预测学习者的未来表现。然而目前的研究在知识点的表示方面既没有建模历史知识点对当前知识点产生的时间关系上的影响,又未能刻画习题内部各知识点之间产生的空间关系上的作用。为了解决上述问题,提出了时空相关性融合表征的知识追踪模型。首先,以知识点之间的时间相关程度为基础,建模历史知识点对当前知识点的时间作用;其次,利用图注意力网络建模习题所包含的若干知识点之间的空间作用,得到蕴涵了时空信息的知识点表示;最后,利用上述知识点的表示推导出习题的表示,通过自注意力机制得到当前的知识状态。在实验阶段,与五种相关知识追踪模型在四个真实数据集上进行性能对比,结果表明提出的模型在性能方面有更出色的表现。特别地,在ASSISTments2017数据集中所提模型比五个对比模型在AUC、Acc方面分别提升了1.7%~7.7%和7.3%~2.1%;消融实验证明了建模知识点之间时空相关影响的有效性,训练过程实验表明了提出的模型在知识点的表示及其相互作用关系的建模等方面具有一定的优势,应用实例也可看出该模型优于其他知识追踪模型的实际结果。     

融合状态关系的知识追踪模型

知识追踪模型建模学习者对每个知识点的状态推断其知识总状态,预测其未来的学习表现。但现有研究在建模知识总状态时,没有融合知识点状态之间的关系,影响了最终的预测效果。针对这一问题,提出一种融合知识点状态关系的知识追踪模型。首先向量化表示数据集中的知识点,构建知识点表示图;其次将知识点表示图扩散至潜式空间以反映其内在结构和本质信息;融合当前时刻的习题与知识点作为引导向量,从知识点表示图的潜式表示中提取知识点状态图;以知识点状态图为基础,推导知识总状态,预测当前习题的表现。通过在三个数据集上对比四个相关模型的实验证明,提出的模型在AUC、ACC和表示质量方面均取得了一定的优势。其中,在 ASSISTments2009数据集上表现最佳,与对比模型中的最优值和最低值比较,AUC分别提升了1.17%、10.57%,ACC分别提升了3.23%、12.17%,表示质量分别提升了1.95%、10.40%。进一步地,可视化地展示了知识点状态及其关系的内部推导过程,以及它们与真实答题结果之间的对应关系,说明模型具备一定的可解释性。同时,将该模型应用于三门课程以预测学生的表现,与相关模型对比取得了更好的结果,说明模型具备一定的实用性。     

融合IRT的图注意力深度知识追踪模型

知识追踪,旨在根据学生的历史答题表现实时追踪学生的知识状态(知识的掌握程度)并且预测学生未来的答题表现。目前的研究仅仅探索了问题或概念本身对学生答题表现的直接影响,而往往忽略了问题及包含的概念中存在的深层次信息对学生答题表现的间接影响。为了更好地利用这些深层次信息,一种融合项目反应理论的图注意力深度知识追踪模型GAKT-IRT被提出。模型将图注意力网络应用于知识追踪领域,取得了显著的提升效果,并使用IRT增加了模型的可解释性。首先,通过图注意力网络层获得问题的深层次特征表示;接着,根据结合了深层次信息的学生历史答题序列对学生的知识状态进行建模;然后,使用IRT对学生未来的答题表现进行预测。在6个公开真实在线教育数据集上的对比实验结果证明了,GAKT-IRT模型可以更好地完成知识追踪任务,在预测学生未来答题表现上具有明显的优势。     

基于工况知识引导注意力时间卷积网络的烧结终点预测

烧结终点位置的实时准确预测对于优化烧结工艺具有重要的意义.针对烧结过程中强非线性和动态时变性造成烧结终点高精度预测难的问题,本文提出了一种基于工况知识引导注意力时间卷积网络(AM–TCN)模型.首先,构建堆叠的时间卷积模块用于充分提取烧结过程数据中深层次的非线性特征;其次,将历史工况知识引入注意力机制,引导模型在保留过程数据时序特征的同时区分不同特征的重要性;最后,构建预测模型用于烧结终点位置在线预测.工业数据实验表明,所提AM–TCN模型具有较好的烧结终点预测精度,对提升烧结过程热状态稳定性具有重要意义.     

基于知识蒸馏的超分辨率卷积神经网络压缩方法

针对目前用于超分辨率图像重建的深度学习网络模型结构深且计算复杂度高，以及存储网络模型所需空间大，进而导致其无法在资源受限的设备上有效运行的问题，提出一种基于知识蒸馏的超分辨率卷积神经网络的压缩方法。该方法使用一个参数多、重建效果好的教师网络和一个参数少、重建效果较差的学生网络。首先训练好教师网络，然后使用知识蒸馏的方法将知识从教师网络转移到学生网络，最后在不改变学生网络的网络结构及参数量的前提下提升学生网络的重建效果。实验使用峰值信噪比（PSNR）评估重建质量的结果，使用知识蒸馏方法的学生网络与不使用知识蒸馏方法的学生网络相比，在放大倍数为3时，在4个公开测试集上的PSNR提升量分别为0.53 dB、0.37 dB、0.24 dB和0.45 dB。在不改变学生网络结构的前提下，所提方法显著地改善了学生网络的超分辨率重建效果。     

基于时域卷积网络的水文模型

水位预测是防洪预警工作的辅助决策支持。为了进行准确的水位预测,为预防自然灾害提供科学依据,提出一种结合改进的灰狼优化（MGWO）算法与时域卷积网络（TCN）的预测模型MGWO-TCN。针对标准灰狼优化（GWO）算法存在早熟停滞的不足引入差分进化（DE）算法,扩展灰狼种群的多样性;改进灰狼种群更新时的收敛因子和变异时的变异算子,以自适应的形式对参数进行调整,提升算法的收敛速度,均衡算法的全局与局部搜索能力;利用MGWO算法对TCN的重要参数寻优,提升TCN的预测性能。将MGWO-TCN预测模型用于河流水位预测,预测结果的均方根误差（RMSE）为0.039。实验结果表明,与对比模型相比,MGWO-TCN预测模型具有更好的寻优能力和更高的预测精度。     

基于实体活跃度及复制生成的时序知识图谱推理

现有时序知识图谱推理主要是基于静态知识图谱的推理方法,通过知识图谱的结构特征挖掘潜在的语义信息和关系特征,忽略了实体时序信息的重要性,因此提出一种基于实体活跃度及复制生成机制的时序知识图谱推理方法(EACG)。首先,通过改进的图卷积神经网络对多关系实体建模,有效挖掘知识图谱的潜在语义信息和结构特征。其次,时序编码器基于实体活跃度学习实体的时序特征。最后,使用复制生成机制进一步学习知识图谱的历史信息,提升对时序数据建模的能力。在时序知识图谱数据集ICEWS14、ICEWS05-15、GDELT上推理的实验结果表明,EACG在MRR评估指标中分别优于次优方法2%、10%和5%。     

快速多域卷积神经网络和光流法融合的目标跟踪

Aiming at the problem of slow speed of the convolutional neural network target tracking algorithm, a target tracking algorithm combining fast multi-domain convolutional neural network (Faster MDNet) and optical flow method is proposed. The optical flow method is used to obtain the moving state of the target, and the preliminary selection box is used as the tracking target position. Then, the preliminary selection box is used as the input of Faster MDNet, and Faster MDNet is used as the detector to obtain the exact position and bounding box of the tracking target. Experiments on the target tracking benchmark data set VOT2014 prove that the algorithm’s online tracking speed is increased by 8 times and the accuracy is improved by 10%.     

基于自注意力机制和双向GRU神经网络的深度知识追踪优化模型

针对现有深度知识追踪模型存在输入习题间复杂关系捕获能力弱、无法有效处理长序列输入数据等问题,提出了基于自注意力机制和双向GRU神经网络的深度知识追踪优化模型(KTSA-BiGRU)。首先,将学习者的历史学习交互序列数据映射为实值向量序列;其次,以实值向量序列作为输入训练双向GRU神经网络,利用双向GRU神经网络建模学习者的学习过程;最后,使用自注意力机制捕获练习题之间的关系,根据双向GRU神经网络输出的隐向量和注意力权重计算学习者正确回答下一问题的概率。实验在三个公共数据集上的性能分析优于现有的知识追踪模型,能提高深度知识追踪的预测精度。     

基于用户长短期兴趣与知识图卷积网络的推荐

基于知识图谱的推荐可以提高推荐的精确性、多样性和可解释性.结合知识图谱与用户长短期兴趣提出了基于用户长短期兴趣与知识图卷积网络的推荐模型(LSKGCN).在知识图谱推荐算法的基础上提出了将用户长期兴趣偏好与短期兴趣偏好结合的用户表示方法.根据时间筛选近期历史项目并通过知识图卷积网络得到历史项目的向量表示,通过注意力机制...     

基于时间图注意力的交通流量预测模型

交通状况预测是智能交通系统的一个重要组成部分,而车流量是交通状况最直接的体现,因而对交通流量进行预测具有重要的应用价值。一方面,城市中的道路本身带有空间拓扑性质,另一方面车流量随时间动态变化。因此交通流量预测问题的关键在于对数据中存在的时间和空间依赖进行建模。针对这一特性,使用神经网络模型和注意力机制来探索交通流量数据中的时空依赖关系,提出基于时间图注意力的交通流量预测模型。空间依赖方面,使用图卷积网络与注意力结合的学习算法对不同影响程度节点分配不同的权重,加入节点自适应学习,有效提取空间特征;时间依赖方面,使用时序卷积网络对时间特征进行提取,通过扩张卷积扩大感受域从而捕获较长时间序列数据的特征。由图注意力网络和时间卷积网络构成一个时空网络层,最终连接到输出层输出预测结果。该模型使用图卷积神经网络和注意力机制结合的方式提取空间特征,充分考虑了道路间的空间关系,利用时序卷积网络捕获时间特征。在两个真实的数据集上进行实验后发现,在未来15 min、30 min、60 min的时间段内该模型都有良好表现,结果优于现有基准模型。     

深度卷积神经网络的汽车车型识别方法

针对现有汽车车型识别方法计算量大、提取特征复杂等问题,提出一种基于深度卷积神经网络的汽车车型识别方法。该方法借助于深度学习,对经典的卷积神经网络做出改进并得到由多个卷积层和次抽样层构成的深度卷积神经网络。根据五种车型的分类结果,表明该方法在识别率方面较传统方法有明显的提高。实验还研究了网络层数、卷积核大小、特征维数对深度卷积神经网络的性能和识别率的影响。