一种改进的知识图注意力网络推荐模型

针对知识图注意力网络（Knowledge Graph Attention Network, KGAT）推荐模型在整个知识图谱上传播信息,容易引入噪声的问题,提出一种改进的KGAT模型,通过将注意力嵌入传播层替换为注意力机制嵌入和信息过滤两个部分实现注意力得分机制,优化节点嵌入。在两个公共数据集Amazon-Book和Last-FM上分别进行对比实验,实验结果表明改进模型在recall和ndcg两项评价指标上都有提升,其中在Amazon-Book上分别提升了1.54%和1.68%,在Last-FM上分别提升了1.03%和1.96%,有效地改善了推荐结果。     

基于自注意力机制和双向GRU神经网络的深度知识追踪优化模型

针对现有深度知识追踪模型存在输入习题间复杂关系捕获能力弱、无法有效处理长序列输入数据等问题,提出了基于自注意力机制和双向GRU神经网络的深度知识追踪优化模型(KTSA-BiGRU)。首先,将学习者的历史学习交互序列数据映射为实值向量序列;其次,以实值向量序列作为输入训练双向GRU神经网络,利用双向GRU神经网络建模学习者的学习过程;最后,使用自注意力机制捕获练习题之间的关系,根据双向GRU神经网络输出的隐向量和注意力权重计算学习者正确回答下一问题的概率。实验在三个公共数据集上的性能分析优于现有的知识追踪模型,能提高深度知识追踪的预测精度。     

基于自注意力机制的多域卷积神经网络的视觉追踪

为了解决多域卷积神经网络（MDNet）在目标快速移动和外观剧烈变化时发生的模型漂移问题,提出了自注意力多域卷积神经网络（SAMDNet）,通过引入自注意力机制从通道和空间两个维度来提升追踪网络的性能。首先,利用空间注意力模块将所有位置上的特征的加权总和选择性地聚合到特征图中的所有位置上,使得相似的特征彼此相关;然后,利用通道注意力模块整合所有特征图来选择性地强调互相关联的通道的重要性;最后,融合得到最终的特征图。此外,针对MDNet算法因训练数据中存在较多相似但属性不同的序列所造成的网络模型分类不准的问题,构造了复合损失函数。该复合损失函数由分类损失函数和实例判别损失函数组成,首先,用分类损失函数来统计分类的损失值;然后,利用实例判别损失函数来提高目标在当前视频序列中的权重,抑制其在其他序列中的权重;最后,融合两项损失作为模型的最终损失。在目前广泛采用的测试基准数据集OTB50和OTB2015上进行实验,结果表明所提出的算法在成功率指标上相比2015年视觉目标跟踪挑战（VOT2015）的冠军算法MDNet分别提高了1.6个百分点和1.4个百分点,在精确率和成功率指标上优于连续域卷积相关滤波（CCOT）算法,在OTB50上的精确率指标优于高效卷积操作（ECO）算法,验证了该算法的有效性。     

知识图谱增强的图神经网络推荐研究进展

已有推荐方法主要基于用户与项目的历史交互行为,未充分运用用户及项目相关特征信息,推荐效果并不理想。知识图谱（knowledge graph,KG）增强的图神经网络（graph neural network,GNN）推荐,是以用户与项目交互行为构建的交互图为基础,引入同为图结构的知识图谱,并运用图神经网络技术进行处理,从而实现个性化推荐。深入探讨了现有知识图谱增强的图神经网络推荐研究进展。首先在对图神经网络推荐和知识图谱推荐进行探讨的基础上,从项目知识图谱和协同知识图谱视角,深入分析了当前知识图谱增强的图神经网络推荐取得的相关研究成果;然后从大规模动态知识图谱处理、用户对项目属性的偏好挖掘、知识图谱的图嵌入学习等方面,指出了已有知识图谱增强的图神经网络推荐研究存在的主要问题;最后从动态时序知识图谱增强的GNN推荐、元学习的知识图谱增强GNN推荐、多模态知识图谱增强的GNN推荐、知识图谱增强的GNN跨领域推荐等方面,展望了知识图谱增强的图神经网络推荐未来主要研究方向。     

一种基于自注意力深度知识追踪和协同过滤的C++教学辅助方法

为了帮助C++教学实践,根据蚌埠学院网络习题平台积累的学生答题数据集,提出一种基于自注意力深度知识追踪和协同过滤的C++教学辅助方法 SAINT-Lite-CF,对C++教学预警和个性化习题推荐进行研究。使用裁剪后的SAINT-Lite方法进行知识追踪,获取学生知识水平矩阵进行教学预警,帮助教师及时调整教学方向。利用预测的学生答题正确概率,基于协同过滤进行个性化习题推荐,帮助学生巩固掌握不牢固知识。实验证明SAINT-Lite知识追踪方法对于小数据集有较好性能,后续的习题推荐结果也都符合期望。同时,教学实践表明SAINT-Lite-CFC++教学辅助方法有很好的可信度和实用性。     

融合IRT的图注意力深度知识追踪模型

知识追踪,旨在根据学生的历史答题表现实时追踪学生的知识状态(知识的掌握程度)并且预测学生未来的答题表现。目前的研究仅仅探索了问题或概念本身对学生答题表现的直接影响,而往往忽略了问题及包含的概念中存在的深层次信息对学生答题表现的间接影响。为了更好地利用这些深层次信息,一种融合项目反应理论的图注意力深度知识追踪模型GAKT-IRT被提出。模型将图注意力网络应用于知识追踪领域,取得了显著的提升效果,并使用IRT增加了模型的可解释性。首先,通过图注意力网络层获得问题的深层次特征表示;接着,根据结合了深层次信息的学生历史答题序列对学生的知识状态进行建模;然后,使用IRT对学生未来的答题表现进行预测。在6个公开真实在线教育数据集上的对比实验结果证明了,GAKT-IRT模型可以更好地完成知识追踪任务,在预测学生未来答题表现上具有明显的优势。     

图谱波纹特征驱动的知识追踪算法

知识追踪是智能教学系统中用于建模学生知识状态的关键技术.尽管研究者们提出了多种知识追踪模型,但这些模型没有充分挖掘知识点之间的关联性,限制了知识追踪的性能和应用.为此,本文提出了RKT(RippleNet Knowledge Tracing),一种利用知识状态传播将知识图谱融入到知识追踪的模型.首先以学生掌握的题目为起点,将题目-知识点的对应关系及知识点之间的关联形成一个知识图谱,然后将学生的知识状态沿着该知识图谱不断传播,产生向外扩散的多个“波纹”,再叠加起来,形成学生对未知题目的多阶响应,自动探索学生潜在的学习能力,最后预测回答正确的概率.通过对Assistment2009＿Skill＿builder、Junyi Academy等经典数据集的对比实验,结果表明RKT在AUC和ACC性能上有着显著提升.     

基于跨会话知识图谱的图注意力网络推荐方法

基于会话的推荐方法旨在根据匿名用户行为序列预测下一个项目。然而,现有会话推荐方法多基于当前会话建模用户偏好,忽略了会话间蕴含的语义信息及知识图谱中丰富的实体和关系信息,无法有效缓解数据稀疏性的问题。提出一种基于跨会话信息与知识图谱的图注意力网络推荐方法。通过有效整合跨会话信息和知识图谱中的项目知识构建跨会话知识图谱,利用知识感知的注意力机制计算各邻居节点的重要性分数,以更新项目节点表示,采用门控循环单元和图注意力网络将每个会话表示为该会话的当前偏好和全局偏好的组合。在此基础上,将会话嵌入和项目嵌入拼接后输入到多层感知机,得到目标会话和候选项目的预测分数,从而实现会话推荐。实验结果表明,与GRU4REC、SR-GNN、FGNN等方法相比,该方法在KKBOX和JDATA两个真实数据集上的推荐命中率分别至少提高了8.23和2.41个百分点,能有效增强会话推荐性能。     

融合协同过滤信息的知识图注意力网络

知识图谱（KG）能够缓解协同过滤算法存在的数据稀疏和冷启动问题,在推荐领域被广泛地研究和应用。现有的很多基于KG的推荐模型混淆了用户物品二部图中的协同过滤信息和KG中实体间的关联信息,导致学习到的用户向量和物品向量无法准确表达其特征,甚至引入与用户、物品无关的信息从而干扰推荐。针对上述问题提出一种融合协同信息的知识图注意力网络（KGANCF）。首先,为了避免KG实体信息的干扰,网络的协同过滤层从用户物品二部图中挖掘出用户和物品的协同过滤信息;然后,在知识图注意力嵌入层中应用图注意力机制,从KG中继续提取与用户和物品密切相关的属性信息;最后,在预测层将用户物品的协同过滤信息和KG中的属性信息融合,得到用户和物品最终向量表示,进而预测用户对物品的评分。在MovieLens-20M和Last.FM数据集上进行了实验,与协同知识感知注意力网络（CKAN）相比,KGANCF在MovieLens-20M数据集上的F1分数提升了1.1个百分点,曲线下面积（AUC）提升了0.6个百分点;而在KG相对稀疏的Last.FM数据集上,模型的F1分数提升了3.3个百分点,AUC提升了8.5个百分点。实验结果表明,KGANCF能够有效提高推荐结果的准确度,在KG稀疏的数据集上显著优于协同知识嵌入（CKE）、知识图谱卷积网络（KGCN）、知识图注意网络（KGAT）和CKAN模型。     

基于偏差的图注意力神经网络推荐算法

在推荐系统中,基于知识图谱的神经网络与传统神经网络相比,以图形作为输入,可以很好地将节点信息和拓扑结构相结合进行推理和推荐.然而,现有基于图神经网络的推荐算法,面临着知识表示不准确以及信息融合单一的问题.对此,将图神经网络与注意力机制相结合,提出一种基于偏差的图注意力神经网络推荐算法.该方法采用翻译模型对知识图谱信息进行特征表示的嵌入,获取节点在同一投影空间下的三元组信息,考虑到在三元组中预测值与真实值之间存在误差,以及邻居节点在信息传播时权重的差异,采用基于偏差的注意力计算机制以便更好地捕获节点间高阶连通性.其次,在神经网络的传播训练过程中,通过多通道融合机制对节点和邻居信息进行聚合以提高模型的健壮性.最后,在3个真实数据集上与经典算法进行对比,验证所提出算法的有效性.     

基于图神经网络和时间注意力的会话序列推荐

为解决基于循环神经网络及其改进的方法在处理会话序列数据时只考虑序列行为,无法从有限的点击中获得准确的会话向量表示的问题,提出一种基于图神经网络和时间注意力的会话序列推荐算法。结合门控图神经网络和项目浏览时间信息,有效建模会话中所有点击项目之间的复杂转换,更充分利用用户浏览信息,使会话向量表示的计算更准确、区分度更高。实验结果表明,该方法能够提高推荐结果的准确性,更为有效地预测用户的下一次点击。     

一种用于答案选择的知识增强混合神经网络

答案选择是问答领域中一项重要的子任务,该任务旨在从候选答案集中选择出正确的答案.传统的模型主要依靠人工提取问答之间的语义相似度特征,并通过分类器或排名算法选择最匹配的答案.近年来的研究工作主要基于深度神经网络自动提取问答的语义相似度特征,并在问答匹配精度上取得了巨大的进步.但是,大多数深度神经网络模型依赖单一的神经网络...     

用于关系抽取的注意力图长短时记忆神经网络

关系抽取是信息获取中一项关键技术.句子结构树能够捕获单词之间的长距离依赖关系,已被广泛用于关系抽取任务中.但是,现有方法存在过度依赖句子结构树本身信息而忽略外部信息的不足.本文提出一种新型的图神经网络模型,即注意力图长短时记忆神经网络(attention graph long short term memory neu...     

基于直接高阶注意力和多尺度路由的图神经网络

图神经网络中的注意力机制在处理图结构化数据方面表现出优异的性能。传统的图注意力计算直接连接的节点之间的注意力,并通过堆叠层数隐式获取高阶信息。尽管在图注意力机制方面目前已有广泛的研究,但用于注意力计算的堆叠范式在建模远程依赖方面效果较差。为了提高表达能力,设计了一种新颖的直接注意力机制,这一机制通过K阶邻接矩阵直接计算高阶邻居之间的注意力。通过自适应路由聚合过程进一步传播高阶信息,这使得聚合过程更灵活地适应不同图的特性。在引文网络上的节点分类任务上进行了大量的实验。实验表明,该方法优于最先进的基线模型。     

知识增强的图神经网络序列推荐模型

现有基于图神经网络的序列推荐模型大多仅关注用户与项目交互的结构性信息,序列偏好的学习仅涉及项目交互顺序,缺乏项目自身的内容信息,并且未有效利用用户信息及挖掘项目之间更深层的语义关系。提出一种知识增强的图神经网络序列推荐模型KGGNN,引入知识图谱,并结合用户交互数据构建协同知识图谱,学习得到项目语义关联辅助信息以及用户关联辅助信息。将交互序列构建成有向序列图,利用门控图神经网络以及用户关联辅助信息学习序列中项目节点的结构性信息。通过注意力机制组合项目向量作为全局序列偏好,将最近交互的项目作为当前兴趣偏好,融合两者形成最终序列偏好,并结合项目语义关联辅助信息进行模型预测。在Amazon-Book、Last-FM、Yelp2018这3个公开数据集上的实验结果表明,辅助信息能有效提升序列推荐的准确性,该模型在命中率（HIT@K）和归一化折损累计增益（NDCG@K）2个指标上相较于GRU4Rec、NARM、SASRec等模型均有显著提升。当评估指标K值选取10时,与KGSR模型相比,其HIT@10指标在3个数据集上分别提升12.9%、4.5%、6.9%,NDCG@10指标在3个数据集上分别提升...     

基于多尺度自注意力增强的多方对话角色识别方法

角色识别任务是近年来提出的一项自然语言处理任务,面向多方参与的对话场景,目标是将对话中的人物提及映射到具体的人物实体。目前在该任务的最优系统中,只使用了较为简单的编码器,并未针对对话文本特点进行改造创新。该文在最优系统的基础上,提出了一种基于多尺度自注意力增强的方法,借助不同尺度的自注意力,来获得更好的信息表示。首先,通过尺度较大的全局注意力,对场景内的全部对话信息进行处理,保留了全局的对话信息;然后,通过尺度较小的局部注意力,对局部范围内的对话进行计算,捕获近距离的信息之间的关联关系;最后,将不同尺度得到的信息进行融合,达到对编码信息增强的效果。在SemEval2018 Task4任务上的实验结果表明了该方法的有效性,相较于目前最优系统,在全部实体的F₁值上提高了18.94%。     

基于自注意力机制与知识图谱的序列推荐算法

针对现有的序列推荐算法难以充分挖掘序列间内在关系,以及项目之间更深层次联系等问题,提出一种新颖的序列推荐算法.算法主要分为两个主要部分,即项目嵌入和偏好学习.首先基于知识图谱创建一种新的项目嵌入方法,用于获得每个项目的统一表示.然后,通过自注意力机制学习序列的上下文信息,获取用户的个性化偏好向量,生成下一项推荐.在真实...     

基于图神经网络的多信息优化实体对齐模型

实体对齐是知识融合中的一个关键步骤,旨在发现知识图谱间存在对应关系的实体对。知识图谱融合后可以为下游提供更加广泛而准确的服务。现有的实体对齐模型对实体名称和关系的利用往往不足,在得到实体的向量表示后通过单一的迭代策略或者直接计算得出实体的对齐关系,忽略了部分有用信息,导致实体对齐的结果欠佳。针对上述问题,提出了一种基于图神经网络的多信息优化实体对齐模型。首先,模型的输入融合了实体名称中的单词信息和字符信息,通过注意力机制学习关系的向量表示并利用关系传递信息。在利用实体和关系的预对齐结果修正实体对齐矩阵的基础上,使用延迟接受算法修正部分错误对齐的结果。所提模型在DBP15K的3个子数据集上进行了对比和消融实验。结果表明,相比基线模型,其Hits@1指标分别提高了4.47%,0.82%和0.46%,Hits@10和MRR指标也取得了良好的结果。通过消融实验进一步验证了所提模型的有效性,总体上可以获得更加准确的实体对齐结果。     

多知识点融合嵌入的深度知识追踪模型

知识追踪任务是根据学生历史答题记录追踪学生知识状态的变化,预测学生未来的答题情况.近年来,基于注意力机制的知识追踪模型在灵活性和预测性能上都明显优于传统知识追踪模型.但是现有深度模型大多只考虑了单一知识点题目的情况,无法直接处理多知识点题目,而智能教育系统中存在着大量的多知识点题目.此外,如何提高可解释性是深度知识追踪模型的关键挑战之一.为了解决这些问题,提出一种多知识点融合嵌入的深度知识追踪模型.所提模型考虑涉及多知识点的题目中知识点之间的关系,提出两种新颖的多知识点嵌入方式,并且结合教育心理学模型和遗忘因素提升预测性能和可解释性.实验表明所提模型在大规模真实数据集上预测性能上优于现有模型,并验证各个模块的有效性.     

基于异构图注意力的工业设备故障诊断知识图谱补全方法

针对工业设备故障诊断知识图谱故障实体属性残缺、故障关系链接缺失的问题,本文提出了一种基于知识图谱异构图注意力网络(knowledge graph heterogeneous graph attention network, KGHAN)模型的工业设备故障诊断知识图谱补全方法,通过对故障实体概念补全和故障关系链接补全完善了工业设备故障诊断知识图谱.所提KGHAN模型在异构图注意力网络模型的基础上,融合了故障知识结构信息和故障图结构信息,有效地表征了故障实体和故障关系的嵌入表示,提高了故障实体概念补全任务的准确率和故障关系链接补全任务的命中率.将所提工业设备故障诊断知识图谱补全方法应用在国内某企业的工业设备故障运维数据上,结果表明,故障实体概念补全任务的准确率提高了约10%,故障关系链接补全任务的命中率提高了约37%,验证了方法的有效性.