融合知识图谱与注意力机制的短文本分类模型

针对短文本缺乏上下文信息导致的语义模糊问题,构建一种融合知识图谱和注意力机制的神经网络模型。借助现有知识库获取短文本相关的概念集,以获得短文本相关先验知识,弥补短文本缺乏上下文信息的不足。将字符向量、词向量以及短文本的概念集作为模型的输入,运用编码器-解码器模型对短文本与概念集进行编码,利用注意力机制计算每个概念权重值,减小无关噪声概念对短文本分类的影响,在此基础上通过双向门控循环单元编码短文本输入序列,获取短文本分类特征,从而更准确地进行短文本分类。实验结果表明,该模型在AGNews、Ohsumed和TagMyNews短文本数据集上的准确率分别达到73.95%、40.69%和63.10%,具有较好的分类能力。     

基于知识图谱的图匹配文本分类

【目的】在自然语言处理领域,文本分类是十分重要的基础研究,可以应用于许多下游任务中,例如文章检索、推荐系统、问答系统等。受到知识图谱在文本推理领域发挥作用的启发,本文探索了将知识图谱应用于文本分类任务的方法,在降低对标注训练数据依赖的同时利用知识图谱的推理能力提升文本分类的效果。【方法】本文提出了基于知识图谱的图匹配文本分类算法。具体而言,依据分类目标,为每一个类别构建了该类别的知识图谱,模型基于类别知识图谱中的语义和连接信息对文本与各个类别的相关性进行推理,综合各个知识图谱的推理评估结果。【结论】为了证明本文提出的方法的有效性,本文构建了分类所需的知识图谱并在两个数据集上进行了实验,实验结果证明在允许一定拒绝的前提下,此模型具有很高的准确率,进一步推动了算法的应用落地。     

融合知识感知与双重注意力的短文本分类模型

文本分类任务作为文本挖掘的核心问题,已成为自然语言处理领域的一个重要课题.而短文本分类由于稀疏性、实时性和不规范性等特点,已成为文本分类亟待解决的问题之一.在某些特定场景,短文本存在大量隐含语义,由此给挖掘有限文本内的隐含语义特征等任务带来挑战.已有的方法对短文本分类主要采用传统机器学习或深度学习算法,但该类算法的模型构建复杂且工作量大,效率不高.此外,短文本包含有效信息较少且口语化严重,对模型的特征学习能力要求较高.针对以上问题,提出了KAe RCNN模型,该模型在TextRCNN模型的基础上,融合了知识感知与双重注意力机制.知识感知包含了知识图谱实体链接和知识图谱嵌入,可以引入外部知识以获取语义特征,同时,双重注意力机制可以提高模型对短文本中有效信息提取的效率.实验结果表明,KAe RCNN模型在分类准确度、F1值和实际应用效果等方面显著优于传统的机器学习算法.对算法的性能和适应性进行了验证,准确率达到95.54%, F1值达到0.901,对比4种传统机器学习算法,准确率平均提高了约14%, F1值提升了约13%.与TextRCNN相比,KAe RCNN模型在准确性方面提升了约3%...     

融合知识图谱和多模态的文本分类研究

传统文本分类方法主要是基于单模态数据所驱动的经验主义统计学习方法,缺乏对数据的理解能力,鲁棒性较差,单个模态的模型输入也难以有效分析互联网中越来越丰富的多模态化数据。针对此问题提出两种提高分类能力的方法：引入多模态信息到模型输入,旨在弥补单模态信息的局限性;引入知识图谱实体信息到模型输入,旨在丰富文本的语义信息,提高模型的泛化能力。模型使用BERT提取文本特征,改进的ResNet提取图像特征,TransE提取文本实体特征,通过前期融合方式输入到BERT模型中进行分类,在研究多标签分类问题的MM-IMDB数据集上F1值达到66.5%,在情感分析数据集Twitter15&17上ACC值达到71.1%,结果均优于其他模型。实验结果表明,引入多模态信息和实体信息能够提高模型的文本分类能力。     

类型增强的时态知识图谱表示学习模型

知识图谱表示学习旨在将知识图谱中的元素（实体和关系）表示在低维的连续向量空间中,可以有效地实现知识图谱补全并提高计算效率,是贯穿知识图谱构建和应用全过程的重要问题.现有的知识图谱表示学习模型大多基于静态的结构化三元组,忽略了知识的时间动态性和实体的类型特征,限制了它们在知识图谱补全和语义计算中的表现.针对这一问题,提出一种类型增强的时态知识图谱表示学习模型（type-enhanced temporal knowledge graph representation learning model,T-Temp）,基于经典的张量分解技术,将不同形式的时间信息显式融合到知识图谱表示学习过程中.同时,利用实体与关系间的类型兼容性,充分挖掘隐含在实体中的类型特征,进一步提升表示学习的准确性.此外,证明T-Temp模型具有完全表达性,且与同类模型相比,具有较低的时空复杂度.在多个真实的时态知识图谱上进行的详细实验说明了T-Temp模型的有效性和先进性.     

融合知识图谱和评论文本的个性化推荐模型

推荐系统的目的是解决“信息过载”的问题,然而目前的研究方法大多利用用户和商品信息对用户兴趣进行建模,没有同时利用知识图谱构建用户模型来增强推荐系统的性能,因此提出了融合知识图谱和评论文本的个性化推荐模型。首先,通过不同类型的知识图谱分别关联用户项目和用户评论文本,扩展用户的兴趣和提取评论文本中的实体;其次,通过构造用户兴趣网络得到带有用户兴趣偏好的兴趣特征;然后,通过构造画像模块和情感模块的画像网络提取到带有用户情感倾向的画像特征;利用决策层进行点击率预测。最后在Amazon数据集上进行了实验比较,对所提模型的性能进行了评估,并与目前的融合知识图谱和评论文本的推荐模型进行比较,验证了所提模型的有效性。     

面向文本推理的知识增强预训练语言模型

该文聚焦于利用丰富的知识对预训练语言模型进行增强以进行文本推理。预训练语言模型虽然在大量的自然语言处理任务上达到了很高的性能表现,具有很强的语义理解能力,但是大部分预训练语言模型自身包含的知识很难支撑其进行更高效的文本推理。为此,该文提出了一个知识增强的预训练语言模型进行文本推理的框架,使得图以及图结构的知识能够更深入地与预训练语言模型融合。在文本推理的两个子任务上,该文框架的性能超过了一系列的基线方法,实验结果和分析验证了模型的有效性。     

融合标签语义知识的价值观多标签文本分类

为了准确识别网络文本中的价值观倾向,该文提出了一种融合标签语义知识实现价值观多标签文本分类的策略。首先基于价值观理论体系,构建了价值观知识图谱;然后构建了价值观多标签文本分类数据集;最后提出了融合标签语义知识的价值观多标签文本分类模型,通过两种方式融合价值观标签的语义知识。其一,利用标签语义信息进行文本表示学习,获得每个标签对于文本中不同词的重要程度;其二,利用标签的语义知识,计算标签与文本的语义相似度,并与分类模型结果融合。实验表明,该方法可以较好地解决价值观多标签分类问题,尤其可以缓解“尾标签”问题,最终在top@1结果上达到62.44%的精确率,在top@3上达到66.92%的召回率。     

融合增强协同信息和知识图谱信息的推荐模型

将知识图谱引入推荐系统,能一定程度解决数据稀疏和冷启动问题,但是往往忽略了高阶协同信息和不同协同信息的重要程度对探索用户潜在偏好的重要性,由此提出了一种融合增强协同信息和知识图谱信息的推荐模型(CIKG)。该模型首先利用用户和项目的历史交互数据,获取一阶协同信息和高阶协同信息,同时使用注意力机制捕获重要信息,得到增强协同信息,用来补充用户和项目的特征表示。其次通过将用户交互的项目与知识图谱中的实体对应,在知识图谱中执行传播操作,得到知识图谱信息,用于挖掘用户的偏好并且增强模型的可解释性。最后通过聚合器将增强协同信息和知识图谱信息结合得到用户和项目的最终表示,从而进行预测。在Last-fm和Book-crossing两个数据集上进行的实验结果表明CIKG相比其他对比的模型推荐效果有较大提升。     

融合相似度图和随机游走模型的多标签短文本分类算法

提出一种融合相似度图和随机游走模型的多标签短文本分类算法.首先,以样本数据和标签为节点创建相似度图,借助外部知识库计算样本与标签之间的权重,得到预测样本与标签集合之间的匹配度.然后,将多标签数据映射成多标签依赖图,在图上进行重启随机游走,并将已获得的匹配度作为初始预测值,计算每个节点的概率分布,直到概率分布趋于稳定时,...     

RA-GCN：抑制过平滑现象的文本分类算法

现有大多数利用图神经网络的算法进行文本分类时,忽略了图神经网络的过度平滑问题和由于文本图拓扑差异引入的误差,导致文本分类的性能不佳。针对这一问题,提出了衡量多个文本图表示的平滑度方法WACD以及抑制过平滑现象的正则项RWACD。随后提出了基于注意力和残差的网络结构ARS,用于弥补由于图拓扑差异引起的文本信息的损失。最后,提出了图卷积神经网络文本分类算法RA-GCN。RA-GCN在图表示学习层使用ARS融合文本表示,在读出层使用RWACD抑制过平滑现象。在六个中英文数据集上进行实验,实验结果证明了RA-GCN的分类性能,并通过多个对比实验验证了RWACD和ARS的作用。     

基于知识图注意网络的个性化推荐算法

现有的大多数利用知识图谱的推荐算法在探索用户的潜在偏好时没有有效解决知识图谱中存在的不相关实体的问题,导致推荐结果准确率不高。针对这一问题,提出了基于知识图谱和图注意网络的推荐算法KG-GAT(knowledge graph and graph attention network)。该算法将知识图谱作为辅助信息,在图注意网络中使用分层注意力机制嵌入与实体相关的近邻实体的信息来重新定义实体的嵌入,得到更有效的用户和项目的潜在表示,生成更精确的top-N推荐列表,并带来了可解释性。最后利用两个公开数据集将所提算法和其他算法进行实验对比,得出所提算法KG-GAT能够有效解决沿着知识图谱中的关系探索用户的潜在偏好时存在的不相关实体的问题。     

融合文本图卷积和集成学习的文本分类方法

为了提高文本分类的准确率并解决文本图卷积神经网络对节点特征利用不足的问题,提出了一种新的文本分类模型,其内在融合了文本图卷积和Stacking集成学习方法的优点。该模型首先通过文本图卷积神经网络学习文档和词的全局表达以及文档的语法结构信息,再通过集成学习对文本图卷积提取的特征进行二次学习,以弥补文本图卷积节点特征利用不足的问题,提升单标签文本分类的准确率以及整个模型泛化能力。为了降低集成学习的时间消耗,移除了集成学习中的k折交叉验证机制,融合算法实现了文本图卷积和Stacking集成学习方法的关联。在R8、R52、MR、Ohsumed、20NG等数据集上的分类效果相对于传统的分类模型分别提升了1.5%、2.5%、11%、12%、7%以上,该方法在同领域的分类算法比较中表现优异。     

基于层级图标签表示网络的多标签文本分类

多标签文本分类是一项基础而实用的任务,其目的是为文本分配多个可能的标签。近年来,人们提出了许多基于深度学习的标签关联模型,以结合标签的信息来学习文本的语义表示,取得了良好的分类性能。通过改进标签关联的建模和文本语义表示来推进这一研究方向。一方面,构建的层级图标签表示,除了学习每个标签的局部语义外,还进一步研究多个标签共享的全局语义。另一方面,为了捕捉标签和文本内容间的联系并加以利用,使用标签文本注意机制来引导文本特征的学习过程。在三个多标签基准数据集上的实验表明,该模型与其他方法相比具有更好的分类性能。     

融合知识图谱与熵权评价的电力设备缺陷文本检索方法

随着电力设备数量的不断增长,如何有效管理和处理其缺陷记录成为了一个重要问题。传统的人工处理方法效率低下,且难以应对文本挖掘的挑战。为解决这一问题,本文提出了一种结合知识图谱技术和熵权评价策略的电力设备缺陷文本精准检索方法。该方法首先根据缺陷规范标准构建了电力设备缺陷的知识图谱,并建立了标准缺陷路径库。在分词和关键词提取过程中,考虑到电力行业的专业特性,采用了预学习处理和大规模知识图谱数据的应用,有效解决了共指消解问题。最后,基于电力设备缺陷知识图谱,运用熵权评价方法完成了标准路径的检索和相似度的排序。通过算例分析,验证了该方法能够精准检索缺陷文本,定位标准缺陷路径库,并为规范标准的本地化提供了重要参考。这一研究对于提升电力设备运维管理的质量和效率,保证电网的安全稳定和可靠供电具有重要意义。     

基于知识图谱和图注意力的众包任务推荐算法

为解决目前众包任务推荐存在未考虑任务文本信息和数据稀疏的问题,提出一种基于知识图谱与图注意力的众包任务推荐模型。该模型首先利用自然语言处理技术提取任务文本信息中的关键要素,用于丰富图谱信息和缓解数据稀疏性;通过融合用户—任务交互图中的协同信息来构建协同知识图谱,在协同知识图谱中按协同邻居的类型分别运用图注意力网络;为获取用户准确的偏好,聚合邻居信息时按注意力得分从高到低采样固定数目的邻居;最后通过聚合不同类型的协同信息生成用户和任务的嵌入表示并得到交互概率。在构建的众包数据集上进行实验的结果表明,该模型在AUC、精准率、召回率和NDCG四个指标上均优于基线模型,验证了模型的可行性和有效性。     

基于语义依存分析的图网络文本分类模型

针对目前已有的文本分类方法未考虑文本内部词之间的语义依存信息而需要大量训练数据的问题,提出基于语义依存分析的图网络文本分类模型TextSGN。首先对文本进行语义依存分析,对语义依存关系图中的节点（单个词）和边（依存关系）进行词嵌入和one-hot编码;在此基础上,为了对语义依存关系进行快速挖掘,提出一个SGN网络块,通过从结构层面定义信息传递的方式来对图中的节点和边进行更新,从而快速地挖掘语义依存信息,使得网络更快地收敛。在多组公开数据集上训练分类模型并进行分类测试,结果表明,TextSGN模型在短文本分类上的准确率达到95.2%,较次优分类法效果提升了3.6%。