融合标签语义知识的价值观多标签文本分类

为了准确识别网络文本中的价值观倾向,该文提出了一种融合标签语义知识实现价值观多标签文本分类的策略。首先基于价值观理论体系,构建了价值观知识图谱;然后构建了价值观多标签文本分类数据集;最后提出了融合标签语义知识的价值观多标签文本分类模型,通过两种方式融合价值观标签的语义知识。其一,利用标签语义信息进行文本表示学习,获得每个标签对于文本中不同词的重要程度;其二,利用标签的语义知识,计算标签与文本的语义相似度,并与分类模型结果融合。实验表明,该方法可以较好地解决价值观多标签分类问题,尤其可以缓解“尾标签”问题,最终在top@1结果上达到62.44%的精确率,在top@3上达到66.92%的召回率。     

旅游知识图谱特征学习的景点推荐

基于知识图谱的推荐算法在多个领域取得了较好的效果，但仍然存在一些问题，如不能有效提取知识图谱中实体关系标签中的特征，推荐准确率会降低。因而提出将网络嵌入方法（network embedding）用于旅游知识图谱的特征提取，使得特征的提取更加充分。通过对旅游知识图谱中不同标签的属性子图独立建模，利用深度学习模型挖掘游客及景点等图节点语义特征，进而获得融合各个标签语义的游客和景点特征向量，最终通过计算游客和景点相关性生成景点推荐列表。通过在真实旅游知识图谱上的实验，验证了利用网络嵌入方法对知识图谱中数据建模后，可以有效提取节点的深层特征。     

基于Deep Belief Nets的维吾尔语句子级情感分析

针对维吾尔语句子情感信息：喜、怒、哀、乐和客观五分类任务,提出一种利用深度信念网络模型(Deep Belief Nets, DBN)的深度学习机制进行基于深层语义特征的句子级情感分析方法。该方法通过对维吾尔语情感句及语言特点的深入研究,提取出利于情感分析任务的8项情感特征。为了提高特征对文本语义的表达,将富含词汇深层语义和上下文信息的word embedding特征与情感特征进行融合,作为深度信念网络的输入。利用多层无监督的波尔兹曼机(RBM)训练并提取隐含的深层语义特征,通过有监督的后向传播算法对网络进行微调,进而完成情感分类任务。该方法在维吾尔语句子级情感分类任务中的准确率为83,35%,召回率为84.42%,F值为：83.88%. 实验结果证明,深度学习模型较浅层的学习模型更合适于本文的情感分类任务,对word embedding特征项的引入,有效的提高了情感分类模型的性能.     

一种基于短文本相似度计算的知识子图融合方法

知识图谱作为语义网的数据支撑,被广泛应用于语义搜索、深度问答和在线教育等领域.知识融合是构建知识图谱的一个重要环节,将知识图中结构信息和语义信息进行融合是目前的研究热点.本文结合众包的方式,提出了一种基于短文本相似度计算的知识子图融合方法.该方法平衡各结点的结构连接和语义信息,通过学习融合权重,将高维向量转换为双邻接矩阵,得到具有高属性语义相似性的密集连接图.实验结果表明,本文提出的"群体智慧"方法能提升文本相似度计算的准确率,提高融合的质量.     

结合知识图谱的变分自编码器零样本图像识别

近年来,结合生成模型的零样本算法得到了广泛的研究,但此类方法通常仅使用属性注释,缺少类别语义,而单一信息对类别表征能力不够强,容易产生域偏移,影响知识迁移的效果,进而降低分类结果的准确率。为了解决此问题,提出一种结合知识图谱变分自编码器零样本识别算法（KG-VAE）,通过构建联合类别分级结构,类别文本描述和词向量的层次结构化知识图谱作为语义信息库,将知识图谱中丰富的语义知识结合到以变分自编码器为基础的生成模型中,使生成的潜在特征更好保留有效的判定性信息,减小域偏移,促进知识迁移。在四个公开的零样本数据集上进行了实验,对比基准方法 CADA-VAE,分类平均准确率有一定的提高;同时利用消融实验证明了知识图谱作为语义辅助信息的有效性。     

融合统计信息与语义相似度的特征扩展算法

通过分析短文本的高维性和稀疏性,提出一种融合特征词间统计信息与语义相似度的短文本特征扩展算法。根据词的贡献度对候选特征集进行筛选,得到扩展集合初始值。计算特征词之间的统计相关度,构建二元相关词对集合。利用外部知识库知网中的语义关系获取相关词对的义项集合并计算语义相似度,将满足条件的义项扩展为短文本的特征词,得到扩展后的特征集。实验结果表明,使用该算法对短文本进行特征扩展后,可显著提升分类器的分类效果。     

基于多卷积核DPCNN的维吾尔语文本分类联合模型

由于维吾尔语形态丰富且资源匮乏,因此直接使用现有的深度学习模型并不能很好地完成文本分类任务。基于此,该文提出了MDPLC文本分类模型,即首先将预先训练的词向量和经Bi-LSTM处理得到的语义信息进行融合,进而得到全句语义依赖,然后通过组合池化的CNN进一步加强局部语义学习,同时以双通道的方式使用多卷积核DPCNN捕获文本语义信息,最后融合两种模型提取到的信息完成文本分类任务。为验证该模型的有效性,该文分别采用中文、英文和维吾尔文短、长文本数据集进行实验,实验结果表明,该模型在多个分类任务中取得的性能都高于现有主流深度学习模型,验证了该模型在不同语种、语义表达稀疏和语义丰富各种情况下的鲁棒性。     

融合知识感知与双重注意力的短文本分类模型

文本分类任务作为文本挖掘的核心问题,已成为自然语言处理领域的一个重要课题.而短文本分类由于稀疏性、实时性和不规范性等特点,已经成为文本分类的亟待解决的问题之一.在某些特定的场景,短文本存在大量隐含语义,由此对挖掘有限文本内的隐含语义特征等任务带来挑战.已有的方法对短文本分类主要是采用传统机器学习或深度学习算法,但是该类算法的模型构建复杂且工作量大,效率不高.此外,短文本包含有效信息较少且口语化严重,对模型的特征学习能力要求较高.针对以上问题,本文提出了KAeRCNN模型,该模型在TextRCNN模型的基础上,融合了知识感知与双重注意力机制.知识感知包含了知识图谱实体链接和知识图谱嵌入,可以引入外部知识以获取语义特征,同时双重注意力机制可以提高模型对短文本中有效信息提取的效率.实验结果表明,KAeRCNN模型在分类准确度、F1值和实际应用效果等方面显著优于传统的机器学习算法.我们对算法的性能和适应性进行了验证,准确率达到95.54%,F1值达到0.901,对比四种传统机器学习算法,准确率平均提高了约14%,F1值提升了约13%.与TextRCNN相比,KAeRCNN模型在准确性方面提升了约3%.此外,与深度学习算法的对比实验结果也说明了我们的模型在其它领域的短文本分类中也有较好的表现.理论和实验结果都证明,提出的KAeRCNN模型对短文本分类效果更优.     

基于深度BiLSTM和图卷积网络的方面级情感分析

现有方面级情感分析方法,存在无法获取最优文本表示和使用普通图卷积网络不能提取依存图中深层结构信息的问题。为此,提出了一种基于深度BiLSTM（DBiLSTM）和紧密连接的图卷积网络（DDGCN）模型。首先,通过DBiLSTM获取方面词与上下文单词间的深层语义信息;其次,在原始图卷积网络中加入紧密连接,以生成能提取深层结构信息的紧密图卷积网络;然后,利用改进后的图卷积网络捕获依存图上的结构信息;最终,将融合2种深层信息的文本表示用于情感分类。3个数据集上的实验结果表明,DDGCN模型相比对比模型在准确度和F1上均有提升。     

基于多层语义融合的结构化深度文本聚类模型

近年来,由于图神经网络（GNN）的结构信息在机器学习中的优势,人们开始将GNN结合进深度文本聚类中。当前结合GNN的深度文本聚类算法在文本语义信息融合时忽略了解码器在语义补足上的重要作用,这导致在数据生成部分出现语义信息的缺失。针对以上问题,提出了一种基于多层语义融合的结构化深度文本聚类模型（SDCMS）。该模型利用GNN将结构信息集成到解码器中,通过逐层语义补充增强了文本数据的表示,并通过三重自监督机制获得更好的网络参数。在Citeseer、Acm、Reutuers、Dblp、Abstract这5个真实数据集上进行实验的结果表明,与目前最优的注意力驱动的图形聚类网络（AGCN）模型相比,SDCMS在准确率、归一化互信息（NMI）和平均兰德指数（ARI）上分别最多提升了5.853%、9.922%和8.142%。     

结合改进主动学习的SVD-CNN弹幕文本分类算法

为解决传统卷积神经网络（CNN）模型使用池化层进行文本特征降维会损失较多文本语义信息的问题,提出一种基于奇异值分解（SVD）算法的卷积神经网络模型（SVD-CNN）。首先,采用改进的基于密度中心点采样的主动学习算法（DBC-AL）选择对分类模型贡献率较高的样本进行标注,以低标注代价获得高质量模型训练集;然后,结合SVD算法建立SVD-CNN弹幕文本分类模型,使用奇异值分解的方法代替传统CNN模型池化层进行特征提取和降维,并在此基础上完成弹幕文本分类任务;最后,使用改进的梯度下降算法（PSGD）对模型参数进行优化。为了验证改进算法的有效性,使用多种弹幕数据样本集,对提出的模型与常用的文本分类模型进行对比实验。实验结果表明,改进的算法能够更好地保留文本语义特征,保证训练过程的稳定性并提高了模型的收敛速度,在不同的弹幕文本上较传统算法具有更好的分类性能。     

融合实体类别信息的知识图谱表示学习

知识图谱表示学习通过将实体和关系嵌入连续低维的语义空间中,获取实体和关系的语义关联信息。设计一种融合实体类别信息的类别增强知识图谱表示学习（CEKGRL）模型,构建基于结构与基于类别的实体表示,通过注意力机制捕获实体类别和三元组关系之间的潜在相关性,结合不同实体类别对于某种特定关系的重要程度及实体类别信息进行知识表示学习。在知识图谱补全和三元组分类任务中的实验结果表明,CEKGRL模型在MeanRank和Hit@10评估指标上均取得明显的性能提升,尤其在实体预测任务的Filter设置下相比TKRL模型约分别提升了23.5%和7.2个百分点,具有更好的知识表示学习性能。     

知识图谱增强的科普文本分类模型

科普文本分类是将科普文章按照科普分类体系进行划分的任务。针对科普文章篇幅超过千字,模型难以聚焦关键信息,造成传统模型分类性能不佳的问题,提出一种结合知识图谱进行两级筛选的科普长文本分类模型,来减少主题无关信息的干扰,提升模型的分类性能。首先,采用四步法构建科普领域的知识图谱;然后,将该知识图谱作为距离监督器,并通过训练句子过滤器来过滤掉无关信息;最后,使用注意力机制对过滤后的句子集做进一步的信息筛选,并实现基于注意力的主题分类模型。在所构建的科普文本分类数据集（PSCD）上的实验结果表明,基于领域知识图谱的知识增强的文本分类算法模型具有更高的F1-Score,相较于TextCNN模型和BERT模型,在F1-Score上分别提升了2.88个百分点和1.88个百分点,验证了知识图谱对于长文本信息筛选的有效性。     

基于语义扩展与注意力网络的问题细粒度分类

针对问题文本细粒度分类中文本特征稀疏、文本整体特征相似、局部差异特征较难提取的特点,提出基于语义扩展与注意力网络相结合的分类方法。通过依存句法分析树提取语义单元,在向量空间模型中计算语义单元周围的相似语义区域并进行扩展。利用长短期记忆网络模型对扩展后的文本进行词编码,引入注意力机制生成问题文本的向量表示,根据Softmax分类器对问题文本进行分类。实验结果表明,与传统的基于深度学习网络的文本分类方法相比,该方法能够提取出更重要的分类特征,具有较好的分类效果。     

改进CNN的多通道语义合成情感分类模型研究

为了解决传统神经网络由于上下文语序变化而导致的情感歧义问题,提出一种多通道语义合成卷积神经网络（SFCNN）。使用改进的情感倾向注意力机制对词向量进行情感加权操作;将情感倾向词向量进行多通道语义合成,生成带有文本上下文语义信息的深度语义向量,构建情感分类模型;使用自适应学习率的梯度下降算法对模型参数进行优化,完成行情感分类任务。为了验证改进算法的有效性,使用多种微博数据样本集在提出的模型上进行对比实验。实验结果表明,改进的情感倾向注意力机制结合多通道语义合成卷积神经网络具有较好的情感分类能力,并且自适应学习率的梯度下降算法可以更快地完成模型收敛工作。     

基于多层子空间语义融合的深度文本聚类

针对传统深度文本聚类方法仅利用中间层的文本语义表示进行聚类,没有考虑到不同层次的神经网络学习到的不同文本语义表示以及中间层低维表示的特征稠密难以有效区分类簇的问题,提出一种基于多层次子空间语义融合的深度文本聚类（deep document clustering via muti-layer subspace semantic fusion,DCMSF）模型。该模型首先利用深度自编码器提取出文本不同层次的潜在语义表示;其次,设计一种多层子空间语义融合策略将不同层的语义表示非线性映射到不同子空间以得到融合语义,并用其进行聚类。另外,利用子空间聚类的自表示损失设计一种联合损失函数,用于监督模型参数更新。实验结果表明,DCMSF方法在性能上优于当前已有的多种主流深度文本聚类算法。     

基于知识图谱和标签感知的推荐算法

推荐系统缓解了互联网数据量剧增带来的信息过载问题,但传统的推荐系统由于数据稀疏和冷启动等问题导致推荐算法的准确性不高.因此,文中提出了一种基于知识图谱和标签感知的推荐算法(Knowledge Graph and Tag-Aware,KGTA).首先,利用项目和用户标签信息,通过知识图谱表示学习捕获低阶与高阶特征,将两个知识图谱中实体和关系的语义信息嵌入低维的向量空间中,从而获得项目和用户的统一表示.其次,分别利用深度神经网络和加入注意力机制的递归神经网络来提取项目和用户的潜在特征.最后,根据潜在特征预测评分.该算法不仅利用了知识图谱和标签的关系信息和语义信息,而且通过深层结构学习了项目和用户的隐含特征.在MovieLens数据集上的实验结果表明,该算法能够有效预测用户评分,提高推荐结果的准确性.     

一种用于方面级情感分析的知识增强双图卷积网络

近年来,深度神经网络特别是图神经网络在方面级情感分析任务上取得了较大进展,但是仍存在未充分利用外部知识信息、句法依赖树的边关系信息以及知识图谱结构信息的缺陷.针对上述问题,本文提出了一种知识增强的双图卷积网络BGCN-KE(Knowledge-enhanced Bi-Graph Convolutional Network).首先,提出一种融合句法依赖关系与外部知识的子图构造算法,得到节点间语义关系更紧密的知识子图.其次,提出了双图卷积网络,分别利用两个图卷积网络在句法依赖知识子图中引导评论文本的节点学习邻接节点的外部知识,以及在评论文本的句法依赖图中融合特定方面相关的语义信息,从而增强评论文本的特定方面知识表示和语义表示.再次,BGCN-KE引入边关系注意力机制,更好地捕获特定方面和上下文词语间的语义关系.最后,提出了一种多级特征融合机制,充分融合特定方面相关的外部知识、语义信息和边关系特征.多个公共数据集上的实验证明,BGCN-KE的性能优于最新的对比模型.     

基于门控循环单元和胶囊特征的文本情感分析

针对简单的循环神经网络（RNN）无法长时间记忆信息和单一的卷积神经网络（CNN）缺乏捕获文本上下文语义的能力的问题，为提升文本分类的准确率，提出一种门控循环单元（GRU）和胶囊特征融合的情感分析模型G-Caps。首先通过GRU捕捉文本的上下文全局特征，获得整体标量信息；其次在初始胶囊层将捕获的信息通过动态路由算法进行迭代，获取到表示文本整体属性的向量化的特征信息；最后在主胶囊部分进行特征间的组合以求获得更准确的文本属性，并根据各个特征的强度大小分析文本的情感极性。在基准数据集MR上进行的实验的结果表明，与初始卷积滤波器的CNN（CNN+INI）和批判学习的CNN（CL_CNN）方法相比，G-Caps的分类准确率分别提升了3.1个百分点和0.5个百分点。由此可见，G-Caps模型有效地提高了实际应用中文本情感分析的准确性。     

融合关键对象识别与深层自注意力的Bi-LSTM情感分析模型

在线评论文本通常涉及多个评价对象,对象的表达方式有显式和隐式之分,针对不同对象的情感倾向可能不会完全一致.关键评价对象是评论中最受关注的对象,其相应的情感语义对整条评论的情感观点起主导作用.本文构建了融合关键对象识别与深层自注意力机制的Bi-LSTM模型,以提升短文本情感分类的效果.使用CNN处理文本,基于卷积层输出结果识别关键评价对象,并在此基础上完成深层自注意力的学习.将对象信息与文本信息进行融合,利用注意力机制强化的Bi-LSTM模型得到评论文本的情感分类结果.在酒店评论数据集上进行实验,与之前基于深度学习的模型相比,本文方法在精确率、召回率和F-score评价指标方面均有更好的表现.