基于注意力机制的双通道DAC-RNN文本分类模型

在对中文文本进行分类的过程中,由于关键特征在整个文本中具有分布不均匀的特点,容易出现关键特征丢失的问题,降低了分类的准确性。针对这一问题,提出一种基于注意力机制的双通道文本分类模型。将输入文本通过词嵌入进行向量表示,利用Bi-LSTM通道提取文本中的上下文关联信息,利用CNN通道提取文本中连续词间的局部特征。在两个通道中均引入注意力机制进行全局权重分配,使模型能够进一步关注到文本中的关键词。在CNN通道中,将原始输入向量与各层CNN的输出向量进行选择性融合,从而实现特征重利用。在今日头条和THUCNews两个公开数据集上进行性能评估,实验结果表明,与其他分类模型相比,所提模型的分类准确率分别为97.59%、90.09%,具有更好的分类性能。     

基于LSTM-Attention与CNN混合模型的文本分类方法

针对传统长短时记忆网络(Long Short-Term Memory,LSTM)和卷积神经网络(Convolution Neural Network,CNN)在提取特征时无法体现每个词语在文本中重要程度的问题,提出一种基于LSTM-Attention与CNN混合模型的文本分类方法.使用CNN提取文本局部信息,进而整合出...     

基于测试样本误差重构的协同表示分类方法

基于协同表示的分类方法(Collaborative Representation-based Classification,CRC)在诸如人脸识别、物体识别等图像分类任务中取得了良好的效果。CRC利用范数正则化来解决测试样本的线性表示问题,以期得到一个较稳定的数值解。已有研究表明,正则化参数的选择对协同表示的数值稳定性起着非常重要的作用。文中提出了一种新的基于测试样本误差重构的协同表示分类方法 (Test Sample Error Reconstruction Collaborative Representation-based Classification,TSER-CRC)。该方法首先利用较小的正则化参数计算出一个协同表示系数,使其重新构建测试样本,以削弱原始测试样本中的误差或减小原始测试样本与训练样本之间的不一致性;然后,利用较大的正则化参数,并基于重构出的测试样本再次求解协同表示系数,以得出数值较稳定的测试样本与各类别训练样本之间的关系,并以此对测试样本进行分类。该方法有效地减少了由所有训练样本构成的协同子空间所表示的测试样本中存在的误差和异常值,提高了协同表示编码系数的稳定性...     

结构图注意力网络的新冠肺炎轻重症诊断

目的 为辅助医生快速分辨新型冠状病毒肺炎(corona virus disease 2019, COVID-19)轻、重症患者,以便对症下药减轻医疗负担,提出一种基于结构图注意力网络的轻重症诊断算法。方法 基于胸部CT图像提取的特定特征以及肺段间的位置关系构建结构图,以肺部内不同肺段为节点,以提取特征为节点属性。采用图神经网络汇聚相邻节点特征,再利用池化层获取分别代表左肺叶和右肺叶特征的图表示。使用结构注意力机制计算左、右肺叶的感染情况对结果诊断的重要性,并依据重要性融合左、右肺叶图表示以得到最终图表示,最后执行分类任务。由于数据中存在明显的类别不平衡现象,采用Focal-Loss损失函数优化模型以减轻对分类结果的影响。结果 实验将所提算法分别与传统机器学习方法和流行的图神经网络算法做性能对比。在重症诊断的准确率上,本文算法相较于传统机器学习方法和图神经网络算法分别取得14.2%～42.0%和3.6%～4.8%的提升。在AUC(area under curve)指标上,本文算法相较于上述两种算法分别取得8.9%～18.7%和3.1%～3.6%的提升。除此之外,通过消融实验发现具有结构注...     

基于门控图注意力神经网络的程序分类

在源代码挖掘领域,程序分类任务是实现机器自主理解源代码的基础工作。虽然自然语言处理相关模型和基于抽象语法树的系列模型已经被广泛应用于分类程序源代码,但这些工作没有考虑源代码中的数据流、控制流等数据信息。提出一种方法用于构建包含数据信息和语法结构的代码图EAST,并结合基于注意力机制的门控图神经网络模型（GGANN）实现程序分类。GGANN模型的注意力机制考虑到节点拓扑结构性质的差异性,从而对模型信息传播过程进行改进。实验表明,改进后的GGANN模型在程序分类任务上的精度高达98%。     

融合CNN-SAM与GAT的多标签文本分类模型

现有基于神经网络的多标签文本分类研究方法存在两方面不足,一是不能全面提取文本信息特征,二是很少从图结构数据中挖掘全局标签之间的关联性。针对以上两个问题,提出融合卷积神经网络-自注意力机制（CNNSAM）与图注意力网络（GAT）的多标签文本分类模型（CS-GAT）。该模型利用多层卷积神经网络与自注意力机制充分提取文本局部与全局信息并进行融合,得到更为全面的特征向量表示;同时将不同文本标签之间的关联性转变为具有全局信息的边加权图,利用多层图注意力机制自动学习不同标签之间的关联程度,将其与文本上下文语义信息进行交互,获取具有文本语义联系的全局标签信息表示;使用自适应融合策略进一步提取两者特征信息,提高模型的泛化能力。在AAPD、RCV1-V2与EUR-Lex三个公开英文数据集上的实验结果表明,该模型所达到的多标签分类效果明显优于其他主流基线模型。     

基于BiGRU-attention神经网络的文本情感分类模型

针对双向长短时记忆神经（BiLSTM）模型训练时间长、不能充分学习文本上下文信息的问题,提出一种基于BiGRU-attention的文本情感分类模型。首先,利用双向门控循环（BiGRU）神经网络层对文本深层次的信息进行特征提取;其次,利用注意力机制（attention）层对提取的文本深层次信息分配相应的权重;最后,将不同权重的文本特征信息放入softmax函数层进行文本情感极性分类。实验结果表明,所提的神经网络模型在IMDB数据集上的准确率是90.54%,损失率是0.2430,时间代价是1100 s,验证了 BiGRU-attention模型的有效性。     

基于图卷积的异质网络节点分类方法

图表示学习已成为图深度学习领域的一个研究热点. 大多数图神经网络存在过平滑现象,这类方法重点关注图节点特征,对图的结构特征关注度不高. 为了提升对图结构特征的表征能力,提出了一种基于图核同构网络的图分类方法,即KerGIN. 该方法首先通过图同构网络（graph isomorphism network,GIN）对图进行节点特征编码,并使用图核方法对图进行结构编码,进一步利用Nyström方法降低图核矩阵的维度. 其次借助MLP将图核矩阵与图特征矩阵对齐,通过注意力机制将图的特征编码和结构编码进行自适应加权融合,进而得到图的最终特征表示,提升了图结构特征信息的表达能力. 最后在7个公开的图分类数据集上对模型进行了实验评估：与现有图表示模型相比,KerGIN模型能够在图分类准确度上有较大幅度提升,它可以增强GIN对图结构特征信息的表达能力.

     

图对抗防御研究进展

图神经网络(GNN)在多个领域的复杂任务中已经得到成功的应用,但研究表明其易受到对抗攻击而导致性能严重下降,这种脆弱性影响了包含节点分类、链路预测和社团探测在内的所有应用.图对抗攻击已经可以高效地实施,这带来了严重的安全隐患和隐私问题,图对抗防御致力于提高GNN的鲁棒性和泛化能力以抵御对抗攻击.综述了图对抗防御算法研究进展,首先,介绍了图对抗防御的背景和相关概念,并对图对抗防御研究发展脉络进行梳理和分析.然后,根据防御算法的不同防御策略将算法分为四类,包括攻击检测、对抗训练、可认证鲁棒性以及免疫防御,对每类防御算法原理进行分析总结.在此基础上,分析了每种防御算法的原理和实现,并从防御策略、目标任务、优缺点和实验数据等方面对典型算法进行全面的比较.最后,通过对现有图对抗防御算法全面、系统的分析,对防御算法当前存在的问题及未来发展方向进行了总结和探讨,为图对抗防御进一步的发展提供帮助.     

图神经网络及其在图像处理领域的研究进展

图神经网络（graph neural network,GNN）是一种基于深度学习的图结构数据处理模型,因良好的可解释性和对图结构数据强大的非线性拟合能力而受到研究者广泛关注。随着GNN的逐步优化,GNN与图像处理技术实现融合发展,在图像分类、人体解析和视觉问答等方面取得重大突破。对图像处理技术和传统神经网络理论进行介绍,并对五类GNN的原理、特点和不足进行分析与总结;同时从数据集和性能评估指标两个角度对文中所述的常用模型进行对比与总结,并补充介绍了九种常见的图像处理领域公共数据集;最后深入分析了GNN在图像处理领域中有待改进的方面,并对其应用前景进行展望。     

基于多头图注意力网络与图模型的多标签图像分类

多标签图像分类是多标签数据分类问题中的研究热点.针对目前多标签图像分类方法只学习图像的视觉表示特征,忽略了图像标签之间的相关信息以及标签语义与图像特征的对应关系等问题,提出了一种基于多头图注意力网络与图模型的多标签图像分类模型(ML-M-GAT).该模型利用标签共现关系与标签属性信息构建图模型,使用多头注意力机制学习标签的注意力权重,并利用标签权重将标签语义特征与图像特征进行融合,从而将标签相关性与标签语义信息融入到多标签图像分类模型中.为验证本文所提模型的有效性,在公开数据集VOC-2007和COCO-2014上进行实验,实验结果表明, ML-M-GAT模型在两个数据集上的平均均值精度(mAP)分别为94%和82.2%,均优于CNN-RNN、ResNet101、MLIR、MIC-FLC模型,比ResNet101模型分别提高了4.2%和3.9%.因此,本文所提的ML-M-GAT模型能够利用图像标签信息提高多标签图像分类性能.     

基于图神经网络的多维度池化图分类

目前很多处理图数据的图神经网络方法被提出,然而大多数研究侧重于对特征聚合的卷积层的研究而不是进行下采样的池化层.此外,形成聚类簇的池化方式需要额外计算分配矩阵;节点得分的池化方式排名方式单一.为解决上述问题,提高图分类任务的准确性,本文提出了一种新的基于多维度信息的图池化算子MDPool.该模型使用节点特征信息以及图拓扑结构信息,获取不同维度下的节点得分.使用注意力机制归纳不同维度下的得分权重,生成更为健壮的节点排名,基于节点排名自适应选择节点集合生成诱导子图.提出的MDPool可以集成到多种的图神经网络结构,将MDPool池化算子与图神经网络卷积层堆叠形成编码解码模型EDMDPool.在4个公开数据集的图分类任务中, EDMDPool均高于现有基线模型.     

基于时空图的行人轨迹预测

在蓬勃发展的自动驾驶技术中, 行人轨迹预测的结果往往会影响到自动驾驶的安全性. 行人轨迹预测技术目前面临着在实际场景中应用时与他人的交互问题, 需要在预测轨迹的同时考虑社会交互性与逻辑自洽. 因此, 提出了一种基于时空图的行人轨迹预测方法, 该方法采用图注意力网络对场景中的行人交互进行建模, 并使用一种自动生成正负样本的方法来通过对比学习降低输出轨迹的碰撞率, 达到了提高输出轨迹的安全性以及逻辑自洽的效果. 在ETH和UCY数据集上进行模型训练与测试, 结果分析表明, 本文提出的方法有效降低了碰撞率, 且预测准确度优于主流算法.     

基于注意力机制的自监督图卷积会话推荐

为了解决会话推荐系统中数据稀疏性问题, 提出了一种基于注意力机制的自监督图卷积会话推荐模型(self-supervised graph convolution session recommendation based on attention mechanism, ATSGCN). 该模型将会话序列构建成3个不同的视图: 超图视图、项目视图和会话视图, 显示会话的高阶和低阶连接关系; 其次, 超图视图使用超图卷积网络来捕获会话中项目之间的高阶成对关系, 项目视图和会话视图分别使用图卷积网络和注意力机制来捕获项目和会话级别局部数据中的低阶连接信息; 最后, 通过自监督学习使两个编码器学习到的会话表示之间的互信息最大化, 从而有效提升推荐性能. 在Nowplaying和Diginetica两个公开数据集上进行对比实验, 实验结果表明, 所提模型性能优于基线模型.     

基于门控图注意力网络的归纳式文本分类

为了有效地整合文本中的复杂特征和提取不同的上下文信息,提出了基于门控图注意力网络的归纳式文本分类方法 (TextIGAT).该方法首先为语料库中的每个文档进行单独构图,并将其中所有的单词作为图中的节点,以此保留完整的文本序列.文本图中设计单向连接的文档节点,使词节点能与全局信息交互,并合并不同的上下文关系连接词节点,从而在单个文本图中引入更多的文本信息.然后,方法基于图注意力网络(GAT)和门控循环单元(GRU)来更新词节点的表示,并根据图中保留的文本序列应用双向门控循环单元(Bi-GRU)来增强节点的顺序表示. TextIGAT能灵活地整合来自文本本身的信息,因此能对包含新词和关系的文本进行归纳式学习.在4个基准数据集(MR、Ohsumed、R8、R52)上的大量实验和详细分析表明了所提出的方法在文本分类任务上的有效性.     

基于改进GraphSAGE的高光谱图像分类

针对传统的图卷积网络节点嵌入过程中接受邻域范围小的问题,本文提出了一种基于改进GraphSAGE算法的高光谱图像分类网络.首先,利用超像素分割算法对原始图像进行预处理,减少图节点的个数,既最大化保留了原始图像的局部拓扑结构信息,又降低了算法的复杂度,缩短运算时间;其次,采用改进的GraphSAGE算法,对目标节点进行平均采样,选用平均聚合函数对邻居节点进行聚合,降低空间复杂度.在公开的高光谱图像数据集Pavia University和Kenndy Space Center上与相关模型进行对比,实验证明,基于改进GraphSAGE算法的高光谱图像分类网络可以取得较好的分类结果.     

图知识蒸馏综述：算法分类与应用分析

图数据, 如引文网络, 社交网络和交通网络, 广泛地存在现实生活中. 图神经网络凭借强大的表现力受到广泛关注, 在各种各样的图分析应用中表现卓越. 然而, 图神经网络的卓越性能得益于标签数据和复杂的网络模型, 而标签数据获取困难且计算资源代价高昂. 为了解决数据标签的稀疏性和模型计算的高复杂性问题, 知识蒸馏被引入到图神经网络中. 知识蒸馏是一种利用性能更好的大模型(教师模型)的软标签监督信息来训练构建的小模型(学生模型), 以期达到更好的性能和精度. 因此, 如何面向图数据应用知识蒸馏技术成为重大研究挑战, 但目前尚缺乏对于图知识蒸馏研究的综述. 旨在对面向图的知识蒸馏进行全面综述, 首次系统地梳理现有工作, 弥补该领域缺乏综述的空白. 具体而言, 首先介绍图和知识蒸馏背景知识; 然后, 全面梳理3类图知识蒸馏方法, 面向深度神经网络的图知识蒸馏、面向图神经网络的图知识蒸馏和基于图知识的模型自蒸馏方法, 并对每类方法进一步划分为基于输出层、基于中间层和基于构造图知识方法; 随后, 分析比较各类图知识蒸馏算法的设计思路, 结合实验结果总结各类算法的优缺点; 此外, 还列举图知识蒸馏在计算机视觉、自然语言处理、推荐系统等领域的应用; 最后对图知识蒸馏的发展进行总结和展望. 还将整理的图知识蒸馏相关文献公开在GitHub平台上, 具体参见: https://github.com/liujing1023/Graph-based-Knowledge-Distillation.     

基于梯度结构的图神经网络对抗攻击

图神经网络在半监督节点分类任务中取得了显著的性能. 研究表明, 图神经网络容易受到干扰, 因此目前已有研究涉及图神经网络的对抗鲁棒性. 然而, 基于梯度的攻击不能保证最优的扰动. 提出了一种基于梯度和结构的对抗性攻击方法, 增强了基于梯度的扰动. 该方法首先利用训练损失的一阶优化生成候选扰动集, 然后对候选集进行相似性评估, 根据评估结果排序并选择固定预算的修改以实现攻击. 通过在5个数据集上进行半监督节点分类任务来评估所提出的攻击方法. 实验结果表明, 在仅执行少量扰动的情况下, 节点分类精度显著下降, 明显优于现有攻击方法.     

基于自学习边权重图卷积网络的用户用能分类

用户分类是用能分析的一种重要方法,而智能电表的广泛应用为用户用能分析提供了大量的可用数据.为进一步提高用户分类精度与用能特征的提取能力,本文提出了一种自学习边权重的图卷积网络.所提出的网络通过具有注意力机制的特殊初始化层将原始能耗数据转换为图,并从生成的图中提取能耗特征,最终根据图的学习特征输出用户类.为证明所提出方法的有效性,本文在实际用能数据集上进行了对比实验.实验结果表明,本文方法不仅能够更好地提取用户特征,而且取得了更好的分类性能.