基于图卷积与长短期记忆网络的动态网络表示学习模型

针对动态网络节点之间链路预测的准确率低和运行时间长的情况,提出了一种以降噪自编码器（dAE）为框架,结合图卷积网络（GCN）和长短期记忆（LSTM）网络的动态网络表示学习模型dynGAELSTM。首先,该模型的前端采用GCN捕获动态图节点的高阶图邻域的特征信息;其次,将提取到的信息输入dAE的编码层以获取低维特征向量,并在LSTM网络上获取动态网络的时空依赖特征;最后,经dAE的解码层重建预测图,并与真实图对比来构建损失函数,从而优化模型完成链路预测。理论分析和仿真实验表明,dynGAELSTM模型相较于预测性能第二的模型在三个数据集上的预测性能分别提升了0.79、1.19和3.13个百分点,模型的运行时间降低了0.92%和1.73%。可见dynGAELSTM模型在链路预测任务中相较于现有模型精度提升,复杂度降低。     

基于二阶图卷积自编码器的图表示学习

图卷积自编码器是一类高效的图表示学习模型,在链路预测等任务中具有出色性能。然而现有模型大多依赖图卷积网络对邻接矩阵和属性矩阵进行编码,未充分利用二阶信息等高阶结构特征。针对上述问题,提出了基于二阶信息的图卷积自编码器模型SeVGAE。首先使用图卷积和二阶图卷积生成变分自编码器的均值和方差,然后学习嵌入向量表示原始图的混合概率分布,最后使用内积解码器恢复拓扑结构。在链接预测任务中,SeGVAE表现优于基线模型,Citeseer数据集上的AUC和AP相较原始的VGAE分别提升了3.26%和2.56%。实验结果表明,二阶信息的引入能够在低维嵌入中保留更丰富的图信息,提升模型性能。模型在处理属性信息不足、拓扑信息不准确的图数据时具有较为明显的优势,在边缘和属性均缺失40%的极端情况下,SeVGAE的AUC和AP相较VGAE提升4.79%和3.47%。     

图神经网络的类别解耦小样本分类

现有的基于度量的小样本图像分类模型展现了一定的小样本学习性能,然而这些模型往往忽略了原始数据被分类关键特征的提取。图像数据中与分类无关的冗余信息被融入小样本模型的网络参数中,容易造成基于度量方法的小样本图像分类性能瓶颈。针对这个问题,提出一种基于图神经网络的类别解耦小样本图像分类模型（VT-GNN）,该模型结合图像自注意力与分类任务监督的变分自编码器作为图像嵌入模块,得到原始图像类别解耦特征信息,成为图结构中的一个图节点。通过一个多层感知机为节点之间构建具有度量信息的边特征,将一组小样本训练数据构造为图结构数据,借助图神经网络的消息传递机制实现小样本学习。在公开数据集Mini-Imagenet上,VT-GNN在分别5-way1-shot与5-way 5-shot设置中相较于基线图神经网络模型分别获得了17.9个百分点和16.25个百分点的性能提升。     

图自编码器推荐研究综述

图自编码器GAE是一种源自图神经网络的学习框架,在编码器中引入聚合邻域节点的思想,解码器对图结构数据进行解码,重构图结构数据;在模型中引入监督模块,可以提高图结构数据在模型中的嵌入完整性和数据生成的准确性;编解码可以采用不同的神经网络,从而利用不同神经网络的优点.近年来GAE推荐逐渐成为推荐系统研究的热点.从无监督学习...     

结合图自编码器与聚类的半监督表示学习方法

节点标签是复杂网络中广泛存在的监督信息,对网络表示学习具有重要作用。基于此,提出了一种结合图自编码器与聚类的半监督表示学习方法（GAECSRL）。首先,以图卷积网络（GCN）和内积函数分别作为编码器和解码器,并构建图自编码器以形成信息传播框架;然后,在编码器生成的低维表示基础上增加k-means聚类模块,从而使图自编码器的训练过程和节点的类别分布划分形成自监督机制;最后,利用节点标签的判别信息对网络低维表示的类别划分进行指导,将网络表示生成、类别划分以及图自编码器的训练构建在一个统一的优化模型中,并获得融合节点标签信息的有效网络表示结果。在仿真实验中,将GAECSRL用于节点分类和链接预测任务。实验结果表明,相比DeepWalk、node2vec、全局结构信息图表示学习（GraRep）、结构化深度网络嵌入（SDNE）和用数据的转导式或归纳式嵌入预测标签和邻居（Planetoid）,在节点分类任务中GAECSRL的Micro?F1指标提高了0.9~24.46个百分点,Macro?F1指标提高了0.76~24.20个百分点;在链接预测任务中,GAECSRL的AUC指标提高了0.33~9.06个百分点,说明GAECSRL获得的网络表示结果能有效提高节点分类和链接预测任务的性能。     

基于改进栈式稀疏去噪自编码器的图像去噪

为了提高栈式稀疏去噪自编码器（SSDA）的图像去噪性能,解决计算复杂度高,参数不易调节,训练收敛速度慢等问题,提出了一种栈式边缘化稀疏去噪自编码器（SMSDA）的图像去噪方法。首先,由于边缘化去噪自编码器（MDA）具有收敛速度快这一特性,对SDA网络损失函数作边缘化处理,形成边缘化稀疏去噪自编码器（MSDA）,使其同时满足边缘性和稀疏性。其次,将多个MSDA堆叠构成深度神经网SMSDA,为避免模型参数局部最优,采用非监督逐层训练法分别训练每一层网络,再用BP算法对整个网络微调,从而获得最优权重。最后,用SMSDA对给定图像去噪。仿真结果表明,较SSDA而言,所提算法在降低计算复杂度、提高收敛速度的同时,拥有较高峰值信噪比（PSNR）,且保留了更多原始图像的细节信息,具有更好的降噪性能。     

基于马赛克自编码器的多场景行人检测优化方法

现阶段多场景下的行人检测模型存在的主要问题在于训练数据样本多样性不足，在开放的测试环境下效果较差，不同场景之间存在数据鸿沟。针对上述问题，提出了一种基于马赛克自编码器（MAE）的多场景行人检测优化方法。首先，采用随机生成方法对原始训练数据进行自动扩充；然后，围绕数据、模型和结果等重要影响因素，分别对检测模型训练前中后三个阶段进行优化；最后，实现从通用大模型到专用小任务的自适应迁移。实验结果表明，在不增加额外标注数据的情况下，在多个公开数据集之间进行场景迁移，以常用的Caltech Pedestrian作为目标数据集，与当前最优结果 Pedestron方法对比，在Reasonable、Small和Heavy子数据集上的每张图片误检率（FPPI）分别下降0.4个百分点、0.7个百分点和2.6个百分点，从而验证了模型泛化性的显著提升；另一方面，针对实际应用构建多场景行人检测数据集，验证集的平均准确率（AP）提升1.9个百分点，进一步验证MAE生成数据对模型准确性的提升作用。     

结合LSTM和自注意力机制的图卷积网络短期电力负荷预测

针对现有电力负荷预测模型建模工作量大、时空联合表征不足、预测精度低等问题,提出了一种结合长短期记忆（LSTM）网络和自注意力机制的图卷积网络（GCN）的短期电力负荷预测模型GCNLS-STLF。首先,利用LSTM和自注意力机制将原始多维时间序列数据转化为包含序列间关联关系的电力负荷图;然后,通过GCN、LSTM和图傅里叶变换（GFT）对电力负荷图进行特征提取;最后,使用全连接层对特征进行重构,并利用残差进行多次预测,以增强原始电力负荷数据的表达能力。在摩洛哥与巴拿马某电站的真实历史电力负荷数据上进行的短期电力负荷预测实验结果显示,与支持向量机（SVM）、LSTM、混合模型CNN-LSTM和基于注意力的CNN-LSTM(CNN-LSTM-attention)等预测模型相比,GCNLS-STLF在摩洛哥全部电力负荷测试集上的平均绝对百分比误差（MAPE）分别降低1.94、0.90、0.49和0.37个百分点;在巴拿马电力负荷测试集上的3月份MAPE分别降低1.39、0.94、0.38和0.29个百分点,6月份MAPE分别降低1.40、0.99、0.35和0.28个百分点。实验结果表明,GC...     

基于自编码器与集成学习的离群点检测算法

针对基于自编码器的离群点检测算法在中小规模数据集上易过拟合以及传统的基于集成学习的离群点检测算法未对基检测器进行优化选择而导致的检测精度低的问题,提出了一种基于自编码器与集成学习的离群点检测（EAOD）算法。首先,随机改变自编码器的连接结构来生成不同的基检测器,以获取数据对象的离群值和标签离群值;然后,通过最近邻算法计算数据对象之间的欧氏距离,并在对象周围构建局部区域;最后,根据离群值与标签离群值之间的相似度,选择在该区域内检测能力强的基检测器进行组合,组合后的对象离群值作为EAOD算法最终判定的离群值。在实验中,所提算法与自编码器（AE）算法相比,在Cardio数据集上,接受者操作特征曲线下方的面积（AUC）和平均精度（AP）分值分别提高了8.08个百分点和9.17个百分点;所提算法与特征装袋（FB）集成学习算法相比,在Mnist数据集上,运行时间成本降低了21.33%。实验结果表明,在无监督学习下所提算法具有良好的检测性能和检测实时性。     

改进深层小波自编码器的轴承故障诊断方法

针对传统滚动轴承故障诊断方法过度依赖专家经验和故障特征提取困难的问题,结合深度学习处理高维、非线性数据的优势,提出一种基于改进深层小波自编码器的轴承智能故障诊断方法。该方法改进小波自编码器的损失函数并引入收缩项限制,再将多个小波自编码器进行堆叠构成深层小波自编码器,并引入“跨层”连接缓解梯度消失现象,最后利用大量无标签数据对网络进行无监督预训练并利用少量带标签数据对模型参数有监督微调。轴承诊断实验结果表明,该方法能有效地对轴承进行多种故障类型和多种故障程度的识别,特征提取能力和识别能力优于人工神经网络、深度信念网络、深度自编码器等方法。     

利用初始残差和解耦操作的自适应深层图卷积

传统的图卷积网络(GCN)及其很多变体都是在浅层时达到最佳的效果,而没有充分利用图中节点的高阶邻居信息.随后产生的深层图卷积模型可以解决以上问题却又不可避免地产生了过平滑的问题,导致模型无法有效区分图中不同类别的节点.针对此问题,提出了一种利用初始残差和解耦操作的自适应深层图卷积模型ID-AGCN.首先,对节点的表示转...     

融合协同过滤信息的知识图注意力网络

知识图谱（KG）能够缓解协同过滤算法存在的数据稀疏和冷启动问题,在推荐领域被广泛地研究和应用。现有的很多基于KG的推荐模型混淆了用户物品二部图中的协同过滤信息和KG中实体间的关联信息,导致学习到的用户向量和物品向量无法准确表达其特征,甚至引入与用户、物品无关的信息从而干扰推荐。针对上述问题提出一种融合协同信息的知识图注意力网络（KGANCF）。首先,为了避免KG实体信息的干扰,网络的协同过滤层从用户物品二部图中挖掘出用户和物品的协同过滤信息;然后,在知识图注意力嵌入层中应用图注意力机制,从KG中继续提取与用户和物品密切相关的属性信息;最后,在预测层将用户物品的协同过滤信息和KG中的属性信息融合,得到用户和物品最终向量表示,进而预测用户对物品的评分。在MovieLens-20M和Last.FM数据集上进行了实验,与协同知识感知注意力网络（CKAN）相比,KGANCF在MovieLens-20M数据集上的F1分数提升了1.1个百分点,曲线下面积（AUC）提升了0.6个百分点;而在KG相对稀疏的Last.FM数据集上,模型的F1分数提升了3.3个百分点,AUC提升了8.5个百分点。实验结果表明,KGANCF能够有效提高推荐结果的准确度,在KG稀疏的数据集上显著优于协同知识嵌入（CKE）、知识图谱卷积网络（KGCN）、知识图注意网络（KGAT）和CKAN模型。     

基于节点相似度的无监督属性图嵌入模型

属性图嵌入旨在将属性图中的节点表示为低维向量,并同时保留节点的拓扑信息和属性信息.属性图嵌入已经有一系列相关工作,然而它们大多数提出的是有监督或半监督的算法.在实际应用中,需要标记的节点数量多,导致这些属性图嵌入算法的难度大,且需要消耗巨大的人力物力.针对上述问题以无监督的视角重新分析,提出了一种无监督的属性图嵌入算法...     

基于图卷积网络的文本分割模型

文本分割的主要任务是将文本按照主题相关的原则划分为若干个相对独立的文本块。针对现有文本分割模型提取文本段落结构信息、语义相关性及上下文交互等细粒度特征的不足,提出了一种基于图卷积网络（GCN）的文本分割模型TS-GCN。首先,基于文本段落的结构信息与语义逻辑构建出文本图;然后,引入语义相似性注意力来捕获文本段落节点间的细粒度相关性,并借助GCN实现文本段落节点高阶邻域间的信息传递,以此增强模型多粒度提取文本段落主题特征表达的能力。将所提模型与目前常用作文本分割任务基准的代表模型CATS及其基础模型TLT-TS进行对比。实验结果表明在Wikicities数据集上,TS-GCN在未增加任何辅助模块的情况下比TLT-TS的评价指标Pk值下降了0.08个百分点;在Wikielements数据集上,相较于CATS和TLT-TS,所提模型的Pk值分别下降了0.38个百分点和2.30个百分点,可见TLT-TS取得了较好的分割效果。     

融合语料库特征与图注意力网络的短文本分类方法

短文本分类是自然语言处理（NLP）中的重要研究问题,广泛应用于新闻分类、情感分析、评论分析等领域。针对短文本分类中存在的数据稀疏性问题,通过引入语料库的节点和边权值特征,基于图注意力网络（GAT）,提出了一个融合节点和边权值特征的图注意力网络NE-GAT。首先,针对每个语料库构建异构图,利用引力模型（GM）评估单词节点的重要性,并通过节点间的点互信息（PMI）获得边权重;其次,为每个句子构建文本级别图,并将节点重要性和边权重融入节点更新过程。实验结果表明,所提模型在测试集上的平均准确率达到了75.48%,优于用于文本分类的图卷积网络（Text-GCN）、TL-GNN、Text-ING等模型;相较原始GAT,所提模型的平均准确率提升了2.32个百分点,验证了其有效性。     

基于分块注意力机制和交互位置关系的群组活动识别

复杂场景下的群体活动识别是一项具有挑战性的任务,它涉及一组人在场景中的相互作用和相对空间位置关系。针对当前复杂场景下群组行为识别方法缺乏精细化设计以及没有充分利用个体间交互式特征的问题,提出了基于分块注意力机制和交互位置关系的网络框架,进一步考虑个体肢体语义特征,同时挖掘个体间交互特征相似性与行为一致性的关系。首先,采用原始视频序列和光流图像序列作为网络的输入,并引入一种分块注意力模块来细化个体的肢体运动特征;然后,将空间位置和交互式距离作为个体的交互特征;最后,将个体运动特征和空间位置关系特征融合为群体场景无向图的节点特征,并利用图卷积网络（GCN）进一步捕获全局场景下的活动交互,从而识别群体活动。实验结果表明,此框架在两个群组行为识别数据集（CAD和CAE）上分别取得了92.8%和97.7%的识别准确率,在CAD数据集上与成员关系图（ARG）和置信度能量循环网络（CERN）相比识别准确率分别提高了1.8个百分点和5.6个百分点,同时结合消融实验结果验证了所提算法有较高的识别精度。     

融合全局结构信息的拓扑优化图卷积网络

基于拓扑优化的图卷积网络(TOGCN)是一类图卷积神经网络(GCNN)模型,它通过网络中的辅助信息优化网络拓扑结构,有利于反映节点间的联系程度;然而TOGCN模型仅注重局部节点之间的关联关系,对网络潜在的全局结构信息关注不足.融合全局特征信息,有助于提高模型的性能和处理信息缺失时的鲁棒性.提出了融合全局结构信息的拓扑优...     

基于语义关系图的跨模态张量融合网络的图像文本检索

跨模态图像文本检索的难点是如何有效地学习图像和文本间的语义相关性。现有的大多数方法都是学习图像区域特征和文本特征的全局语义相关性或模态间对象间的局部语义相关性,而忽略了模态内对象之间的关系和模态间对象关系的关联。针对上述问题,提出了一种基于语义关系图的跨模态张量融合网络（CMTFN-SRG）的图像文本检索方法。首先,采用图卷积网络（GCN）学习图像区域间的关系并使用双向门控循环单元（Bi-GRU）构建文本单词间的关系;然后,将所学习到的图像区域和文本单词间的语义关系图通过张量融合网络进行匹配以学习两种不同模态数据间的细粒度语义关联;同时,采用门控循环单元（GRU）学习图像的全局特征,并将图像和文本的全局特征进行匹配以捕获模态间的全局语义相关性。将所提方法在Flickr30K和MS-COCO两个基准数据集上与多模态交叉注意力（MMCA）方法进行了对比分析。实验结果表明,所提方法在Flickr30K测试集、MS-COCO1K测试集以及MS-COCO5K测试集上文本检索图像任务的Recall@1分别提升了2.6%、9.0%和4.1%,召回率均值（mR）分别提升了0.4、1.3和0.1个百分点,可见该方法能有效提升图像文本检索的精度。