基于多任务学习的图神经网络推荐模型研究

图神经网络处理非欧氏空间数据的强大能力促使越来越多的研究将其应用于推荐领域。然而,现有的基于图神经网络的推荐模型大多数仍然采用多个邻接矩阵来表示多种节点或边属性等异质信息,没有充分利用异质信息之间的交互。因此,提出一种新型的图神经网络推荐模型,把所有信息实体之间的丰富交互建模成异质图,并在异质图上使用稠密子图采样策略进行子图采样;此外,模型还加入多任务学习方法用于共同优化链接预测与推荐任务,使得模型学习到更好的节点表示,以提升推荐效果。2个公开数据集上的实验结果表明,所提模型相比基线模型,在Top-N推荐任务性能上有所提高。     

基于深度学习的图异常检测综述

图异常检测在识别复杂数据结构的异常模式中具有重要作用,被广泛地应用于有害分子识别、金融欺诈检测、社交网络分析等领域. 但目前的图异常检测研究大多数聚焦在节点级别的异常检测,针对图级别的异常检测方法仍然较少,且这些方法并不能对异常图数据进行充分挖掘,且对异常标签比较敏感,无法有效地捕捉异常样本的特征,存在模型泛化能力差、性能翻转问题,异常检测能力有待提升. 提出了一种基于异常感知的变分图自编码器的图级异常检测算法（anomaly-aware variational graph autoencoder based graph-level anomaly detection algorithm,VGAE-D）,利用具有异常感知能力的变分图自编码器提取正常图和异常图数据的特征,并差异化正常图和异常图在编码空间中的编码信息分布,对图编码信息进一步挖掘来计算图的异常得分. 在不同领域的8个公开数据集上进行实验,实验结果表明,提出的图级别异常检测方法能有效地对不同数据集中的异常图进行识别,异常检测性能高于目前主流的图级别异常方法,且具有少异常样本学习能力,较大程度上克服了性能翻转问题.

     

基于不完全信息的深度网络表示学习方法

网络表示学习的目标是将网络中的节点嵌入到低维的向量空间,为下游任务提供有效特征表示.在现实场景中,大规模网络通常具有不完整的链路,而现有的大多数网络表示学习模型都是在网络是完整的假设下设计的,因此其性能很容易受到链路缺失的影响.针对该问题,文中提出了一种基于不完全信息的深度网络表示学习方法DNRL(Deep Network Representa-tion Learning).首先采用转移概率矩阵将结构信息和属性信息进行动态融合,弥补了结构信息不完整带来的过大损失,然后采用一种具有强大特征提取能力的深度生成模型(变分自编码器)来学习节点的低维表示,并捕获网络数据中潜在的高非线性特征.在3个真实属性网络上的实验结果表明,与当前常用的网络表示学习模型相比,所提模型在不同程度链路缺失的节点分类任务中都明显地改善了分类效果,在可视化任务中更清晰地反映了节点的团簇关系.     

基于交叉层级数据共享的多任务模型

针对多任务学习模型中相关度低的任务之间存在的负迁移现象和信息共享困难问题,提出了一种基于交叉层级数据共享的多任务模型。该模型关注细粒度的知识共享,且能保留浅层共享专家的记忆能力和深层特定任务专家的泛化能力。首先,统一多层级共享专家,以获取复杂相关任务间的公共知识;然后,将共享信息分别迁移到不同层级的特定任务专家之中,从而在上下层之间共享部分公共知识;最后,利用基于数据样本的门控网络自主选择不同任务所需信息,从而减轻样本依赖性对模型的不利影响。相较于多门控混合专家（MMOE）模型,所提模型在UCI census-income数据集上对两个任务的F1值分别提高了7.87个百分点和1.19个百分点;且在MovieLens数据集上的回归任务的均方误差（MSE）值降低到0.004 7,分类任务的AUC值提高到0.642。实验结果表明,所提出的模型适用于改善负迁移现象的影响,且能更高效地学习复杂相关任务之间的公共信息。     

基于遗传算法的多任务学习

机器学习中冗余特征会降低学习器的性能,而特征选择方法可以去掉一些冗余特征.然而,冗余特征也包含有用信息,因此可以利用多任务学习的概念,通过重复利用冗余特征提高预测精度.但是,如何确定哪些特征作为输入和输出仍然是一个待解决的问题.之前的工作是在多任务学习当中,运用遗传算法来确定哪些特征作为输入,哪些作为输出,取得了较好的效果,但是该算法不足之处是没有考虑到不相关特征.现将特征分为三部分:输入的特征、输出的特征和不相关特征,提出了对一个特征进行双位编码的遗传算法搜索策略.在基因芯片数据上的实验结果表明,提出的新算法e-GA-MTL比已有基于遗传算法的GA-M-TL和其它启发式方法效果更好.     

图神经网络的类别解耦小样本分类

现有的基于度量的小样本图像分类模型展现了一定的小样本学习性能,然而这些模型往往忽略了原始数据被分类关键特征的提取.图像数据中与分类无关的冗余信息被融入小样本模型的网络参数中,容易造成基于度量方法的小样本图像分类性能瓶颈.针对这个问题,提出一种基于图神经网络的类别解耦小样本图像分类模型(VT-GNN),该模型结合图像自注意力与分类任务监督的变分自编码器作为图像嵌入模块,得到原始图像类别解耦特征信息,成为图结构中的一个图节点.通过一个多层感知机为节点之间构建具有度量信息的边特征,将一组小样本训练数据构造为图结构数据,借助图神经网络的消息传递机制实现小样本学习.在公开数据集Mini-Imagenet上,VT-GNN在分别5-way 1-shot与5-way 5-shot设置中相较于基线图神经网络模型分别获得了17.9个百分点和16.25个百分点的性能提升.     

基于多任务学习的多姿态人脸重建与识别

针对当前人脸识别中姿态变化会影响识别性能,以及姿态恢复过程中脸部局部细节信息容易丢失的问题,提出一种基于多任务学习的多姿态人脸重建与识别方法——多任务学习堆叠自编码器（MtLSAE）。该方法通过运用多任务学习机制,联合考虑人脸姿态恢复和脸部局部细节信息保留这两个相关的任务,在步进逐层恢复正面人脸姿态的同时,引入非负约束稀疏自编码器,使得非负约束稀疏自编码器能够学习到人脸部的部分特征;其次在姿态恢复和局部信息保留两个任务之间通过共享参数的方式来学习整个网络框架;最后将重建出来的正脸图像通过Fisherface进行降维并提取具有判别信息的特征,并用最近邻分类器来识别。实验结果表明,MtLSAE方法获得了较好的姿态重建质量,保留的局部纹理信息清晰,而且与局部Gabor二值模式（LGBP）、基于视角的主动外观模型（VAAM）以及堆叠步进自编码器（SPAE）等经典方法相比,识别率性能得以提升。     

基于图持续学习的时序数据分析

随着可穿戴设备大规模进入生活,基于动作传感器产生的时序数据来人体行为识别已成为该领域的研究热点.然而目前的方法无法发现多个传感器数据在时空中相互作用的关系.此外,传统神经网络在学习新任务时,由于学习的新任务参数会覆盖掉旧任务参数,这会引起\"灾难性遗忘\"问题.为解决这两个问题,本文提出了一种基于图注意力网络与生成式回放持续学习机制融合方法的人体行为识别算法.该算法通过卷积神经网络与图注意力网络提取时序特征,使得模型能够同时关注时间与空间特征,同时,采用了基于生成式数据重放策略的情景记忆持续学习方法,通过条件变分自编码器记忆历史数据分布来解决灾难性遗忘问题.最后,通过在多个公开数据集上与不同的基线算法对比,实验结果表明本文所提算法可以在取得较高的准确率的同时,缓解灾难性遗忘问题.     

多任务学习的车辆结构化信息提取方法

目前,大部分的车辆结构化信息需要通过多个步骤进行提取,存在模型训练繁琐、各步骤模型训练数据有限和过程误差累加等问题.为此,采用多任务学习将车辆结构化信息提取整合在统一的神经网络之中,通过共享特征提取结构,减少过程误差累加,并构建了一个多任务损失函数用于端到端训练神经网络;针对训练样本有限的问题,提出了新的数据整合和增广方法.在KITTI数据集上实验结果表明, VSENet可以达到93.82%的mAP(均值平均精度),且能达到实时的处理速度;与多阶段的车辆结构化特征提取方法对比,平均运行时间缩减了60%,其精度能达到相似或者更好的效果;实验结果表明,该方法具有一定的先进性和有效性.     

基于多峰标签分布学习的多任务年龄估计方法

针对面部年龄估计中标签序数信息和类间相关性提取难的问题,提出一种多峰分布(MPD)年龄编码,并基于该年龄编码构建了一个多任务年龄估计方法MPDNet(MPD Network).首先,利用MPD将年龄标签转化为年龄分布,以提取年龄标签间的相关信息,构建年龄老化趋势的阶段性;然后,采用一个轻量级网络进行多阶段的特征提取,并对提取的特征分别进行标签分布学习(LDL)和回归学习;最后,共享两个学习任务的输出,并在训练过程中通过反向传播互相优化,避免传统标签分布学习中对分布结果直接进行回归导致的误差传播.在MORPHⅡ数据集上的实验结果表明,MPDNet的平均绝对误差(MAE)达到2.67,与基于VGGNets(Visual Geometry Group Networks)构建的DEX(Deep EXpectation)、RankingCNN(Ranking Convolutional Neural Network)等方法相当,而参数仅为VGGNets的1/788.6;而且MPDNet也优于同体量的C3AE(extremely Compact yet efficient Cascade Context-based Age Estimation model)、SSR-Net(Soft Stagewise Regression Network)等方法.MPDNet能够较好地利用年龄标签间丰富的相关信息来提取更具判别力的年龄特征,提高年龄估计任务的预测精度.     

面向异质变分超图自动编码器的超边链接预测模型

如何采用超边建模网络数据中的多元关联关系,实现潜在超边链接关系的预测具有重要的现实意义。现有方法主要集中于研究具有成对关系的网络数据,然而,直接将现有的链接预测方法用于超图网络中的超边链接预测具有一定的局限性。因此,提出基于异质变分超图自动编码器的超边链接预测模型(heterogeneous variational hypergraph autoencoder,HVGAE)。首先,利用超图卷积实现变分超图自动编码器,将超图网络数据转换成一种低维空间表示;其次,加入节点近邻度函数,最大程度地保留其结构信息,从而构建异质超图网络超边链接预测模型。针对三种不同类型的超图网络进行实验,结果表明相比其他的基准方法,HVGAE模型获得了较好的预测结果,说明其能够较好地解决超图网络中的超边链接预测问题。     

图神经网络下的生成式室内家具摆放

自动的室内家具摆放在家居设计、动态场景生成等应用中具有显著的意义.传统算法往往通过显式的空间、语义和功能性上物体之间的关系来理解场景的内部结构,并进一步辅助室内场景的生成.随着大规模室内场景数据集的出现,提出将零散的输入家具编码进图结构,并利用图神经网络中迭代的消息传递隐式地学习场景的分布先验.为了满足家具摆放的多样性,提出将图神经网络融合进条件式变分自编码器.通过一个编码器将输入场景嵌入到一个符合高斯分布的隐变量,并通过一个生成器将从隐变量采样的场景先验用于条件式的新场景生成.在Fu-floor数据集上的实验结果表明,与基准算法相比,该算法在生成结果的评价指标最小匹配距离上表现更优.该算法对于未来实现场景补全、基于场景图的室内家具摆放等实际应用也具有显式的意义和价值.     

面向推荐系统中有偏和无偏一元反馈建模的三任务变分自编码器

一元反馈建模在推荐系统中的应用非常广泛,例如点击预测和购买预测等。然而,推荐系统作为一个闭环的反馈系统,在用户与系统的交互过程中可能存在着多种偏置问题,例如位置偏置、流行偏置等,进而导致用户的反馈数据存在有偏性。现有的大部分推荐模型都只基于这样的有偏数据进行构建,忽略了偏置的影响,进而导致推荐结果是次优的。目前已有的偏置消除方法大致可以分为基于反事实学习的方法、基于启发式的方法和基于无偏数据增强的方法。其中,基于无偏数据增强的方法通常被认为在稳定性和准确性方面表现较好。
本文重点研究了推荐系统中一元反馈的偏置问题,通过引入由一种特定策略收集的无偏数据,结合有偏数据进行联合建模,从而得到更准确和无偏的推荐模型。具体而言,本文从多任务学习的角度对问题进行建模,将有偏数据、无偏数据以及它们的并集当作三种相互关联的信号,并设计了三个不同但相关的学习任务。变分自编码器是目前最先进的一元反馈建模方法之一,有着独特的建模方式,从而使得它在很多问题中取得了优越的推荐效果。本文基于变分自编码器提出了一种新的推荐模型,即三任务变分自编码器（Tri-VAE）。该模型包含三个变分自编码器,分别对三种信号进行重构。三个变分自编码器之间共享同一个编码器和同一个解码器。此外,本文还设计了特征校正模块和标签增强模块以加强任务之间的关联。其中,特征校正模块用来校正用户的潜在特征,得到更无偏的潜在特征,进而从潜在特征的角度缓解偏置的影响。标签增强模块用于生成可靠性较高的伪标签并加以利用,进而更有效地利用无偏数据中的信息。
在Yahoo!R3和Coat Shopping两个公开数据集上的实验结果表明,所提出的模型相比于目前最新的基线模型在绝大多数情况下取得了显著的效果提升。为了进一步研究所提出的模型,本文进行了消融实验、超参数敏感性分析和收敛性分析,还对特征校正模块的有效性进行了探讨。     

引入自编码机制对抗网络的文本生成模型

Autoencoder is an unsupervised learning algorithm, mainly used for data dimensionality reduction and feature extraction. Based on adversarial neural network model, autoencoder is introduced to improve the feature representation of input data. Feedforward neural network and Seq2seq model are mainly used to learn the source text features, and the random data are transformed into characteristic data as input, which greatly accelerates the speed and accuracy of training. At the same time, reinforcement learning model is used to solve the problem that the gradient of discretized data is difficult to descend. The discriminator of the model uses CNN network and cross entropy model to make the generated text innovative and novel. In the experimental part, the results of automatic evaluation and subjective evaluation show that the model is effective.     

基于虚拟关系知识图可自适应聚合的推荐算法

在信息爆炸的时代,推荐算法成为应对信息过载的有效手段.近年来,图神经网络(GNN)以其强大的建模能力和应对冷启动的优势被广泛应用于推荐算法.本文提出了一种基于深度强化学习与GNN-R的联合训练框架,解决GNN-R中固定层数和聚合策略的问题,通过间隔经验回放和延后奖励机制,优化了推荐模型的学习过程.在此基础上,提出了自适应优化GNN-R聚合层数和虚拟关系数量的两个优化算法,改进了 VRKG4Rec模型的性能.实验结果表明,两个优化算法对比VRKG4Rec模型都有较好的性能提升.     

面向主动配电网实时优化调度的图强化学习方法

主动配电网的新能源、储能等能源形式可以有效提高运行的灵活性和可靠性,同时新能源和负荷也给配电网带来了双重不确定性,致使主动配电网的实时优化调度决策维度大、建模精度差.针对这一问题,本文提出结合图神经网络和强化学习的图强化学习方法,避免对复杂系统的精准建模.首先,将实时优化调度问题表述为马尔可夫决策过程,并将其表述为动态序贯决策问题.其次,提出了基于物理连接关系的图表示方法,用以表达状态量的隐含相关性.随后,提出图强化学习来学习将系统状态图映射到决策输出的最优策略.最后,将图强化学习推广到分布式图强化学习.算例结果表明,图强化学习在最优性和效率方面都取得了更好的效果.