增强分子拓扑信息的多任务图神经网络算法

以分子毒性为代表的分子属性预测在以药物设计为主的多个领域的发展中发挥着重要作用，但直接利用分子结构信息快速且准确地预测分子毒性一直是一个挑战。目前，卷积网络和图网络等深度学习方法的出现在这个问题的解决上得到了一定的进展。而以图网络为主的深度学习方法在分子毒性预测中存在两个关键问题，影响预测性能：第一，数据驱动使得模型在面对小批量数据时依然没有可靠的性能。第二，建模分子结构只考虑了天然共价键，只能提供粗粒度的信息。为解决上述问题，给出了一种对分子结构的新型建模方式MT-ToxGNN。该方法将多任务的思想融入图神经网络中，使得不同任务在训练时可以互相学习不同数据的可靠分布，从而避免在小批量数据上的过拟合问题。将分子编码成拓扑图结构时同时考虑分子内共价键以及非共价作用，就是在使用分子共价键构建传统图的边集之后，再使用非共价作用构建新型图的边集，从而弥补传统图网络对分子结构信息表示的不足。使用特别设计的图网络分别处理分子的共价与非共价信息，充分学习不同的分子结构。在与大量先进方法的性能比较中，MT-ToxGNN在多个分子毒性数据集上皮尔森系数指标达到了最佳。     

基于多任务学习的图神经网络推荐模型研究

图神经网络处理非欧氏空间数据的强大能力促使越来越多的研究将其应用于推荐领域。然而，现有的基于图神经网络的推荐模型大多数仍然采用多个邻接矩阵来表示多种节点或边属性等异质信息，没有充分利用异质信息之间的交互。因此，提出一种新型的图神经网络推荐模型，把所有信息实体之间的丰富交互建模成异质图，并在异质图上使用稠密子图采样策略进行子图采样；此外，模型还加入多任务学习方法用于共同优化链接预测与推荐任务，使得模型学习到更好的节点表示，以提升推荐效果。2个公开数据集上的实验结果表明，所提模型相比基线模型，在Top-N推荐任务性能上有所提高。     

基于图滤波器的符号属性图链路关系预测算法

带节点属性的符号网络在信息学、生物学等多个领域存应用广泛,链路符号预测是该类数据分析中的一个热点问题。基于符号图神经网络的模型是该问题的最新有效解决方案,但现有方法几乎均基于社会平衡理论,且未充分利用节点属性。针对以上问题,从图信号处理角度设计了一个符号图神经网络,提出了一种端到端的符号属性图链路预测算法。首先,给出了基于低频和高频信号的带通滤波器的符号图神经网络,用于获得基于符号拓扑图的节点嵌入;其次,构造属性相似性图,利用图卷积网络得到属性相似性图节点嵌入;最后,引入注意力机制,融合符号拓扑图与属性相似性图两种节点表达,并将其输入符号判别器,通过Adam优化器训练模型。在三个药物数据集上进行了对比实验与模型设置的影响分析。与典型的符号图卷积网络与符号图谱嵌入,以及最近提出的基于图滤波的符号卷积网络的对比结果表明,该模型在AUC与F1指标上比最好的基线方法提升了8.68%与10.04%。     

图神经网络在自然语言处理中的应用

近几年,神经网络因其强大的表征能力逐渐取代传统的机器学习成为自然语言处理任务的基本模型.然而经典的神经网络模型只能处理欧氏空间中的数据,自然语言处理领域中,篇章结构,句法甚至句子本身都以图数据的形式存在.因此,图神经网络引起学界广泛关注,并在自然语言处理的多个领域成功应用.该文对图神经网络在自然语言处理领域中的应用进行...     

图结构表示下的药物数据增强方法

小样本数据会导致机器学习模型出现过拟合问题，而药物研发中的数据往往都具有小样本特性，这极大地限制了机器学习技术在该领域的应用。针对上述问题，提出了图结构下的药物数据增强方法。所提方法通过对样本微扰生成新的相似样本，以扩充数据集。所提方法包含4个子方法，分别是：基于分子骨干的节点丢弃法、基于分子骨干的边丢弃法、多样本拼接法以及混合策略法。其中，基于分子骨干的节点丢弃和边丢弃法通过少量删减药物分子的组成与结构完成对药物分子的微扰；多样本拼接法则使用一种增添性操作，通过组合不同分子完成微扰；混合策略法按一定比例配比删减性和增添性操作提升数据增强结果的多样性。在公开数据集BACE、BBBP、ToxCast和ClinTox上，所提方法为药物属性预测基线模型MG-BERT(Molecular Graph Bidirectional Encoder Representations from Transformer)的受试者工作特征曲线下面积（AUC）带来了1.94%～12.49%的提升。实验结果验证了所提方法在小样本药物数据增强上的有效性。     

基于跨语言图神经网络模型的属性级情感分类

目前,在属性级情感分类任务上较为成熟的有标注数据集均为英文数据集,而有标注的中文数据集较少.为了能够更好地利用规模庞大但却缺乏成熟标注数据的中文语言数据集,针对跨语言属性级情感分类任务进行了研究.在跨语言属性级情感分类中,一个核心问题为如何构建不同语言的文本之间的联系.针对该问题,在传统的单语言情感分类模型的基础上,使用图神经网络模型对跨语言词-词、词-句之间的关系信息进行建模,从而有效地刻画两种语言数据集之间的联系.通过构建单语词-句之间的联系和双语词-句之间的联系,将不同语言的文本关联起来,并利用图神经网络进行建模,从而实现利用英文数据集预测中文数据集的跨语言神经网络模型.实验结果表明：相较于其他基线模型,所提出的模型在F1值指标上有着较大的提升,从而说明使用图神经网络建立的模型能够有效地应用于跨语言的应用场.     

基于异构动态图模型的社交网络节点分类方法

在机器学习领域,与传统的神经网络相比,图神经网络在社交推荐等任务中发挥着越来越重要的作用,但是目前工作中大多数都使用静态图.针对现有静态图神经网络方法难以考虑社交用户动态特性的问题,通过引入动态图模型提出了一种基于异构动态图模型的社交网络节点分类方法.该方法在动态图建模的基础上,通过基于点边交互的节点特征更新机制和基于循环神经网络的时序聚合方法,实现了高效的动态社交网络节点分类.在多个真实数据集上的实验结果表明,提出方法在动态社交网络数据的节点分类方面有较好的效果,对比静态图和动态图的基准方法有显著的提升.     

基于随机游走的图嵌入研究综述

近年来,图嵌入已经成为图神经网络领域研究的热点。图嵌入作为图任务分析的一种重要手段,将图的高维非欧信息编码到低维向量空间中,从而提升下游任务的性能和效率。为了及时掌握当前基于随机游走的图嵌入方法的研究现状,通过归纳与整理,对现有的经典模型进行介绍与分类,主要分为基于经典随机游走的模型和基于属性游走的模型;然后对每一种模型解决的问题、算法思想、模型策略、优缺点和应用场景进行了详细的归纳与分析,并在几种常见的数据集上评估了部分模型的性能。通过研究发现,当前的基于随机游走的图嵌入亟待解决四个方面的问题：属性选择、可扩展性、嵌入维度选择和可解释性,针对这些问题,图嵌入需要建立一致的理论框架,为后面的研究提供可参考的标准。     

结构图注意力网络的新冠肺炎轻重症诊断

目的 为辅助医生快速分辨新型冠状病毒肺炎(corona virus disease 2019, COVID-19)轻、重症患者,以便对症下药减轻医疗负担,提出一种基于结构图注意力网络的轻重症诊断算法。方法 基于胸部CT图像提取的特定特征以及肺段间的位置关系构建结构图,以肺部内不同肺段为节点,以提取特征为节点属性。采用图神经网络汇聚相邻节点特征,再利用池化层获取分别代表左肺叶和右肺叶特征的图表示。使用结构注意力机制计算左、右肺叶的感染情况对结果诊断的重要性,并依据重要性融合左、右肺叶图表示以得到最终图表示,最后执行分类任务。由于数据中存在明显的类别不平衡现象,采用Focal-Loss损失函数优化模型以减轻对分类结果的影响。结果 实验将所提算法分别与传统机器学习方法和流行的图神经网络算法做性能对比。在重症诊断的准确率上,本文算法相较于传统机器学习方法和图神经网络算法分别取得14.2%～42.0%和3.6%～4.8%的提升。在AUC(area under curve)指标上,本文算法相较于上述两种算法分别取得8.9%～18.7%和3.1%～3.6%的提升。除此之外,通过消融实验发现具有结构注...     

基于深度学习的口服生物利用度分类研究

针对采用传统方法测量口服生物利用度(OB)代价昂贵、花费周期长,而现有的一些机器学习方法对其预测精度较低的问题,提出了一种基于栈式自编码(SAE)神经网络的口服生物利用度分类方法,利用经筛选过的分子特征结合栈式自编码模型对生物利用度进行分类。实验表明,与浅层机器学习模型支持向量机(SVM)以及人工神经网络(ANN)相比,深度网络对化合物分子的特征有更本质的学习,采用经筛选过的2D和3D分子特征组合对人体口服生物利用度的分类效果较好,其平均预测精度为83%,灵敏度(SE)为94%,特异性(SP)为49%。     

基于图划分抽样算法的图表示学习

在基于神经网络的图表示算法中,当节点属性维度过高、图的规模过大时,从内存到显存的数据传输会成为训练性能的瓶颈。针对这类问题,该方法将图划分算法应用于图表示学习中,降低了内存访问的I/O开销。该方法根据图节点的度数,将图划分成若干个块,使用显存缓存池存储若干个特征矩阵块。每一轮训练,使用缓存池中的特征矩阵块,以此来减少内存到显存的数据拷贝。针对这一思想,该方法使用基于图划分的抽样算法,设计显存的缓存池来降低内存的访问,运用多级负采样算法,降低训练中负样本采样的时间复杂度。在多个数据集上,与现有方法对比发现,该方法的下游机器学习准确率与原算法基本一致,训练效率可以提高2~ 7倍。实验结果表明,基于图划分的图表示学习能高效训练模型,同时保证节点表示向量的测试效果。今后的课题可以使用严谨的理论证明,阐明图划分模型与原模型的理论误差。     

基于融合神经网络模型的药物分子性质预测

在生物信息学领域,人工智能方法在预测药物分子的物理化学性质和生物活性中获得了重大成功,特别是神经网络已被广泛应用到药物研发中。但是浅层神经网络的预测精度低,深度神经网络又容易出现过拟合的问题,而模型融合策略有望提升机器学习中弱学习器的预测能力。据此,文中将模型融合方法首次应用到药物分子性质的预测中,通过对药物分子的化学结构进行信息化编码,采用平均法、堆叠法融合浅层神经网络,提高对药物分子pKa预测的能力。与深度学习方法相比,堆叠法(Stacking)融合的模型具有更高的预测准确性,其预测结果的相关系数达到0.86。通过将多个弱学习器的神经网络有机组合可使其达到深度神经网络的预测精度,同时保留更好的模型泛化能力。研究结果表明,模型融合方法可提高神经网络对药物分子pKa预测结果的准确性和可靠性。     

基于显著图的高隐蔽性模型指纹算法

在核心任务场景下训练深度神经网络(DNN)需要越来越多的算力资源,这刺激了基于云端预测API接口的模型的窃取与盗用,同时也违反了模型所有者的知识产权.为了追踪公开的非法模型副本,深度神经网络的模型指纹技术为希望保持模型完整性的模型所有者提供了一种强大的版权验证方案.然而,现有的模型指纹方案主要基于输出层面的内在痕迹(例如:特定输入样本下的错误预测行为),这导致在模型指纹验证阶段缺乏隐蔽性.本文基于模型预测时的显著图(saliency map)痕迹,提出了一种全新的任意下游任务通用的模型指纹方案.本文的方案提出了受约束的显著图操控目标,构建标签不变和自然的指纹样本,显著提高了模型指纹的隐蔽性.根据对3种典型任务场景下全面的评估结果,本文提出的方法被证明能够显著地增强现有方案的指纹版权验证的效果,同时保持高度的模型指纹隐蔽性.     

基于自适应门控图神经网络的交通流预测

交通流预测是智能交通系统中的重要组成部分,由于交通数据的复杂性,长期而又准确的交通流预测一直是时间序列预测中最具挑战性的任务之一。近年来,研究人员将基于图神经网络的时空图建模方法应用于交通流预测任务,并取得了良好的预测性能。然而,现有的图建模方法仅通过预定义的邻接结构反映道路网络中的空间依赖关系,忽略了各节点之间的序列关联关系对预测的重要性。针对这一局限性,提出了一种自适应门控图神经网络（Ada-GGNN）,其核心为通过空间传递模块同时捕获道路网络的空间结构及自适应的时序相关性,并通过门控机制学习节点上的时间序列特征。在两个真实交通网络数据集PeMSD7和Los-loop上的实验结果证明了该模型具有更优越的性能。     

基于图神经网络的自闭症辅助诊断研究综述

自闭症谱系障碍是一种复杂的神经系统发展障碍疾病,截至目前其病因尚不明确。图神经网络作为非欧几里得空间深度学习的重要分支,在处理图结构数据的相关任务中取得优异表现,为医学领域的成像和非成像模式的集成提供了可能,因此利用图神经网络进行自闭症等脑部疾病神经成像诊断逐渐成为研究热点。阐述传统机器学习方法在自闭症疾病预测中应用,介绍图神经网络的基本分类,按照图中节点与边关系的建模方法,从基于人群图和基于个体图两个角度对图神经网络在自闭症辅助诊断中的应用进行梳理和分析,并归纳现有诊断方法的优劣势。根据目前基于图神经网络的自闭症神经成像诊断的研究现状,总结了脑神经科学领域辅助诊断技术面临的主要挑战和未来研究方向,对于自闭症等脑部疾病辅助诊断的进一步研究具有指导意义和参考价值。     

多视图对比增强的异质图结构学习方法

异质图神经网络作为一种异质图表示学习的方法,可以有效地抽取异质图中的复杂结构与语义信息,在节点分类和连接预测任务上取得了优异的表现,为知识图谱的表示与分析提供了有力的支撑.现有的异质图由于存在一定的噪声交互或缺失部分交互,导致异质图神经网络在节点聚合、更新时融入错误的邻域特征信息,从而影响模型的整体性能.为解决该问题,提出了多视图对比增强的异质图结构学习模型.该模型首先利用元路径保持异质图中的语义信息,并通过计算每条元路径下节点之间特征相似度生成相似度图,将其与元路径图融合,实现对图结构的优化.通过将相似度图与元路径图作为不同视图进行多视图对比,实现无监督信息的情况下优化图结构,摆脱对监督信号的依赖.最后,为解决神经网络模型在训练初期学习能力不足、生成的图结构中往往存在错误交互的问题,设计了一个渐进式的图结构融合方法.通过将元路径图和相似度图递增地加权相加,改变图结构融合过程中相似度图所占的比例,在抑制了因模型学习能力弱引入过多的错误交互的同时,达到了用相似度图中的交互抑制原有干扰交互或补全缺失交互的目的,实现了对异质图结构的优化.选择节点分类与节点聚类作为图结构学习的验证任务,在4种...     

融合结构和特征的图层次化池化模型

作为深度神经网络向非欧式数据上的扩展,图神经网络（GNN）已经在图节点分类任务、链接预测任务和图分类任务中取得了显著成就。在图分类任务上,当前方法一般通过层次化的池化过程同时考虑图的局部和全局结构信息以学习高层次的图表示。在对当前的图分类模型进行对比分析后,考虑当前方法的不足,结合不同方法的优势,提出结构和特征融合池化模型（SAFPool）。SAFPool模型在池化时使用了两个聚类分配矩阵生成模块,分别是基于结构的聚类学习和基于特征的聚类学习模块,基于结构的聚类学习根据图结构信息对结构相似的节点聚类,基于特征的聚类学习则根据图节点特征对特征相似的节点聚类。二者的聚类结果加权聚合后便能获取实现聚类策略的聚类分配矩阵以同时利用图结构和节点特征信息。最后,在多个图分类数据集上通过对比实验和可视化说明了同时显式地利用图节点特征信息和图结构信息实现聚类策略的有效性。     

IBNAD:一种基于交互的5G核心网网络功能异常检测模型

现有 5G(5th Generation Mobile Communication Technology)核心网异常检测主要基于信令流量深度解析, 但较少利用核心网网络功能交互关系的作用。针对上述问题, 提出一种基于交互的 5G 核心网网络功能异常检测模型。首先, 该模型以行为分析为驱动, 基于信令流量和网络功能注册数据提取多维属性, 通过行为画像来表征网络功能行为模式, 并采用集成学习算法RFECV(Recursive Feature Elimination with Cross-Validation)进行属性特征选择, 降低特征维度的同时筛选出与区分网络功能行为模式高度相关的属性特征。然后, 模型基于网络功能交互关系对核心网进行图建模, 建模后的图数据融合了网络功能属性信息和交互信息。最后, 模型通过基于空间域的图卷积网络聚合邻域节点属性信息和结构信息来融合行为模式特征, 新生成的节点表示用于分类, 从而将核心网网络功能异常检测问题转化为图节点分类问题。通过在 free5GC 仿真平台上采集数据, 并在搭建的异常检测系统中的实验表明, 该模型的异常检测性能优于基于属性特征分析的传统机器学习模型、基于结构特征分析的图嵌入模型及部分 5G 核心网异常检测模型。10%数据集作为训练集时, 所提模型的准确率比支持向量机模型提高 6.6%, 比Struc2vec 模型提高 13%, 比深度神经网络模型提高 8%。     

图对抗攻击研究综述

将深度学习用于图数据建模已经在包括节点分类、链路预测和图分类等在内的复杂任务中表现出优异的性能,但是图神经网络同样继承了深度神经网络模型容易在微小扰动下导致错误输出的脆弱性,引发了将图神经网络应用于金融、交通等安全关键领域的担忧。研究图对抗攻击的原理和实现,可以提高对图神经网络脆弱性和鲁棒性的理解,从而促进图神经网络更广泛的应用,图对抗攻击已经成为亟待深入研究的领域。介绍了图对抗攻击相关概念,将对抗攻击算法按照攻击策略分为拓扑攻击、特征攻击和混合攻击三类;进而,归纳每类算法的核心思想和策略,并比较典型攻击的具体实现方法及优缺点。通过分析现有研究成果,总结图对抗攻击存在的问题及其发展方向,为图对抗攻击领域进一步的研究和发展提供帮助。     

基于多尺度时空图神经网络的污染物浓度预测

基于深度学习的细粒度污染物浓度预测是一种新兴且具有前景的方法,如何充分利用气象、空间和时间等3大信息是其关键.为了协同融合3大信息,提出一种基于多尺度时空图神经网络的污染物浓度预测模型.该模型利用空气质量模型动态构建多尺度的时空图神经网络,学习污染物之间的动态时空关系.具体为:利用图神经网络学习污染物之间的多尺度空间关系,采用空气质量模型HYSPLIT构建图的结点和边属性,通过基于注意力机制的GRU (gate recurrent unit)学习污染物浓度之间的时序关系.该模型不仅充分考虑了气象、空间和时间3大影响因素,还将3个因素联动起来统一到一个框架内协同学习.该方法与传统的机理模型方法相比具有灵活部署、易于实施的特点.实际项目数据集和公开数据集上的实验表明:与现有先进的基于图神经网络的方法相比,该方法预测的污染物浓度平均绝对误差降低了0.6左右,对称平均绝对百分比误差降低0.005左右.