基于多模态表示学习的知识库补全

目前大多数知识图谱表示学习只考虑实体和关系之间的结构知识,性能受存储知识的限制,造成知识库补全能力不稳定,而融入外部信息的知识表示方法大多只针对某一特定的外部模态信息建模,适用范围有限.因此,文中提出带有注意力模块的卷积神经网络模型.首先,考虑文本和图像两种外部模态信息,提出三种融合外部模态信息和实体的方案,获得实体的多模态表示.再通过结合通道注意力模块和空间注意力模块,增强卷积的表现力,提高知识表示的质量,提升模型的补全能力.在多个公开的多模态数据集上进行链路预测和三元组分类实验,结果表明文中模型性能较优.     

基于图卷积神经网络的函数自动命名

函数自动命名技术旨在为输入的源代码自动生成目标函数名,增强程序代码的可读性以及加速软件开发进程,是软件工程领域中一项重要的研究任务.现有基于机器学习的技术主要是通过序列模型对源代码进行编码,进而自动生成函数名,但存在长程依赖问题和代码结构编码问题.为了更好的提取程序中的结构信息和语义信息,本文提出了一个基于图卷积(Graph Convolutional Network,GCN)的神经网络模型—TrGCN(a Transformer and GCN based automatic method naming).TrGCN利用了Transformer中的自注意力机制来缓解长程依赖问题,同时采用Character-word注意力机制提取代码的语义信息.TrGCN引入了一种基于图卷积的AST Encoder结构,丰富了AST节点特征向量的信息,可以很好地对源代码结构信息进行建模.在实证研究中,使用了3个不同规模的数据集来评估TrGCN的有效性,实验结果表明TrGCN比当前广泛使用的模型code2seq和Sequence-GNNs能更好的自动生成函数名,其中F1分数分别提高了平均5.2％、2.1％.     

Intelligent fault diagnosis for rolling bearings based on graph shift regularization with directed graphs

Graph shift regularization is a new and effective graph-based semi-supervised classification method, but its performance is closely related to the representation graphs. Since directed graphs can convey more information about the relationship between vertices than undirected graphs, an intelligent method called graph shift regularization with directed graphs (GSR-D) is presented for fault diagnosis of rolling bearings. For greatly improving the diagnosis performance of GSR-D, a directed and weighted k-nearest neighbor graph is first constructed by treating each sample (i.e., each vibration signal segment) as a vertex, in which the similarity between samples is measured by cosine distance instead of the commonly used Euclidean distance, and the edge weights are also defined by cosine distance instead of the commonly used heat kernel. Then, the labels of samples are considered as the graph signals indexed by the vertices of the representation graph. Finally, the states of unlabeled samples are predicted by finding a graph signal that has minimal total variation and satisfies the constraint given by labeled samples as much as possible. Experimental results indicate that GSR-D is better and more stable than the standard convolutional neural network and support vector machine in rolling bearing fault diagnosis, and GSR-D only has two tuning parameters with certain robustness.     

多跳机器阅读理解研究进展

与常规的单跳机器阅读理解相比,多跳机器阅读理解（MHMRC）需要在多个相关文档段落中进行多跳推理以实现对复杂问题的理解和回答,其更接近于人类的语言推理能力,具有广阔的应用前景但也极具挑战性。阐述MHMRC的研究背景,将现有方法根据适用场景分为封闭集合问答和开放域问答两类,主要包括基于问题分解的方法、基于图神经网络的方法、改进检索的方法、基于推理路径的方法等,分别从模型架构、特点、优劣等方面进行分析。介绍用于多跳推理的非结构化文本数据集和评测指标,对比各模型的性能表现。在此基础上,分析目前MHMRC研究的热点与难点,指出未来发展方向。     

基于时空注意力图卷积网络模型的人体骨架动作识别算法

针对现有的人体骨架动作识别算法不能充分发掘运动的时空特征问题,提出一种基于时空注意力图卷积网络（STA-GCN）模型的人体骨架动作识别算法。该模型包含空间注意力机制和时间注意力机制：空间注意力机制一方面利用光流特征中的瞬时运动信息定位运动显著的空间区域,另一方面在训练过程中引入全局平均池化及辅助分类损失使得该模型可以关注到具有判别力的非运动区域;时间注意力机制则自动地从长时复杂视频中挖掘出具有判别力的时域片段。将这二者融合到统一的图卷积网络（GCN）框架中,实现了端到端的训练。在Kinetics和NTU RGB+D两个公开数据集的对比实验结果表明,基于STA-GCN模型的人体骨架动作识别算法具有很强的鲁棒性与稳定性,与基于时空图卷积网络（ST-GCN）模型的识别算法相比,在Kinetics数据集上的Top-1和Top-5分别提升5.0和4.5个百分点,在NTURGB+D数据集的CS和CV上的Top-1分别提升6.2和6.7个百分点;也优于当前行为识别领域最先进（SOA）方法,如Res-TCN、STA-LSTM和动作-结构图卷积网络（AS-GCN）。结果表示,所提算法可以更好地满足人体行为识别的实际应用需求。     

图趋势过滤诱导的噪声容错多标记学习模型

针对多标记学习中特征噪声和标记噪声经常共同出现的问题,提出了一种图趋势过滤诱导的噪声容错多标记学习模型（GNTML）。该模型通过组稀疏约束桥接增强的标记,从而同时容忍特征噪声和标记噪声。模型的关键之处在于标记增强矩阵的学习。为了在混合噪声场景下学习到合理的标记增强矩阵,首先通过引入图趋势过滤（GTF）机制来容忍含噪示例特征与标记之间关联的不一致性,从而减轻特征噪声对标记增强矩阵学习的影响;然后通过引入组稀疏约束的标记保真惩罚来减轻标记噪声对标记增强矩阵学习的影响,同时引入标记关联矩阵的稀疏约束来刻画标记之间的局部关联特性,使得样本标记能够在相似样本之间得到更好的传播;最后在7个真实多标记数据集上进行5个不同评价指标下的实验。实验结果表明,提出的模型在66.67%的情况下取得最优值或次优值,优于其他5个多标记学习算法,能有效地提高多标记学习的鲁棒性。     

基于门控图卷积神经网络的有机化学反应预测

随着现代医药技术和计算机技术的发展,采用人工智能技术来加速药物的研发进度成为了研究热点,而对有机化学反应产物的高效预测是药物逆合成路线设计中的关键问题。针对样本数据集中化学反应类型分布不均匀的问题,提出了一种主动采样训练下的门控图卷积神经网络（ASGGCN）模型。首先,输入化学反应物的简化分子线性输入规范（SMILES）编码,通过门控图卷积神经网络（GGCN）以及注意力机制预测反应中心所在位置;然后,根据化学约束条件和候选反应中心枚举出可能的化学键组合来生成候选产物,再通过门控图卷积差分网络对候选产物进行筛选;最终,得到反应产物。门控图卷积神经网络拥有三个权重参数矩阵并通过门控对信息加以融合,与传统的图卷积神经网络相比,它能获取更加丰富的原子隐藏特征信息。通过主动采样的方式进行训练,使得该模型能够兼顾较差样本和普通样本的分析能力。实验结果表明,所提模型对化学反应产物的Top-1预测准确率可达87.2%,对比Weisfeiler-Lehman差分网络（WLDN）模型提高了1.6个百分点,可见模型能够更准确地预测有机化学反应产物。     

基于图卷积网络的微博新闻故事线抽取方法

微博作为人们获取和传播新闻事件的主要平台,隐藏着丰富的事件信息。从微博数据中抽取故事线能为用户提供一种直观的方式来准确理解事件演化,然而微博数据稀疏和上下文缺乏的特点为故事线抽取带来了挑战。因此,通过两个连续的任务从微博数据中自动抽取故事线：1）基于微博传播影响力对事件进行建模,并提取出首要事件;2）基于事件特征建立异构事件图,提出事件图卷积网络（E-GCN）模型来提升对事件间隐式关系的学习能力,从而实现事件的故事分支预测并链接事件。在真实数据集上从故事分支和故事线两个角度进行评测,结果表明所提方法在故事分支生成测评中,相较于贝叶斯模型、斯坦纳树和故事森林在F1值上,在Dataset1上分别高出28个百分点、20个百分点和27个百分点,在Dataset2上分别高出19个百分点、12个百分点和22个百分点;而在故事线抽取评测中,相较于故事时间线、斯坦纳树和故事森林在正确的边准确率上,在Dataset1上分别高出33个百分点、23个百分点和17个百分点,在Dataset2上分别高出12个百分点、3个百分点和9个百分点。     

基于图的人-物交互识别

提出了一种基于图的人与物体的交互（Human-Object Interactions,HOIs）识别方法。为了对静态图像中人与物体间丰富的交互关系进行有效的表示,采用具有强大关系建模能力的图结构为图像生成对应的人-物交互关系图。为了对图像中上下文（context）信息加以利用,提出了引入注意力机制的特征处理网络（Feature Processing Network,FPNet）。通过图注意力（Graph Attention Network,GAT）网络完成对真实的HOIs的检测和识别。该方法在V-COCO数据集与HICO-DET数据集上进行了验证,并与其他方法进行了比较,结果表明该方法具有较好的效果。     

基于词共现与图卷积的文本分类方法

针对文本分类任务中标注数量少的问题,提出了一种基于词共现与图卷积相结合的半监督文本分类方法。模型使用词共现方法统计语料库中单词的词共现信息,过滤词共现信息建立一个包含单词节点和文档节点的大型图结构的文本图,将文本图中邻接矩阵和关于节点的特征矩阵输入到结合注意力机制的图卷积神经网络中实现了对文本的分类。实验结果表明,与目前多种文本分类算法相比,该方法在经典数据集20NG、Ohsumed和MR上均取得了更好的效果。