面向图神经网络模型提取攻击的图数据生成方法

无数据模型提取攻击是基于攻击者在进行攻击时所需的训练数据信息未知的情况下提出的一类机器学习安全问题。针对无数据模型提取攻击在图神经网络（GNN）领域的研究缺乏,提出分别用GNN可解释性方法GNNExplainer和图数据增强方法 GAUG-M优化图节点特征信息和边信息生成所需图数据,最终提取GNN模型的方法。首先,利用GNNExplainer方法对目标模型的响应结果进行可解释性分析得到重要的图节点特征信息;其次,通过对重要的图节点特征加权,对非重要图节点特征降权,实现图节点特征信息的整体优化;然后,使用图形自动编码器作为边信息预测模块,根据优化后的图节点特征得到节点与节点之间的连接概率;最后,根据概率增加或者删减相应边优化边信息。实验采用5个图数据集训练的3种GNN模型架构作为目标模型提取攻击,得到的替代模型达到了73%～87%的节点分类任务准确性和76%～89%的与目标模型性能的一致性,验证了所提方法的有效性。     

基于句子选择的关键短语生成

关键短语生成是一个能从长文档或者文献中捕获中心思想的实用任务.先前的神经关键短语生成方法基本只注重词级别的信息而忽略文档结构.该文提出了一个句级选择网络(sentence selective network,SenSeNet)用于关键短语生成.该模型重点关注文档的句子结构信息,通过学习句子隐式表示来判断其是否有可能生成...     

基于图神经网络和引导向量的图像字幕生成模型

近年来,深度学习已在图像字幕技术研究中展现其优势。在深度学习模型中,图像中对象之间的关系在图像表示中起着重要作用。为了更好地检测图像中的视觉关系,本文基于图神经网络和引导向量构建了图像字幕生成模型（YOLOv4-GCN-GRU, YGG）。该模型利用图像中被检测到的对象的空间和语义信息建立成图,利用图卷积神经网络（Graph convolutional network, GCN）作为编码器对图的每个区域进行表示。在字幕生成阶段,额外训练一个引导神经网络来产生引导向量,从而辅助生成模型自动生成语句。基于MSCOCO图像数据集的对比实验表明,YGG模型具有更好的性能,将CIDEr-D的性能从138.9%提高到了142.1%。     

图顶点覆盖问题决策神经网络模型

图的顶点覆盖问胚是一个困难的NP-完全问题,并且有许多良好的应用.文中将在已有的应用Hopfield神经网络模型来求解图的顶点覆盖问题的基础上,将人脑决策思维的思想加入其中,建立称为图顶点覆盖问题决策神经网络模型.该方法不仅简化了过去此领域的工作,而且通过增加决策约束项,加速了网络的运行速度.     

基于卷积神经网络的视差图生成技术

针对裸眼三维中视差图生成过程中存在的高成本、长耗时以及容易出现背景空洞的问题,提出了一种基于卷积神经网络（CNN）学习预测的算法。首先通过对数据集的训练学习,掌握数据集中的变化规律;然后对输入卷积神经网络中的左视图进行特征提取和预测,得到深度值连续的深度图像;其次将预测所得到的每一个深度图和原图进行卷积,将生成的多个立体图像对进行叠加,最终形成右视图。仿真结果表明：该算法的像素重构尺寸误差相比基于水平视差的三维显示算法和深度图像视点绘制的算法降低了12.82%和10.52%,且背景空洞、背景粘连等问题都得到了明显改善。实验结果表明,卷积神经网络能提高视差图生成的图像质量。     

基于对话结构的多轮对话生成模型

目前,多轮对话生成研究大多使用基于RNN或Transformer的编码器-解码器架构.但这些序列模型都未能很好地考虑到对话结构对于下一轮对话生成的影响.针对此问题,在传统的编码器-解码器模型的基础上,使用图神经网络结构对对话结构信息进行建模,从而有效地刻画对话的上下文中的关联逻辑.针对对话设计了基于文本相似度的关联结构、基于话轮转换的关联结构和基于说话人的关联结构,利用图神经网络进行建模,从而实现对话上下文内的信息传递及迭代.基于DailyDialog数据集的实验结果表明,与其他基线模型相比,该模型在多个指标上有一定的提升.这说明使用图神经网络建立的模型能够有效地刻画对话中的多种关联结构,从而有利于神经网络生成高质量的对话回复.     

基于答案及其上下文信息的问题生成模型

基于文本的问题生成是从给定的句子或段落中生成相关问题。目前,主要采用序列到序列的神经网络模型来研究包含答案的句子生成问题,然而这些方法存在以下问题:①生成的疑问词与答案类型不匹配;②问题与答案的相关性不强。该文提出一个基于答案及其上下文信息的问题生成模型。该模型首先根据答案与上下文信息的关系确定与答案类型匹配的疑问词;然后利用答案及其上下文信息确定问题相关词,使问题尽可能使用原文中的词;最后结合原句作为输入来生成问题。相关实验表明,该文提出的模型性能明显优于基线系统。     

基于图生成过程的跨领域推荐

推荐系统在各方各面得到充分的应用,时刻影响着日常生活。要训练出一个良好的推荐系统往往需要大量的用户—商品交互数据,但是实际情况下获得的数据往往是十分稀疏的,这往往会使得训练出来的模型过拟合,最后难以获得理想的推荐效果。为了解决这个问题,跨领域推荐系统应运而生。目前大部分的跨领域推荐系统工作都是借鉴传统领域自适应的方法,使用基于特征对齐或者对抗学习的思想将领域不变用户兴趣从有丰富数据的源域迁移到稀疏的目标域上,例如豆瓣电影迁移到豆瓣图书。但是由于不同推荐平台的网络结构有所不同,现有方法暴力提取的领域不变的语义信息容易和结构信息耦合,导致错配现象。而且,现有方法忽略了图数据本身存在的噪声,导致实验效果进一步受到了影响。为了解决这个问题,首先引入了图数据的因果数据生成过程,通过领域特征隐变量和语义特征隐变量、噪声隐变量解耦出来,通过使用每个节点的语义隐变量进行推荐,从而获得领域不变的推荐效果。在多个公开数据集上验证了该方法,并取得了目前最好的实验效果。     

基于直接高阶注意力和多尺度路由的图神经网络

图神经网络中的注意力机制在处理图结构化数据方面表现出优异的性能。传统的图注意力计算直接连接的节点之间的注意力,并通过堆叠层数隐式获取高阶信息。尽管在图注意力机制方面目前已有广泛的研究,但用于注意力计算的堆叠范式在建模远程依赖方面效果较差。为了提高表达能力,设计了一种新颖的直接注意力机制,这一机制通过K阶邻接矩阵直接计算高阶邻居之间的注意力。通过自适应路由聚合过程进一步传播高阶信息,这使得聚合过程更灵活地适应不同图的特性。在引文网络上的节点分类任务上进行了大量的实验。实验表明,该方法优于最先进的基线模型。     

基于FoxPRO的PAD图自动生成

本文主要介绍了ＰＡＤ图及基于ＦｏｘＰＲＯ语言的ＰＡＤ图的自动生成方法。     

问题生成研究综述

问题生成是给定文本,自动生成内容通顺、语义相关的自然语言问题.问题生成可应用于教育领域的阅读理解、辅助问答系统和对话系统,因此近年来引起了研究者的广泛关注和兴趣.该文对问题生成的相关研究进行了综述.首先阐释了问题生成的研究意义与应用场景,继而简略概述了基于规则的问题生成方法,然后从输入文本是句子/段落、有/无答案信息等...     

基于文章和近答案句信息的问题生成模型

自动问题生成任务旨在给文章中的一段文本生成相应的自然语言的问句,该研究在问答系统和语音助手的对话系统中有重要作用,可以帮助它们启动对话和继续对话.目前的神经网络问题生成模型主要是将包含答案的句子或者整篇文章作为模型的输入,而这些方法存在语义表示不能很好地结合句子和文章信息的问题.因此该文提出多输入层次注意力序列到序列的...     

结合问题类型及惩罚机制的问题生成

问题生成旨在理解输入端的语义,从而自动生成疑问句.该文主要解决目标答案可知的问题生成任务,输入为陈述句和目标答案,输出为疑问句,该疑问句的答案为给定的目标答案.为了提高问题类型的准确率,使问句的表述更确切,该文提出一种融合问题类型及惩罚机制的问题生成模型,首先使用预训练BERT模型对问题类型进行分类,得到对应问题类型的...     

融合预训练模型的中文知识图谱问题生成方法

基于知识图谱的问答方法旨在通过知识图谱的三元组检索和推断来对自然语言形式的问题进行解答.然而,现有中文知识图谱问答语料库存在规模较小,质量较差等问题,相关语料库构建方法亟待完善.因此,本文提出一种融合预训练模型的中文知识图谱问题生成方法,目标是以中文知识图谱三元组作为输入生成正确且多样的问题.该方法汲取了条件变分自编码...     

多跳式文本阅读理解方法综述

多跳阅读理解成为近年来自然语言理解领域的研究热点,与简单阅读理解相比,它更加复杂,需要面对如下挑战：(1)结合多处内容线索,如多文档阅读等;(2)具有可解释性,如给出推理路径等。为应对这些挑战,出现了各类不同的工作。因此该文综述了多跳式文本阅读理解这一复杂阅读理解任务,首先给出了多跳文本阅读理解任务的定义;由于推理是多跳阅读理解模型的基础能力,根据推理方式的不同,多跳阅读理解模型可以分为三类：基于结构化推理的多跳阅读理解模型、基于线索抽取的多跳阅读理解模型、基于问题拆分的多跳阅读理解模型,该文接下来比较分析了各类模型在常见多跳阅读理解模型任务数据集上的实验结果,发现这三类模型之间各有优劣。最后探讨了未来的研究方向。     

基于Graph Transformer的知识库问题生成

知识库问答依靠知识库推断答案,需要大量带标注信息的问答对,但构建大规模且精准的数据集不仅代价昂贵,还受领域等因素限制.为缓解数据标注问题,面向知识库的问题生成任务引起了研究者关注,该任务的特点是利用知识库三元组自动生成问题,但现有方法仅由一个三元组生成的问题过于简短,且缺乏多样性.为生成信息量丰富且多样化的问题,该文采...     

语义图驱动的面向复杂逻辑关系的自然语言问答

传统的基于知识库的问答难以处理具有复杂逻辑关系的自然语言问题,而此类问题在实际应用中广泛存在.为此,该文提出了语义图驱动的 自然语言问答框架.框架核心是用主链、支链、环结构等图形化结构及其拼接,表达领域中的事件及事件之间的语义关系.进一步的,构造语义图的线性编码形式,利用路径生成模型将复杂自然语言问题翻译成语义图的线性...     

基于密令位置信息特征的问题生成

问题生成是指在理解特定陈述句语义的前提下,自动地生成一条或多条关于该陈述句的问题。该文主要针对其中一项子任务开展研究,即一对一的问题生成(Point-wise Question Generation,PQG)。现有PQG研究,主要以端到端的序列化生成模型为框架,相应方法生成的问句,在流畅度方面已达到有限的可接受度(BlEU-4约13%)。尽管如此,现有方法缺乏语块一级的注意力建模,从而无法将“潜在提问对象”的语义独立且整体地纳入表示学习过程。这一不足往往负面影响解码端的问题类型预测和提问词估计。针对这一问题,该文提出了一种融合密令注意力机制的端对端PQG模型。其中,密令是对短语和语块一级的潜在答案的总体概括,其往往表现为陈述句中的一组连续的词项。在方法实现方面,该文在端对端架构的编码过程中,将密令的位置信息与全句语义信息进行融合,而在解码过程中,则加强了针对密令的注意力。实验采用SQuAD语料予以实施,测试结果显示,该文所提方法的性能优于现有主流模型,其获得的BLEU-4指标高于基准系统1.98%。