使用孪生注意力机制的生成对抗网络的研究

生成对抗网络(GAN)能够生成逼真的图像,已成为生成模型中的一个研究热点。针对生成对抗网络无法有效提取图像局部与全局特征间依赖关系以及各类别间的依赖关系,提出一种用于生成对抗网络的孪生注意力模型(TAGAN)。以孪生注意力机制为驱动,通过模拟局部与全局特征间的依赖关系以及各类别间依赖关系,对真实自然图像建模,创建逼真的非真实图像。孪生注意力机制包含特征注意力模型和通道注意力模型,特征注意力模型通过有选择地聚合特征,学习相似特征间的关联性,通道注意力模型通过整合各通道维度的相关特征,学习各通道的内部依赖关系。在MNIST、CIFAR10和CelebA64数据集上验证了所提出模型的有效性。     

基于生成对抗模型的异质信息网络语义表征方法研究

近些年,网络表示学习问题吸引了大量研究者的关注,而异构信息网络由于其丰富的结构语义信息及其广阔的应用领域,更是成为了网络表示学习领域的重中之重。目前面向异构信息网络的表示学习模型主要可以分为基于生成式模型的表示学习方法和基于判别式模型的表示学习方法,但是很少有工作同时结合两种模型进行表示学习的优化。该文提出了结合生成式模型和判别式模型的异构信息网络表示学习模型HINGAN,主要是将对抗生成思想融入异构信息网络表示学习过程中,达到优化网络表示结果的目的。该模型首先在元路径的引导下构建带权信息网络图,然后在带权图上计算更新构造的生成器和判别器参数,通过生成对抗的博弈思想来获取最大收益。在AMiner和DBLP两个真实学术图谱数据集上的实验结果表明,HINGAN在多标签分类、链路预测以及可视化方面都能比现在主流的网络表示方法取得更优的效果,并且HINGAN可以应用于大规模的异构网络数据的表示和计算。除此之外,该文还总结了已有研究成果并对未来研究可能面临的挑战进行了展望。     

自注意力机制的属性异构信息网络嵌入的商品推荐

基于异构信息网络嵌入的推荐技术能够有效地捕捉网络中的结构信息,从而提升推荐性能.然而现有的基于异构信息网络嵌入的推荐技术不仅忽略了节点的属性信息与节点间多种类型的边关系,还忽略了节点不同的属性信息对推荐结果不同的影响.为了解决上述问题,提出一个自注意力机制的属性异构信息网络嵌入的商品推荐(attributed heterogeneous information network embedding with self-attention mechanism for product recommendation, AHNER)框架.该框架利用属性异构信息网络嵌入学习用户与商品统一、低维的嵌入表示,并在学习节点嵌入表示时,考虑到不同属性信息对推荐结果的影响不同和不同边关系反映用户对商品不同程度的偏好,引入自注意力机制挖掘节点属性信息与不同边类型所蕴含的潜在信息并学习属性嵌入表示.与此同时,为了克服传统点积方法作为匹配函数的局限性,该框架还利用深度神经网络学习更有效的匹配函数解决推荐问题.AHNER在3个公开数据集上进行大量的实验评估性能,实验结果表明AHNER的可行性与有效性.     

基于注意力生成对抗网络的单幅图像去雨方法

下雨是一种常见的天气现象,而滞留在图像上的雨条纹降低了图像的清晰度以及影响了基于该图像的后续图像处理。从图像中去除雨的关键是如何准确、鲁棒地识别图像中的雨区域。使用导向滤波器和Haar小波变换组成的雨线提取模块来增强雨条纹特征提取,然后通过空间关注模块生成雨线注意力图,以准确定位雨条纹的位置。两者结合后,获得降雨条纹的前景信息再通过生成对抗网络训练机制中相互博弈的特征,可以增强雨条位置识别能力,并有效地去除雨条纹。在综合测试数据集和真实图像上进行实验,对比几种深度网络去雨方法,峰值信噪比（PSNR）和结构相似比（SSIM）都得到提升。实验表明,该网络具有出色的性能,对于不同的雨条纹密度具有较高的泛化能力同时可以更好地保持图像的原有信息,避免图像模糊现象。     

异质信息融合网络嵌入的注意力偏好推荐方法

基于异质信息网络的推荐方法已成为当前数据挖掘领域的研究热点。但传统基于异质信息网络的推荐方法多存在可解释性缺失和稀疏不一致性问题,导致无法充分挖掘用户潜在的偏好特征,且有效地进行特征融合。因此,提出了一种在异质信息网络中融合网络嵌入的注意力偏好推荐方法（MFFHINE）;利用对称元路径在刻画对象间语义关系上的优势,在对称元路径上随机游走进行网络嵌入来学习用户偏好特征。采用基于注意力机制的偏好权重融合策略将学习到的各个偏好特征有效融合,并将其集成到矩阵分解模型中。通过联合优化矩阵分解模型和融合函数,以进行最终的评分预测任务。在Douban和Yelp真实大规模数据集上对提出的算法进行实验分析。通过对各基准算法进行横向性能比较,在训练集比例、元路径设置、潜在因子维度等方面进行纵向比较。实验结果表明,MFFHINE性能提升显著。     

基于改进生成对抗网络的谣言检测方法

传统谣言检测算法存在提取文本语义、关键特征等效果不理想的问题,而一般序列模型在文本检测中无法解决特定语义下的特征提取,导致模型泛化能力差。为解决上述问题,该文提出一种改进的生成对抗网络模型(TGBiA)用于谣言检测,该模型采用对抗训练方式,符合谣言在传播过程中人为增删、夸大和歪曲信息的特点,通过对抗网络生成器和判别器的相互促进作用,强化谣言指示性特征的学习,不断提高模型的学习能力。训练过程中的生成器通过Transformer结构代替单一的RNN网络,实现语义的提取和特征的学习,同时,在训练过程中的判别器采用基于双向长短期记忆单元的深度网络分类模型,并引入注意力机制来提升对较长时间序列谣言的判断能力。在公开的微博和Twitter数据集上的实验结果表明,该文提出的方法比其他现有方法检测效果更好,鲁棒性更强。     

基于通道注意力与条件生成对抗网络的图像去雾

针对当前去雾方法存在雾残留、颜色失真等问题, 结合生成对抗网络在图像超分辨率重建的优势, 提出基于通道注意力与条件生成对抗网络图像去雾算法(CGAN-ECA). 网络基于编码-解码结构, 生成器设计多尺度残差模块(multi-scale residual block, MRBlk)和高效通道注意力模块(efficient channel attention, ECA)扩大感受野, 提取多尺度特征, 动态调整不同通道权重, 提高特征利用率. 使用马尔可夫判别器分块评价图像, 提高图像判别准确率. 损失函数增加内容损失, 减少去雾图像的像素和特征级损失, 保留图像更多的细节信息, 实现高质量的图像去雾. 在公开数据集RESIDE实验结果表明, 提出的模型相比于DCP、AOD-Net、DehazeNet和GCANet方法峰值信噪比和结构相似性分别平均提高36.36%, 8.80%, 改善了颜色失真和去雾不彻底的现象, 是一种有效的图像去雾算法.     

基于注意力机制的高容量通用图像隐写模型

随着深度学习与隐写技术的发展,深度神经网络在图像隐写领域的应用越发广泛,尤其是图像嵌入图像这一新兴的研究方向.主流的基于深度神经网络的图像嵌入图像隐写方法需要将载体图像和秘密图像一起输入隐写模型生成含密图像,而最近的研究表明,隐写模型仅需要秘密图像作为输入,然后将模型输出的含密扰动添加到载体图像上,即可完成秘密图像的嵌入过程.这种不依赖载体图像的嵌入方式极大地扩展了隐写的应用场景,实现了隐写的通用性.但这种嵌入方式目前仅验证了秘密图像嵌入和恢复的可行性,而对隐写更重要的评价标准,即隐蔽性,未进行考虑和验证.提出一种基于注意力机制的高容量通用图像隐写模型USGAN,利用注意力模块, USGAN的编码器可以在通道维度上对秘密图像中像素位置的扰动强度分布进行调整,从而减小含密扰动对载体图像的影响.此外,利用基于CNN的隐写分析模型作为USGAN的目标模型,通过与目标模型进行对抗训练促使编码器学习生成含密对抗扰动,从而使含密图像同时成为攻击隐写分析模型的对抗样本.实验结果表明,所提模型不仅可以实现不依赖载体图像的通用嵌入方式,还进一步提高了隐写的隐蔽性.     

一种基于GAN的异构信息网络表示学习方法

异构信息网络中包含丰富的结构和语义信息,通过网络表示学习保留异构信息网络的结构和语义信息是当前研究的热点。传统的异构信息网络表示学习方法局限于利用元路径的形式保留异构信息网络中的语义信息,缺乏考虑网络中所有节点的分布情况,保留的信息不够充分。因此,本文提出一种基于生成式对抗网络（Generative Adversarial Networks, GAN）的异构信息网络表示学习方法（HINGAN）,其能更好地保留网络中的结构信息和语义信息。HINGAN中通过生成模型和判别模型的对抗学习,提高表示学习的鲁棒性。基于2个真实数据集的实验结果表明,本文提出的模型与传统的异构信息网络方法相比,在节点分类和链接预测任务中的结果都有明显提升。     

An Extensible Heterogeneous Network Embedding Framework for Knowledge Tracing

Knowledge tracing is of great significance for providing better personalized learning guidance and has thus attracted extensive research attention in recent years. The task of knowledge tracing is to model students'' learning process on the basis of historical exercise records and trace students'' knowledge proficiency, thereby predicting students'' performance on future exercises or recommending exercises for better proficiency. Existing methods focus on either the skill level or the exercise level, ignoring the relationships among exercises and Knowledge Components (KCs). The classical single-factor models include the Deep Knowledge Tracing (DKT) {model} and the Dynamic Key-Value Memory Network (DKVMN) model. Although a few models, such as the Bayesian Knowledge Tracing (BKT) model and the Knowledge Proficiency Tracing (KPT) model, utilize the Q-matrix to improve model performance, most of them ignore the interaction among KCs, not to mention models that do not use the Q-matrix. Inspired by the recent success of network embedding, this paper presents a heterogeneous network embedding framework for knowledge tracing called HNEKT that takes both exercises and KCs into account. To adapt to the application of knowledge tracing, this paper also proposes several meta-paths to generate meaningful node sequences for network embedding. Besides, it explores other side information as well to improve the extensibility and effectiveness of the proposed model. Extensive experiments on three real-world datasets demonstrate the effectiveness of the HNEKT model.     

基于非递减时序随机游走的动态异质网络嵌入

网络嵌入是将高维网络映射到低维向量空间的一种表示学习方法.目前,人们对动态同质网络嵌入和静态异质信息网络嵌入已经开展了一些研究,但动态异质网络上的嵌入研究仍然较少.如果直接应用静态网络嵌入或动态同质网络嵌入方法来解决动态异质网络嵌入问题,会由于忽略网络的动态或异质特性而导致严重的信息丢失.因此,提出一种基于时间和类别约束随机游走的动态异质网络嵌入方法TNDE.该方法引入类别约束,能够解决动态异质网络中由于异质特性带来的语义信息保留问题.不同于其他动态网络中的时序随机游走,该方法采用非递减的时间约束来增量式地进行随机游走,能够解决网络同时具备动态和异质特性而引入的强语义局部结构上的边时间戳一致的挑战,避免游走时出现时间戳陷入的问题.通过对实时变化的增量游走和嵌入学习,TNDE提供了一种高效的在线表示学习算法.在3个真实数据集上的实验结果表明：该方法在不同特性的网络中具有良好的通用性.与目前最先进方法相比,能够得到下游链路预测和节点分类任务中2.4%~92.7%的准确度提升,显著提高了嵌入质量,并在保证良好嵌入质量的前提下,缩短算法运行时间12.5%~99.91%.     

Finding Communities by Decomposing and Embedding Heterogeneous Information Network

Community discovery is an important task in social network analysis.However,most existing methods for community discovery rely on the topological structure alone.These methods ignore the rich information available in the content data.In order to solve this issue,in this paper,we present a community discovery method based on heterogeneous information network decomposition and embedding.Unlike traditional methods,our method takes into account topology,node content and edge content,which can supply abundant evidence for community discovery.First,an embedding-based similarity evaluation method is proposed,which decomposes the heterogeneous information network into several subnetworks,and extracts their potential deep representation to evaluate the similarities between nodes.Second,a bottom-up community discovery algorithm is proposed.Via leader nodes selection,initial community generation,and community expansion,communities can be found more efficiently.Third,some incremental maintenance strategies for the changes of networks are proposed.We conduct experimental studies based on three real-world social networks.Experiments demonstrate the effectiveness and the efficiency of our proposed method.Compared with the traditional methods,our method improves normalized mutual information(NMI)and the modularity by an average of 12%and 37%respectively.     

Adversarial network embedding using structural similarity

Network embedding which aims to embed a given network into a low-dimensional vector space has been proved effective in various network analysis and mining tasks such as node classification,link prediction and network visualization.The emerging network embedding methods have shifted of emphasis in utilizing mature deep learning models.The neural-network based network embedding has become a mainstream solution because of its high eficiency and capability of preserv-ing the nonlinear characteristics of the network.In this paper,we propose Adversarial Network Embedding using Structural Similarity(ANESS),a novel,versatile,low-complexity GAN-based network embedding model which utilizes the inherent vertex-to-vertex structural similarity attribute of the network.ANESS learns robustness and ffective vertex embeddings via a adversarial training procedure.Specifically,our method aims to exploit the strengths of generative adversarial networks in generating high-quality samples and utilize the structural similarity identity of vertexes to learn the latent representations of a network.Meanwhile,ANESS can dynamically update the strategy of generating samples during each training iteration.The extensive experiments have been conducted on the several benchmark network datasets,and empirical results demon-strate that ANESS significantly outperforms other state-of-theart network embedding methods.     

基于生成式对抗网络的通用性对抗扰动生成方法

深度神经网络在图像分类应用中具有很高的准确率,然而,当在原始图像中添加微小的对抗扰动后,深度神经网络的分类准确率会显著下降。研究表明,对于一个分类器和数据集存在一种通用性对抗扰动,其可对大部分原始图像产生攻击效果。文章设计了一种通过生成式对抗网络来制作通用性对抗扰动的方法。通过生成式对抗网络的训练,生成器可制作出通用性对抗扰动,将该扰动添加到原始图像中制作对抗样本,从而达到攻击的目的。文章在CIFAR-10数据集上进行了无目标攻击、目标攻击和迁移性攻击实验。实验表明,生成式对抗网络生成的通用性对抗扰动可在较低范数约束下达到89%的攻击成功率,且利用训练后的生成器可在短时间内制作出大量的对抗样本,利于深度神经网络的鲁棒性研究。     

基于PPMI的异质属性网络嵌入

属性网络嵌入旨在映射网络中的节点和链接关系到低维空间,同时保留其固有的结构和属性特征.异质属性网络中多种类型的节点和链接关系给网络嵌入学习提供了丰富的辅助信息,同时也带来了新的挑战.提出异质属性网络嵌入模型(heterogeneous attribute network embedding based on the PPMI, HANEP),旨在将网络中多种类型的节点和(或)多种类型的链接关系映射到低维、紧凑的空间,同时保护节点的属性特征和不同类型对象之间的异质链接承载的复杂、多样且丰富的语义信息.HANEP模型首先基于样本属性的相似性构建属性图、依据元路径抽取异质属性网络的拓扑结构,然后通过随机冲浪获得属性和拓扑概率共现(probabilistic co-occurrence, PCO)矩阵,并计算其正点对互信息(positive point-wise mutual information, PPMI),进而采用多个自编码器(auto-encoder, AE)捕捉节点属性和异质链接的本质信息.元路径可以捕捉异质网络中多种类型节点间的链接关系,构建属性图可以清晰描述节点属性的非线性流行结构,属性和拓扑的局部成对约束和图表示有助于整合节点属性和网络拓扑的一致性和互补性关系,PPMI表示可以捕捉属性和拓扑的高阶近邻信息及潜在的复杂非线性关系.在3个真实数据集上的实验结果验证了HANEP算法的有效性.     

基于注意力生成对抗网络的图像超分辨率重建方法

针对现有基于深度学习的图像超分辨率重建方法,其对细节纹理恢复过程中容易产生伪纹理,并且没有充分利用原始低分辨率图像丰富的局部特征层信息的问题,提出一种基于注意力生成对抗网络的超分辨率重建方法.该方法中生成器部分是通过注意力递归网络构成,其网络中还引入了密集残差块结构.首先,生成器利用自编码结构提取图像局部特征层信息,并提升分辨率;然后,通过判别器进行图像修正,最终将图像重建为高分辨率图像.实验结果表明,在多种面向峰值信噪比超分辨率评价方法的网络中,所设计的网络表现出了稳定的训练性能,改善了图像的视觉质量,同时具有较强的鲁棒性.     

基于生成对抗网络的图像修复算法

为解决当前基于生成对抗网络的深度学习网络模型在面对较复杂的特征时存在伪影、纹理细节退化等现象, 造成视觉上的欠缺问题, 提出了连贯语义注意力机制与生成对抗网络相结合的图像修复改进算法. 首先, 生成器使用两阶段修复方法, 用门控卷积替代生成对抗网络的普通卷积, 引入残差块解决梯度消失问题, 同时引入连贯语义注意力机制提升生成器对图像中重要信息和结构的关注度; 其次, 判别器使用马尔可夫判别器, 强化网络的判别效果, 将生成器输出结果进行反卷积操作得到最终修复后的图片. 通过修复结果以及图像质量评价指标与基线算法进行对比, 实验结果表明, 该算法对缺失部分进行了更好地预测, 修复效果有了更好的提升.     

基于生成对抗网络的高照度可见光图像生成

为解决夜间低照度条件下目标检测准确率偏低的问题,提出一种基于循环生成对抗网络的高照度可见光图像生成方法。为提高生成器提取特征的能力,在转换器模块引入CBAM注意力模块;为避免在生成图像中产生伪影的噪声干扰,把生成器解码器的反卷积方式改为最近邻插值加卷积层的上采样方式;为了提高网络训练的稳定性,把对抗损失函数由交叉熵函数换为最小二乘函数。生成的可见光图像与红外图像、夜间可见光图像相比,在光谱信息、细节信息丰富和可视性方面取得好的优势提升,能够有效地获取目标和场景的信息。分别通过图像生成指标和目标检测指标验证该方法的有效性,其中对生成可见光图像测试得到的mAP较红外图像和真实可见光图像分别提高了11.7个百分点和30.2个百分点,可以有效提高对夜间目标的检测准确率和抗干扰能力。     

基于元图卷积的异质网络嵌入学习算法

异质网络嵌入是将异质网络中丰富的结构和语义信息嵌入到低维的节点表示中.图卷积网络是处理网络数据的一种有效方法,当前也被用于研究异质网络的多类型节点和多维关系的表示问题,现有的图卷积网络模型主要采用元路径来表示不同类型节点间的一种语义关系.然而,孤立的单条元路径无法准确地反映节点间的复杂语义,即不能充分利用节点间存在的多种高阶间接语义关系.针对上述问题,提出了一种基于元图卷积的异质网络嵌入学习算法MGCN(meta-graph convolutional network),包括基于元图的异构邻接矩阵计算以及学习节点的嵌入表示2个阶段,基于元图的异构邻接矩阵设计了融合多条元路径上的不同语义的计算方法,能够挖掘节点间的高阶间接关系,通过异构邻接矩阵的计算,能够聚合节点邻域特征为统一模式,此种卷积学习降低了图卷积方法的嵌入维数,从而减少了计算时间.在2个公开的异质网络数据集上进行社会计算基础研究任务的实验表明,MGCN在节点分类、聚类任务上比基线模型有更好的性能且需更少的训练时间.     

面向HIN基于多视角嵌入融合的推荐方法

由于异构信息网络具有丰富的语义信息而在推荐任务中得到广泛应用.传统的面向异构信息网络的推荐方法忽略了网络中关联关系的异质性,以及不同关联类型之间的相互影响.本文提出了一种基于多视角嵌入融合的推荐模型,分别从同质关联视角和异质关联视角来挖掘异构信息网络的深层潜在特征并加以融合,有效地保证了推荐结果的准确性.针对同质关联视角,提出了一种基于图卷积神经网络的嵌入融合方法,通过对同质关联作用下节点邻域信息的轻量式卷积,实现节点嵌入的局部融合.针对异质关联视角,提出了一种基于注意力的嵌入融合方法,利用注意力机制来区分不同关联类型对节点嵌入的影响,实现节点嵌入的全局融合.通过实验验证了本文所提出的关键技术的可行性和有效性.