基于特征和图结构信息增强的多教师学习图神经网络

近年来,图神经网络对图数据强大的表征能力和建模能力使其在诸多领域广泛应用并取得了重大突破。然而,现有模型往往倾向于对图卷积聚合策略和网络结构进行优化,缺乏了对图数据自身先验知识的探索。针对上述问题,通过知识蒸馏的方法,设计了一种基于特征信息和结构信息增强的多教师学习图神经网络,打破了现有模型对于数据先验知识提取的局限性。针对图数据背后所蕴涵的丰富特征与结构信息,分别设计了节点特征和边的数据增强方式。在此基础上,将原始数据和增强后的数据通过多教师学习模块进行知识嵌入,使得学生模型学习到更多关于数据的先验知识。在Cora、Citeseer和PubMed数据集上,节点分类准确率分别提升了1%、1.3%、1.1%。实验结果表明,提出的信息增强的多教师学习模型能够有效地捕获先验知识。     

基于元学习和图滤波器的节点分类研究

深度学习在提取数据特征方面取得了巨大的成功,尤其是在处理节点间关系信息丰富的图数据时,通过在频域上使用图滤波器进行图卷积操作,设计出了多种图神经网络。这些图神经网络主要关注设计固定的滤波器或学习简单的滤波器,但这种对滤波器的简化可能会导致滤波器不能适用于所有的图数据。为了解决上述问题,提出了一种基于元学习和图滤波器的节点分类模型MGCN,以提高图滤波器的普适性。模型利用元学习为图卷积神经网络(GCN)的滤波器学习了一组初始化权重,在对滤波器的权重进行微调之后,模型可以快速地适应新任务。为了验证MGCN的有效性,在6个基线数据集上进行了大量实验。实验结果表明,提出的模型相比于传统图神经网络模型可以适用于更加广泛的图数据。     

基于梯度结构的图神经网络对抗攻击

图神经网络在半监督节点分类任务中取得了显著的性能. 研究表明, 图神经网络容易受到干扰, 因此目前已有研究涉及图神经网络的对抗鲁棒性. 然而, 基于梯度的攻击不能保证最优的扰动. 提出了一种基于梯度和结构的对抗性攻击方法, 增强了基于梯度的扰动. 该方法首先利用训练损失的一阶优化生成候选扰动集, 然后对候选集进行相似性评估, 根据评估结果排序并选择固定预算的修改以实现攻击. 通过在5个数据集上进行半监督节点分类任务来评估所提出的攻击方法. 实验结果表明, 在仅执行少量扰动的情况下, 节点分类精度显著下降, 明显优于现有攻击方法.     

GSO:基于图神经网络的深度学习计算图子图替换优化框架

深度学习在各种实际应用中取得了巨大成功,如何有效提高各种复杂的深度学习模型在硬件设备上的执行效率是该领域重要的研究内容之一.深度学习框架通常将深度学习模型表达为由基础算子构成的计算图,为了提高计算图的执行效率,传统的深度学习系统通常基于一些专家设计的子图替换规则,采用启发式搜索算法来优化计算图.它们的不足主要有:1)搜...     

一种面向图神经网络的图重构防御方法

近年来,图神经网络在图表示学习领域中取得了较好表现广泛应用于日常生活中,例如电子商务、社交媒体和生物学等.但是研究表明,图神经网络容易受到精心设计的对抗攻击迷惑,使其无法正常工作.因此,提高图神经网络的鲁棒性至关重要.已有研究提出了一些提高图神经网络鲁棒性的防御方法,然而如何在确保模型主任务性能的前提下降低对抗攻击的攻击成功率仍存在挑战.通过观察不同攻击产生的对抗样本发现,对抗攻击生成的对抗连边所对应的节点对之间通常存在低结构相似性和低节点特征相似性的特点.基于上述发现,提出了一种面向图神经网络的图重构防御方法GRD-GNN,分别从图结构和节点特征考虑,采用共同邻居数和节点相似度2种相似度指标检测对抗连边并实现图重构,使得重构的图结构删除对抗连边,且添加了增强图结构关键特征的连边,从而实现有效防御.最后,论文在3个真实数据集上展开防御实验,验证了GRD-GNN相比其他防御方法均能取得最佳的防御性能,且不影响正常图数据的分类任务.此外,利用可视化方法对防御结果做解释,解析方法的有效性.     

基于神经网络集成学习的智能决策支持系统构建

传统DSS与一直无法较好地解决实际决策问题,特别是难以对复杂环境和复杂问题进行有效的决策和求解。集成学习通过重复采样可产生个体学习器之间差异度,从而提高个体学习器的泛化能力。神经网络集成学习方法简单效果明显,可显著提高系统的泛化能力。该文将神经网络集成技术应用到DSS中,对基于神经网络集成方法的智能决策支持系统体系进行了构建。     

基于特征选择的神经网络集成研究

本文提出了一种基于交叉验证和ReliefF的神经网络集成学习算法(CVRNNEn算法),首先利用交叉验证选取个体网络的训练数据集,然后再对每个训练集进行特征选择,来降低数据集的规模,减少相关性低的特征的对个体网络预测结果的干扰,提高了个体网络的预测精度和个体网络之间的差异度。算法代码在weka3.5.6平台上实现,通过在UCI数据集上仿真实验,和单个RBF网络的预测结果进行比较,得出CVRNNEn算法预测性能更优,从实验上证实了该算法在预测性能上的优势。     

基于神经网络集成的舌苔分类方法

提出一种基于神经网络集成的舌苔自动分类方法。该方法把经单独训练的具有一定差异度的单个BP神经网络加以集成，构成舌苔分类器。试验结果表明，该分类器比现有的舌苔分类方法识别率更高、分类更细、更符合中医舌诊要求。     

基于模糊积分的多神经网络集成信息融合

使用模糊积分实现集成神经网络中的子分类器信息融合,提出一种更加有效和全面的模糊密度,用于模糊积分的计算。以双螺旋分类问题为实验对象,使用集成神经网络实现具有较高正确率的分类方法,对神经网络集成的有效性和各类参数的设定作实验分析,并通过多种模糊密度的比较数据说明该模糊密度函数的有效性。     

基于神经网络集成的强化学习算法系统设计

BP神经网络在目前的非线性系统中应用广泛,但是作为有导师的学习系统,BP神经网络必须要求提供相关的经验数据才能正常运行,这对一般系统来说是非常麻烦和不现实的。对此文章提出了一种基于神经网络集成的强化学习BP算法,通过强化学习体系来实现体统的自学习,通过网络集成来达到初始数据的预处理,提高系统的泛化能力,并在实际应用中取得较好的效果。     

A new genetic feature selection with neural network ensemble

A neural network ensemble is a learning paradigm in which a finite collection of neural networks is trained for the same task. Ensembles generally show better classification and generalization performance than a single neural network does. In this paper, a new feature selection method for a neural network ensemble is proposed for pattern classification. The proposed method selects an adequate feature subset for each constituent neural network of the ensemble using a genetic algorithm. Unlike the conventional feature selection method, each neural network is only allowed to have some (not all) of the considered features. The proposed method can therefore be applied to huge-scale feature classification problems. Experiments are performed with four databases to illustrate the performance of the proposed method.     

基于节点相似性的图注意力网络表示学习模型

图注意力网络(GAT)通过注意力机制聚合节点的邻居信息以提取节点的结构特征,然而并没有考虑网络中潜在的节点相似性特征。针对以上问题,提出了一种考虑网络中相似节点的网络表示学习方法NSGAN。首先,在节点层面上,通过图注意力机制分别学习相似网络和原始网络的结构特征;其次,在图层面上,将两个网络对应的节点嵌入通过基于图层面的注意力机制聚合在一起,生成节点最终的嵌入表示。在三个数据集上进行节点分类实验,NSGAN比传统的图注意力网络方法的准确率提高了约2%。     

关键点图对比图像分类方法

深度学习是目前图像分类的主流方法之一,其重视感受野内的局部信息,却忽略了类别的先验拓扑结构信息。本文提出了一种新的图像分类方法,即Key-D-Graph,这是基于关键点的图对比网络方法,在识别图像类别时可以显式地考虑拓扑先验结构。具体地,图像分类需要2个步骤,第一步是基于关键点构建图像的图表达,即采用深度学习方法识别图像中目标类别的可能关键点,并采用关键点坐标生成图像的拓扑图表达;第二步基于关键点的图像图表达建立图对比网络,以估计待识别图与目标类别之间的结构差异,实现类别判断,该步骤利用了物体的拓扑先验结构信息,实现了基于图像全局结构信息的物体识别。特别的,Key-D-Graph的中间输出结果为类别关键点,具有语义可解释性,便于在实际应用中对算法逐步分析调试。实验结果表明,提出的方法可在效率和精度上超过主流方法,且通过消融实验分析验证了拓扑结构在分类中的作用机制和有效性。     

基于异构动态图模型的社交网络节点分类方法

在机器学习领域,与传统的神经网络相比,图神经网络在社交推荐等任务中发挥着越来越重要的作用,但是目前工作中大多数都使用静态图.针对现有静态图神经网络方法难以考虑社交用户动态特性的问题,通过引入动态图模型提出了一种基于异构动态图模型的社交网络节点分类方法.该方法在动态图建模的基础上,通过基于点边交互的节点特征更新机制和基于循环神经网络的时序聚合方法,实现了高效的动态社交网络节点分类.在多个真实数据集上的实验结果表明,提出方法在动态社交网络数据的节点分类方面有较好的效果,对比静态图和动态图的基准方法有显著的提升.     

基于知识图谱驱动的图神经网络推荐模型

知识图谱(KG)蕴含丰富的结构与关联信息,不仅可以缓解推荐系统中数据稀疏、冷启动等问题,还可以更准确地进行个性化推荐,因此提出一种基于知识图谱驱动的端到端图神经网络推荐模型KGLN.首先使用单层神经网络框架对图中单个节点进行特征融合,并加入影响因子来改变不同邻居实体的聚合权重;然后通过迭代的方式将单层扩展到多层,使实体...     

A feed forward deep neural network model using feature selection for cloud intrusion detection system

The rapid advancement and growth of technology have rendered cloud computing services indispensable to our activities. Threats and intrusions have since multiplied exponentially across a range of industries. In such a scenario, the intrusion detection system, or simply the IDS, is deployed on the network to monitor and detect any attacks. The paper proposes a feed-forward deep neural network (FFDNN) method based on deep learning methodology using a filter-based feature selection model. The feature selection strategy aims to determine and select the most highly relevant subset of attributes from the feature importance score for training the deep learning model. Three benchmark data sets were used to assess the experiment: CIC-IDS 2017, UNSW-NB15, and NSL-KDD. In order to justify the proposed technique, a comparison was done using other learning algorithms ranging from classical machine learning to ensemble learning methods that can detect various attacks. The experiments showed that the FFDNN model with reduced feature subsets gave the highest accuracy of 99.53% and 94.45% in the NSL-KDD and UNSW-NB15 data sets, while the ensemble-based XGBoost model performed better in the CIC-IDS 2017 data set. In addition, the results show that the overall accuracy, recall, and F1 score of the deep learning algorithm are generally better for all the data sets.     

Multivariate time series prediction of complex systems based on graph neural networks with location embedding graph structure learning

Graph convolutional neural networks (GNNs) have an excellent expression ability for complex systems. However, the smoothing hypothesis based GNNs have certain limitations for complex process industrial systems with high dynamics and noisy environment. In addition, it is difficult to obtain an accurate information about the interconnections of sensor networks in manufacturing systems, which brings challenges to the application of GNNs. This paper introduces a graph convolution filter with a serial alternating structure of low-pass filter and high-pass filter to alleviate the problem of node feature loss. Furthermore, we propose a simple and effective method to learn graph structure information during training. This method combines the advantages of graph structure learning based on metric method and direct optimization method. Finally, a spatiotemporal parallel feature extraction framework for multivariate time series prediction is constructed. Experiments are carried out on real industrial datasets, and the results demonstrate the effectiveness of the model.     

Ensemble of hybrid neural network learning approaches for designing pharmaceutical drugs

Designing drugs is a current problem in the pharmaceutical research. By designing a drug we mean to choose some variables of drug formulation (inputs), for obtaining optimal characteristics of drug (outputs). To solve such a problem we propose an ensemble of three learning algorithms namely an evolutionary artificial neural network, Takagi-Sugeno neuro-fuzzy system and an artificial neural network. The ensemble combination is optimized by a particle swarm optimization algorithm. The experimental data were obtained from the Laboratory of Pharmaceutical Techniques of the Faculty of Pharmacy in Cluj-Napoca, Romania. Bootstrap techniques were used to generate more samples of data since the number of experimental data was low due to the costs and time durations of experimentations. Experiment results indicate that the proposed methods are efficient.     

递归式多阶特征融合图像超分辨率算法

目的 近年来,卷积神经网络在解决图像超分辨率的问题上取得了巨大成功,不同结构的网络模型相继被提出。通过学习,这些网络模型对输入图像的特征进行抽象、组合,进而建立了从低分辨率的输入图像到高分辨率的目标图像的有效非线性映射。在该过程中,无论是图像的低阶像素级特征,还是高阶各层抽象特征,都对像素间相关性的挖掘起了重要作用,影响着目标高分辨图像的性能。而目前典型的超分辨率网络模型,如SRCNN（super-resolution convolutional neural network）、VDSR（very deep convolutional networks for super-resolution）、LapSRN（Laplacian pyramid super-resolution networks）等,都未充分利用这些多层次的特征。方法 提出一种充分融合网络多阶特征的图像超分辨率算法：该模型基于递归神经网络,由相同的单元串联构成,单元间参数共享;在每个单元内部,从低阶到高阶的逐级特征被级联、融合,以获得更丰富的信息来强化网络的学习能力;在训练中,采用基于残差的策略,单元内使用局部残差学习,整体网络使用全局残差学习,以加快训练速度。结果 所提出的网络模型在通用4个测试集上,针对分辨率放大2倍、3倍、4倍的情况,与深层超分辨率网络VDSR相比,平均分别能够获得0.24 dB、0.23 dB、0.19 dB的增益。结论 实验结果表明,所提出的递归式多阶特征融合图像超分辨率算法,有效提升了性能,特别是在细节非常丰富的Urban100数据集上,该算法对细节的处理效果尤为明显,图像的客观质量与主观质量都得到显著改善。