基于图卷积网络和自编码器的半监督网络表示学习模型

为了保留网络结构信息和节点特征信息,结合图卷积神经网络(GCN)和自编码器(AE),提出可扩展的半监督深度网络表示学习模型(Semi-GCNAE).利用GCN捕获节点的K阶邻域中所有节点的结构和特征信息,并将捕获的信息作为AE的输入.AE对GCN捕获的K阶邻域信息进行特征提取和非线性降维,并结合Laplacian特征映射保留节点的团簇结构信息.引入集成学习方法联合训练GCN和AE,使模型习得的节点低维向量表示能同时保留网络结构信息和节点特征信息.在5个真实数据集上的广泛评估表明,文中模型习得的节点低维向量表示可以有效保留网络的结构和节点特征信息,并在节点分类、可视化和网络重构任务上性能较优.     

基于融合元路径图卷积的异质网络表示学习

近年来,网络表示学习(Network Representation Learning,NRL)作为一种在低维空间中表示节点来分析异质信息网络(Heterogeneous Information Networks,HIN)的有效方法受到越来越多的关注。基于随机游走的方法是目前网络表示学习常用的方法,然而这些方法大多基于浅层神经网络,难以捕获异质网络结构信息。图卷积神经网络(Gragh Convolutional Network,GCN)是一种流行的能对图进行深度学习的方法,能够更好地利用网络拓扑结构,但目前的GCN设计针对的是同质信息网络,忽略了网络中丰富的语义信息。为了有效地挖掘异质信息网络中的语义信息和高度非线性的网络结构信息,进而提高网络表示的效果,文中提出了一种基于融合元路径的图卷积异质网络表示学习算法(MG2vec)。该算法首先通过基于元路径的关联度量方法来获取异质信息网络中丰富的语义信息;然后采用图卷积神经网络进行深度学习,捕捉节点和邻居节点的特征,弥补浅层模型捕捉网络结构信息能力不足的缺陷,从而实现将丰富的语义信息和结构信息更好地融入低维的节点表示中。在数据集DBLP和IM...     

基于邻域选择策略的图卷积网络模型

邻域的组成对于基于空间域的图卷积网络（GCN）模型有至关重要的作用。针对模型中节点邻域排序未考虑结构影响力的问题,提出了一种新的邻域选择策略,从而得到改进的GCN模型。首先,为每个节点收集结构重要的邻域并进行层级选择得到核心邻域;然后,将节点及其核心邻域的特征组成有序的矩阵形式;最后,送入深度卷积神经网络（CNN）进行半监督学习。节点分类任务的实验结果表明,该模型在Cora、Citeseer和Pubmed引文网络数据集中的节点分类准确性均优于基于经典图嵌入的节点分类模型以及四种先进的GCN模型。作为一种基于空间域的GCN,该模型能有效运用于大规模网络的学习任务。     

基于改进图注意机制的网络嵌入方法研究及应用

网络已被广泛用作抽象现实世界系统以及组织实体之间关系的数据结构;网络嵌入模型是将网络中的节点映射为连续向量空间表示的强大工具;基于图卷积(GCN,graph convolutional neural, GCN)的网络嵌入方法因受其模型迭代过程参数随机优化和聚合函数的影响,容易造成原始节点特征信息丢失的问题;为有效提升网络嵌入效果,针对于图神经网络模型在网络嵌入中节点表征学习的局限性,提出了一种基于二阶邻域基数保留策略的图注意力网络(SNCR-GAT,second-order neighborhood cardinality retention strategy graph attention network),通过聚合二阶邻域特征基数的方式,解决网络节点潜在特征学习过程中重要信息保留问题;通过在节点分类和可视化两个网络嵌入应用任务上进行实验,结果表明,SNCR-GAT模型在网络嵌入上的性能表现相比较基准方法更具优越性。     

基于重叠分片法的网络顽健性动态增强仿真

针对网络顽健性动态增强过程网络区域划分不均,导致增强效率低和能耗高的问题,提出基于重叠分片法的网络顽健性动态增强方法。计算最优簇首数量,确定非测距定位技术和测距定位技术对节点的位置,利用节点位置划分网络区域。将事件信息传送到汇聚节点过程中存在的偏差,与自适应最小均方误差滤波算法和时空相关理论相结合,建立节点数据优化模型和通信频率优化模型,确定传递事件信息的最佳通信频率和最少激活节点总数,实现网络顽健性的动态增强。仿真结果表明,所提方法的增强效率高、能耗低且能有效反应网络不稳定节点输出的动态信号。     

基于多粒度结构的网络表示学习

图卷积网络（GCN）能够适应不同结构的图,但多数基于GCN的方法难以有效地捕获网络的高阶相似性。简单添加卷积层将导致输出特征过度平滑并使它们难以区分,而且深层神经网络更难训练。本文选择将网络的多粒度结构和图卷积网络结合起来用于学习网络的节点特征表示,提出基于多粒度结构的网络表示学习方法Multi-GS。首先,基于模块度聚类和粒计算思想,用分层递阶的多粒度空间替代原始的单层网络拓扑空间;然后,利用GCN模型学习不同粗细粒度空间中粒的表示;最后,由粗到细将不同粒的表示组合为原始空间中节点的表示。实验结果表明:Multi-GS能够捕获多种结构信息,包括一阶和二阶相似性、社团内相似性（高阶结构）和社团间相似性（全局结构）。在绝大多数情况下,使用多粒度的结构可改善节点分类任务的分类效果。     

基于注意力与图卷积网络的关系抽取模型

针对关系抽取任务中句子依存树的信息利用率低和特征提取效果不佳的问题,提出了一种基于注意力引导的门控感知图卷积网络(Att-Gate-GCN)模型.首先,利用一种基于注意力机制的软剪枝策略,通过注意力机制为依存树中的边分配权重,以挖掘依存树中的有效信息,同时过滤无用信息;其次,构建一种门控感知图卷积网络(GCN)结构,通...     

基于图神经网络的机会网络节点重要度评估方法

机会网络(opportunistic network)是一种利用节点移动的相遇机会实现通信的自组织网络,机会式的通信方式导致其具有时变性与动态性,节点重要度的评估是研究机会网络信息传播的关键.提出一种基于图神经网络的机会网络节点重要度评估方法.将机会网络进行时间切片,对得到的机会网络单元采用聚合图建模,以表征网络信息;采用动态网络嵌入模型提取机会网络单元间的时序变化信息、拓扑结构信息,得到网络的动态属性特征;借助图神经网络(graph neural network, GNN)在图数据处理上的优势,获得网络动态属性特征与节点重要度之间的映射关系,实现节点重要度的评估.在3个真实机会网络数据集MIT,Haggle,Asturias-er上的实验结果表明：相比于时效介数(temporal betweeness, TB)方法、时效度(temporal degree, TD)方法、时效PageRank(temporal PageRank和f-PageRank)方法以及kshell-CN方法,该方法具有更快的消息传播速率和更大的消息覆盖范围,其SIR和NDCG@10指标更优.     

融合知识图谱和图注意力网络的引文推荐算法

针对传统协同过滤（CF）中的数据稀疏和冷启动问题，以及元路径、随机游走算法没有充分利用节点信息的问题，提出融合知识图谱和图注意力网络的引文推荐算法（C-KGAT）。首先，使用TransR算法将知识图谱信息映射为低维稠密向量，以获取节点的嵌入特征表示；其次，利用图注意力网络通过多通道融合机制聚合邻居节点信息以丰富目标节点的语义，并捕获节点间高阶连通性；接着，在不影响网络的深度或宽度的情况下，引入动态卷积层动态地聚合邻居节点信息以提升模型的表达能力；最后，通过预测层计算用户和引文的交互概率。在公开数据集AAN(ACL Anthology Network)和计算机科学文献库（DBLP）上的实验结果表明，所提算法的效果优于所有对比模型，所提算法的MRR(Mean Reciprocal Rank)相较于次优模型NNSelect分别提升了6.0和3.4个百分点，所提算法的精确率和召回率指标也有不同程度的提升，验证了算法的有效性。     

优化无线传感器网络寿命的动态路由算法

针对多跳无线传感器网络能量受限的特点,以提高网络寿命为目标,建立基于最大最小节点寿命的线性规划网络模型。当传感器节点失效时,根据网络的拓扑结构动态更新节点的路由。仿真分析结果表明：基于网络拓扑结构变化动态更新节点路由的方法能够拓展网络寿命,大幅度地增加基站接收信息的数量和提高节点能量的使用效率。     

An optimized long short-term memory network based fault diagnosis model for chemical processes

With the development of the chemical industry, fault diagnosis of chemical processes has become a challenging problem because of the high-dimensional data and complex time correlation caused by the more complex chemical processes and increasing number of equipment. However, the ordinary feedforward neural network cannot solve these problems very well. Therefore, this paper proposes a fault diagnosis model based on the optimized long short-term memory (LSTM) network. Since the number of hidden layer nodes in the LSTM network has a great influence on the diagnosis result, the link of determining the optimal number of hidden layer nodes by the iterative method based on the LSTM network is added. Then the LSTM is optimized to get higher chemical process fault diagnosis accuracy. Finally, through the simulation experiment of the Tennessee Eastman (TE) chemical process, the results verify that the optimized LSTM network has better performance in chemical process fault diagnosis than the BP neural network, the multi-layer perceptron method and the original LSTM network.     

基于自注意力长短期记忆网络的Web软件系统实时剩余寿命预测方法

为了能够实时准确对Web软件系统的剩余使用寿命（RUL）进行预测,考虑Web系统健康状态性能指标的时序特性和指标间的相互依赖特性,提出了一种基于自注意力长短期记忆（Self-Attention-LSTM）网络的Web软件系统实时剩余寿命预测方法。首先,搭建加速寿命测试实验平台来收集反映Web软件系统老化趋势的性能指标数据;然后,根据该性能指标数据的时序特性来构建长短期记忆（LSTM）循环神经网络以提取性能指标的隐含层特征,并使用自注意力机制建模特征间的依赖关系;最后,得到系统RUL的实时预测值。在三组测试集上,把所提模型与反向传播（BP）网络和常规的循环神经网络（RNN）做了对比。实验结果表明,所提模型的平均绝对误差（MAE）比长短期记忆（LSTM）网络平均低16.92%,相对准确率（Accuracy）比LSTM网络平均高5.53%,验证了Self-Attention-LSTM网络剩余寿命预测模型的有效性。可见所提方法能为优化系统抗衰决策提供技术支撑。     

基于GRU-LSTM组合模型的云计算资源负载预测研究

日益增多的应用部署在云端使得云数据中心的功耗波动剧烈,从而导致云数据中心资源利用率不平衡,高效的负载预测是解决该问题的关键技术。针对目前负载预测模型预测精度低、预测时间长的问题,建立一种基于门控循环单元（GRU）与长短期记忆（LSTM）网络的组合预测模型GRU-LSTM。该模型的网络结构包括3层,第一层采用GRU,利用GRU参数少、易收敛的特点减少模型训练时间,第二、第三层采用LSTM,结合LSTM参数多的优势提高模型的预测精度。在此基础上,对数据集作缺失值处理和标准化处理,使用随机森林算法对原始序列进行特征选择后得到一组新的序列值,将该序列值作为GRU-LSTM组合预测模型的输入,以对云计算资源进行高效预测。在集群公开数据集Cluster-trace-v2018上进行实验,结果表明,与传统的单一预测模型ARIMA、LSTM、GRU以及现有的组合预测模型ARIMA-LSTM、Refined LSTM等相比,GRU-LSTM模型预测结果的均方误差减少6~9,预测时间平均缩短约10%。     

单时序特征图卷积网络融合预测方法

近年来,图神经网络逐渐成为深度学习领域广泛讨论的话题和研究的重点,但大多数研究都是基于图节点,在存在多维属性的前提下进行分类和回归预测,对单时序特征的图节点预测并不能产生理想的效果。本文提出一种时序图卷积网络算法,可以在复杂图网络中,只根据节点单一特征的时序序列,实现对该特征的预测。算法通过在传统图卷积网络中对邻接矩阵参数化,解决单一特征条件下的参数退化问题,并结合长短时记忆网络的序列学习方法,将时序信息融入到训练过程中,提高训练精度。在交通流量数据集PeMS和Los上的实验表明,其预测精度要优于GCN、T-GCN、GRU、LSTM等主流算法。     

基于一维卷积神经网络与长短期记忆网络结合的电池荷电状态预测方法

针对电池荷电状态(SOC)预测的精确度与稳定性问题以及深层神经网络的梯度消失问题,提出一种基于一维卷积神经网络(1D CNN)与长短期记忆(LSTM)循环神经网络(RNN)结合的电池SOC预测方法——1D CNN-LSTM模型.1D CNN-LSTM模型将电池的电流、电压和电阻映射到目标值SOC.首先,通过一层一维卷积...     

基于图卷积网络和门控循环单元的多站点气温预测模型

时空预测任务在神经科学、交通、气象等领域应用广泛.气温预测作为典型的时空预测任务,需要挖掘气温数据中固有的时空特征.针对现有气温预测算法存在预测误差大、空间特征提取不充分的问题,提出一种基于图卷积网络和门控循环单元的气温预测(GCN-GRU)模型.首先,使用重新分配权重和多阶近邻连接方式修正图卷积网络(GCN),以有效...     

基于时空特征向量的长短期记忆人工神经网络的城市公交旅行时间预测

针对"随着预测距离的增加,旅行时间预测的难度加大"的问题,提出了一种基于时空特征向量的长短期记忆(LSTM)和人工神经网络(ANN)的综合预测模型.首先,将24 h切分为288个时间切片,以生成时间特征向量;然后,基于时间切片建立LSTM时间窗口模型,该模型可解决长期预测的窗口移动问题;其次,将公交线路切分为多个空间切...     

基于混合特征建模的图卷积网络方法

对于网络中拥有的复杂信息,需要更多的方式抽取其中的有用信息,但现有的单特征图神经网络（GNN）无法完整地刻画网络中的相关特性。针对该问题,提出基于混合特征的图卷积网络（HDGCN）方法。首先,通过图卷积网络（GCN）得到节点的结构特征向量和语义特征向量;然后,通过改进基于注意力机制或门控机制的聚合函数选择性地聚合语义网络节点的特征,增强节点的特征表达能力;最后,通过一种基于双通道图卷积网络的融合机制得到节点的混合特征向量,将节点的结构特征和语义特征联合建模,使特征之间互相补充,提升该方法在后续各种机器学习任务上的表现。在CiteSeer、DBLP和SDBLP三个数据集上进行实验的结果表明,与基于结构特征训练的GCN相比,HDGCN在训练集比例为20%、40%、60%、80%时的Micro?F1值平均分别提升了2.43、2.14、1.86和2.13个百分点,Macro?F1值平均分别提升了1.38、0.33、1.06和0.86个百分点。用拼接或平均值作为融合策略时,准确率相差不超过0.5个百分点,可见拼接和平均值均可作为融合策略。HDGCN在节点分类和聚类任务上的准确率高于单纯使用结构或语义网络训练的模型,并且在输出维度为64、学习率为0.001、2层图卷积层和128维注意力向量时的效果最好。     

基于CNN-LSTM的短期风电功率预测

短期风电功率预测对电力系统的安全稳定运行和能源的优化配置具有重要意义。鉴于卷积神经网络(CNN)高效的数据特征提取能力,以及长短期记忆网络(LSTM)描述时间序列长期依赖关系的能力。为了提高短期风电功率预测的精度,设计了一种基于CNN和LSTM的风电功率预测模型。该模型利用卷积神经网络对风电功率、风速、风向数据进行多层卷积和池化堆叠计算,提取风电功率相关数据的特征图谱。为了描述风电功率序列的时序依从关系,将图谱特征信息作为长短期记忆网络的输入信息,计算得到风电功率的预测结果。采用西班牙某风电场的实测数据进行模型预测精度验证。结果表明,该模型较LSTM、Elman模型具有更好的预测性能。     

基于深度残差长短记忆网络交通流量预测算法

针对多步交通流量预测任务中时间空间特征提取效果不佳和预测未来时间交通流量精度低的问题,提出一种基于长短时记忆（LSTM）网络、卷积残差网络和注意力机制的融合模型。首先,利用一种基于编解码器的架构,通过在编解码器中加入LSTM网络来挖掘不同尺度的时间域特征;其次,构建基于注意力机制挤压激励（SE）模块的卷积残差网络嵌入到LSTM网络结构中,从而挖掘交通流量数据中的空间域特征;最后,将编码器中获得的隐状态下的信息输入到解码器中,实现高精度多步交通流量的预测。基于真实交通数据进行实验测试和分析,实验结果表明,相较于原始的基于图卷积的模型,所提模型在北京和纽约两个交通流量公开数据集上的均方根误差（RMSE）分别获得了1.622和0.08的下降。所提模型能够高效且精确地对交通流量作出预测。