基于图神经网络的比特币交易预测

快速、准确的数字货币交易预测在应对交易风险、促进交易等方面具有重要意义,利用比特币的交易用户评价可将比特币交易建模为具有连续时间特性的动态网络,交易预测可转换为动态网络的链接预测问题。为更有效预测比特币交易,针对现有的图神经网络方法忽略了及时反馈网络中产生的新信息的重要性,难以准确完成比特币交易预测的问题,提出一种新的基于图神经网络的模型用于比特币交易预测。该方法通过时间注意力机制聚合用户的邻域信息,并引入了一种新颖的信息反馈机制,以更充分地利用网络信息。实验在两个真实数据集上进行,结果表明改进的模型比最好的对比模型在AUC、AP和F▼1指标下分别高出约7%、6%和22%,能对比特币交易进行更准确的分析预测。     

基于时空图卷积网络的多变量时间序列预测方法

为了扩大时空图卷积网络的预测范围,将它应用在关联关系未知场景下的多变量时间序列预测问题,提出一种附加图学习层的时空图卷积网络预测方法（GLB-STGCN）。图学习层借助余弦相似度从时间序列中学习图邻接矩阵,通过图卷积网络捕捉多变量之间的相互影响,最后通过多核时间卷积网络捕捉时间序列的周期性特征,实现对多变量的精准预测。为验证GLB-STGCN的有效性,使用天文、电力、交通和经济四个领域的公共数据集和一个工业场景生产数据集进行预测实验,结果表明GLB-STGCN优于对比方法,在天文数据集上的表现尤为出色,预测误差分别降低了6.02%、8.01%、6.72%和5.31%。实验结果证明GLB-STGCN适用范围更广,预测效果更好,尤其适合自然周期明显的时间序列预测问题。     

T-GAN: A deep learning framework for prediction of temporal complex networks with adaptive graph convolution and attention mechanism

Complex network is graph network with non-trivial topological features often occurring in real systems, such as video monitoring networks, social networks and sensor networks. While there is growing research study on complex networks, the main focus has been on the analysis and modeling of large networks with static topology. Predicting and control of temporal complex networks with evolving patterns are urgently needed but have been rarely studied. In view of the research gaps we are motivated to propose a novel end-to-end deep learning based network model, which is called temporal graph convolution and attention (T-GAN) for prediction of temporal complex networks. To joint extract both spatial and temporal features of complex networks, we design new adaptive graph convolution and integrate it with Long Short-Term Memory (LSTM) cells. An encoder-decoder framework is applied to achieve the objectives of predicting properties and trends of complex networks. And we proposed a dual attention block to improve the sensitivity of the model to different time slices. Our proposed T-GAN architecture is general and scalable, which can be used for a wide range of real applications. We demonstrate the applications of T-GAN to three prediction tasks for evolving complex networks, namely, node classification, feature forecasting and topology prediction over 6 open datasets. Our T-GAN based approach significantly outperforms the existing models, achieving improvement of more than 4.7% in recall and 25.1% in precision. Additional experiments are also conducted to show the generalization of the proposed model on learning the characteristic of time-series images. Extensive experiments demonstrate the effectiveness of T-GAN in learning spatial and temporal feature and predicting properties for complex networks.     

Intelligent design of shear wall layout based on graph neural networks

Structural scheme design of shear wall structures is important because it is the first stage that guides the project along its entire structural design process and significantly impacts the subsequent design stages. Design methods for shear wall layouts based on deep generative algorithms have been proposed and achieved some success. However, current generative algorithms rely on pixel images to design shear wall layouts, which have many model parameters and require intensive calculations. Moreover, it is challenging to use pixel image-based methods to reflect the topological characteristics of structures and connect them with the subsequent design stages. The above defects can be effectively solved by representing a shear wall structure in graph data form and adopting graph neural networks (GNNs), which have a robust topological-characteristic-extraction capability. However, there is no existing research using GNN methods in the design of shear wall structures owing to the lack of graph representation methods and high-quality structural graph data for shear walls. Therefore, this study develops an intelligent design method for shear wall layouts based on GNNs. Two graph representation methods for a shear wall structure—graph edge representation and graph node representation—are examined. A data augmentation method for shear wall structures in graph data form is established to enhance the universality of the GNN performance. An evaluation method for both graph representation methods is developed. Case studies show that the shear wall layout designed using the established GNN method is highly similar to the design by experienced engineers.     

基于知识图谱嵌入与多神经网络的序列推荐算法

循环神经网络在序列推荐中占有重要地位,但在推荐中,用户的行为序列远比自然语言处理中的句子或计算机视觉中的图像要复杂得多。单一的循环神经网络结构难以充分地挖掘用户偏好,因此提出一种新型的序列推荐算法,同时考虑序列的时间信息以及内容信息。主要分为2个部分：改进的项目嵌入和序列偏好学习。首先,提出一种融合知识图谱的项目嵌入方法,用于生成高质量的项目向量;其次,提出一种卷积神经网络结合长短时记忆神经网络的序列建模方法。更进一步地提出一个基于注意力的框架,动态地结合用户的兴趣点。在公开数据集MovieLens10M上与传统方法以及现有的同类型方法进行了比较。实验结果表明,所提算法在推荐评价指标平均倒数排名MRR@N以及召回率Recall@N上有显著的提升,验证了该算法的有效性。     

基于特征和结构信息增强的图神经网络集成学习框架

近年来,图神经网络由于其丰富的表征和推理能力受到广泛的关注,然而,目前的研究聚焦于卷积策略和网络结构的调整以获得更高的性能,不可避免地面临单一模型局限性的约束。受到集成学习思想的启发,面向图神经网络创新性地提出一套集成学习框架(EL-GNN)。不同于常规的文本和图像数据,图数据除了特征信息外还包括了丰富的拓扑结构信息。因此,EL-GNN不仅将不同基分类器的预测结果进行融合,还在集成阶段额外补充了结构信息。此外,基于特征相似或结构邻居节点通常具有相似标签的先验假设,借助特征图重构,进一步优化集成策略,充分平衡了节点的特征和结构信息。大量实验表明,提出的集成策略取得了良好的成效,并EL-GNN在节点分类任务上显著优于现有模型。     

异质网中基于图卷积神经网络的链路预测方法

综合考虑异质信息网络具有的复杂性和异质性的特点,提出一种异质网中基于图卷积神经网络(heterogeneous graph convolution neural network embedding,HeGCNE)的链路预测方法.针对经典图卷积神经网络逐层传递规则的不足,提出改进的逐层传递规则,对异质节点进行表征学习,融...     

基于特征和图结构信息增强的多教师学习图神经网络

近年来,图神经网络对图数据强大的表征能力和建模能力使其在诸多领域广泛应用并取得了重大突破。然而,现有模型往往倾向于对图卷积聚合策略和网络结构进行优化,缺乏了对图数据自身先验知识的探索。针对上述问题,通过知识蒸馏的方法,设计了一种基于特征信息和结构信息增强的多教师学习图神经网络,打破了现有模型对于数据先验知识提取的局限性。针对图数据背后所蕴涵的丰富特征与结构信息,分别设计了节点特征和边的数据增强方式。在此基础上,将原始数据和增强后的数据通过多教师学习模块进行知识嵌入,使得学生模型学习到更多关于数据的先验知识。在Cora、Citeseer和PubMed数据集上,节点分类准确率分别提升了1%、1.3%、1.1%。实验结果表明,提出的信息增强的多教师学习模型能够有效地捕获先验知识。     

基于图嵌入编码形态信息的非均匀多任务强化学习方法

传统强化学习方法存在效率低下、泛化性能差、策略模型不可迁移的问题。针对此问题,提出了一种非均匀多任务强化学习方法,通过学习多个强化任务提升效率和泛化性能,将智能体形态构建为图,利用图神经网络能处理任意连接和大小的图来解决状态和动作空间维度不同的非均匀任务,突破模型不可迁移的局限,充分发挥图神经网络天然地利用图结构归纳偏差的优点,实现了模型高效训练和泛化性能提升,并可快速迁移到新任务。多任务学习实验结果表明,与以往方法相比,该方法在多任务学习和迁移学习实验中均表现出更好的性能,在迁移学习实验中展现出更准确的知识迁移。通过引入图结构偏差,使该方法具备更高的效率和更好的迁移泛化性能。     

基于图划分抽样算法的图表示学习

在基于神经网络的图表示算法中,当节点属性维度过高、图的规模过大时,从内存到显存的数据传输会成为训练性能的瓶颈。针对这类问题,该方法将图划分算法应用于图表示学习中,降低了内存访问的I/O开销。该方法根据图节点的度数,将图划分成若干个块,使用显存缓存池存储若干个特征矩阵块。每一轮训练,使用缓存池中的特征矩阵块,以此来减少内存到显存的数据拷贝。针对这一思想,该方法使用基于图划分的抽样算法,设计显存的缓存池来降低内存的访问,运用多级负采样算法,降低训练中负样本采样的时间复杂度。在多个数据集上,与现有方法对比发现,该方法的下游机器学习准确率与原算法基本一致,训练效率可以提高2~ 7倍。实验结果表明,基于图划分的图表示学习能高效训练模型,同时保证节点表示向量的测试效果。今后的课题可以使用严谨的理论证明,阐明图划分模型与原模型的理论误差。     

基于自适应门控图神经网络的交通流预测

交通流预测是智能交通系统中的重要组成部分,由于交通数据的复杂性,长期而又准确的交通流预测一直是时间序列预测中最具挑战性的任务之一。近年来,研究人员将基于图神经网络的时空图建模方法应用于交通流预测任务,并取得了良好的预测性能。然而,现有的图建模方法仅通过预定义的邻接结构反映道路网络中的空间依赖关系,忽略了各节点之间的序列关联关系对预测的重要性。针对这一局限性,提出了一种自适应门控图神经网络（Ada-GGNN）,其核心为通过空间传递模块同时捕获道路网络的空间结构及自适应的时序相关性,并通过门控机制学习节点上的时间序列特征。在两个真实交通网络数据集PeMSD7和Los-loop上的实验结果证明了该模型具有更优越的性能。     

Financial time series prediction using polynomial pipelined neural networks

This paper proposes a novel type of higher-order pipelined neural network: the polynomial pipelined neural network. The proposed network is constructed from a number of higher-order neural networks concatenated with each other to predict highly nonlinear and nonstationary signals based on the engineering concept of divide and conquer. The polynomial pipelined neural network is used to predict the exchange rate between the US dollar and three other currencies. In this application, two sets of experiments are carried out. In the first set, the input data are pre-processed between 0 and 1 and passed to the neural networks as nonstationary data. In the second set of experiments, the nonstationary input signals are transformed into one step relative increase in price. The network demonstrates more accurate forecasting and an improvement in the signal to noise ratio over a number of benchmarked neural networks.     

多元混沌时间序列的加权极端学习机预测

针对多元混沌时间序列具有强非线性, 难以建立数学模型进行准确预测的问题, 本文提出一种加权极端学习机预测算法. 首先对多元混沌时间序列进行相空间重构, 并根据相空间中输入数据对预测误差的影响施加不同的权重. 然后, 提出一种支持向量极端学习机预测模型, 具有支持向量机的核映射表达能力以及极端学习机的一步快速训练能力, 因此训练简便且具有较好的泛化性能. 所提算法具有和训练样本三次方成正比的计算复杂度, 因此适用于10^2～10^3样本规模的平稳时间序列. 基于Lorenz混沌时间序列和年太阳黑子和黄河年径流混沌时间序列预测的仿真结果证明所提算法的有效性.     

基于协作推断的正例未标注图学习算法

针对现有正例未标注图学习方法仅提取节点表征信息、独立推断节点类别的问题,提出了一种基于协作推断分类算法,利用节点之间关联信息来帮助推断未标注节点的标签。首先,采用个性化网页排位算法计算每个节点与全体已知正例节点的关联度。其次,采用一个图神经网络学习节点表征信息,与正例关联度联合构造一个局部分类器,预测未标注节点标签;采用另一个图神经网络获取局部节点标签之间依赖关系,与正例关联度联合构造一个关系分类器,协作更新未标注节点标签。然后,借鉴马尔可夫图神经网络方法交替迭代地训练两者,形成多跳步节点标签之间的协作推断;并且,为有效利用正例与未标注节点训练分类器,提出了混合非负无偏风险评估函数。最后,选择两者中任意一个,预测未标注节点的类别。在真实数据集上的实验结果表明,无论是识别单类别正例还是识别多类别合成正例,所述算法均表现出比其他正例未标注学习方法更佳效果,且对正例先验概率误差表现出更好的鲁棒性。     

SOM time series clustering and prediction with recurrent neural networks

Local models for regression have been the focus of a great deal of attention in the recent years. They have been proven to be more efficient than global models especially when dealing with chaotic time series. Many models have been proposed to cluster time series and they have been combined with several predictors. This paper presents an extension for recurrent neural networks applied to local models and a discussion about the obtained results.     

基于多重注意力机制的图神经网络股市波动预测方法

股票市场是金融市场关键组成部分,因此对股票市场波动的研究对合理化控制金融市场风险、提高投资收益提供了重要支持,一直以来都是学术界和相关业界的关注焦点,然而,股票市场会受到各种因素的影响。面对股票市场中多源化、异构化的信息,如何高效挖掘、融合股票市场的多源异构数据具有挑战性。为了充分解释不同信息及信息间相互作用对于股票市场价格波动的影响,提出一种基于多重注意力机制的图神经网络来预测股票市场的价格波动。首先,引入关系维度构建股票市场交易数据和新闻文本的异构子图,并利用多重注意力机制实现图数据的融合;其次,通过图神经网络门控循环单元（GRU）进行图分类,在此基础上完成对股票市场中上证综合指数、沪深300指数、深证成份指数这三个重要指数波动的预测。实验结果表明,从异构信息特性角度,相较于股票市场交易数据,股市新闻信息对于股票价格影响存在滞后性;从异构信息融合角度,所提方法与支持向量机（SVM）、随机森林、多核k-means （MKKM）聚类等算法相比,预测准确率分别提升了17.88个百分点、30.00个百分点和38.00个百分点,并进行了模型交易策略的量化投资模拟。     

基于有监督的多视角图神经网络的药物组合协同预测算法

药物组合疗法在癌症治疗中具有重要应用价值。通过算法预测药物协同组合,可为生物学研究提供靶向指导,从而提高研究效率,降低实验成本。针对现有算法缺乏有效的药物互相作用建模方法、无法考虑细胞系之间的关系等问题,提出了一种基于多视角图神经网络的药物协同预测算法。首先,采用变分图自编码器来学习特定细胞系药物的向量表示;然后,通过多视角框架整合同一组织内其他细胞系的药物信息,提升药物表示向量的可靠性;最后通过引入已知的药物组合得分作为监督信号对模型进行监督训练,实现可靠的药物协同效果预测。在DrugComb数据集上的实验结果验证了本方法的有效性。     

基于知识图谱驱动的图神经网络推荐模型

知识图谱(KG)蕴含丰富的结构与关联信息,不仅可以缓解推荐系统中数据稀疏、冷启动等问题,还可以更准确地进行个性化推荐,因此提出一种基于知识图谱驱动的端到端图神经网络推荐模型KGLN.首先使用单层神经网络框架对图中单个节点进行特征融合,并加入影响因子来改变不同邻居实体的聚合权重;然后通过迭代的方式将单层扩展到多层,使实体...     

基于深度图网络的编译器向量化启发式算法

针对现有的深度学习模型将程序代码考虑为一个串行序列而错失较大性能优化空间的问题,提出了一种新的基于深度图网络的程序启发式优化方法.该方法采用图神经网络对程序的数据和依赖图进行建模,自动从源代码中抽取有效程序特征,然后再将抽取的特征输入下游模型进行循环向量化参数预测.在LLVM循环向量测试集上,所提出的方法取得了2.08倍的加速比,与现有方法相比提高了12％的性能.     

基于树结构长短期记忆神经网络的金融时间序列预测

针对传统方法对多噪声、非线性的时间序列无法进行有效预测的问题,以多尺度特征融合为切入点,提出并验证了基于树结构长短期记忆（LSTM）神经网络的预测方法。首先,提出了实现预测目标的核心方法,并分析了方法的内在优势;其次,构建了基于树结构长短期记忆神经网络的预测模型;最后,基于最近十年的国际黄金现货交易数据对模型进行了验证。实验结果表明,所提算法预测准确率高出最小成功率近10个百分点,证实了所提方法的有效性。