基于注意力机制和高斯概率估计的PM2.5浓度预测

作为衡量空气污染物浓度的重要指标, 对PM_2.5浓度进行监控预测, 能够有效地保护大气环境, 进一步地减少空气污染带来的危害. 随着空气质量自动监测站的大范围建立, 由传统的机器学习搭建的空气质量预测模型已经不能满足当今的需求. 本文提出了一种基于多头注意力机制和高斯概率估计的高斯-注意力预测模型, 并对沈阳市某监测站点的数据进行了训练和测试. 该模型考虑了PM_2.5浓度受到其他空气质量数据的影响, 将空气质量数据的分层时间戳(周、日、小时)的信息对齐作为输入, 使用多头注意力机制对于不同子空间的时间序列关联特征进行提取, 能够获得更加完善有效的特征信息, 再经过高斯似然估计得到预测结果. 通过与多种基准模型进行对比, 相较于性能较优的DeepAR, 高斯-注意力预测模型的MSE、MAE分别下降了21%、15%, 有效地提高了预测准确率, 能够较准确地预测出PM_2.5浓度.     

基于KNN-LSTM的PM2.5浓度预测模型

目前多数PM_2.5浓度预测模型仅利用单个站点的时间序列数据进行浓度预测, 并没有考虑到空气质量监测站之间的区域关联性, 这会导致预测存在一定的片面性. 本文利用KNN算法选择目标站点所在区域中与其相关的空间因素, 并结合LSTM模型, 提出基于时空特征的KNN-LSTM的PM_2.5浓度预测模型. 以哈尔滨市10个空气质量监测站的污染物数据进行仿真实验, 并将KNN-LSTM模型与其他预测模型进行对比, 结果显示: 模型相较于BP神经网络模型平均绝对误差(MAE)、均方根误差(RMSE)分别降低了19.25%、13.23%; 相较于LSTM模型MAE、RMSE分别降低了4.29%、6.99%. 表明本文所提KNN-LSTM模型能有效提高LSTM模型的预测精度.     

基于图动态注意力网络的多站点风速预测

时空序列预测任务在交通、气象、智慧城市等领域有着广泛应用。站点风速预测作为气象预测中的主要任务之一,需要结合降水、气温等外部因素,学习不同数据的时空特征。气象站点的不规则分布和风本身的固有间歇性成为实现高精度风速预测的挑战。为考虑多站点空间分布对风速的影响以获得准确可靠的预测结果,提出一种基于图的动态转换注意力网络（Graph-DSAN）风速预测模型。首先,利用不同站点之间的距离重新构建它们的连接;其次,使用局部采样的过程建模不同采样大小的邻接矩阵,实现图卷积过程中邻居节点信息的聚合与传递;接着,将时空位置编码（STPE）处理后的图卷积结果加入动态注意力编码器（DAE）和转换注意力解码器（SAD）以实现动态注意力计算,从而提取时空相关性;最后,利用自回归的方式形成多步预测。在纽约州15个站点的风速预测实验中,将所设计模型与ConvLSTM、图多注意力网络（GMAN）、时空图卷积网络（STGCN）、动态转换注意力网络（DSAN）和时空动态网络（STDN）进行比较,Graph-DSAN的12 h预测均方根误差（RMSE）分别降低了28.2%、6.9%、27.7%、14.4%和8.9%,验证...     

基于注意力机制的CNN-GCN模型及其应用

现有多变量时间序列(multivariate time series,MTS)预测方法模型主要采用循环神经网络和注意力机制提取MTS的复杂时空特征,这些方法对MTS变量之间的空间依赖关系的捕获能力不足。图卷积网络对复杂数据的空间特征提取能力较强。为此提出一种融入图卷积网络、注意力机制和深度学习中的卷积神经网络的三通道网络框架模型,将该框架模型用于多变量时间序列预测任务。实验结果表明,该模型在国际汇率这一多变量时间序列数据集上的性能表现要优于目前较先进的几个基线模型。     

基于图卷积网络和门控循环单元的多站点气温预测模型

时空预测任务在神经科学、交通、气象等领域应用广泛.气温预测作为典型的时空预测任务,需要挖掘气温数据中固有的时空特征.针对现有气温预测算法存在预测误差大、空间特征提取不充分的问题,提出一种基于图卷积网络和门控循环单元的气温预测(GCN-GRU)模型.首先,使用重新分配权重和多阶近邻连接方式修正图卷积网络(GCN),以有效...     

基于时间图注意力的交通流量预测模型

交通状况预测是智能交通系统的一个重要组成部分,而车流量是交通状况最直接的体现,因而对交通流量进行预测具有重要的应用价值。一方面,城市中的道路本身带有空间拓扑性质,另一方面车流量随时间动态变化。因此交通流量预测问题的关键在于对数据中存在的时间和空间依赖进行建模。针对这一特性,使用神经网络模型和注意力机制来探索交通流量数据中的时空依赖关系,提出基于时间图注意力的交通流量预测模型。空间依赖方面,使用图卷积网络与注意力结合的学习算法对不同影响程度节点分配不同的权重,加入节点自适应学习,有效提取空间特征;时间依赖方面,使用时序卷积网络对时间特征进行提取,通过扩张卷积扩大感受域从而捕获较长时间序列数据的特征。由图注意力网络和时间卷积网络构成一个时空网络层,最终连接到输出层输出预测结果。该模型使用图卷积神经网络和注意力机制结合的方式提取空间特征,充分考虑了道路间的空间关系,利用时序卷积网络捕获时间特征。在两个真实的数据集上进行实验后发现,在未来15 min、30 min、60 min的时间段内该模型都有良好表现,结果优于现有基准模型。     

基于双路信息时空图卷积网络的交通预测模型

随着深度学习的发展,神经网络在各个领域都有着大量的应用,智慧交通系统也不例外.交通流预测是智慧交通系统的基石,是整个交通预测的核心所在.近年来,图卷积神经网络的利用有效地提高了交通预测的性能,如何进一步提高对图的时空特征进行捕获的能力,将会成为热点.为了提升交通预测的精度,提出了一种基于双路信息时空图卷积网络的交通预测模型.首先,针对图卷积网络的交通预测模型在长距离依赖上建模有所不足,并且没有完全挖掘时空图信息之间的隐藏关系以及在时空图结构上还有信息缺失,提出了一种三重池化注意力机制来建模全局上下文信息.通过对图卷积层和时间卷积层各增加并行的三重池化注意力路径,构造了一个双路信息时空卷积层,提升了卷积层的泛化能力及模型捕获长距离依赖的能力,同时让时空卷积层能够很好地捕获时空图结构上的空间和时间特征,从而有效地提升了交通预测性能.在两个公共交通数据集(METR-LA和PEMS-BAY)上的实验结果表明,该模型具有较好的性能.     

基于距离与图卷积网络的方面级情感分析

目前,基于卷积神经网络和循环神经网络的方面级情感分析研究工作较少同时考虑到句子的句法结构和词语的语法距离,且卷积神经网络和循环神经网络无法有效地处理图结构的数据.针对上述问题,提出了一种基于距离与图卷积网络的方面级情感分类模型.首先,为该模型设计了一个具有残差连接的双层双向长短期记忆网络,用于提取句子的上下文信息;然后,根据句法依赖树得到词语的语法距离权重,并根据词语之间的句法关系构建邻接矩阵;最后,采用图卷积网络结合句子的上下文信息、语法距离权重和邻接矩阵提取方面的情感特征.实验结果表明,模型是有效的且可获得更好的性能.     

图网络层级信息挖掘分类算法综述

深度学习作为人工智能的一个研究分支发展迅速,而研究数据主要是语音、图像和视频等,这些具有规则结构的数据通常在欧氏空间中表示。然而许多学习任务需要处理的数据是从非欧氏空间中生成,这些数据特征和其关系结构可以用图来定义。图卷积神经网络通过将卷积定理应用于图,完成节点之间的信息传播与聚合,成为建模图数据一种有效的方法。尽管图卷积神经网络取得了巨大成功,但针对图任务中的节点分类问题,由于深层图结构优化的特有难点——过平滑现象,现有的多数模型都只有两三层的浅层模型架构。在理论上,图卷积神经网络的深层结构可以获得更多节点表征信息,因此针对其层级信息进行研究,将层级结构算法迁移到图数据分析的核心在于图层级卷积算子构建和图层级间信息融合。本文对图网络层级信息挖掘算法进行综述,介绍图神经网络的发展背景、存在问题以及图卷积神经网络层级结构算法的发展,根据不同图卷积层级信息处理将现有算法分为正则化方法和架构调整方法。正则化方法通过重新构建图卷积算子更好地聚合邻域信息,而架构调整方法则融合层级信息丰富节点表征。图卷积神经网络层级特性实验表明,图结构中存在层级特性节点,现有图层级信息挖掘算法仍未对层级特性节点的...     

面向COVID-19疫情预测的图卷积神经网络时空数据学习

目的 当前的疾病传播研究主要集中于时序数据和传染病模型,缺乏运用空间信息提升预测精度的探索和解释。在处理时空数据时需要分别提取时间特征和空间特征,再进行特征融合得到较为可靠的预测结果。本文提出一种基于图卷积神经网络（graph convolutional neural network,GCN）的时空数据学习方法,能够运用空间模型端对端地学习时空数据,代替此前由多模块单元相集成的模式。方法 依据数据可视化阶段呈现出的地理空间、高铁线路、飞机航线与感染人数之间的正相关关系,将中国各城市之间的空间分布关系和交通连接关系映射成网络图并编码成地理邻接矩阵、高铁线路直达矩阵、飞机航线直达矩阵以及飞机航线或高铁线路直达矩阵。按滑动时间窗口对疫情数据进行切片后形成张量,依次分批输入到图深度学习模型中参与卷积运算,通过信息传递、反向传播和梯度下降更新可训练参数。结果 在新型冠状病毒肺炎疫情数据集上的实验结果显示,采用GCN学习这一时空数据的分布特征相较于循环神经网络模型,在训练过程中表现出了更强的拟合能力,在训练时间层面节约75%以上的运算成本,在两类损失函数下的平均测试集损失能够下降80%左右。结论 本文所采用的时空数据学习方法具有较低的运算成本和较高的预测精度,尤其在空间特征强于时间特征的时空数据中有着更好的性能,并且为流行病传播范围和感染人数的预测提供了新的方法和思路,有助于相关部门在公共卫生事件中制定应对措施和疾病防控决策。     

基于GA-GRU环境空气污染物预测研究

针对现有的环境空气污染物预测方法存在缺少输入特征相关性分析和时序信息丢失问题,提出一种将遗传算法和门控循环单元神经网络相结合的环境空气污染物PM2.5小时浓度预测模型,充分挖掘了污染物时间序列内在依赖关系,并解决了不相关因子的干扰和输入特征维度灾难的问题。最后基于绵阳市4个空气污染物监测站点的数据集进行仿真实验,与门控循环单元神经网络、深度信念网络预测比较。结果表明,基于GA-GRU的PM2.5小时浓度预测模型在训练时间、预测精度和鲁棒性上优势显著,是一种可行且有效的预测方法。     

面向时空图建模的图小波卷积神经网络模型

时空图建模是分析图形结构系统中各要素空间关系与时间趋势的一个基础工作.传统的时空图建模方法,主要基于图中节点与节点关系固定的显式结构进行空间关系挖掘,这严重限制了模型的灵活性.此外,未考虑节点间的时空依赖关系的传统建模方法不能捕获节点间的长时时空趋势.为了克服这些缺陷,研究并提出了一种新的用于时空图建模的图神经网络模型,即面向时空图建模的图小波卷积神经网络模型（Graph Wavelet Convolutional Neural Network for Spatiotemporal Graph Modeling,GWNN-STGM）,称为GWNN-STGM.在GWNN-STGM中设计了一个图小波卷积神经网络层,并在该网络层中设计并引入了自适应邻接矩阵进行节点嵌入学习,使得模型能够在不需要结构先验知识的情况下,从数据集中自动发现隐藏的结构信息.此外,GWNN-STGM还包含了一个堆叠的扩张因果卷积网络层,使模型的感受野能够随着卷积网络层数的增加呈指数增长,从而能够处理长时序列.GWNN-STGM成功将图小波卷积神经网络层和扩张因果卷积网络层两个模块进行有效集成.通过在公共交通网络数据集上试验发现,提出的GWNN-STGM的性能优于其他的基准模型,这表明设计的图小波卷积神经网络模型在从输入数据集中探索时空结构方面具有很大的潜力.     

基于相互学习的短时交通流预测研究

交通流预测是智能交通系统（ITS）的核心,其中时空特性是最主要的特征。由于不同道路之间存在复杂的空间相关性和时间依赖性,因此交通流预测成为一项具有挑战性的任务。目前,基于图卷积神经网络的预测方法在网络局部以及整体的特征感知和提取方面,仍存在优化空间。为了解决以上问题,本文提出了一种基于图神经网络的优化模型：Diffusion Mutual Convolutional Recurrent Neural Network (DMCRNN)。该模型以DCRNN为基准模型,利用相互学习策略对其进行优化。在训练过程中,两个DCRNN网络之间相互学习、相互指导,以此来增强每个网络的特征学习能力。在METR-LA和PEMS-BAY两个真实数据集上验证优化策略的有效性。结果表明,经过优化后的模型预测误差显著降低,在两个数据集上一小时的MAE分别降低了0.15和0.12,即相互学习优化策略具有较好的性能。     

Spatial-temporal association between fine particulate matter and daily mortality

Fine particulate matter (PM_2.5) is a mixture of pollutants that has been linked to serious health problems, including premature mortality. Since the chemical composition of PM_2.5 varies across space and time, the association between PM_2.5 and mortality could also change with space and season. A statistical multi-stage Bayesian framework is developed and implemented, which provides a very broad and flexible approach to studying the spatiotemporal associations between mortality and population exposure to daily PM_2.5 mass, while accounting for different sources of uncertainty. The first stage of the framework maps ambient PM_2.5 air concentrations using all available monitoring data (IMPROVE and FRM) and an air quality model (CMAQ) at different spatial and temporal scales. The second stage of the framework examines the spatial temporal relationships between the health end-points and the exposures to PM_2.5 by introducing a spatial-temporal generalized Poisson regression model. A method to adjust for time-varying confounders such as seasonal trends is proposed. A common seasonal trends model uses a fixed number of basis functions to account for these confounders, but the results can be sensitive to the number of basis functions. Thus, instead the number of the basis functions is treated as an unknown parameter in the Bayesian model, and a space-time stochastic search variable selection approach is used. The framework is illustrated using a data set in North Carolina for the year 2001.     

基于时空图卷积循环神经网络的交通流预测

针对交通流预测模型中路网空间结构刻画和交通流时空特性挖掘不充分的问题,构建一种新型的有向时空图,通过定义节点相对临近度来表征路网结构关系,通过学习邻域节点对预测节点的影响权重来表征节点间时空维度的作用关系,从而能更好表达交通流的时空特性.将时空图作为预测模型的输入,采用图卷积获取交通流数据空间依赖关系,采用门控循环神经...     

An assessment of air-quality monitoring station locations based on satellite observations

ABSTRACT

Optimization of the locations of air quality monitoring stations has great importance in providing high-quality data for regional air pollution monitoring. To assess the representativeness of the locations of the current air quality monitoring stations, we propose a new method based on satellite observations by applying the stratified sampling approach. Unlike the traditional method, which relies on the simulated spatial distribution of air pollutants from dispersion models, we obtained the sampling population through observations from remote sensing. As a first step, the spatial distribution of aggregated air quality was obtained based on ground concentrations of particulate matter (aerodynamic diameters of less than 10 μm, PM₁₀), fine particulate matter (aerodynamic diameters of less than 2.5 μm, PM_2.5), nitrogen dioxide (NO₂), and sulphur dioxide (SO₂) derived from satellite observations. Second, the representativeness of locations of air quality monitoring stations was assessed using the stratified sampling method. The results demonstrated that air quality monitoring stations in Beijing-Tianjin-Hebei were clustered in areas with heavily polluted air, whereas the number of air quality monitoring stations was insufficient in areas with higher air quality. After optimization, the minimum relative error was only 6.77%. It is indicated that combing remote-sensing data with the stratified sampling approach has great potential in assessing the spatial representativeness of air quality monitoring stations.     

Modelling PM2.5 impact indicators in Europe: Health effects and legal compliance

Long-term exposure to fine particulate matter (PM_2.5) has been shown to have significant negative impacts on human health. It is estimated that current levels of air pollution shorten the statistical life expectancy of European citizens by several months. The GAINS integrated assessment model calculates shortening of life expectancy from population exposure to PM_2.5 using epidemiologically-derived health impact functions. In addition, GAINS estimates PM_2.5 concentrations at 1875 air quality monitoring stations located in diverse environments ranging from remote background locations to busy street canyons. In this article, different approaches to dealing with the PM_2.5 pollution problem are compared. We assess for the present and future the attainment of EU and WHO air quality standards for PM_2.5 and estimate the loss of life expectancy under different policy scenarios developed for the ongoing revision of the EU Air Quality Legislation.