基于机器学习的PM2.5短期浓度动态预报模型

针对目前现有的PM2.5模式预报系统的预报值偏离实际浓度较大的问题,从上海市浦东气象局获得2015年2月至7月的PM2.5实况观测浓度、PM2.5模式预报（WRF-Chem）浓度和5个主要气象因子的模式预报数据资料,联合应用支持向量机（SVM）和粒子群优化（PSO）算法建立滚动预报模型,对PM2.5未来24小时浓度进行预报,同时对未来一天的昼、夜均值及日均值浓度进行预报,并与径向基函数神经网络（RBFNN）、多元线性回归法（MLR）、模式预报（WRF-Chem）作对比。实验结果表明,相比其他预报方法,所提出的SVM模型较大提高了PM2.5未来1小时浓度预报精度,这与此前的研究结论相符;所提模型能对PM2.5未来24小时浓度进行较好的预报,能对未来一天的昼均值、夜均值及日均值进行有效预报,并且对未来12小时的逐时浓度及未来一天的夜均值浓度的预报准确度较高。     

基于混合深度神经网络的大气污染预测

城市空气污染物分布受各种因素的影响,准确预测空气污染物分布情况可以提高环境管理的决策能力,防止严重空气污染事件的发生。基于大量的气象数据和深度学习技术,笔者提出了一种新的大气污染物浓度预测方法。该方法使用卷积神经网络作为基础层的设计,可自动提取输入数据的特征。输出层运用一个长短时记忆网络,以保证时间依赖性。通过性能优化,该模型可以按时间序列预测未来的细颗粒物(PM2.5)质量浓度。使用郑州市的历史气象数据,将模型预测结果与实际结果进行比较;实验结果表明,与经典深度学习模型相比,该算法提高了预测性能。     

基于注意力机制的PM2.5多阶图卷积网络推断模型

细颗粒物（PM2.5）与大气环境和人类生活息息相关。城市中PM2.5监测站数量有限,无法提供细粒度PM2.5浓度,而大多数现有的PM2.5浓度推断方法缺乏根据动态时空特征建立多阶相关系数矩阵的能力。为此提出了一种基于注意力机制的PM2.5多阶图卷积网络推断模型（MOSTGCNInf）。该模型在利用图神经网络提取特征关系的同时,采用注意力机制动态构建多阶节点的注意力系数矩阵,并进行时空特征融合来提升PM2.5浓度推断效果。在公开数据集上进行了对比实验,使用准确率和F1值作为评价指标,并通过消融实验验证了方法的有效性。实验结果表明,MOSTGCNInf对PM2.5浓度推断结果有提升作用。     

基于WT-BiLSTM-ARMA模型的PM2.5浓度预测研究

针对PM2.5浓度预测问题，提出一种基于小波变换的模型。在北京市六个大气污染监测站测得的PM2.5浓度数据上，运用小波分解算法对原始数据序列进行特征提取，使用BiLSTM对高频序列进行预测，同时使用ARMA对低频序列进行预测，最后将各个子序列的预测值进行小波重构得到最终预测结果。实验结果表明，相较于传统单一模型和组合模型，该模型的性能和预测精度均有提高。     

基于深度残差概率随机森林的时间序列分类方法

时间序列数据广泛存在于工业、医疗等应用领域,由于其时序相关性强、特征空间维度大,使得传统的时间序列分类方法普遍存在精度不足和需要复杂特征工程等问题.充分考虑深度神经网络在处理复杂时序数据上的优越性以及决策树方法拟合数据能力强的优势,提出一种基于残差网络和概率决策树的端到端统一深度学习模型.该模型利用残差网络从原始时间序列中提取高级特征,为了更好地建立时序数据特征与类别标签间的映射关系,将概率决策树融入至残差网络的分类层.同时,设计随机子空间的集成策略,缓解由于残差网络的深层结构产生的过度拟合现象,并给出联合优化模型分裂参数和预测参数的迭代优化方案.在大量的基准数据集和工业案例上进行实验和分析,实验结果表明,所提出模型的分类性能优于传统方法与其他深度学习方法,且可有效提高残差网络的泛化能力.     

基于烛台图模式匹配的PM2.5扩散特征的提取

现有大气质量预测方法多基于单纯的时间序列数据进行趋势预测,忽略了污染物传输和扩散规律及其分类间模式特征的问题。为此,提出一种基于烛台图模式匹配(CPM)的PM_2.5(大气细颗粒物污染)扩散特征提取方法。首先,利用基于卷积神经网络(CNN)的卷积思想从大量历史PM_2.5序列中生成基础周期烛台图;然后,通过距离公式对不同烛台图特征向量的浓度模式进行聚类分析;最后,结合CNN在图像识别中的独特优势,形成融合图形特征与时序特征序列的混合模型,判断带有反转信号的烛台图将导致的趋势反转情况。在桂林市大气质量在线监测站的监测时序数据集上的实验结果表明,与使用单一时间序列数据的深度卷积神经网络VGG(Visual Geometry Group)相比,基于CPM的提取方法准确率提升了1.9个百分点。可见,基于CPM的方法能有效提取PM_2.5趋势特征,可以用于预测未来污染物浓度周期变化。     

融合序列分解与Prophet模型的时序预测

传统时序预测方法其预测过程无法在相同数据集上推出共享模式, 而机器学习方法无法较好地处理非线性和大规模数据集, 并且需要手动设计特征工程. 深度学习方法弥补了传统预测方法需要高计算高人力的弊端, 用自动学习特征工程代替了手动设计特征工程. 但仅使用深度学习的预测方法所作结构假设较少, 通常需要较高的计算资源以及大量的数据来学习得到准确的模型. 针对上述问题, 本文提出通过采用融合t检验的EMD经验模态将序列分为高频分量和低频分量, 对高频分量使用传统STL序列分解方法进一步对数据做处理, 对高频、低频分量分别进行Prophet预测. 实验结果表明, 相较于传统的LSTM以及Prophet预测模型, 经过STL序列分解后的周期数据能够提升模型的整体预测精确度而融合EMD经验模态的Prophet模型则大大提升了训练效率.     

融合全局和序列特征的多变量时间序列预测方法

时间序列在现实生活中具有广泛的用途,使用时间序列预测模型能够预估序列的未来变化趋势,为决策提供支撑.对于多变量时间序列的预测研究,已经提出了很多模型,但已有方法存在如下问题：不能同时考虑时间序列本身和协变量的信息;忽略了多变量时间序列中的全局信息;不能对预测结果进行解释.针对这些问题,本文提出了一个基于深度学习的多变量时间序列预测模型TEDGER,可以提取隐藏在单个时间序列中的序列模式和隐藏在多变量时间序列中的全局特征,并将序列模式和全局特征进行融合,通过残差预测的方式实现时间序列的预测.本文所提模型在真实的时间序列数据集上进行了实验评估.结果表明,本文提出的模型在预测准确度上超越了其他基准模型,同时模型拥有一定的可解释性.     

深度学习在天气预报领域的应用分析及研究进展综述

随着传感器网络和全球定位系统等技术的进步，兼有时间与空间特性的气象数据体量呈爆炸式增长，针对时空序列预测（STSF）的深度学习模型研究得到了迅猛发展。然而，长期以来用于天气预报的传统机器学习方法在提取数据的时间相关性与空间依赖性方面的效果往往并不理想。与此同时，深度学习方法通过人工神经网络自动提取特征，可以有效提高天气预报的准确度，并且在编码长期空间信息的建模方面有相当优秀的效果。同时，由观测数据驱动的深度学习模型与基于物理理论的数值天气预报（NWP）模型结合的方式可以构建拥有更高预测精度与更长预报时间的混合模型。基于这些，将深度学习在天气预报领域的应用分析及研究进展进行了综述。首先，将天气预报领域的深度学习问题与经典深度学习问题从数据格式、问题模型与评价指标这3个方面进行了对比研究；然后，回顾了深度学习在天气预报领域的发展历程与应用现状，并总结分析了深度学习技术与NWP结合的最新进展；最后，展望了未来的发展方向和研究重点，为天气预报领域的深度学习研究提供参考。     

基于API序列的可解释恶意代码检测方法

针对基于API序列的恶意代码检测方法中,深度学习方法特征可解释性差,传统机器学习方法依赖人工设计特征以及忽视数据间时序特性等问题,从时序分类的角度,提出一种基于API序列的可解释恶意代码检测方法。将恶意代码动态API调用序列转换为熵时间序列;使用时间序列分类中的shapelet方法提取具有辨别性的特征;使用多种分类器构造检测模型。实验结果表明,该方法能够自主学习具有辨别性的时序特征,能够在兼具高准确率的同时提供模型的可解释性分类依据。     

基于CNN和多注意力机制的XSS检测模型

为了解决普通深度学习模型存在的难以区分信息重要性差异,以及单一注意力机制存在的关注维度单一的问题,文中提出了一种基于卷积神经网络和多注意力机制的模型对XSS攻击进行检测。首先,将经过word2vec转换后的数据输入到卷积神经网络提取局部特征;然后,使用自注意力模块学习数据的长距离依赖关系,并加强模型对序列维度上重要特征的关注;接着,经过通道注意力模块从通道维度对不同的通道特征图加权;之后,将经注意力模块处理过的特征输入到池化层进行下采样处理,并使用Dropout层提高模型的泛化能力;最后,利用提取到的特征对样本进行分类。使用测试数据集对文中提出的模型进行实验,结果显示,该模型对XSS攻击的检测效果良好,准确率与F1值相比其他深度学习模型有一定程度提升。     

基于时空特征提取的空气污染物PM2.5预测

为了充分挖掘多因素数据间的时空特征信息，解决在多种因素相互影响下不能准确预测PM2.5值的问题，提出了一种融合了局部加权回归的周期趋势分解（Seasonal-Trend decomposition procedure based on Loess, STL）算法、卷积长短期记忆网络（Convolutional Long Short-Term Memory Network, ConvLSTM）和门控循环单元（Gated Recurrent Unit, GRU）的PM2.5预测方法。首先利用STL算法将PM2.5数据进行分解，将分解得到的序列分别与其他因素相融合；搭建ConvLSTM-GRU模型，并利用贝叶斯寻优算法进行超参数寻优；将融合数据传入ConvLSTM网络中进行时空特征提取，再将提取后的特征序列传入GRU网络中进行预测。通过与ConvLSTM-GRU模型、CNN-GRU模型以及GRU模型的预测结果进行比较实验，证明所提模型具有误差小、预测效果好等特点。     

一类基于非线性PCA和深度置信网络的混合分类器及其在PM2.5浓度预测和影响因素诊断中的应用

传统的深度置信网络（Deep brief networks,DBN）在建立高维数据分类模型时,往往存在网络负荷大,运算复杂度高等问题.本文首先基于非线性PCA（NPCA）对高维样本数据进行降维,然后以提取到的非线性特征作为DBN的网络输入,构建了一类含非线性特征提取预处理机制的DBN分类器.并从信息熵理论的角度出发,证明了所提改进DBN分类器在网络结构和算法复杂度方面的优势.通过一个PM2.5浓度预测与影响因素诊断实例,验证了所提改进DBN在一类分类和影响因素诊断问题中的应用,并与传统的分类器进行对比,显示了所提方法在建模精度及收敛速度上的优势.     

基于GA-GRU环境空气污染物预测研究

针对现有的环境空气污染物预测方法存在缺少输入特征相关性分析和时序信息丢失问题,提出一种将遗传算法和门控循环单元神经网络相结合的环境空气污染物PM2.5小时浓度预测模型,充分挖掘了污染物时间序列内在依赖关系,并解决了不相关因子的干扰和输入特征维度灾难的问题。最后基于绵阳市4个空气污染物监测站点的数据集进行仿真实验,与门控循环单元神经网络、深度信念网络预测比较。结果表明,基于GA-GRU的PM2.5小时浓度预测模型在训练时间、预测精度和鲁棒性上优势显著,是一种可行且有效的预测方法。     

基于弱监督预训练深度模型的微博情感分析

微博情感分析对于商业事务和政治选举等应用非常重要。传统的做法主要基于浅层机器学习模型,对人工提取的特征有较大的依赖,而微博情感特征往往难以提取。深度学习可以自动学习层次化的特征,并被用于解决情感分析问题。随着新的深度学习技术的提出,人们发现只要提供足够多的监督数据,就能训练出好的深度模型。然而,在微博情感分析中,通常监督数据都非常少。微博中广泛存在着弱监督数据。该文提出基于弱监督数据的“预训练—微调整”训练框架(distant pretrain-finetune),使用弱监督数据对深度模型进行预训练,然后使用监督数据进行微调整。这种做法的好处是可以利用弱监督数据学习到一个初始的模型,然后利用监督数据来进一步改善模型并克服弱监督数据存在的一些问题。我们在新浪微博数据上进行的实验表明,这种做法可以在监督数据较少的情况下使用深度学习,并取得比浅层模型更好的效果。     

基于深度感知特征提取的室内场景理解

从深度图RGB-D域中联合学习RGB图像特征与3D几何信息有利于室内场景语义分割,然而传统分割方法通常需要精确的深度图作为输入,严重限制了其应用范围。提出一种新的室内场景理解网络框架,建立基于语义特征与深度特征提取网络的联合学习网络模型提取深度感知特征,通过几何信息指导的深度特征传输模块与金字塔特征融合模块将学习到的深度特征、多尺度空间信息与语义特征相结合,生成具有更强表达能力的特征表示,实现更准确的室内场景语义分割。实验结果表明,联合学习网络模型在NYU-Dv2与SUN RGBD数据集上分别取得了69.5%与68.4%的平均分割准确度,相比传统分割方法具有更好的室内场景语义分割性能及更强的适用性。     

一种基于深度学习的时间序列预测方法

时间序列是一种广泛存在于现实各领域之中的海量高维数据,时间序列预测是该领域的一个研究重点.传统的时间序列预测方法仅仅从时间的维度对时间序列进行分析,忽略了外界影响因素对时间序列可能产生的影响.针对传统时间序列预测方法存在的问题,提出一种基于深度学习的时间序列预测模型DAFDCRNN (dual-stage attention and full dimension convolution based recurrent neural network).该模型引入目标注意力机制来学习输入特征与被预测特征之间的相关性,引入全维度卷积机制来学习输入特征之间的相关性,并引入时间注意力(temporal attention)机制来学习时间序列的长期时间依赖性.在实验部分首先确定模型的超参数,然后对模型部件的有效性进行验证,最后通过对比实验验证了所提出的DAFDC-RNN模型在大特征量数据集上具有最佳的预测效果.     

基于特征融合的下肢骨骼数据网格化提取算法

针对现有的下肢骨骼数据网格化提取算法数据处理能力较差,导致骨骼数据提取结果准确率较低等问题,提出基于特征融合的下肢骨骼数据网格化提取算法.根据人体下肢主要关节功能构建下肢运动分析模型,完成下肢骨骼动力学分析.根据分析结果结合节点移动机体积计算公式,得到下肢骨骼运动数据特征.使用网格中值平滑滤波方法对骨骼数据展开处理并设定合适的网格精度,实现下肢骨骼数据网格化提取,完成下肢骨骼数据网格化提取.构建实验环节,通过对比可知,此方法提取结果的准确率较高,数据使用过程中的可靠性较高,具有较高的实用价值.     

多元时序的深度自编码器聚类算法

针对深度聚类算法对多变量时间序列数据（MTS）的特征提取能力不足等问题,提出一种新的深度聚类结构模型（MDTC）。为了提取MTS的关键特征并实现降维,提出一维卷积学习MTS的属性和时序维度的特征表示与循环神经网络等网络层组成的自编码器结构;为了提高模型对时序特征的表示能力,提出了MCBAM时序注意力模块,用于增强MTS序列中不同时间段的表示特征。在九个公开UEA多元时序数据集进行了实验,模型的自编码器结构相较其他自编码器在七个数据集上提升了2%~9%;模型的MCBAM模块相较其他注意力模块在六个数据集上提升了0.3%~2%。实验表明MDTC模型结构和MCBAM模块的有效性,同时模型对比其他聚类算法具有优异的表现。     

基于改进卷积神经网络的动力下肢假肢运动意图识别

传统动力下肢假肢运动意图识别算法常使用机器学习算法分类器,在特征选择方面则需要手工提取.针对该问题将深度学习算法应用于运动意图识别研究中,通过在传统的卷积神经网络的基础上进行改进,使算法更适应于基于短时行为样本数据的运动意图识别,同时抑制深度学习算法应用于运动意图识别中的过拟合.在意图识别数据集中进行滑动窗口预处理,目的是对时间序列样本做数据增广,扩增目标数据集能够使训练集更加丰富全面,提高识别的精度,运用改进后的卷积神经网络对增广后的数据集进行特征学习与分类.实验结果表明,该方法在13类运动模式下的识别率达到93%.