基于ST-LSTM网络的位置预测模型

针对现有位置预测研究多数忽略时间和空间之间关联性的问题,提出一种基于时空特性的长短期记忆模型(ST-LSTM)。基于LSTM网络添加单独处理用户移动行为时空信息的时空门,并考虑用户签到的时间及空间因素,从而使模型具有时空特性。在ST-LSTM网络中引入个人修正因子,对每类用户的输出结果进行修正,在确保基本特性的基础上突出个性化,更好地学习每类用户的行为轨迹特征,同时在保证ST-LSTM网络特性的前提下给出2种ST-LSTM网络的简化变体模型。在公开数据集上的测试结果表明,与主流位置预测方法相比,该预测模型精确率、召回率、F1值都有明显提升。     

时空嵌入式生成对抗网络的地点预测方法*

定位技术的广泛使用可以积累大量的用户轨迹信息,为挖掘用户的行为轨迹提供便利.地点预测任务是众多基于位置服务的基础,学者们更关注如何有效利用这些轨迹数据进行地点预测.已有的方法或关注对长期模式(数天或数月)的预测,或致力于实时轨迹预测.文中研究的问题基于上述两者之间,即对弱实时条件下(数分钟或数小时)用户下一步的访问行为进行预测.为此,提出时空嵌入式的生成对抗网络模型(ST-GAN),在序列生成对抗网络的基础上,提出时空嵌入式长短时记忆生成模型(ST-LSTM)和时空嵌入式卷积神经网络判别模型(ST-CNN).ST-LSTM利用时空信息引导LSTM训练门机制,缓解数据的稀疏性.ST-CNN利用时空信息增强判别真伪访问序列的能力.此外,ST-GAN的训练优化机制使模型可以生成更多逼近真实的数据以引导模型学习,从而得到更好的预测效果.最后在真实的轨迹数据集上的实验验证ST-GAN的有效性.     

基于多模态数据融合的室温预测算法研究

室内温度是供暖期影响人体舒适度的重要指标。准确掌握室内温度的变化规律和趋势，建立精确的室内温度预测模型，是实现高效智能供暖的关键。本文建立了基于长短期记忆（LSTM）神经网络的室内温度预测模型。以天津理工大学研究生实验室的温度实测数据为例，对原始数据集进行特征变量分析选取、数据预处理等工作后进行模型验证和分析，并与RNN神经网络预测模型和BP神经网络预测模型进行对比实验。实验结果表明：相较于其他两种模型，LSTM网络模型具有更高的准确率，预测精度可达到98.39%。因此使用LSTM网络模型可以更好预测室内温度的变化趋势，为促进节能减排提供可靠依据。     

基于深度卷积自编码神经网络的手写数字识别研究

针对提高不同笔体下的手写识别准确率进行了研究,将深度卷积神经网络与自动编码器相结合,设计卷积自编码器网络层数,形成深度卷积自编码神经网络。首先采用双线性插值方法分别对MNIST数据集与一万幅自制中国大学生手写数字图片进行图像预处理,然后先使用单一MNIST数据集对深度卷积自编码神经网络进行训练与测试;最后使用MNIST与自制数据集中5 000幅混合,再次训练该网络,对另外5 000幅进行测试。实验数据表明,所提深度卷积自编码神经网络在MNIST测试集正确率达到99.37%,有效提高了准确率;且5 000幅自制数据集模型测试正确率达99.33%,表明该算法实用性较强,在不同笔体数字上得到了较高的识别准确率,模型准确有效。     

基于多分支神经网络模型的弱监督细粒度图像分类方法

针对传统基于注意力机制的神经网络不能联合关注局部特征和旋转不变特征的问题,提出一种基于多分支神经网络模型的弱监督细粒度图像分类方法。首先,用轻量级类激活图(CAM)网络定位有潜在语义信息的局部区域,设计可变形卷积的残差网络ResNet-50和旋转不变编码的方向响应网络(ORN);其次,利用预训练模型分别初始化特征网络,并输入原图和以上局部区域分别对模型进行微调;最后,组合三个分支内损失和分支间损失优化整个网络,对测试集进行分类预测。所提方法在CUB-200-2011和FGVC_Aircraft数据集上的分类准确率分别达到87.7%和90.8%,与多注意力卷积神经网络(MA-CNN)方法相比,分别提高了1.2个百分点和0.9个百分点;在Aircraft_2数据集上的分类准确率达到91.8%,比ResNet-50网络提高了4.1个百分点。实验结果表明,所提方法有效提高了弱监督细粒度图像分类的准确率。     

动态卷积生成对抗网络的视频帧预测方法研究

针对当前视频帧预测模型中存在的预测准确度较差和物体结构信息丢失等问题,提出了一种动态卷积生成对抗网络.在生成网络中,首先使用卷积长短时记忆网络初步提取输入视频流的图像特征,然后利用卷积神经动态平流单元对视频流中的运动特征进行提取,最后将上述两种特征组合后输出一组预测视频帧;在判别网络中,采用一个3D卷积网络一次性接收全...     

基于深度学习的交通流量预测研究

交通流量序列具有不平稳性、周期性、易受节假日等因素影响的特点，因此交通流量预测是一项困难的任务。针对交通流量序列的预测问题，设计了一种基于深度学习的交通流量预测模型。模型融合了卷积神经网络和长短时记忆神经网络两种网络结构，卷积神经网络用于提取特征分量，长短时记忆神经网络综合提取出来的特征分量做序列预测。通过在贵州省高速公路车流量数据集上的验证，模型比传统的预测方法具有更高的精确度和实时性，在不同数据集上的泛化性能良好。     

基于深度卷积长短时神经网络的视频帧预测

针对视频帧预测中难以准确预测空间结构信息细节的问题，通过对卷积长短时记忆（LSTM）神经网络的改进，提出了一种深度卷积长短时神经网络的方法。首先，将输入序列图像输入到两个不同通道的深度卷积LSTM网络组成的编码网络中，由编码网络学习输入序列图像的位置信息变化特征和空间结构信息变化特征；然后，将学习到的变化特征输入到与编码网络通道数对应的解码网络中，由解码网络输出预测的下一张图；最后，将这张图输入回解码网络中，预测接下来的一张图，循环预先设定的次后输出全部的预测图。与卷积LSTM神经网络相比，在Moving-MNIST数据集上的实验中，相同训练步数下所提方法不仅保留了位置信息预测准确的特点，而且空间结构信息细节表征能力更强。同时，将卷积门控循环单元（GRU）神经网络的卷积层加深后，该方法在空间结构信息细节表征上也取得了提升，检验了该方法思想的通用性。     

面向季节性时空数据的预测式循环网络及其在城市计算中的应用

实际生活中有很多带有季节特征的时空数据,在城市计算领域分布尤广,例如交通流量数据便具有较为明显的以天或周为周期的统计学特征.如何有效利用这种季节特征,如何捕捉历史观测与待预测数据之间的相关性,成为了预测此类时空数据未来变化趋势的关键.传统时序建模方法将时序数据分解为多个信号分量,并使用线性模型来进行预测.此类方法具有较强的理论基础,但对于数据的平稳性要求过于严格,难以预测趋势信息复杂的数据,更不适用于高维的时空数据.然而在真实场景下,季节性时空数据的周期长短可变,且不同周期的对应关系往往并不固定,存在时间、空间上的模式变化与偏移,很难作为理想的周期信号以传统时序方法建模.相比之下,深度神经网络建模能力更强,可拟合更为复杂的数据.近几年有许多工作研究了如何利用卷积神经网络和循环神经网络来处理时空数据,也有一些工作讨论了如何有效利用周期性信息提升预测的准确性.但深度神经网络受困于梯度消失和误差累积,难以捕捉时序数据中的长时间依赖,且少有方法讨论如何在深度神经网络中有效建模上述具有弹性周期对应关系的时空信号.本文针对真实场景下季节性时空数据的上述问题,给出具有弹性周期对应关系的时空数据预测问题的形式化定义,并提出了一种新的季节性时空数据预测模型.该模型包含季节网络、趋势网络、时空注意力模块三个部分,可捕捉短期数据中的临近变化趋势和长期数据中隐含的季节性趋势,并广泛考虑历史周期中的每个时空元素对未来预测值的影响.为了解决深度循环网络难以捕捉时序数据中的长时间依赖的问题,本文提出一种新的循环卷积记忆单元,该单元将上述模块融合于一个可端到端训练的神经网络中,一方面实现了时间和空间信息统一建模,另一方面实现了短期趋势特征与历史周期特征的统一建模.进一步地,为了解决季节性数据中的各周期时空元素对应关系不固定的问题,本文探讨了多种基于注意力模块的时空数据融合方式,创新性地提出一种级联式的时空注意力模块,并将其嵌入于上述循环卷积记忆单元内.该模块建模记忆单元的隐藏状态在不同周期内的弹性时空对应关系,自适应地选取相关度高的季节性特征辅助预测.实验部分,我们选取了两个时空数据预测在城市计算中最为典型的应用:交通流量预测和气象数据预报.本文所提出的时空周期性循环神经网络在北京、纽约的交通流量数据集、美国气象数据集上均取得了目前最高的预测准确性.     

基于ASTG-CRNN模型的多步长交通流预测

针对交通流预测模型中路网表征结构难以进行刻画和交通流数据中动态时空相关性难以进行建模以及其中时间特征捕获不充分的问题,提出一种基于注意力机制和时空图卷积循环神经网络的交通流预测模型(ASTG-CRNN)。首先,通过定义节点相对邻近度来确定路网表征结构的关系权重;其次,通过在时空维度上引入注意力机制对动态时空相关性进行建模,再采用图卷积捕获交通流数据中的空间特征;最后,采用卷积神经网络和双向门控循环神经单元的组合模块共同捕捉时间特征,从而能更好地表达交通流的时空特性。在两个公开交通流数据集PeMS04和PeMS08上对模型预测效果进行验证,其结果表明,ASTG-CRNN模型的预测结果均优于其它模型,与时空同步图卷积网络模型(STSGCN)相比,在未来1h内预测结果的MAE、RMSE和MAPE在数据集PeMS08上分别降低了2.71、2.69和0.87%。     

基于时空信息转换方程的药品销量预测模型

针对药品销售中高维短时间序列预测问题,利用时空信息转换方程及储备池计算方法构建了一种基于时空信息（STI）转换方程的药品销售量预测模型。首先针对药品销售时间序列数据样本量较小的特点,引入储备池计算方法拓展数据样本信息维度,将多个不同药品销售量时序数据中的动力学信息引入储备池。使用时空信息转换方程对时间信息与空间信息进行转化,最后在储备池运算的基础上对时空信息转化方程求解,对目标药品的销售量进行有效的时间序列预测。通过将提出的基于时空信息转换方程的时序预测模型与神经网络预测模型在特定药品销售数据集进行时序预测验证并进行横向对比,相较于GRU(Gated Recurrent Unit),所提模型在测试时间节点上的均方根误差（MSE）及运算时间分别减小了13.27%和95.60%、皮尔逊相关系数提高了34个百分点;相较于长短期记忆模型（LSTM）,所提模型在测试时间节点上的均方根误差及运算时间分别减小了69.85%和98.00%,而皮尔逊相关系数提高了44个百分点;相较于卷积神经网络模型（CNN）,在测试节点的均方根误差及运算时间分别减少了48.96%和88.53%,皮尔逊相关系数提高了33...     

改进矩阵分解与卷积神经网络结合的推荐模型

针对推荐系统评分数据稀疏和评价信息爆增等问题进行模型研究和改进。在传统矩阵分解模型基础上加入了用户和项目的影响因子，提高预测模型的泛化能力；建立跨通道卷积神经网络对用户评价信息进行识别，将改进的矩阵分解模型与改进卷积神经网络进行结合，提出一种改进矩阵分解与跨通道卷积神经网络结合的推荐模型，提高预测模型的准确度。实验结果表明，该模型预测性能相对于PMF、CTR和CDL在三个数据集上的最优性能分别提升2.96%、10.27%和1.77%，相对于MF&CNN性能分别提升0.29%、2.98%和0.08%；当数据密度从20%增至80%时，模型预测性能会进一步提升。     

基于LSTM-Prophet非线性组合的时间序列预测模型

目前采用单一预测模型对于复杂的非线性时间序列具有预测精度较低,且不能很好地捕捉时间序列的复合特征的问题,因此本文提出一种基于BP神经网络组合的长短期记忆网络-Prophet(LSTM-Prophet)时间序列预测模型。模型将长短期记忆网络及Prophet这2种预测模型得到的预测值通过BP神经网络进行非线性组合,得出最终的预测值。随后设计实现本文模型与3个单项模型的对比实验,使用3个不同领域的数据集验证本文模型的准确性和有效性。实验结果表明提出的预测模型具有较高的预测精度、较好的通用性和应用前景。     

基于注意力机制的CNN-LSTM模型及其应用

时序数据存在时序性，并且其短序列的特征存在重要程度差异性。针对时序数据特征，提出一种基于注意力机制的卷积神经网络（CNN）联合长短期记忆网络（LSTM）的神经网络预测模型，融合粗细粒度特征实现准确的时间序列预测。该模型由两部分构成：基于注意力机制的CNN，在标准CNN网络上增加注意力分支，以抽取重要细粒度特征；后端为LSTM，由细粒度特征抽取潜藏时序规律的粗粒度特征。在真实的热电联产供热数据上的实验表明，该模型比差分整合移动平均自回归、支持向量回归、CNN以及LSTM模型的预测效果更好，对比目前企业将预定量作为预测量的方法，预测缩放误差平均值（MASE）与均方根误差（RMSE）指标分别提升了89.64%和61.73%。     

面向轻量化的地基云图分割技术研究

云是气象领域比较重要的要素之一,准确快速获取云量,在天气预报、飞行安全、气候研究等方面均具有积极意义,因此为了快速准确地获得云量,就需要精准地分割云图。但是现有云图分割网络存在分割效果差、运算复杂度高、参数量大等问题,为了解决这些问题,提出一种轻量化的地基云图分割网络模型LGCSegNet。该模型利用Encoder-Decoder网络模型框架进行设计,利用通道拼接思想在通道深度上实现不同层次图像特征融合,避免损失特征边界,实现精确地分割地基云图,可获取准确的云量信息。在地基云图数据集HBMCD和HBMCD_GT上进行实验,经多组对比实验证明所提出的网络对云的表征能力更强,分割准确率比较高,可达到96.83%,分割的平均交并比可以达到86.00%,为实际应用提供了一定的理论基础。     

基于ACGRU模型的短时交通流预测

针对现有交通流预测模型未能充分利用交通流数据的时空特征以实现准确预测的问题,提出一种结合注意力机制的卷积门控循环单元预测模型（ACGRU）。该模型利用卷积神经网络（CNN）和门控循环单元（GRU）提取交通流的时空特征,然后使用注意力机制生成含有注意力概率分布的交通流特征表示,同时利用交通流的周相似性提取周期特征,将所有特征相互融合进行回归预测。在真实交通流数据集上的实验表明,提出的ACGRU模型具有更高的预测精度,预测误差相比其他预测模型平均降低了9%。     

基于EEMD与RBF神经网络的网络流量预测

网络流量预测对于网络性能和服务质量的提高具有重要意义。提出一种基于整体平均经验模态分解EEMD(Ensemble Empirical Mode Decomposition)与径向基函数RBF(Radial Basis Function)神经网络的预测模型,利用EEMD将长相关流量转化为短相关流量并应用RBF神经网络模型对流量数据进行建模及预测,不仅降低了算法的复杂度,而且有利于网络流量的实时预测。仿真试验结果表明,相比于自回归分数综合滑动平均模型FARIMA(Fractional AutoRegressive Integrated Moving Average Mode)、RBF神经网络模型及EMD(Empirical Mode Decomposition)与自回归滑动平均模型ARMA(AutoRegressive Moving Average Model),该模型具有更高的预测精度和良好的自适应性。     

深度卷积记忆网络时空数据模型

时空数据是包含时间和空间属性的数据类型.研究时空数据需要设计时空数据模型,用以处理数据与时间和空间的关系,得到信息对象由于时间和空间改变而产生的行为状态变化的趋势.交通信息数据是一类典型的时空数据.由于交通网络的复杂性和多变性,以及与时间和空间的强耦合性,使得传统的系统仿真和数据分析方法不能有效地得到数据之间的关系.本文通过对交通数据中临近空间属性信息的处理,解决了由于传统时空数据模型只关注时间属性导致模型对短时间间隔数据预测能力不足的问题,进而提高模型预测未来信息的能力.本文提出一个全新的时空数据模型—深度卷积记忆网络.深度卷积记忆网络是一个包含卷积神经网络和长短时间记忆网络的多元网络结构,可以提取数据的时间和空间属性信息,通过加入周期和镜像特征提取模块对网络进行修正.通过对两类典型时空数据集的验证,表明深度卷积记忆网络在预测短时间间隔的数据信息时,相较于传统的时空数据模型,不仅预测误差有了很大程度的降低,而且模型的训练速度也得到提升.     

基于循环神经网络的电信行业容量数据预测方法

在电信运维的容量预测过程中,存在容量指标和部署业务种类繁多的问题。现有研究未考虑指标数据类型的差异,对所有类型的数据使用同种预测方法,使得预测效果参差不齐。为了提升指标预测效率,提出一种指标数据类型分类方法,利用该方法将数据类型分为趋势型、周期型和不规则型。针对其中的周期型数据预测,提出基于双向循环神经网络（BiRNN）的周期型容量指标预测模型,记作BiRNN-BiLSTM-BI。首先,为分析容量数据的周期特征,提出一种忙闲分布分析算法;其次,搭建循环神经网络（RNN）模型,该模型包含一层BiRNN和一层双向长短时记忆网络（BiLSTM）;最后,充分利用系统忙闲分布信息,对BiRNN输出的结果进行优化。与传统的三次指数平滑、差分自回归移动平均（ARIMA）模型和反向传播（BP）神经网络模型进行比较的实验结果表明,在统一日志数据集和分布式缓存数据集上,提出的BiRNN-BiLSTM-BI模型的均方误差（MSE）分别比对比模型中表现最优的模型降低了15.16%和45.67%,可见预测准确率得到了很大程度的提升。     

基于紧耦合时空双流卷积神经网络的人体动作识别模型

针对视频人体动作识别中动作信息利用率不高、时间信息关注度不足等问题,提出了一种基于紧耦合时空双流卷积神经网络的人体动作识别模型。首先,采用两个2D卷积神经网络分别提取视频中的空间特征和时间特征;然后,利用长短期记忆（LSTM）网络中的遗忘门模块在各采样片段之间建立特征层次的紧耦合连接以实现信息流的传递;接着,利用双向长短期记忆（Bi-LSTM）网络评估各采样片段的重要性并为其分配自适应权重;最后,结合时空双流特征以完成人体动作识别。在数据集UCF101和HMDB51上进行实验验证,该模型在这两个数据集上的准确率分别为94.2%和70.1%。实验结果表明,所提出的紧耦合时空双流卷积网络模型能够有效提高时间信息利用率和动作整体表达能力,由此明显提升人体动作识别的准确度。