面向交通流预测的双分支时空图卷积神经网络

针对目前交通流预测中未充分考虑到交通流量与密度、交通流量与速度之间的关联性特征信息,以及忽略多尺度时间特征的问题,提出了一种面向交通流预测的双分支时空图卷积神经网络。首先,依据交通数据的周期性,将交通数据划分为近期与周期两种时间粒度的数据输入;其次,在每个输入分支中,先通过关联性门控线性单元(AGLU)提取流量与密度、流量与速度之间的关联性特征信息;然后,通过图卷积层和多尺度时间卷积层提取关联性特征中的空间与时间上下文信息,并采用预测卷积层输出近期、周期双分支预测结果;最后,通过门控机制融合预测结果,从而实现交通流量的准确预测。实验结果表明,所提模型在交通流预测准确性与稳定性方面整体优于其他模型。     

基于MCNN-BiGRU-Attention的轴承故障诊断

传统的故障诊断方法在对轴承故障进行判定时, 存在特征提取不充分, 时序特性运用不完全且计算较为复杂的问题. 对于此问题, 本文提出一种基于多尺度卷积神经网络(multi-scale convolutional neural network, MCNN)、双向门控循环单元(bidirectional gated recurrent unit, BiGRU)和注意力机制(attention)的组合诊断方法. 该方法首先使用MCNN对信号数据进行多尺度特征提取, 在空间层面上, 实现了对特征的进一步提炼. 其次使用了BiGRU网络, 在时间层面上, 从正反两个方向获取时序关系. 接下来引入注意力机制, 忽略一些与结果不相关的信息并且降低信息丢失的风险以提高精度, 在经过全连接层创建映射后, 最后通过Softmax分类方法完成轴承故障诊断. 本文通过实验, 与LSTM模型、GRU模型、SVM模型、CNN-BiGRU等模型进行对比, 实验结果表明, 本文提出的模型相比以往提出的模型准确率更高, 单一工况下的故障诊断准确率达到了98.1%, 多工况条件下平均准确率达到了97.8%.     

基于时空相关性的短时交通流量预测方法

新一代智能交通系统的智能出行、交通大数据智能化决策需要精准及时的短时交通流量预测,深度学习通过机器学习技术自身产生特征,可为短时交通流量预测提供解决方法。以深度学习模型为基础,提出一种结合Conv-GRU和Bi-GRU的短时交通流量预测方法,利用卷积-门控循环单元提取交通流量的时空特征,通过双向门控循环单元提取交通流量的周期特征,将提取的特征进行融合得到交通流量的预测值。实验结果表明,该方法能够准确地预测短时交通流量,与Conv-LSTM方法相比,收敛速度较快,具有更短的运行时间。     

基于CNN-BIGRU-ATTENTION的短期电力负荷预测

电价的实时波动,会对负荷预测精度产生一定影响,增加预测的复杂性.针对这一问题,本文构建基于注意力(AT-TENTION)机制的卷积神经网络(CNN)和双向门控循环单元(BIGRU)混合模型对短期电力负荷进行预测.首先用CNN对负荷及电价数据特征进行抽取;其次,利用BIGRU对潜藏的时序规律进行提取;最后结合ATTENT...     

基于BiGRU-Attention-CNN模型的垃圾邮件检测方法

电子邮件是一种重要的通信工具,但是垃圾邮件问题一直影响着人们日常的工作生活.不断改进垃圾邮件的检测技术、提高垃圾邮件的检测速度和准确率有着重要的研究意义和现实意义.双向门控循环单元(BiGRU)和卷积神经网络(CNN)广泛应用于文本分类领域,二者的结合可以充分发挥BiGRU上下文依赖关系提取能力以及CNN特征提取能力,...     

基于深度学习的工厂生产节点短期能耗预测

针对工业能耗预测中没有将目标节点和其他节点进行区分,导致目标节点预测精度低,为此提出空间动态预测模型(ARSDM)。选用卷积神经网络(CNN)提取邻接数据空间特征,门控循环单元(GRU)提取邻接数据和目标数据的时序特征,注意力机制(Attention)对时序特征进行筛选,实现对目标数据进行实时监控预测。使用循环神经网络(RNN)、GRU和Attention与ARSDM进行比较,选用平均绝对误差(MAE)、均方根误差(RMSE)、平均绝对百分比误差(MAPE)和准确率(Acc)作为评估指标,实验结果表明,ARSDM误差更小,预测精度更高。     

双分支网络的苹果叶部病害识别

由于复杂背景环境和病斑相似性的影响,苹果叶部病害特征间存在细微的类间差异以及较大的类内差距,给苹果叶部病害识别造成极大困难.针对以上问题,提出了一种新型双分支网络的苹果叶部病害识别方法(DBNet).DBNet的双分支网络结构由多尺度联合分支(MS)以及多维度注意力分支(DA)构成.首先多尺度联合分支通过不同类型卷积核...     

基于双分支融合注意力机制的图像分割算法

针对DeepLabV3+在特征提取阶段忽略了不同尺度特征重要程度出现的部分细节信息损失导致图像分割不细致,提出一种融合双分支特征提取和注意力机制的改进算法. ResNet101骨干网络初步提取出的特征图作为注意力机制的输入特征,解决了网络退化及梯度消失的问题,也能够捕获到被DeepLabV3+忽略的图像细节信息;设计双分支特征提取机制扩大特征提取能力,细化图像边缘信息以优化网络对不同尺度特征关注不均的问题;同时,联合采用交叉熵损失和类别不平衡函数两种损失函数作为损失函数,通过聚焦于前景样本降低背景的影响,提高算法分割精度.实验结果表明,改进算法在PASCAL VOC 2012和CityScapes数据集上的平均交并比(MIoU)值分别达到了79.92%和68.59%,与经典算法和基于DeepLabV3+改进的算法相比,特征提取的准确性有所提高,分割效果更优.     

基于混合神经网络的实体关系抽取方法研究

实体关系抽取是信息抽取领域的重要研究内容,对知识库的自动构建起着至关重要的作用。针对非结构化文本实体关系抽取存在上下文环境信息难以准确表征,致使现有抽取模型准确率不能满足实际应用需求的问题,该文提出了一种新型的实体关系抽取模型BiGRU-Att-PCNN。该模型是基于混合神经网络,首先,构建双向门控循环单元(BiGRU)以更好地获取文本序列中的上下文语序的相关信息;然后,采用注意力(Attention)机制来达到自动关注对关系影响力高的序列特征的目的;最后,通过采用分段卷积神经网络(PCNN),从调整后的序列中较好地学习到了相关的环境特征信息来进行关系抽取。该模型在公开的英文数据集SemEval 2010 Task 8上取得了86.71%的F₁值,实验表明,该方法表现出了较好的性能,为信息抽取领域实体关系的自动获取提供了新的方法支持。     

多尺度融合的双分支特征提取人群计数算法

人群计数在公共安全管理、公共空间设计以及其他视觉任务如行为分析、拥塞分析等方面具有重要的应用。然而复杂的背景和人头尺度大小不一导致人群计数的效果并不理想。针对静态图像中尺度变化和背景干扰问题,提出了一种基于双分支中间特征提取的人群计数网络——DBFE_MFNet。该网络沿用编码-解码器结构,在编码阶段使用VGG19卷积神经网络的前16层,为了更好融合多尺度信息,将VGG19卷积神经网络的前16层的后4层卷积替换成空洞率为2的膨胀卷积,解码部分采用抑制背景干扰的残差卷积注意力模块（residual convolutional attention module,RCAM）,在编码-解码器结构中间插入双分支中间特征提取模块（dual branch intermediate feature extraction module,DBFE）,分支1采用金字塔结构并融合位置注意力模块提取多尺度上下文信息,分支2沿用金字塔结构融合双通道注意力机制使模型关注不同大小人头信息,最后使用1×1卷积生成密度图。实验方面,在ShanghaiTech PartA、ShanghaiTech PartB、Mall数据集上进行了算法对比实验,DBFE_MFNet模型在上述数据集的平均绝对误差和均方根误差分别为63.2、7.1、1.80和99.2、11.8、2.28,经对比实验分析,DBFE_MFNet模型具有不错的计数性能和稳定性能;在ShanghaiTech PartB进行了消融实验,实验验证了模型各模块的有效性。     

基于注意力机制的深度学习推荐算法

针对目前基于评论文本的推荐算法存在文本特征和隐含信息提取能力不足的问题, 提出一种基于注意力机制的深度学习推荐算法. 通过分别构建用户和项目的评论文本表示, 利用双向门控循环单元提取文本的上下文依赖关系以获得文本特征表示, 引入注意力机制, 更准确的获取用户兴趣偏好和项目属性特征. 将生成的用户和项目评论数据的两组隐含...     

基于双分支注意力U-Net的语音增强方法

针对语音增强网络对全局语音相关特征提取困难、对语音局部上下文信息的捕捉效果不佳的问题,提出了一种基于双分支注意力U-Net的时域语音增强方法,该方法使用U-Net编码器-解码器结构,将单通道带噪语音经过一维卷积后得到的高维时域特征作为输入。首先利用残差连接设计了基于Conformer的残差卷积来增强网络降噪的能力。其次设计了双分支注意力机制结构,利用全局和局部注意力获取带噪语音中更丰富的上下文信息,同时有效表示长序列特征,提取更多样的特征信息。最后结合时域频域损失函数构建了加权损失函数对网络进行训练,提高网络的语音增强性能。使用了多个指标对增强语音的质量和可懂度等进行评价,在公开数据集Voice Bank+DEMAND上的增强后的语音感知质量(PESQ)为3.11,短时可懂度(STOI)为95%,信号失真度(CSIG)为4.44,噪声失真测(CBAK)为3.60,综合质量测度(COVL)为3.81,其中PESQ相较于SE-Conformer提高了7.6%,相较于TSTNN提高了5.1%。实验结果表明,所提方法在语音降噪的各个指标都表现出更优的实验结果,能够完成语音增强任务的相关要求。     

基于时空特征提取的空气污染物PM2.5预测

为了充分挖掘多因素数据间的时空特征信息,解决在多种因素相互影响下不能准确预测PM2.5值的问题,提出了一种融合了局部加权回归的周期趋势分解（Seasonal-Trend decomposition procedure based on Loess, STL）算法、卷积长短期记忆网络（Convolutional Long Short-Term Memory Network, ConvLSTM）和门控循环单元（Gated Recurrent Unit, GRU）的PM2.5预测方法。首先利用STL算法将PM2.5数据进行分解,将分解得到的序列分别与其他因素相融合;搭建ConvLSTM-GRU模型,并利用贝叶斯寻优算法进行超参数寻优;将融合数据传入ConvLSTM网络中进行时空特征提取,再将提取后的特征序列传入GRU网络中进行预测。通过与ConvLSTM-GRU模型、CNN-GRU模型以及GRU模型的预测结果进行比较实验,证明所提模型具有误差小、预测效果好等特点。     

基于BiGRU-CNN-Attention模型的股市评论情感分析

人们对股市的评论能够反映出股票投资人对股市的关注程度以及投资意向,对股市评论进行情感分析有利于证券投资机构和个人投资者做出更合理的投资决策。爬取了东方财富网股吧的股市评论记录,选取其中9000条评论作为股市评论数据集,将双向门控循环单元、卷积神经网络和注意力机制结合,对该股市评论数据集进行情感分析研究,并采用GRU、BiGRU、BiGRU-Attention、CNN-BiGRU算法与之比较。实验结果表明,BiGRU-CNN-Attention网络模型在准确率(accuracy)、精确率(precision)、召回率(recall)和F1值(F-measure)均有较好表现,非常适用于该类短文本数据的情感分析。     

基于CNN-BGRU-CRF的中文电子病历实体抽取方法

针对传统方法在中文电子病历实体抽取任务中存在对词典和分词工具过于依赖,无法充分利用上下文特征等问题,本文提出一种基于字嵌入卷积（CNN）、双向门控循环单元（BGRU）和条件随机场（CRF）结合的中文电子病历实体抽取模型。首先利用字嵌入方法提取出潜在词特征,然后在使用字词特征联合方式的同时使用注意力机制突出特定的信息,最后通过合理性约束得到最终结果。该模型充分使用了字词特征避免了实体抽取受错误分词的影响,并且减少了人工构造特征的过程,提高了实体抽取效率。实验结果表明,该模型在诊断名称、症状名称、治疗方式类别的实体抽取中,F值表现优于传统的Bi-LSTM-CRF模型。     

基于改进BiGRU-CNN的中文文本分类方法

传统的自注意力机制可以在保留原始特征的基础上突出文本的关键特征,得到更准确的文本特征向量表示,但忽视了输入序列中各位置的文本向量对输出结果的贡献度不同,导致在权重分配上存在偏离实际的情况,而双向门控循环单元（BiGRU）网络在对全局信息的捕捉上具有优势,但未考虑到文本间存在的局部依赖关系。针对上述问题,提出一种基于改进自注意力机制的BiGRU和多通道卷积神经网络（CNN）文本分类模型SAttBiGRU-MCNN。通过BiGRU对文本序列的全局信息进行捕捉,得到文本的上下文语义信息,利用优化的多通道CNN提取局部特征,弥补BiGRU忽视局部特征的不足,在此基础上对传统的自注意力机制进行改进,引入位置权重参数,根据文本向量训练的位置,对计算得到的自注意力权重概率值进行重新分配,并采用softmax得到样本标签的分类结果。在两个标准数据集上的实验结果表明,该模型准确率分别达到98.95%和88.1%,相比FastText、CNN、RCNN等分类模型,最高提升了8.99、7.31个百分点,同时精确率、召回率和F1值都有较好表现,取得了更好的文本分类效果。     

基于注意力机制的半监督日志异常检测方法

日志记载着系统运行时的重要信息,通过日志异常检测可以快速准确地找出系统故障的原因。然而,日志序列存在数据不稳定和数据之间相互依赖等问题。为此,提出了一种新的半监督日志序列异常检测方法。该方法利用双向编码语义解析BERT模型和多层卷积网络分别提取日志信息,得到日志序列之间的上下文相关信息和日志序列的局部相关性,然后使用基于注意力机制的Bi-GRU网络进行日志序列异常检测。在3个数据集上验证了所提方法的性能。与6个基准方法相比,所提方法拥有最优的F1值,同时获得了最高的AUC值0.981 3。实验结果表明,所提方法可以有效处理日志序列的数据不稳定性和数据之间相互依赖的问题。