基于注意力机制的LSTM和ARIMA集成方法在土壤温度中应用

为准确分析土壤温度特性问题,提出了基于注意力机制的多通道长短期记忆网络（LSTM）融合ARIMA算法的预测模型。通过提取长短期不同时刻重要时间特征,并利用ARIMA时间序列模型提取线性特征优势更准确预测土壤温度。为验证该模型,本文在瑞士两个气象站（Laegern和Fluehli气象站）测试了未来6、12和24 h内,同时间土壤深度5、10和15 cm下土壤温度的均方根误差、平均绝对误差、均方误差和决定系数,并以4个评价指标进行验证。与自回归综合移动平均模型、LSTM和全连接网络相比,本文模型具有最优性能,尤其在未来6 h内对Fluehli站（10 cm土壤深度）土壤温度模型中改善最为显著;取得了最高的相对决定系数值0.9965,最低的均方根误差为0.3414,平均绝对误差为0.2310,均方误差为0.1165。因此,本文模型可以作为备选土壤温度估计的替代方法。     

基于LSTM与衰减自注意力的答案选择模型

针对答案选择过程中存在语句特征、语句间的相关语义信息提取不充分的问题,在长短时记忆网络(LSTM)的基础上,提出基于LSTM和衰减自注意力的答案选择模型(DALSTM). DALSTM使用LSTM和衰减自注意力编码层提取丰富的上下文语义信息,通过衰减矩阵缓解反复使用注意力机制出现的权重过集中于关键词的问题.使用注意力机制对问题与答案间的信息进行双向交互,融合问答对间的相似性特征,丰富问答对间的相关语义信息.在WiKiQA、TrecQA及InsuranceQA数据集上的模型评估结果表明,相较于其他基于BiLSTM的先进模型,DALSTM的整体性能表现更好,3个数据集的平均倒数排名（MRR）分别达到0.757、0.871、0.743.     

基于融合注意力机制LSTM网络的地下水位自适应鲁棒预测

地下水水位是旱天污水管网地下水入渗量的重要影响因素,快速精准地预测地下水水位能有效提升旱天污水管网地下水入渗量估算准确度,辅助优化管网病害治理与维护策略。针对目前城市复杂水文预测存在的准确度低、灵敏度低、泛化能力弱等问题,本文提出了一种新的鲁棒自适应水位预测算法。首先,对水文数据进行预处理,解决了数据时间跨度大、噪声多、缺失及异常、非平稳等问题。其次,针对不同输入特征对预测指标影响差异问题,在模型训练阶段提出一种新的空间变量注意机制,可快速识别与水位关联的关键变量,并对输入特征赋予不同的影响权重。进一步地,针对不同序列长度对预测效果影响差异问题,本文还设计了自适应时间注意力机制,帮助网络自适应地找出与不同时间序列长度预测指标相关的编码器隐藏状态,以更好地捕捉时间上的依赖关系。在此基础上,以上下文向量作为输入,提出一种融合注意力机制的LSTM水文预测算法。最后,通过意大利Petrignano水文数据验证了所提算法的有效性,并与GRU、Elman、LSTM、S-LSTM和VA-LSTM等方法进行预测性能比较。结果表明,基于融合注意力机制LSTM网络在面临复杂、大规模、噪点多的数据时有优于其它几种算法的预测效果,表明该算法的强自适应性和鲁棒性。本文研究结果可以为市政排水策略合理调整、及时控制提供参考。     

基于DRSN-CW和LSTM的轴承故障诊断

利用深度残差网络中逐通道不同阈值的残差收缩模块(DRSN-CW)的降噪能力和特征提取能力,结合长短时记忆网络(LSTM)和注意力机制,设计了一个端到端的基于振动信号的轴承故障诊断模型DRSNCW-LSTM。其中,LSTM模块很好地利用了信号的时序特点,充分提取振动信号的内部时域特征。同时,注意力机制的引入可以使得模型自动提取出重要的时域特征用于后续的故障类型识别。在凯斯西储大学(CWRU)数据集上对提出的模型进行了测试,实验表明提出的方法在无降噪处理的情况下,相比于最新的MCNN-LSTM模型能更准确地诊断轴承故障。在训练数据不足的情况下,提出的方法依旧能较好地实现轴承故障诊断,平均准确率能达到98.16%,比MCNN-LSTM平均提升了2.62%。     

基于CNN和LSTM的智能文本分类

针对文本分类领域的应用,在利用卷积神经网络(CNN)与长短时记忆网络(LSTM)基础上提出一种改进的卷积层技术,将改进后的卷积层技术用于对文本这种一维数据结构的处理,并联合LSTM的区域嵌入技术实现文本的分类。实验结果表明,与传统方法比较,该方法在执行性能和分类精确度方面都有明显的提升。     

基于RFID和LSTM的固定资产智能感知方法

针对传统基于射频识别的固定资产感知方法存在射频信号易受环境影响、多个标签互干扰、感知识别精度低等问题,提出一种基于射频识别（RFID）和长短期记忆（LSTM）神经网络的固定资产状态智能感知方法。为克服RFID信号接收时间非连续性导致的识别精度低问题,引入序列分析思想,使用LSTM对一段时间内接收到的RFID信号序列进行模式学习,构建基于RFID和LSTM的固定资产感知模型,实现固定资产位置的二分类辨识。所提方法在高校实验室条件下开展实测实验进行性能验证。结果表明,使用序列分析的固定资产状态感知模型辨识准确率可达 99.26%,比传统基于离散时刻点的 RFID 感知模型辨识准确率高 11.05%,且对多标签的识别准确率可达93.0%。     

基于模糊理论和双向联想记忆神经网络的变压器老化评价

采用模糊理论和双向联想记忆神经网络(BAM)相结合的方式对变压器老化进行评价。该方法首先运用模糊理论对变压器的相关特征进行模糊化处理,处理相关参数的不确定性问题,之后采用模糊推理和解模糊过程进行变压器的老化状态评价。在模糊化过程中,因为绝缘油气体和绝缘油的电气特征主观性较强,本文使用BAM神经网络进行训练,从而实现这些规则的模糊化。通过对实际数据的模拟实验,对所提出的方法进行了检验,实验结果与实际情况吻合程度很好,验证了所提出方法的有效性。     

基于LSTM的大棚环境变量预测

针对温室大棚中环境变量变化趋势难以预测的问题,提出一种基于LSTM模型的大棚环境变量预测方法。首先根据实际采集到的大棚农作物西红柿生长环境变量(温度、湿度、二氧化碳浓度)的数据特点,设置网络模型隐藏层层数、调整网络参数;然后在处理好的环境变量训练数据集上进行训练,得到大棚环境变量预测模型;将LSTM模型与传统RNN和GRU预测模型进行对比实验。实验结果表明,LSTM模型的预测精度更高,鲁棒性更强,预测结果的均方根误差(root mean square error,RMSE)低于0. 05,可以实现大棚环境变量的准确预测,为大棚的智能控制提供可靠依据。     

一种基于WPT和LSTM的孤岛检测算法

针对目前基于数字信号处理的防孤岛检测手段,提出一种小波包变换(Wavelet Package Transform, WPT)与长短时记忆(Long Short-Term Memory, LSTM)神经网络相结合的孤岛检测方法。该方法首先采集公共耦合点处不同工况下的电压波形,再将其分别进行4层小波分解,重构波形将1-7次低频和40次以上谐波成分滤除。最后将重构信号作为LSTM神经网络的输入对孤岛情况进行分类识别,完成孤岛检测。实验结果表明,所提方法网络学习效率高,检测准确率高。     

一种整合语义对象特征的视觉注意力模型

视觉注意力建模作为预测人类在观察场景时注意力分布的关键技术,在计算机视觉的众多领域均有广泛应用.传统的视觉注意力模型着重研究人眼注视点,计算出的显著图更多的是反映眼动信息,并未将大脑的感知出的语义信息反映出来.针对这一问题,本文提出了一种整合了语义对象特征的视觉注意力模型.首先,本文建立了眼动跟踪数据库VOC2012-E,研究并记录普通人在观察自然场景时的眼动数据.然后,受语义分割启发,利用全卷积神经网络(Fully Convolutional Networks, FCN)提取语义对象特征,同时用激活函数PReLu和优化函数Adam改进FCN网络使其更有效地提取的语义对象特征,来模仿大脑对语义对象特征的感知.接着,提取在人类潜意识层吸引人注意力的如方向,颜色,强度特征等28个低级特征.最后利用支持向量机(Support Vector Machine, SVM)将之前提取的语义对象特征及低级特征映射到人类视觉空间,同时引入真实眼动数据进行有监督的训练,得到可以预测人眼视觉显著图的视觉注意力模型.实验结果表明,在VOC2012-E及MIT300数据库上与其他8种经典模型及4种先进模型相比,本文提出的视觉注意力模型性能更好,更有生物学优势.     

基于LSTM和灰色模型的股价时间序列预测研究

影响股价的因素错综复杂,因此在考虑多变量情形下,对时间序列中常用的长短期记忆网络（LSTM）进行修正,并选取股票价格进行预测.首先,采用方差膨胀因子（VIF）进行变量的筛选,再结合自适应提升法（Adaboost）模型查看特征变量的重要程度.其次,用爬虫对投资者情绪进行文本分析,计算情绪指数等指标并揭示其与股价的关系.然后,对格力电器、飞科电器、美的集团3支股票进行股价预测,对比多层感知器（MLP）模型、LSTM模型,并选择适当的模型作为基准模型,在基准模型的基础上加上情绪指数、投资者关注度等指标构建了LSTM-EM模型.进一步,在考虑了投资者情绪后对残差项使用GM （1,1）模型进行修正.实证结果表明,该模型能对股价进行较为精确的预测.     

基于LSTM和RBF-BP深度学习模型的火灾预测方法

针对火灾信号的时变性和非线性特点以及单特征信号火灾预测方法的高漏报率和误报率的问题,提出一种基于LSTM (Long Short Time Memory,长短时记忆网络)和RBF-BP (Radial Basis Function and Back Propagation,径向基反向传播网络)深度学习模型的多源信息融合火灾预测方法。首先,在信息层通过多种传感器采集火灾发生时的特征信息,并通过速率检测算法对特征信息进行预处理。然后在特征层利用深度学习中的LSTM和RBF-BP神经网络对火灾多种特征信号进行自适应学习,输出有火、无火以及阴燃火三种火型的发生概率。最后采用模糊逻辑控制系统决策输出有无火灾发生。仿真实验结果表明,所提出的火灾预测方法与传统的和单神经网络方法相比具有更高的预测精度和自适应性。     

基于注意力特征融合网络的手指静脉图像质量评价方法

为充分挖掘质量特征以提高手指静脉图像质量评价的性能,提出一种基于注意力特征融合的深度可分离卷积网络,将其用于手指静脉图像质量评价。该方法主要包括静脉纹路提取、深度质量特征提取、注意力特征融合和图像质量类别预测等四个步骤。使用深度可分离卷积代替传统卷积,减少网络参数,使网络轻量化。使用注意力特征融合代替特征串联融合,从手指静脉灰度图像和手指静脉纹路图像中挖掘更具区分性的质量特征。考虑到目前没有公开手指静脉图像质量数据库,手工标注山东大学手指静脉公开库中图像的质量标记。试验结果表明,本研究提出的方法在手工标注数据库上的图像质量分类正确率为89.67%,图像质量评价性能优于现有手指静脉图像质量评价方法。     

判定场地土类别的等效剪切波速度的最佳计算深度

以云南省昆明和玉溪等地区为例,对87个钻孔剪切波速测试资料,分别以15 m、20 m、25 m和30 m的深度计算等效剪切波速度和卓越频率。依照等效剪切波速和卓越频率两标准分别判定场地土类别并找出两法结果一致的深度。结果显示:①两标准对场地土类别判定结果相同的深度多数都在25 m处。这种孔数最多,有53个。其中有19个判定为中硬土,34个判定为中软土。②两标准对场地土类别判定结果相同的深度大于250 m和近于、等于30 m的有32个钻孔。其中有29个孔判定为中软土,3个孔判定为软弱土。③结果全都不相同的有2个钻孔。但在深度25 m处二者靠近等级分界点程度相同,一个是250 m/s,一个是卓越频率2.5 Hz。前者判定为中软土,后者判定为中硬土。依此确定判定场地土类别的等效剪切波速度和波速卓越频率的最佳计算深度为25~30 m;建议工程地质钻井勘探深度为30 m。     

融合注意力机制与双向特征加权的PCB缺陷识别

针对现有的印刷电路板(PCB)缺陷检测识别方法存在网络模型结构复杂、误检率高等问题,提出了一种融合视觉注意力机制与双向特征加权的PCB缺陷识别方法。首先,在YOLOv5网络结构的基础上通过使用加权双向特征金字塔网络(BiFPN)来加速多尺度融合;其次,引入视觉注意力机制和替换损失函数,增加过滤冗余信息,强化模型对微小目标的提取能力。在PKU-Market-PCB数据集上的实验结果表明,文中方法对各类缺陷的检测精度高达97.4%,与原始的YOLOv5网络及其他文献方法均有显著提升,实验结果表明了该算法在对微小目标检测识别上进一步提升了性能。     

基于Bi-LSTM和注意力机制的命名实体识别

命名实体识别是自然语言处理中一项重要的基础任务,本文提出一种简单、新颖的深层循环神经网络的命名实体识别(Named Entity Recognition,NER)方法。使用一种稠密连接的方式(Dense connection,DC)在多层的双向长短期记忆神经网络(bi-directional long short-term memory, Bi-LSTM)之间传递信息,称这种网络结构为DC-BiLSTM。利用DC-BiLSTM来学习句子特征,并采用自注意力机制(self-attention)来捕捉任意两个标记之间的关系,最后使用条件随机场(CRF)对整个句子进行解码预测。实验表明结果,该方法在MSRA语料上平均F1值能达到91.81%,最高F1值能达到92.05%。     

基于类别加权和方差统计的特征选择方法

为提高不均衡文本分类的准确率和稳定性, 提出了一种基于类别加权和方差统计的联合特征选择方法.首先, 基于类别文档数大小对特征选择的影响, 给出了一种类别加权策略以强化小类别的特征;其次, 在探究特征类别区分能力的基础上, 设计了类别方差统计策略来凸显含有丰富类别信息的特征;最后, 将2种策略相融合, 实现了一种联合特征选择的新算法.在Reuters-21578和复旦大学语料这2个不均衡语料上的实验都表明:该算法有效, 特别是在小类别的分类效果上远远好于IG、CHI和DFICF等流行的通用算法.     

基于评价对象抽取的物流在线评论情感分析

对物流评论进行情感分析可以发现用户的投诉热点,有助于改善物流企业的服务质量.首先基于词性、评价词、评价对象的搭配规则、词频和PMI方法对物流评论中的评价对象进行抽取.然后,建立4种情感词库及评价词极性计算规则,计算物流企业评论的情感倾向性.结果表明:"四通一达"在速度、服务、价格等5个方面的情感倾向值存在一定差异,各企业可针对实际情况进行改进.