自注意力机制的短文本分类方法

针对短文本信息量少导致隐藏的信息难以充分挖掘和深度学习模型易受干扰导致分类准确度下降的问题,提出一种融合对抗训练自注意力多层双向长短期记忆网络(Con-Att-BiLSTMs)短文本分类模型.将文本训练集按不同比例进行分类对抗训练,通过对抗训练提升模型的健壮性;利用多层双向长短期记忆网络对语义进行提取,利用自注意力机制...     

融合注意力LSTM的协同过滤推荐算法

针对传统协同过滤算法难以学习深层次用户和项目的隐表示,以及对文本信息不能充分提取单词之间的前后语义关系的问题,该文提出一种融合辅助信息与注意力长短期记忆网络的协同过滤推荐模型。首先,附加堆叠降噪自编码器利用评分信息和用户辅助信息提取用户潜在向量;其次,基于注意力机制的长短期记忆网络利用项目辅助信息来提取项目的潜在向量;最后,将用户与项目的潜在向量用于概率矩阵分解中,从而预测用户偏好。在两个真实数据集MovieLens-100k和MovieLens-1M上进行实验,采用RMSE和Recall指标进行评估。实验结果表明,该模型与其他相关推荐算法相比在推荐性能上有所提升。     

一种用于航空发动机RUL预测的推理网络模型

剩余使用寿命预测对于航空发动机的故障预测和健康管理至关重要.为解决传统长短期记忆网络只利用最后一步学习到的特征进行回归的问题,本文提出了一种基于注意力机制的航空发动机剩余使用寿命预测模型.利用长短期记忆网络处理航空发动机的时序数据,自动提取与时间有关的特征,采用注意力机制为不同传感器特征和不同的时间步进行了加权.此外,本文还考虑到了不同操作条件对发动机剩余使用寿命的影响,将自动提取的特征与操作条件进行了特征融合.实验结果表明,本文提出的模型能有效预测航空发动机的剩余使用寿命,为基于状态的维护提供了可靠的支持.     

基于CNN_BiLSTM网络的入侵检测方法

网络攻击事件频发,正确高效地检测攻击行为对网络安全至关重要.该方法基于一维卷积神经网络和双向长短期记忆网络引入自注意力机制来检测恶意行为.首先借助随机森林来选择重要的特征作为模型输入以减少输入数据的冗余问题,之后利用一维卷积神经网络和双向长短期记忆网络分别提取空间特征和时间特征,将二者提取的特征"并联"得到融合特征,为...     

融合位置权重的基于注意力交叉注意力的长短期记忆方面情感分析模型

针对传统的基于注意力机制的神经网络模型不能对方面特征和情感信息进行有效关注，以及不同距离或不同方向的上下文词对方面词的情感极性判断有不同的贡献等问题，提出一种融合位置权重的基于注意力交叉注意力的长短期记忆方面情感分析模型（LWAOA-LSTM）。首先，为词向量加入位置权重信息；然后，使用长短期记忆（LSTM）网络同时对方面和句子进行建模以生成方面表示和句子表示，同时通过注意力交叉注意力模块共同学习方面和句子的表示以获得方面到文本和文本到方面的交互关注，并自动关注句子中的重要部分；最后，在景点、餐饮、住宿不同主题数据集上进行实验，验证了该模型对方面情感分析的准确性。实验结果表明，所提模型在景点、餐饮、住宿主题数据集上的准确率分别达到78.3%、80.6%和82.1%，取得了比传统LSTM网络模型更好的效果。     

基于双向LSTM和GBDT的中医文本关系抽取模型

为解决采用softmax作为长短期记忆网络分类器导致实体关系识别模型泛化能力不足,不能较好适用中医实体关系抽取等问题,提出一种融合梯度提升树的双向长短期记忆网络的关系识别算法（BILSTM-GBDT）。先采用word2vec对中医文本进行向量化表示,再利用基于注意力机制的双向长短期记忆网络提取高阶特征,最后采用集成分类模型梯度提升树作为特征分类器,提高关系识别效果。在中医等多个关系语料库上的实验结果表明,该模型与传统SVM方法、GBDT方法及其深度学习方法相比,均有更高的精确率、召回率和◢F◣值。     

自注意力机制和随机森林回归的视频摘要生成

是通过生成关键帧或片段来达到压缩视频的效果,能够在概括视频主要内容的基础上极大缩短观看时间,在视频快速浏览与检索领域应用广泛。现有方法大多只基于图像内容进行探索,忽略了视频具有时序的特点,且模型对波动数据学习能力较差,导致生成的摘要缺乏时间连贯性和代表性。提出了一个以编码器-解码器为框架的视频摘要网络。具体来说,编码部分由卷积神经网络提取特征,通过自注意力机制提升对关键特征的权重,而解码部分由融合了随机森林的双向长短期记忆网络构成,通过调整随机森林和双向长短期记忆网络在损失函数中所占比例,使模型具有较强的稳定性和预测准确率。实验在两个数据集上与其他七种方法进行了比较,综合实验结果证明了方法的有效性与可行性。提出了自注意力机制和随机森林回归的视频摘要网络,利用自注意力机制完成对特征的优化,将双向长短期记忆网络与随机森林结合,提升模型的稳定性与泛化性,有效降低损失值,使得生成的视频摘要更符合用户视觉特性。     

基于时空特征的公交站点短时客流量预测

针对以往公交客流量预测只考虑时序特征而忽略空间维度特征的缺点,提出一种结合注意力机制的图卷积长短期记忆单元预测模型(AGLSTM)来预测公交站点的客流量。该模型运用图卷积网络(GCN)对每个时刻的公交站点客流量进行空间维度的特征提取,使用长短期记忆网络(LSTM)对公交站点客流量进行时间特征的提取。为了更关注公交站点客流量有重大影响时刻的特征,该模型还引入了注意力机制模块。注意力机制可以通过计算不同时刻长短期记忆单元隐藏状态的权重,来评估各隐藏状态对输出结果的影响。通过对北京4条公交线路的真实刷卡数据进行实验分析,并与部分经典预测算法进行对比,证明了提出的考虑时空特征的组合模型能够有效地提高模型的预测精度。     

基于时空注意力机制的加油站级客流量预测

加油站是重要的能源供给单位,对加油站站点的下一时段客流量进行精准预测,可为相关资源的调度与分配提供决策支撑。针对加油站级客流量预测问题,结合加油站客流数据的时空特征,提出一种基于注意力机制的时空网络模型。以路网结构建模的站级客流数据为输入,结合卷积神经网络、长短期记忆网络与注意力机制,解决站点间的空间依赖、短期与长期时序依赖以及长期时序依赖中的时间漂移问题,精准预测下一时段的站级客流量。在真实数据集上的实验结果表明,与历史平均模型、长短期记忆网络模型和双向长短期记忆网络模型等基线模型相比,该模型在均方误差（RMSE）、平均绝对误差与平均绝对百分比误差上均有所提升,其中RMSE提升22.89%。     

基于神经网络的LncRNA与蛋白质互作关系预测算法

论文提出一种基于注意力机制(Attention)的融合神经网络预测方法预测LncRNA与蛋白质的相互作用,命名为PIPAFNN.通过栈式自编码器和融合神经网络(CNN)-长短期记忆网络(LSTM)分别对LncRNA和蛋白质的序列进行特征提取,在模型学习过程中使用注意向量,使得训练出的模型能够关注不同样本中对预测方法具有...     

ACMF:基于卷积注意力模型的评分预测研究

评分数据稀疏是影响评分预测的主要因素之一。为了解决数据稀疏问题,一些推荐模型利用辅助信息改善评分预测的准确率。然而大多数推荐模型缺乏对辅助信息的深入理解,因此还有很大的提升空间。鉴于卷积神经网络在特征提取方面和注意力机制在特征选择方面的突出表现,该文提出一种融合卷积注意力神经网络(Attention Convolutional Neural Network, ACNN)的概率矩阵分解模型: 基于卷积注意力的矩阵分解(Attention Convolutional Model based Matrix Factorization, ACMF),该模型首先使用词嵌入将高维、稀疏的词向量压缩成低维、稠密的特征向量;接着,通过局部注意力层和卷积层学习评论文档的特征;然后,利用用户和物品的潜在模型生成评分预测矩阵;最后计算评分矩阵的均方根误差。在ML-100k、ML-1m、ML-10m、Amazon数据集上的实验结果表明,与当前取得最好预测准确率的PHD模型相比,ACMF模型在预测准确率上分别提高了3.57%、1.25%、0.37%和0.16%。     

基于异构信息网络元路径作张量分解的深度学习推荐系统

过去基于学习用户和物品的表征向量的推荐系统算法在大规模数据中取得了较好的结果。相比早期经典的基于矩阵分解（matrix factorization,MF）的推荐算法,近几年流行的基于深度学习的方法,在稀疏的数据集中具有更好的泛化能力。但许多方法只考虑了二维的评分矩阵信息,或者简单的对各种属性做嵌入表征,而忽略了各种属性之间的内部关系。异构信息网络（heterogeneous information network,HIN）相比同构网络能够存储更加丰富的语义特征。近几年结合异构信息网络与深度学习的推荐系统,通过元路径挖掘关键语义信息的方法成为研究热点。
为了更好地挖掘各种辅助信息与用户喜好的关联性,本文结合张量分解、异构信息网络与深度学习方法,提出了新的模型hin-dcf。首先,基于数据集构建特定场景的异构信息网络;对于某一元路径,根据异构图中的路径信息生成其关联性矩阵。其次,合并不同元路径的关联性矩阵后,得到包含用户、物品、元路径三个维度的张量。接着,通过经典的张量分解算法,将用户、物品、元路径映射到相同维度的隐语义向量空间中。并且将分解得到的隐语义向量作为深度神经网络的输入层的初始化。考虑到不同用户对不同元路径的关联性偏好不同,融入注意力机制,学习不同用户、物品,与不同元路径的偏好权重。在实验部分,该模型在精确度上有效提升,并且更好地应对了数据稀疏的问题。最后提出了未来可能的研究方向。     

基于注意力机制的协同卷积动态推荐网络

一直以来, 各种推荐系统关注于如何挖掘用户与物品特征间的潜在关联, 特征信息的充分利用有利于用户到物品的精准匹配. 基于矩阵分解和分解机的推荐算法是该领域的主流, 前者学习用户历史行为而后者分析对象特征关系, 但都难以兼顾用户行为与个体特征. 而近年来, 深度神经网络凭借其强大的特征学习能力和灵活可变的结构被应用到了推荐系统领域. 鉴于此, 本文提出了一种基于注意力机制的协同卷积动态推荐网络(Attentionbased collaborative convolutional dynamic network, ACCDN), 它通过注意力机制实现用户历史行为、用户画像与物品属性的多重交互, 再通过卷积网络逐层捕捉更高阶的特征交互. 网络同时接受不同组块输出的低阶至高阶信息, 最后给出用户对指定物品青睐评分概率的预估. 而且本文还提出了一种基于无参时间衰减的用户兴趣标签来量化用户关注的变化. 通过比较若干先进模型在两个现实数据集的表现, 本文设计的动态推荐模型不但能够缓解推荐时滞性, 还能明显提高推荐质量, 为用户带来更好的个性化服务体验.     

基于注意力机制的规范化矩阵分解推荐算法

近年来,矩阵分解(MF)技术因其有效性和简便性在推荐系统中得到广泛应用.但是,数据稀疏和冷启动问题导致MF学习到的用户特征向量不能准确地代表用户的偏好以及反映用户间的相似关系,影响了模型的性能.为了解决该问题,规范化矩阵分解(RMF)技术引起了研究者的关注.挖掘用户间可靠的相似关系,是RMF需要解决的问题.此外,MF将目标用户特征向量和目标项目特征向量的内积作为目标用户对目标项目的评分,这种简单的线性关系忽略了用户对项目各个属性特征不同的关注度.如何分析用户对项目属性特征的关注度,获取用户更准确的偏好,仍然是一个挑战.针对上述问题,提出了基于注意力机制的规范化矩阵分解模型(ARMF).具体地,为了获取用户间可靠的相似关系解决数据稀疏和冷启动问题,该模型同时依据用户信任网络和评分记录构建用户-项目异构网络,并基于该异构网络挖掘用户间的相似关系;为了进一步提升模型性能,通过在MF中引入注意力机制,分析用户对项目各个属性特征不同的关注度来获取用户更准确的偏好.最后,在两个真实数据集上对比ARMF与现有工作,实验结果证明,ARMF有更好的准确性和健壮性.     

融合物品相似性与流形正则化的矩阵分解推荐模型

矩阵分解是推荐系统中应用最为广泛的方法之一,但其对物品隐因子及其相似性学习不够充分.社会网络分析中认为相互连接的个体有一定共性,受此启发提出一个能够借助近邻关系有效学习物品隐因子及其相似性的矩阵分解推荐模型.首先基于评分矩阵对物品相似性计算进行改良,综合同一用户和相似用户的评分共现信息对物品信息建模;然后通过构建相似性优化和流形局部保持正则化项,使物品相似性作用在矩阵分解中,从而充分学习物品隐因子特征及其相似性;最后根据用户和物品隐因子矩阵计算推荐指数.在公开数据集上的实验结果表明,通过流形正则化技术将改良的物品相似性作用在矩阵分解中,可以有效提升推荐效果.     

基于并行双向时间卷积网络和双向长短期记忆网络的轴承剩余使用寿命预测方法

在基于深度学习的轴承剩余使用寿命(RUL)预测方法中,时间卷积网络(TCN)忽略了振动数据中未来时间信息的重要性,长短期记忆网络(LSTM)难以有效地学习振动数据的长时间序列特征.针对以上问题,提出一种基于并行双向时间卷积网络(Bi-TCN)和双向长短期记忆网络(Bi-LSTM)的轴承RUL预测方法.首先,对多传感器数据进行归一化处理,并将每个传感器数据进行通道合并,实现多传感器数据的高效融合;然后,采用Bi-TCN和Bi-LSTM构建并行的双分支特征学习网络,其中Bi-TCN提取数据的双向长时间序列特征, Bi-LSTM提取数据的时间相关特征;同时,设计一种特征融合注意力机制,该机制分别计算Bi-TCN和Bi-LSTM的输出权重,以实现两种网络输出特征的自适应加权融合;最后,融合特征通过全连接层并输出轴承RUL的预测结果.利用西安交通大学轴承数据集和PHM 2012轴承数据集进行RUL预测实验,实验结果表明,与其他先进的预测方法相比,所提出方法可以准确预测更多类型轴承的RUL,同时具有更低的预测误差.     

基于深度学习的入侵检测模型综述

随着深度学习技术的不断深入发展,基于深度学习的入侵检测模型已成为网络安全领域的研究热点。对网络入侵检测中常用的数据预处理操作进行了总结;重点对卷积神经网络、长短期记忆网络、自编码器和生成式对抗网络等当前流行的基于深度学习的入侵检测模型进行了分析和比较;并简单说明了基于深度学习的入侵检测模型研究中常用的数据集;指出了现有基于深度学习的入侵检测模型在数据集时效、实时性、普适性、模型训练时间等方面存在的问题和今后可能的研究重点。     

基于张量建模和进化K均值聚类的社区检测方法

很多传统社区检测方法大多局限于单关系网络,适用性和准确性均较弱。针对此问题,提出了一种针对多关系网络的社区检测方法。首先,为进行多关系网络建模,使用了三阶邻接张量,其中张量的每个切片表示与参与者之间一种类型的关系相对应的邻接矩阵。从数据表示的角度,将多关系网络解读为三阶张量利于将因子分解方法作为学习方法使用。然后,应用RESCAL分解作为关系学习的工具,从而揭示参与者的唯一隐性表征。最后,在上一步得到的结果上应用进化K均值聚类算法,以确定多维度上的社区结构。在一个合成数据集和两个公开数据集上进行实验。实验结果表明,与基于上下文信息的社区检测（CICD）方法、Memetic方法和局部谱聚类（LSC）方法相比,所提方法的纯度最少提高了5个百分点,重叠归一化互信息（ONMI）最少提高了2个百分点,F得分最少提高了3个百分点,并且验证了该方法具有较快的收敛速度。     

基于隐含主题协同注意力网络的领域分类方法

基于注意力机制的神经网络模型在文本分类任务中显示出了很好的效果。然而当训练数据的规模有限,或者测试数据与训练数据的分布有较大差异时,一些有价值的信息词很难在训练中被模型捕捉到。为此,该文提出了一种新的基于协同注意力(co-attention)网络的领域分类方法。该文利用隐含主题模型学习隐含主题注意力,并将其引入到文本分类常用的双向长短时记忆网络(BiLSTM)中,与软或硬注意力(soft- or hard-attention)机制一起构成协同注意力。在中文话语领域分类基准语料SMP-ECDT上的实验结果表明,隐含主题协同注意力网络取得了显著优于注意力机制的领域分类效果,比基线注意力机制Soft att、Hard att以及单独的隐含主题注意力机制BTM att分别提高了2.85%、1.86%和1.74%的分类正确率。此外,实验结果还验证了,在额外的未标记数据上训练隐含主题,可以进一步提高该文方法的领域分类性能。     

融合深度神经网络和张量分解的地点推荐算法

为提高利用张量分解技术进行基于位置社交网络的地点推荐的推荐性能,提出一种利用张量分解技术且融合神经网络的地点推荐算法。融合多层感知机和长短期记忆网络基于张量分解技术建模用户的签到行为,将学习到的用户偏好表示馈送到推荐生成器和推荐判别器组成的对抗生成网络中,通过对抗训练学习最佳用户偏好表示用于推荐。基于真实数据集的实验验证了该算法的有效性和高效性。