基于注意力机制的新闻事件检测研究与应用

新闻事件检测是自然语言处理任务中的一项任务.新闻事件检测旨在从新闻文本数据流中检测出新闻事件并给出事件主题.人工构建新闻事件的特征费时费力.传统的新闻事件检测方法是根据新闻事件之间的空间距离检测新闻事件,对于不同的新闻事件相似度较高时,容易误判为同一事件.针对上述问题,论文提出基于注意力机制的双向长短记忆网络构建新闻事...     

结合双流I3D和注意力机制的视频异常事件检测

为了减少视频异常事件检测过程中冗余帧对检测效果的影响,更好地利用视频中关键帧包含的有用信息,提出了一种结合双流膨胀卷积神经网络（Two-stream Inflated 3D ConvNets,I3D）模型和压缩-激励注意力机制多示例异常检测算法。首先,利用双流膨胀卷积神经网络提取视频时空特征;其次,通过双向长短期记忆（Bidirectional Long Short Term Memory,Bidirectional LSTM）神经网络获取视频特征长时序信息;再次,借助压缩-激励注意力机制分配特征权重;最后,通过多示例排序损失函数得到异常排序模型,并在排序损失函数中加入稀疏损失和平滑损失,更好地预测视频异常分数。实验表明,在公开数据集UCF-Crime上检测准确率达到了82.84%,高于基线模型7.43%。     

结合注意力和双向LSTM的开放域问句分类研究

针对现有端对端模型没有对问句局部信息进行显式建模以及模型可解释性差等方面的不足,本文提出面向开放域的基于注意力机制和双向LSTM的问句分类方法。该法一方面使用注意力机制捕捉问句的局部信息;另一方面将注意力机制视为一种模型内置的自解释机制,将其与双向LSTM结合完成对问句局部和全局信息的建模。在TREC、MSQC、Baidu-Zhidao、Baidu-Search四个公开的开放域问句分类数据集上的实验结果表明,本文提出的方法在分类性上优于现有的基准方法,而且该方法的注意力机制能捕捉到问句分类的关键局部信息,提高模型的可解释性,为下游任务提供除类别以外的关键信息。     

基于注意力机制的多分支LSTM心理负荷评估模型

充分获取脑电信号的有效特征已成为心理负荷评估亟待解决的问题.提出一种多分支LSTM和注意力机制相结合的多分类网络框架.首先,此网络在对脑电信号做切片处理后,采用多分支LSTM网络提取切片中的时间特征;然后,利用注意力机制对所提取的时间特征进行权重参数优化;最后,通过softmax层输出心理负荷评估结果.通过消融实验和对比实验对模型进行验证.结果 表明,此网络无论在二分类任务还是多分类任务中的表现均优于现有先进网络.     

基于LSTM与多头注意力机制的恶意域名检测算法

DGA域名是一类由特定算法生成,用来与恶意C&C服务器进行通信的域名,针对DGA域名的检测一直是一个研究热点。有文献提出了基于PCFG模型的DGA域名生成算法,在现有DGA检测方法的测试下,它的抗检测效果非常显著。这是因为它由合法域名生成,具备合法域名的统计特征。基于此,本文提出了将神经网络和自注意力机制相结合的检测模型M-LSTM,它利用Bi-LSTM实现字符序列编码以及初步特征提取,并结合多头注意力机制进行深度特征提取。实验结果表明,该算法在检测基于PCFG模型的域名上效果优异。     

基于注意力机制的双向LSTM模型在中文商品评论情感分类中的研究

国内电商网站的快速发展促使产生大量的中文商品评论信息。对这些评论进行情感分类有利于获取其中的有用信息,具有重要的应用意义。目前,情感分类的研究主要基于情感词典或者传统机器学习。这些方法通常需要人工选取特征,费事费力,分类效果不好。针对这些不足,本文提出一种基于注意力机制的双向LSTM模型,对中文商品评论进行情感分类。实验结果表明,该模型在中文商品评论二分类任务和三分类任务中均获得了较好的准确率、召回率、F1值。     

基于注意力模型的篮球视频事件和关键角色检测方法

为了对篮球比赛视频中的关键角色和重要事件进行检测,考虑到"注意力"与正在进行的篮球活动高度相关,提出一种基于注意力模型的方法.构建篮球比赛数据集,对11个关键的事件类型进行手工识别;对视频中的运动员进行跟踪,跟踪特征采用双向长短期记忆(Bi-directional Long Short-Term Memory,BLST...     

基于BiLSTM和注意力机制的入侵检测

由于传统网络入侵检测方法的局限性无法满足当前网络安全需要,为提高网络入侵检测的准确率,引入机器学习算法,提出一种基于BiLSTM (bi-directional long short-term memory)和注意力机制的网络入侵检测方法。利用BiLSTM网络进行长距离依赖特征提取,利用DNN (deep neural network)提取更深层次的特征,引入注意力机制增加对特征重要性的计算,通过softmax分类器获得分类结果。使用NSL_KDD数据集作为实验数据,实验结果表明,相比于对比方法,该方法有效提高了入侵检测的准确率,验证了该方法的有效性。     

基于双重注意力的无触发词中文事件检测

事件抽取是自然语言处理的重要任务,而事件检测是事件抽取的关键步骤之一,其目标是检测事件的发生并对其进行分类。目前基于触发器识别的中文事件检测方法存在一词多义、词与触发词不匹配的问题,影响了事件检测模型的精度。针对此问题,提出基于双重注意力的无触发词事件检测模型(Event Detection Without Triggers based on Dual Attention, EDWTDA),该模型可跳过触发词识别过程,实现在无触发词标记情况下直接判断事件类型。EDWTDA利用ALBERT改善词嵌入向量的语义表示能力,缓解一词多义问题,提高模型预测能力;采用局部注意力融合事件类型捕捉句中关键语义信息并模拟隐藏的事件触发词,解决词与触发词不匹配的问题;借助全局注意力挖掘文档中的语境信息,解决一词多义问题;最后将事件检测转化成二分类任务,解决多标签问题。同时,采用Focal loss损失函数解决转化成二分类后产生的样本不均衡问题。在ACE2005中文语料库上的实验结果表明,所提模型相比最佳基线模型JMCEE在精确率、召回率和F1-score评价指标上分别提高了3.40%,3.90%,3.67...     

基于注意力机制的DDoS攻击检测方法

针对传统DDoS攻击检测中存在准确率低、误报率高、低速率攻击流量难以检测等问题,提出一种基于注意力机制的双向长短期记忆网络的DDoS攻击检测方法.将根据领域知识所提取的明显攻击特征向量与数据预处理后的数据流矩阵进行向量拼接,构成基于注意力机制的双向长短期记忆网络数据输入格式,实现从原始流量的复杂级特征快速聚焦于DDoS...     

基于分层次多粒度语义融合的中文事件检测

事件检测是信息抽取领域中一个重要的研究方向,其主要研究如何从非结构化自然语言文本中提取出事件的触发词,并识别出事件的类型.现有的基于神经网络的方法通常将事件检测看作单词的分类问题,但是这会引起中文事件检测触发词与文本中词语不匹配的问题.此外,由于中文词语的一词多义性,在不同的语境下,相同的词语可能会存在歧义性问题.针对...     

注意力机制海洋场景图像理解算法

针对复杂海洋场景(目标多尺度、对象多样化、风格差异大、时空强关联且存在不确定性目标)特点,研究基于注意力机制的复杂图像有效特征提取方法,提出一种基于卷积神经网络(convolutional neural network,CNN)和长短时记忆网络(long short-term memory,LSTM)相结合的复杂海洋场...     

RoBERTa融合BiLSTM及注意力机制的隐式情感分析

隐式情感分析是自然语言处理的研究热点之一,由于其表达隐晦且缺少显示情感词,使得传统的文本情感分析方法不再适用。针对隐式情感分析中句子语义的隐藏情感捕捉困难问题,提出了基于RoBERTa融合双向长短期记忆网络及注意力机制的RBLA模型。该模型使用RoBERTa预训练模型捕获隐式情感句中字词的语义特征,再使用双向长短期记忆网络学习句子的正反向语义信息,以捕获句子间的依赖关系,实现对文本深层次特征的提取。使用注意力机制进行情感权重计算,通过softmax函数进行归一化处理,得出隐式情感分类结果。实验结果表明,与现有的几种典型隐式情感分类模型相比较,RBLA模型在精确率、召回率和F1值上均取得了较好效果。     

基于CNN与双向LSTM的中文文本蕴含识别方法

为了避免基于传统机器学习的中文文本蕴含识别方法需要人工筛选大量特征以及使用多种自然语言处理工具造成的错误累计问题,该文提出了基于CNN与双向LSTM的中文文本蕴含识别方法。该方法使用CNN与双向LSTM分别对句子进行编码,自动提取相关特征,然后使用全连接层进行分类得到初步的识别结果,最后使用语义规则对网络识别结果进行修正,得到最终的蕴含识别结果。在2014年RITE-VAL评测任务的数据集上MacroF1结果为61.74%,超过评测第一名的结果61.51%。实验结果表明,该方法对于中文文本蕴含识别是有效的。     

基于注意力机制子网络的时空跌倒检测算法

近年来行人跌倒检测变得越来越重要,因为准确及时的跌倒检测可以帮助跌倒者获得紧急救援。针对复杂场景中由于光照变化、遮挡和尺度变化等导致检测性能下降的问题,提出一种实时、鲁棒的跌倒检测算法。首先采用YOLO v3目标检测模块完成行人检测;然后在跟踪模块中对每个跟踪的边界框提取深层特征后,运用数据增强和重检测技术提高光照变化下的检测精度,并引入注意力机制子网络应对被遮挡目标的检测;最后跌倒判断模块对行人姿态进行判断,完成实时跌倒检测和报警。在Cityperson数据集、Montreal fall数据集和自建数据集上的实验结果表明,行人检测算法的检测精度达到87.05%,跌倒算法的检测精度达到98.55%,时延在120 ms以内,且在光照变化和遮挡影响下依然能获得良好的性能。     

基于GLSTM和Attention的中文事件要素提取

事件信息抽取是信息抽取任务中的一种,旨在识别并提出一个事件的触发词和元素.由于容易受到数据稀疏的影响,事件要素的抽取是中文事件抽取任务中的一个难点,研究的重点在于特征工程的构建.中文语法相较英文要复杂许多,所以捕获英文文本特征的方法在中文任务中效果并不明显,而目前常用的神经网络模型仅考虑了上下文信息,不能兼顾词法和句法...     

融合注意力机制与并行混合网络的DGA域名检测

基于统计特征的DGA域名检测方法依赖复杂的特征工程,而现有端到端的深度学习方法在DGA域名家族的多分类任务中性能表现不佳。针对上述问题,提出一种融合注意力机制与并行混合网络的DGA域名检测方法。首先,引入深层金字塔卷积神经网络,提取域名深层语义信息,并使用通道注意力块SENet进行改进构建DPCNN-SE,自适应学习通道间关系,抑制无用特征的传递;同时,将自注意力机制与双向长短时记忆网络结合构建Bi LSTM-SA网络,捕获域名数据中最具代表性的全局时序特征;最后,融合2个网络提取的特征,输入softmax层输出分类结果。实验结果表明,该方法在域名家族的多分类任务中相比CNN、LSTM的单一模型,F1值分别提高了10.30个百分点、10.18个百分点;相较于现有的混合网络方法 Bilbo和Bi GRU-MCNN,F1值分别提高了5.97个百分点、4.87个百分点,并且具有更低的计算复杂度。     

联合多尺度和注意力机制的遥感影像检测

遥感影像中目标的检测问题一直是遥感图像处理领域的热点和难点.传统的检测算法,在解决场景复杂,尺度差异大的目标时性能不高,而使用深度学习很难兼顾遥感目标的准确性和实时性.针对这一问题,设计了一种利用多尺度融合特征检测目标的轻量级网络,并提出一种能够从三个维度上生成像素自适应特征权重的注意力机制帮助提取显著特征,同时采用了...     

基于BERT-CRF模型的中文事件检测方法研究

事件抽取是自然语言处理中信息抽取的关键任务之一.事件检测是事件抽取的第一步,事件检测的目标是识别事件中的触发词并为其分类.现有的中文事件检测存在由于分词造成的误差传递,导致触发词提取不准确.将中文事件检测看作序列标注任务,提出一种基于预训练模型与条件随机场相结合的事件检测模型,采用BIO标注方法对数据进行标注,将训练数...     

结合事件链与事理图谱的脚本事件预测模型

现有脚本事件预测模型在事件表示时未充分考虑各个元素之间的相关性,且不能同时利用事件链和事理图谱中的信息进行事件预测。针对事件表示不全面和信息融合不充分的问题,提出一种结合事件链和事理图谱的脚本事件预测模型ECGNet。将每个事件的各个元素构造成一个短句,使用Transformer编码器捕获元素之间的序列信息,从而获得更准确的事件表示。在此基础上,构建一个长程时序模块（LRTO）学习事件链中的时序信息,同时构建一个全局事件演化模块（GEEP）捕获隐藏在事理图谱中的演化模式,通过门控注意力机制动态融合时序信息和演化模式进行脚本事件预测。基于纽约时报和新浪新闻两个数据集的实验结果表明,ECGNet能够有效融合事件链和事理图谱的信息进行脚本事件预测,与PMI、Bigram、SAM-Net、SGNN等模型相比,其准确率较最优值取得了3%以上的提升。