基于BERT模型的增强混合神经网络的谣言检测

网络社交平台中大量谣言的广泛传播严重影响社会稳定.传统谣言检测方法无法有效处理文本中多义词和突出重要关键词,造成检测效果不理想.针对该问题,提出一种基于BERT模型的增强混合神经网络的谣言检测方法.该方法使用BERT模型将推文向量化,通过3种不同尺寸的卷积核学习推文特征,将这些特征进行最大池化拼接得到特征序列,并输入到...     

基于注意力机制的多模态融合谣言检测方法

谣言会对社会生活造成不利影响,同时具有多种模态的网络谣言比纯文字谣言更容易误导用户和传播,这使得对多模态的谣言检测不可忽视。目前关于多模态谣言检测方法没有关注词与图片区域对象之间的特征融合,因此提出了一种基于注意力机制的多模态融合网络AMFNN应用于谣言检测,该方法在词-视觉对象层面进行高级信息交互,利用注意力机制捕捉与关键词语相关的视觉特征;提出了基于自注意力机制的自适应注意力机制Adapive-SA,通过增加辅助条件来约束内部的信息流动,使得模态内的关系建模更有目标性和多样性。在两个多模态谣言检测数据集上进行了对比实验,结果表明,与目前相关的多模态谣言检测方法相比,AMFNN能够合理地处理多模态信息,从而提高了谣言检测的准确性。     

基于注意力机制的实时性抓取检测算法

针对在工业环境中,机器人的抓取精准度受到物体不同的姿态和角度等影响的问题,提出一种基于注意力机制的实时性逐像素网络抓取检测方法.首先,以轻量级网络—全卷积网络(FCN)模型为基础进行逐像素提取抓取框位置及抓取角度;其次,提出了一种新型的注意力机制—DAM,将其整合到轻量级网络中,自动学习输入图像的显著特征以减少局部信息...     

基于注意力的BiLSTM-CNN中文微博立场检测模型

针对海量社交网络数据,挖掘其中蕴含的立场信息逐渐成为一个重要的研究方向。第五届自然语言处理与中文计算会议(Nlpcc2016)提出了针对中文微博的立场检测任务。已有的立场检测任务工作中,研究者主要通过手工构建特征工程,添加情感词典和专家知识等方式挖掘语义特征,但这种方式需要花费大量人力在特征设计上。另一些研究者将深度学习应用于立场检测领域,但是没有考虑到句子中不同词对立场倾向有不同影响力。注意力机制由于能够凸显出有价值的特征常常被用于优化神经网络模型。提出一种基于注意力的Bi LSTMCNN中文微博立场检测方法,首先使用双向(Bi-directional)长短期记忆神经网络(LSTM)和卷积神经网络(CNN)分别获取文本表示向量和局部卷积特征,然后通过注意力机制(Attention Mechanisms)在局部卷积特征中加入影响力权重信息,最终将两种特征融合进行分类。针对Nlpcc语料的实验表明,该方法取得了较好的立场检测效果,注意力机制的添加可以有效地提升立场检测的准确性。     

改进CBAM的轻量级注意力模型

近几年注意力模型在计算机视觉领域取得了广泛的应用,通过在卷积神经网络中加入注意力模型,网络的性能可以显著提升。然而大多数现有的方法都专注于开发更复杂的注意力模型,以使卷积神经网络获得更强的特征表达能力,但这也不可避免地增加了模型的复杂性。为了在性能和复杂度间取得平衡,对CBAM模型进行优化提出了轻量级的EAM（Efficient Attention Module）模型。针对CBAM的通道注意力模块,引入一维卷积替代全连接层来聚合各通道间的信息;对于CBAM的空间注意力模块,将大卷积核替换为空洞卷积来增加感受野以聚合更广的空间上下文信息。将该模型融入YOLOv4后在VOC2012数据集上进行测试,mAP提高3.48个百分点。实验结果表明,该注意力模型只引入较小的参数量,网络性能可获得较大提升。     

基于卷积神经网络的谣言检测

人工检测谣言通常需要耗费大量的人力物力,并且会有很长的检测延迟。目前现存的谣言检测模型一般根据谣言的内容、用户属性、传播方式人工地构造特征,而人工构建特征存在考虑片面、浪费人力等现象。为了解决这个问题,提出了基于卷积神经网络（CNN）的谣言检测模型。将微博中的谣言事件向量化,通过卷积神经网络隐含层的学习训练来挖掘表示文本深层的特征,避免了特征构建的问题,并能发现那些不容易被人发现的特征,从而产生更好的效果。实验结果表明,所提方法能够准确识别谣言事件,在准确率、精确率与F1值指标上优于支持向量机（SVM）与循环神经网络（RNN）等对比算法。     

一种循环卷积注意力模型的文本情感分类方法

情感分类对推荐系统、自动问答、阅读理解等下游应用具有重要应用价值,是自然语言处理领域的重要研究方向。情感分类任务直接依赖于上下文,包括全局和局部信息,而现有的神经网络模型无法同时捕获上下文局部信息和全局信息。文中针对单标记和多标记情感分类任务,提出一种循环卷积注意力模型(LSTM-CNN-ATT,LCA)。该模型利用注意力机制融合卷积神经网络(Convolutional Neural Network,CNN)的局部信息提取能力和循环神经网络(Recurrent Neural Network,RNN)的全局信息提取能力,包括词嵌入层、上下文表示层、卷积层和注意力层。对于多标记情感分类任务,在注意力层上附加主题信息,进一步指导多标记情感倾向的精确提取。在两个单标记数据集上的F1指标达到82.1%,与前沿单标记模型相当;在两个多标记数据集上,小数据集实验结果接近基准模型,大数据集上的F1指标达到78.38%,超过前沿模型,表明LCA模型具有较高的稳定性和较强的通用性。     

基于CNN和多注意力机制的XSS检测模型

为了解决普通深度学习模型存在的难以区分信息重要性差异,以及单一注意力机制存在的关注维度单一的问题,文中提出了一种基于卷积神经网络和多注意力机制的模型对XSS攻击进行检测。首先,将经过word2vec转换后的数据输入到卷积神经网络提取局部特征;然后,使用自注意力模块学习数据的长距离依赖关系,并加强模型对序列维度上重要特征的关注;接着,经过通道注意力模块从通道维度对不同的通道特征图加权;之后,将经注意力模块处理过的特征输入到池化层进行下采样处理,并使用Dropout层提高模型的泛化能力;最后,利用提取到的特征对样本进行分类。使用测试数据集对文中提出的模型进行实验,结果显示,该模型对XSS攻击的检测效果良好,准确率与F1值相比其他深度学习模型有一定程度提升。     

一种面向人群计数的卷积注意力网络模型

随着当今国际社会形势逐渐复杂,公共安全和社会稳定面临严峻挑战。视频监控作为维护社会安定与建设智慧城市的重要手段,广泛应用于城市安全管理。高效的人群计数是实现基于视频进行安全管理的一个难点问题,旨在分析计算视频或图片场景中的人数。人群计数对控制关键场所人数、指挥公共交通、控制疫情蔓延、保障社会稳定具有重要积极意义。然而,人群计数问题仍然存在背景干扰、目标遮挡、目标尺度不一和目标分布不均等挑战,导致计数准确度较低。为了解决这些问题,梳理了人群计数发展的时间线,分析了现有方法的不足,并针对这些不足提出了基于相似性度量的卷积注意力网络。该方法结合基于相似性度量的损失函数和基于注意力机制的卷积神经网络模块,有效缓解了人群计数中背景干扰、目标遮挡、目标尺度不一和目标分布不均四个问题。通过在数据集上的实验和相关对比分析发现,基于相似性度量的卷积注意力网络具有很好的准确性和稳定性。     

基于注意力机制子网络的时空跌倒检测算法

近年来行人跌倒检测变得越来越重要,因为准确及时的跌倒检测可以帮助跌倒者获得紧急救援。针对复杂场景中由于光照变化、遮挡和尺度变化等导致检测性能下降的问题,提出一种实时、鲁棒的跌倒检测算法。首先采用YOLO v3目标检测模块完成行人检测;然后在跟踪模块中对每个跟踪的边界框提取深层特征后,运用数据增强和重检测技术提高光照变化下的检测精度,并引入注意力机制子网络应对被遮挡目标的检测;最后跌倒判断模块对行人姿态进行判断,完成实时跌倒检测和报警。在Cityperson数据集、Montreal fall数据集和自建数据集上的实验结果表明,行人检测算法的检测精度达到87.05%,跌倒算法的检测精度达到98.55%,时延在120 ms以内,且在光照变化和遮挡影响下依然能获得良好的性能。     

基于注意力与多模态混合融合的谣言检测方法

社交媒体内容结构具有复杂性,大量虚假信息掺杂在真实内容中,或者在真实图片上配以杜撰的文字内容,导致基于单个模态的方法难以有效检测谣言。提出基于注意力机制与Dempster’s组合规则的混合融合方法。通过新增用户模态,提取文本、视觉和用户3个模态的特征向量,利用注意力机制对词语和视觉进行双向匹配,给予对谣言检测具有更多贡献的词语和视觉神经元更大的权值。在前后期融合均加入注意力机制,实现特征和决策的自动加权,并使用Dempster's组合规则实现混合融合。在真实的中文Weibo数据集和外文Twitter数据集上的实验结果表明,该方法准确率分别达到97.44%和92.35%,准确率和F1-score指标均高于基准方法和多模态方法。     

基于情感分析和Transformer模型的微博谣言检测

针对微博文本以实现谣言检测为目标,深度挖掘微博正文内容的语义信息,并且着重强调用户在微博评论中体现的情感倾向性,提升谣言识别效果.为提高谣言检测的准确率,采取基于XLNet的词嵌入方法,使用Transformer的En-coder的模型提取微博正文内容的语义特征,并结合BiLSTM+Attention网络实现微博评论的...     

基于多任务学习的微博谣言检测方法

微博谣言的广泛传播给当今社会造成了日益严峻的负面影响。基于深度神经网络的方法存在缺少大量带标签的数据。研究发现,谣言经常伴随负面情感,而非谣言则伴随正面情感,考虑到谣言与非谣言之间表现出的相反情感倾向性,提出一种将谣言检测和情感分析这两个高度相关的任务结合起来学习的多任务学习方法,为了尽可能多地挖掘不同任务之间的关联,全面分析谣言检测任务的特征,设计了一个由BERT和BiGRU联合的多任务学习框架（BERT-BiGRU-MTL,BBiGM）。利用权值共享的方法对两个任务进行联合训练,同时提取出任务之间的共同特征和针对谣言检测任务的特定特征,利用情感分析任务辅助谣言检测。研究结果表明,该方法在准确率、精确率、F1值评测指标上优于采用单任务学习的方法。     

基于空时特征融合和注意力机制的网络入侵检测模型

针对网络入侵检测性能不高的问题,提出一种基于空时特征融合和注意力机制的深度学习入侵检测模型CTA-net。该模型通过集成卷积神经网络(CNN)和长短时记忆网络(LSTM)获取空时融合特征,然后使用注意力模块(Attention)对输入的空时融合特征进行重要性加权计算,最后通过softmax函数进行分类。使用NSL-KDD数据集的实验结果表明,相比具有相似结构的CNN模型和空时融合的CNN-LSTM模型,在训练集的收敛性具有显著的提升,在测试集上使用的分类评价指标准确率分别提升10.9120个百分点和11.8740个百分点,精确率分别提升9.1950个百分点和9.6130个百分点,召回率分别提升9.1780个百分点和9.9340个百分点,F1-SCORE分别提升10.7830个百分点和11.7500个百分点。仿真结果表明,所提出的CTA-net模型在网络入侵检测方面具有较好的应用潜力。     

基于改进生成对抗网络的谣言检测方法

传统谣言检测算法存在提取文本语义、关键特征等效果不理想的问题,而一般序列模型在文本检测中无法解决特定语义下的特征提取,导致模型泛化能力差。为解决上述问题,该文提出一种改进的生成对抗网络模型(TGBiA)用于谣言检测,该模型采用对抗训练方式,符合谣言在传播过程中人为增删、夸大和歪曲信息的特点,通过对抗网络生成器和判别器的相互促进作用,强化谣言指示性特征的学习,不断提高模型的学习能力。训练过程中的生成器通过Transformer结构代替单一的RNN网络,实现语义的提取和特征的学习,同时,在训练过程中的判别器采用基于双向长短期记忆单元的深度网络分类模型,并引入注意力机制来提升对较长时间序列谣言的判断能力。在公开的微博和Twitter数据集上的实验结果表明,该文提出的方法比其他现有方法检测效果更好,鲁棒性更强。     

基于注意力机制学习的变电设备缺陷检测方法

针对现有的变电站缺陷图像检测识别算法鲁棒性弱问题,提出一种基于注意力机制学习的变电设备缺陷图像检测识别方法。所提方法以卷积神经网络作为缺陷图像特征提取的骨架网络,融合注意力机制原理,进一步提升缺陷图像特征的可辨识性。首先,构建注意力机制的卷积神经网络特征提取模型,提取不同注意力机制下变电站缺陷图像特征;其次,设计一种自适应特征学习函数,将不同注意力机制下的特征融合成为新的高质量变电缺陷图像特征;最后,将不同注意力机制下的缺陷图像特征输入到分类模型,实现变电站缺陷图像检测。所提方法增强了变电设备缺陷图像检测的准确性与鲁棒性,实验结果显示,所提方法的mAP达到了70.4%。     

通道-空间联合注意力机制的显著性检测模型

针对显著性区域突出不均匀和边缘不清晰导致显著性检测鲁棒性差等问题,提出了一种通道-空间联合注意力机制的显著性检测模型。改进了一种通道注意力机制,将特征图中的像素概率值逐像素相加以更好的获取通道中层间信息的关联性;在通道注意力机制的基础上并行融入了空间注意力机制,对特征图的空间信息进行加权获得目标突出的显著性区域;将通道注意力机制与空间注意力机制输出的两个特征图加权融合反馈至通道-空间联合注意力机制,从而得到细粒度更高的显著图。实验结果表明,该模型在公开的数据集DUTS-TE和SOD上,使用F-measure和平均绝对误差作为评估标准均优于其他同类模型。