基于卷积注意力机制的情感分类方法

为提取文本的局部最优情感极性、捕捉文本情感极性转移的语义信息,提出一种基于卷积注意力机制的神经网络模型(CNN_attention_LSTM)。使用卷积操作提取文本注意力信号,将其加权融合到Word-Embedding文本分布式表示矩阵中,突出文本关注重点的情感词与转折词,使用长短记忆网络LSTM来捕捉文本前后情感语义关系,采用softmax线性函数实现情感分类。在4个数据集上进行的实验结果表明,在具有情感转折词的文本中,该模型能够更精准捕捉文本情感倾向,提高分类精度。     

基于深度学习的医药专利标签分类方法

在大数据时代,医药专利数据的有效收集、整理和挖掘分析对医药行业发展愈发重要.当前文本分类神经网络对医药专利标签的分类准确率不够高,为了有效提升专利标签的分类效果,设计了一种基于注意力机制的双向长短时记忆神经网络分类模型.该模型避免了传统循环神经网络的长期依赖问题,并充分利用全局信息,以实现文本信息的权重分布.     

基于A-DLSTM夹层网络结构的电能消耗预测方法

全球人口的快速增长和技术进步极大地提高了世界的总发电量,电能消耗预测对于电力系统调度和发电量管理发挥着重要的作用,为了提高电能消耗的预测精度,针对能耗数据的复杂时序特性,文中提出了一种将注意力机制(Attention)放置于双层长短期记忆人工神经网络(Double layer Long Short-Term Memory,DLSTM)中的新颖夹层结构,即A-DLSTM。该网络结构利用夹层中的注意力机制自适应地关注单个时间单元中不同的特征量,通过双层LSTM网络对序列中的时间信息进行抓取,以对序列数据进行预测。文中的实验数据为UCI机器学习数据集上某家庭近5年的用电量,采用网格搜索法进行调参,实验对比了A-DLSTM与现有的模型在能耗数据上的预测性能,文中的网络结构在均方误差、均方根误差、平均绝对误差、平均绝对百分比误差上均达到了最优,且通过热力图对注意力层进行了分析,确定了对用电量预测影响最大的因素。     

基于多特征融合的航空发动机剩余寿命预测

针对航空发动机剩余可用寿命(RUL)预测任务中代表性特征提取不充分导致RUL预测精度较低等问题, 提出了一种基于多特征融合的航空发动机RUL预测方法. 利用指数平滑法(ES)降低原始数据中的噪声干扰, 得到相对平稳的特征数据. 使用双向长短期记忆网络(Bi-LSTM)提取特征数据的时序特征, 利用多头注意力机制(Multi-attention)为时序特征赋予权重; 设计卷积长短期记忆网络(Conv-LSTM)提取特征数据的时空特征; 提取特征数据的手工特征并使用Softmax函数计算权重. 设计一个特征融合框架将上述特征进行融合, 然后通过全连接网络回归实现最终RUL预测. 使用C-MAPSS数据集对模型进行仿真验证, 与Bi-LSTM等模型进行对比, 模型RUL预测精度更高, 适应性更好.     

融入课程知识图谱的KMAKT预测

现有多数深度知识追踪模型的知识追踪结果的可解释性弱,且忽视了习题与知识点的内在关联性对知识追踪效果与预测结果的影响.针对上述问题,提出一种用于学生表现预测的结合课程知识图谱与多头注意力机制的知识追踪(KMAKT)模型.首先,采用Word2Vec和双向长短期记忆(BiLSTM)网络将习题作答序列数据转换为低维稠密向量,利用图嵌入模型TransR进行课程知识图谱嵌入表示,并使用多头注意力机制计算过往习题作答序列对当前知识状态的贡献程度;然后,通过注意力网络挖掘前驱知识对预测结果的影响程度;最后,通过多层神经网络获取预测结果,提高模型的可解释性与预测精度.实验结果表明,KMAKT 模型在ASSISTments2017数据集上的受试者工作特征曲线下的面积(AUC)、准确率和F1值相比于深度知识追踪(DKT)模型分别提升了约5.20、4.20和2.40个百分点,具有较好的预测性能.在湖南大学信号与系统(HNU_SYS)子数据集上的知识追踪可视化结果验证了KMAKT模型的知识追踪结果符合教育学认知规律且具备一定程度的可解释性.     

基于LSTM-att的车辆异常驾驶行为识别

车辆的异常行为可能引发交通事故,甚至造成经济损失和人员伤亡.准确识别车辆异常行为可以预防潜在的危险.针对现有研究存在的数据难以保留时间特征等问题,本文提出一种带有注意力层的长短记忆神经网络的识别模型,利用真实交通场景车辆异常轨迹对所提出的模型进行训练和验证.实验结果表明,所提出的模型能够有效的识别车辆异常驾驶行为,准确...     

一种基于注意力机制的短临降雨预报方法

针对现有气象业务中短临降雨预报不精确的问题,提出一种基于注意力机制的短临降雨预报方法。计算标准化降水指数后对因子作归一化处理;使用随机森林算法筛选出与降雨密切相关的气象因子;设计带有注意力机制的长短期记忆网络模型,有效解决长时间降雨序列信息丢失的问题,强化对关键信息的提取能力;对注意力权重可视化,提高模型透明度。在全国92个站点的实验结果验证了该方法有较好的泛化能力,在预测短临强降雨情况下比现有方法准确率更高。     

基于LSTM-Attention的内部威胁检测模型

信息被内部人员非法泄露、复制、篡改,会给政府、企业造成巨大的经济损失。为了防止信息被内部人员非法窃取,文章提出一种基于LSTM-Attention的内部威胁检测模型ITDBLA。首先,提取用户的行为序列、用户行为特征、角色行为特征和心理数据描述用户的日常活动;其次,使用长短期记忆网络和注意力机制学习用户的行为模式,并计算真实行为与预测行为之间的偏差;最后,使用多层感知机根据该偏差进行综合决策,从而识别异常行为。在CERT内部威胁数据集上进行实验,实验结果表明,ITDBLA模型的AUC分数达0.964,具有较强的学习用户活动模式和检测异常行为的能力。     

基于多头注意力机制的房颤检测方法

近年来,随着人工智能的发展,深度学习模型已在ECG数据分析(尤其是房颤的检测)中得到广泛应用.本文提出了一种基于多头注意力机制的算法来实现房颤的分类,并通过PhysioNet 2017年挑战赛的公开数据集对其进行训练和验证.该算法首先采用深度残差网络提取心电信号的局部特征,随后采用双向长短期记忆网络在此基础上提取全局特...     

基于Attention-BiLSTM-LSTM神经网络的短期电力负荷预测方法

短期电力负荷预测是电力系统中的重要问题之一,准确的预测结果可以提高电力市场的灵活性和资源利用效率,对电力系统高效运行具有重要意义.为了提高预测精度,针对电网负荷数据的时序性特征,提出一种基于Attention-BiLSTM-LSTM神经网络的短期电力负荷预测方法.该方法首先针对电力负荷的影响因素(温度、节假日等)提取特...     

基于文本和用户信息的在线评论质量检测

随着互联网的迅速发展,越来越多的用户评论出现在社交网站上。面对迅速增长的评论数据,如何为阅读评论的消费者提供准确、真实的高质量评论就显得尤为重要。评论质量检测旨在判断在线评论的质量,在传统的研究中,文本信息通常独立地被用于预测评论质量。但是在社交媒体上,每个文本之间不是独立的,而是可以通过发表文本的作者与其他文本相关联,即同一个用户或相近的用户发表的评论质量具有一定的相似性。因此,为了更好的构建文本的表示和研究文本之间基于用户的关联,该文基于神经网络模型分别构建用户和文本的表示,同时,为了放大用户信息的作用,我们进一步将基于注意力机制的用户信息融合到文本中,从而提高文本评论质量检测的效果。在Yelp 2013数据集上进行实验的结果表明,该模型能有效地提高在线评论质量检测的性能。     

基于用户和产品表示的情感分析和评论质量检测联合模型

情感分析旨在判断文本的情感倾向,而评论质量检测旨在判断评论的质量.情感分析和评论质量检测是情感分析中两个关键的任务,这两个任务受多种因素的影响而密切相关,同一个产品的情感倾向具有相似的情感极性;同时,同一个用户发表的评论质量也具有一定的相似性.因此,为了更好地研究情感分类和评论质量检测任务的相关性以及用户信息和产品信息分别对情感分类和评论质量检测的影响,提出了一个情感分析和评论质量检测联合模型.首先,使用深度学习方法学习评论的文本信息作为联系两个任务的基础;然后,将用户评论及产品评论作为用户的表示和产品的表示;在此基础上,采用用户注意力机制对用户的表示进行编码,采用产品注意力机制对产品的表示进行编码;最后,将用户表示和产品表示结合起来进行情感分析和评论质量检测.通过在Yelp2013和Yelp2015数据集上的实验结果表明,该模型与现有的神经网络模型相比,能够有效地提高情感分析和在线评论质量检测的性能.     

DL-GAN生成对抗网络的半监督语义分割模型

语义分割目前主流的全监督学习方式、数据质量和数量决定了网络的训练效果.只有花费大量的标注成本,才能得到质量高且数据量大的训练数据.根据上述情况,出现了基于半监督学习方式的语义分割.半监督学习可以节省数据的标注成本,很好地解决需要大量标注成本的问题,越来越多人开始关注半监督学习的图像语义分割.根据图像语义分割方法目前的发展现状,提出了一种结合DeepLabv2的生成对抗网络(DL-GAN)的半监督语义分割的模型.将DeepLabv2作为生成对抗网络的生成网络,完全卷积的网络作为判别器网络;对生成网络进行改进,首次将CBAM注意力机制和深度可分离卷积结合应用于DeepLabv2,将其作为生成网络,具体一是在DeepLabv2最后的卷积层前添加CBAM注意力机制,二是将DeepLabv2网络中Resnet残差块的标准卷积替换为深度可分离卷积,使整个模型将权重参数更为合理地分配,提高模型的表征能力且计算更为高效,加快训练效率;用空洞卷积替换判别器的标准卷积,提升整个判别器的感受野,提高训练效果,提升语义分割精度.该方法在PASCAL VOC 2012数据集上的实验结果相对于Affinitynet网络平均交并比提高6.3个百分点,证明了提出方法是有效的.     

基于深度多匹配网络的多轮对话回复选择模型

现有工作利用神经网络构建了各种检索模型,取得了一定的成功,但仍存在注入模型信息筛选不充分、引入噪声和对已知内容的潜在语义信息、时序关系挖掘不充分问题。针对上述问题,提出了基于深度多匹配网络的多轮对话回复模型（DMMN）。该模型将上下文与知识作为对候选回复的查询,在三者编码之后提出预匹配层,采用单向交叉注意力机制分别筛选出基于知识感知的上下文与基于上下文感知的知识,识别两者中重要的信息。将候选回复与以上两者交互作用之后,进行特征聚合阶段,一方面借助额外BiLSTM网络捕获基于回复的上下文对话信息间的时序信息,另一方面借助带门控的注意力机制挖掘基于回复的知识间的语义信息,增强匹配特征信息。最后,融合上述表示特征。在原始的和修改后的Persona-Chat数据集上性能评测结果显示,与现有方法相比,该模型召回率得到了进一步的提高,检索出的回复效果更好。     

融合多模板注意力深度网的自适应目标框跟踪算法

现有深度网络跟踪算法应对相似物体干扰、尺度变化、形变模糊、遮挡等问题存在挑战,为此提出一种融合多模板注意力机制的鲁棒深度网络算法.在SiamFc深度网络分支中构建通道和空间多模板注意力机制,以加强网络对目标特征的提取能力;融合浅层和深层卷积特征实现跟踪目标的精确聚焦,以克服相似物干扰问题;采用自适应回归网络学习目标采样点与目标边界之间的距离,实现目标区域的动态预测,有效应对目标尺度变化问题.另外,通过计算分类特征的APCE均值和最大值建立模板在线更新策略,实现网络自适应目标形变模糊与遮挡等问题.对OTB 100和VOT 2016等公开数据集的测试结果表明,与目前先进的SiamFc及改进方法相比,所提出算法在动态目标跟踪的准确率和成功率上均得到有效提升,具有强鲁棒性能.     

基于视觉Transformer的双流目标跟踪算法

目前基于Transformer的目标跟踪算法主要利用Transformer来融合深度卷积特征,忽略了Transformer在特征提取和解码预测方面的能力。针对上述问题,提出一种基于视觉Transformer的双流目标跟踪算法。引入基于注意力机制的Swin Transformer进行特征提取,通过移位窗口进行全局信息建模。使用Transformer编码器对目标特征和搜索区域特征进行充分融合,使用解码器学习目标查询中的位置信息。分别对编解码器中的双流信息进行目标预测。在决策层面上进一步地加权融合得到最终跟踪结果,并使用多监督策略。该算法在LaSOT、TrackingNet、UAV123和NFS四个具有挑战性的大规模跟踪数据集上取得了先进的结果,分别达到67.4%、80.9%、68.6%和66.0%的成功率曲线下面积,展示了其强大的潜力。此外,由于避免了复杂的后处理步骤,能够端到端进行目标跟踪,跟踪速度可达42?FPS。     

基于胶囊图卷积的解缠绕会话感知推荐方法

针对会话推荐模型中存在的推荐准确率不高的问题,提出了一种基于胶囊图卷积的解缠绕会话感知推荐方法(CGCD)。具体来说,采用解缠绕学习技术将项目嵌入转换为基于多个子通道的因子嵌入,利用图卷积网络对因子嵌入进行细粒度的学习。然后,利用胶囊动态融合策略聚合不同的因子获得新的项目嵌入。此外,采用多头注意力机制为会话中每个项目分配权重。最后,根据分配的权重将项目嵌入与当前会话中的其他项目进行聚合,进而生成准确的会话表示,实现项目推荐。在两个公开真实数据集上的实验表明,所提模型在推荐的Pre@10,Pre@20,MRR@10和MRR@20上平均提高了5.17%、2.99%、6.56%和2.94%,验证了其有效性与高效性。     

基于阶段注意力机制的电力线提取算法

电力系统维护是电力系统稳定运行的重要保障,应用智能算法的无人机电力巡检则为电力系统维护提供便捷。电力线提取是自主电力巡检以及保障飞行器低空飞行安全的关键技术,结合深度学习理论进行电力线提取是电力巡检的重要突破点。本文将深度学习方法用于电力线提取任务,结合电力线图像特点嵌入改进的图像输入策略和注意力模块,提出一种基于阶段注意力机制的电力线提取模型（SA-Unet）。本文提出的SA-Unet模型编码阶段采用阶段输入融合策略（Stage input fusion strategy, SIFS）,充分利用图像的多尺度信息减少空间位置信息丢失。解码阶段通过嵌入阶段注意力模块（Stage attention module,SAM）聚焦电力线特征,从大量信息中快速筛选出高价值信息。实验结果表明,该方法在复杂背景的多场景中具有良好的性能。     

基于深度学习的知识追踪研究综述

随着人工智能与教育的不断发展,知识追踪在智慧教学领域具有广阔的应用前景;深度学习以其强大特征提取能力广泛应用于知识追踪,以深度学习知识追踪模型为起点,其改进模型为主线,全面回顾了知识追踪模型的研究进展,简要介绍了知识追踪领域传统模型的特点及不足,阐述了基于深度学习知识追踪模型的原理及局限性,同时全面整理并分析了针对可解释性问题、缺少学习特征、记忆增强网络、图神经网络、基于注意力机制五个方面的改进模型,梳理了知识追踪领域常用的公开数据集、评价指标及模型性能对比分析,最后总结并探讨了知识追踪在智慧教学方面的应用以及当前该研究领域的研究现状与未来的研究方向。