基于自注意力与图卷积网络的方面级情感分析

针对以往大多数方面级情感分析研究中方面词与上下文交互信息缺失,无法充分利用语义信息等问题,提出一种基于自注意力与图卷积网络结合的方面级情感分析模型。为了提高模型的语义表示能力,一方面利用多头自注意力机制,获取文本长距离依赖关系,与依存关系类型矩阵结合,计算融合位置信息和关系类型信息的权重矩阵,输入图卷积网络获取文本特征表示;另一方面设计了文本-方面注意力层,增强方面与上下文的交互,输入图卷积网络获取方面特征表示;最后连接2个向量,完成情感分析任务。在2个开放数据集中,所提模型的整体性能优于其他对比模型。     

基于关系门控图卷积网络的方面级情感分析

在方面级情感分析任务中,现有方法难以有效利用句法关系类型且性能依赖依存解析的准确性,为此提出注意力增强的关系门控图卷积神经网络（ARGCN）模型.该模型将双向长短时记忆（BiLSTM）网络学习得到的句子顺序特征与依存概率矩阵相结合构建单词图;利用关系门控图卷积神经网络（RG-GCN）和注意力增强网络（AAN）分别从单词图和句子的顺序特征中获取方面词的情感特征;拼接RG-GCN和AAN的输出作为方面词最终的情感特征.在数据集SemEval 2014、 Twitter上进行对比实验和消融实验,结果表明ARGCN模型可以有效地利用关系类型,减小依存解析准确性对模型性能的影响,更好地建立方面词和意见词的联系,模型准确率优于所有基线模型.     

采用注意力门控卷积网络模型的目标情感分析

针对传统目标情感分析采用循环神经网络模型导致训练时间长且其他替代模型未能使得上下文和目标词之间实现良好交互等问题,提出了一种用于目标情感分析的注意力门控卷积网络模型。该模型首先将上下文和目标词通过多头注意力机制加强上下文和目标词之间的交互;其次采用门控卷积机制进一步提取关于目标词的情感特征;最后通过Softmax分类器将情感特征进行分类,输出情感极性。实验结果显示,与循环神经网络模型中准确率最高的循环注意力网络模型相比,在SemEval 2014任务四的餐厅和笔记本电脑数据集上的准确率分别提高了1.29%和0.12%;与循环神经网络模型中收敛速度较快的基于注意力的长短期记忆网络模型相比,收敛时间下降了约29.17s。     

结合句法依存信息的方面级情感分类

引入句法依存信息到原方面术语,提出一种新的方面术语表示方法,利用Glove词向量表示单词以及单词与单词之间的依存关系,构造出包含句法依存信息的依存关系邻接矩阵和依存关系表示矩阵,利用图卷积神经网络和多头注意力机制将句法依存信息融入到方面术语中,使得方面术语表达与上下文结构高度相关。将改进后的方面词术语表示替换到现有模型后,模型泛化能力得到有效提升。对比试验和分析结果表明:该方法具有有效性和泛化性。     

基于多层跨模态注意力融合的图文情感分析

针对现有图文情感分析模型仅考虑图像高层特征与文本特征的联系,而忽视图像低层特征的问题,提出了一种基于多层跨模态注意力融合(Multi-level cross-modal attention fusion,MCAF)的图文情感分析模型.该模型首先将VGG13网络外接多层卷积,以获取不同层次的图像特征,并使用BERT词嵌入...     

基于注意力与双通道网络的方面级情感分析

针对方面级情感分析任务不能充分兼顾句法全面性与语义关联性,且大多数研究中使用的图卷积仅考虑信息自上而下的传播,忽略了信息自下而上的聚合等问题,本文提出了基于注意力与双通道网络的情感分析模型.该模型在扩展依存表示的同时使用自注意力获取具有语义关联的信息矩阵,使用双通道网络结合全局句法与语义关联信息,双通道网络分别侧重于自上而下传播的语义特征与自下而上聚合的结构特征.通道内的图卷积输出会与信息矩阵进行交互注意力起到残差互补的作用,然后通过平均池化完成通道内的任务.最后将基于语义与基于结构的决策融合得到最终的情感分类特征.实验结果表明该模型在三个公开数据集上的准确率与F1值均有提升.     

基于CLIP和交叉注意力的多模态情感分析模型

针对多模态情感分析中存在的标注数据量少、模态间融合不充分以及信息冗余等问题,提出了一种基于对比语言-图片训练(CLIP)和交叉注意力(CA)的多模态情感分析(MSA)模型CLIP-CA-MSA。首先,该模型使用CLIP预训练的BERT模型、PIFT模型来提取视频特征向量与文本特征;其次,使用交叉注意力机制将图像特征向量和文本特征向量进行交互,以加强不同模态之间的信息传递;最后,利用不确定性损失特征融合后计算输出最终的情感分类结果。实验结果表明：该模型比其他多模态模型准确率提高5百分点至14百分点,F1值提高3百分点至12百分点,验证了该模型的优越性,并使用消融实验验证该模型各模块的有效性。该模型能够有效地利用多模态数据的互补性和相关性,同时利用不确定性损失来提高模型的鲁棒性和泛化能力。     

面向方面级情感分析的交互式图卷积网络

针对现有的基于图网络的情感分析模型在处理方面短语的内部语义和不同方面之间的情感交互关系时准确度不高等局限性,文章提出一种面向方面级情感分析的交互式图卷积网络模型。首先,利用句子中上下文和方面词之间的句法依存关系,在方面短语内部模块中整合各方面短语之间的内部语义相关性,并将不同方面之间的情感交互关联起来,生成4种类型的邻接矩阵图,实现对方面短语内部语义性和句子中不同方面之间情感交互关系的建模。其次,构建一个方面交互图,用于跨方面关系的建模,以解决不同方面之间的情感交互。最后,在图卷积网络中设置一个全局节点,进一步解决句子中存在多个方面词时精度浮动的问题。在4个公开数据集上的结果表明,该模型在准确率和F₁值上均有所提升。     

基于时间模式注意力机制的CNN-BiGRU短期负荷预测

准确的短期负荷预测可以缓解电力供需矛盾,协调负荷管理,保障电力系统安全。短期电力负荷具有很强的非线性和时间依赖性,并与气候变化和实时电价等诸多外部因素有关,给精准预测短期负荷带来了困难。为此,提出一种基于时间模式注意力(temporal pattern attention, TPA)机制的卷积神经网络(convolutional neural network, CNN)-双向门控循环单元(bidirectional gated recurrent unit, BiGRU)短期负荷预测方法。其中,卷积神经网络用于挖掘不同输入变量与当前负荷间的非线性空间联系,双向门控循环单元用于从时间序列中捕获长期依赖关系,时间模式注意力机制引入以自适应加权赋予特征权重,突出重要信息,实现短期负荷预测。以澳大利亚公开负荷数据集作为实例验证所提方法的效果,预测精度达到了97.651%,与CNN-LSTM、RNN预测模型进行对比,精度分别提高了0.531%和5.992%,实验结果表明：所提的TPA-CNN-BiGRU预测方法具有更高的预测精度和普适性。     

结合上下文和注意力机制的特定目标情感分析

在模型中引入评价目标的上下文信息,通过LSTM对其进行独立语义编码,同时引入基于评价目标的注意力机制,改善得到的情感特征信息。最后在SemEval2014Task4的Restaurant和Twitter两个不同领域的数据集上进行了实验。     

基于空间注意力和卷积神经网络的视觉情感分析

为了解决现有基于深度学习方法的视觉情感分析忽略了图像各局部区域情感呈现的强度差异问题,提出一种结合空间注意力的卷积神经网络spatial attention with CNN, SA-CNN用于提升视觉情感分析效果。设计一个情感区域探测神经网络用于发现图像中诱发情感的局部区域;通过空间注意力机制对情感映射中各个位置赋予注意力权重,恰当抽取各区域的情感特征表示,从而有助于利用局部区域情感信息进行分类;整合局部区域特征和整体图像特征形成情感判别性视觉特征,并用于训练视觉情感的神经网络分类器。该方法在3个真实数据集TwitterⅠ、TwitterⅡ和Flickr上的情感分类准确率分别达到82.56%、80.23%、79.17%,证明利用好图像局部区域情感表达的差异性,能提升视觉情感分类效果。     

面向目标情感分析的双重图注意力网络模型

目标情感分析旨在分析评论文本中不同目标所对应的情感倾向。当前,基于图神经网络的方法使用依存句法树来融入依存句法关系,一方面,此类方法大多忽略了依存关系缺乏区分度的事实;另一方面,未考虑依存句法树提供的依存关系存在目标与情感词关系缺失的问题。为此,提出双重图注意力网络模型。该模型首先使用双向长短期记忆网络得到具有语义信息的词节点表示,然后根据依存句法树在词节点表示上构建句法图注意力网络,实现依存句法关系重要程度的区分,更有效地建立目标与情感词之间的关系,进而得到更准确的目标情感特征表示;同时根据句子的无向完全图构建全局图注意力网络来挖掘目标与情感词缺失的关系,进一步提升模型的性能。实验结果表明,与现有模型对比,双重图注意力网络模型在不同数据集上的准确率与宏平均F1值均取得了更好结果。     

基于集成深度学习模型的空气质量指数预测

大气污染严重危害居民的出行安全和身体健康,空气质量指数(AQI)是一种用于测量空气质量状况的综合指标,对AQI的预测可以提醒公众空气质量信息,使人们做出更明智的出行决策.通过提前预测空气质量的变化,政府和环保部门可以采取应急措施以减轻空气污染.本文提出基于卷积神经网络和门控循环单元的集成深度学习模型(CNN-GRU)对AQI进行预测.其中,卷积神经网络(CNN)提取污染气体浓度和AQI的时空特征并完成特征映射,门控循环单元(GRU)建模时序关系并高效完成计算.选取2014—2022年北京市和广州市的6种主要污染气体(PM_2.5、PM₁₀、SO₂、CO、NO₂、O₃)日平均质量浓度和AQI进行实例研究,使用CNN-GRU模型对AQI进行预测,与多元宇宙优化的广义回归神经网络模型(MVO-GRNN)、遗传算法优化的BP神经网络模型(GA-BP)对AQI的预测进行对比分析.实验结果表明,本文提出的CNN-GRU模型对AQI的预测误差最小.     

基于时空特征融合的网络流量预测模型

随着网络规模的日益增大,实时准确的网络流量预测对流量调度、路由设计等工作至关重要。由于网络流量数据的非线性和不确定性,一些传统方法无法取得较好的预测精度。针对网络流量复杂的时空特征,本文提出一种基于时空特征融合的神经网络(ST-Fusion)进行流量预测。该模型采用编码器-解码器结构。首先,编码器具有时间和空间两个并行的特征通道,联合门限循环网络和自注意力机制提取流量的时序特征,采用图卷积神经网络提取流量的空间特征;然后,将编码器提取的时空特征使用双边门限机制进行特征融合;最后,将融合的结果输入到基于门限循环网络的解码器中依次生成预测结果。本文在3个公开的网络流量数据集(GEANT、ABILENE、CERNET)上进行实验,其评价指标选用MAE、RMSE、ACCURACY、VAR。实验结果表明ST-Fusion方法能够取得更好的预测效果。     

基于域对抗网络和BERT的跨领域文本情感分析

跨领域文本情感分析时,为了使抽取的共享情感特征能够捕获更多的句子语义信息特征,提出域对抗和BERT(bidirectional encoder representations from transformers)的深度网络模型。利用BERT结构抽取句子语义表示向量,通过卷积神经网络抽取句子的局部特征。通过使用域对抗神经网络使得不同领域抽取的特征表示尽量不可判别,即源领域和目标领域抽取的特征具有更多的相似性;通过在有情感标签的源领域数据集上训练情感分类器,期望该分类器在源领域和目标领域均能达到较好的情感分类效果。在亚马逊产品评论数据集上的试验结果表明,该方法具有良好的性能,能够更好地实现跨领域文本情感分类。     

基于门控循环单元的多因素感知短期游客人数预测模型

提出的预测模型采取分时序分段策略,使用卷积神经网络（CNN）提取景区多因素时序数据的特征,并对不同因素的时序数据赋予不同的权重,将结果送入门控循环单元（GRU）以挖掘其中的时序信息,结合预测时刻的情境信息（天气状况和节假日）预测短期景区内游客人数. 在某景区的闸机数据集和监控点车辆数据集上的实验结果表明：基于门控循环单元的多因素感知短期游客人数预测模型可以充分考虑多情境因素并对不同因素时序数据赋予不同的权重,均方根误差（RMSE）和平均绝对百分比误差（MAPE）均小于传统模型,能够有效降低短期游客人数预测误差。     

基于CNN-GRU-ISSA-XGBoost的短期光伏功率预测

针对光伏功率随机性及波动性大,单一预测模型往往难以准确分析历史数据波动规律,从而导致预测精度不高的问题,提出一种基于卷积神经网络-门控循环单元(CNN-GRU)和改进麻雀搜索算法(ISSA)优化的极限梯度提升(XGBoost)模型的短期光伏功率预测组合模型.首先去除历史数据中的异常值并对其进行归一化处理,利用主成分分析法(PCA)进行特征选取,以便更好地识别影响光伏功率的关键因素.然后采用CNN网络提取数据的空间特征,再经过GRU网络提取时间特征,针对XGBoost模型手动配置参数困难、随机性大的问题,利用ISSA对模型超参数寻优.最后对两种方法预测的结果用误差倒数法减小误差的同时对权重进行更新,得到新的预测值,从而完成对光伏功率的预测.实验结果表明,所提出的CNN-GRU-ISSA-XGBoost组合模型具有更强的适应性和更高的精度.     

Speech enhancement method based on the multi-head self-attention mechanism

The human ear can only accept one sound signal at one time, and the signal with the highest energy will shield other signals with low energy. According to the above principle, this paper combines the self-attention and the multi-head attention to propose a speech enhancement method based on the multi-head self-attention mechanism. By applying multi-head self-attention calculation to the input noisy speech features, the clean speech part and the noise part of the input speech feature can be clearly distinguished, thereby enabling subsequent processing to suppress noise more effectively. Experimental results show that the proposed method significantly outperforms the method based on the recurrent neural network in terms of both speech quality and intelligibility.