采用词向量注意力机制的双路卷积神经网络句子分类模型

针对句子中不同的词对分类结果影响不同以及每个词对应的词向量受限于单一词向量训练模型的特点,提出一种基于词向量注意力机制的双路卷积神经网络句子分类模型（AT-DouCNN）.该模型将注意力机制和卷积神经网络相结合,以不同训练算法得到的词向量同时作为输入,分别进行卷积和池化,并在全连接层进行融合,不仅能够使得具体分类任务下句子中的关键信息更易被提取,还能够有效地利用不同种类的词向量得到更加丰富的句子特征,进而提高分类的准确率.实验结果表明：所提出的模型在3个公开数据集上的分类准确率分别达到50.6%、88.6%和95.4%,具有良好的句子分类效果.     

基于ACNN和Bi-LSTM的微表情识别

针对微表情动作幅度小、强度低等缺点,提出了一种基于带有注意力机制的卷积神经网络(ACNN)和双向长短期记忆网络(Bi-LSTM)相结合的神经网络结构。实验采用CASME II数据集,为了减少出现过拟合的风险,首先将预处理后的特征向量经过预训练的VGG16网络提取出基本特征,接着对输出特征进行裁剪,得到带有局部特征的24个微表情识别块和带有整个图片特征的全局特征向量;然后将24个识别块分别经过局部识别块注意力卷积神经网络(BR-ACNN)提取出带有注意力信息的局部特征,将全局特征向量经过全局注意力卷积神经网络(GR-ACNN)提取出带有注意力信息的全局特征;最后,将提取的局部和全局特征,经过Bi-LSTM提取出微表情序列之间的相关性信息。实验结果显示,5折交叉验证平均准确率为0.69,UF₁为0.638 2,UAR为0.675 0。CASME II数据集上结果显示,所提算法模型相对OFFApexNet模型,其UF₁提高了0.028 1,UAR提高了0.096 9;相对ATNet模型,其UF₁提高了0.007 2,UAR提高...     

基于注意力时序网络的非侵入式负荷分解

非侵入式负荷分解的本质是根据已知的总功率信号分解出单一的负荷设备的功率信号.目前基于深度学习模型大多存在网络模型负荷特征提取不充分、分解精度低、对使用频率较低的负荷设备分解误差大等问题.本文提出一种注意力时序网络模型(Attention Recurrent Neural Network, ARNN)实现非侵入式负荷分解,它将回归网络与分类网络相结合来解决非侵入式负荷分解问题.该模型通过RNN网络实现对序列信号特征的提取,同时利用注意力机制定位输入序列中重要信息的位置,提高神经网络的表征能力.在公开数据集Wiki-Energy以及UK-DALE上进行的对比实验结果表明,本文提出的深度神经网络在所有考虑的实验条件下都是最优的.另外,通过注意力机制和辅助分类网络能够正确检测设备的开启或关闭,并定位高功耗的信号部分,提高了负荷分解的准确性.     

基于多注意力机制集成的非侵入式负荷分解算法

针对输入负荷特征对分解结果的重要程度不同,以及长短时记忆网络（LSTM）在捕捉长时间用电信息的时间依赖性方面受限导致分解误差高等问题,提出一种基于多注意力机制集成的非侵入式负荷分解算法.首先,利用概率自注意力机制对一维空洞卷积提取到的负荷特征进行优化处理,实现重要负荷特征的遴选;其次,采用时间模式注意力机制对LSTM的隐状态赋予权重,从而增强网络对长时间用电信息之间的时间依赖性的学习能力;最后,利用公开数据集UKDALE和REDD对所提分解模型的有效性和创新性进行验证.实验结果表明,与其他多种现有分解算法相比,基于多注意力机制集成的分解算法不仅具备更好的负荷特征遴选能力,而且能更加精确地建立特征之间的时间依赖关系,有效降低了分解误差.     

融合残差块注意力机制和生成对抗网络的海马体分割

研究一种基于改进的生成对抗网络的深度学习方法对海马体进行分割。提出不同的卷积配置,以捕获由分割网络获得的信息。提出以Pixel2Pixel为基本架构的生成对抗网络模型,生成模型结合残差网络以及注意力机制的编解码结构以捕获更多细节信息。判别网络采用卷积神经网络对生成模型的分割结果和专家分割结果进行判别。经过生成模型和对抗模型不断地传递其损失,使生成模型达到分割海马体的最优状态。使用来自ADNI数据集130名健康受试者的T1加权MRI扫描和相关海马标签作为训练和测试数据,以相似度系数作为评价指标,准确率达到89.46%。试验结果表明,该网络模型可以实现高效地自动分割海马体,对于阿尔茨海默症等疾病的正确诊断具有重要的现实意义。     

眼底病变OCT图像的轻量化识别算法

为了准确、方便地识别多类型眼底病变，提出光学相干断层扫描技术（OCT）图像的轻量化分类模型MB-CNN.降低卷积核的使用个数，调节每个阶段卷积块的使用比例，设计轻量化主干网络L-Resnet，通过加深网络深度增强对深层语义信息的提取.使用深度可分离卷积设计多尺度卷积块MultiBlock，利用MultiBloc深度挖掘病灶区域的特征，使用不同的卷积核提取不同尺寸病变的特征，提高网络对病变OCT图像的识别能力.构建特征融合模块FFM，融合浅层信息和深层信息，充分提取病变特征的纹理和语义信息，提高对小目标病变的识别能力.实验结果显示，MB-CNN在UCSD、 Duke和NEH3个数据集上的总体分类精度分别达到97.2%、 99.92%和94.37%，模型参数量明显降低，所提模型能够针对眼底的多种病变进行分类.     

采用注意力门控卷积网络模型的目标情感分析

针对传统目标情感分析采用循环神经网络模型导致训练时间长且其他替代模型未能使得上下文和目标词之间实现良好交互等问题,提出了一种用于目标情感分析的注意力门控卷积网络模型。该模型首先将上下文和目标词通过多头注意力机制加强上下文和目标词之间的交互;其次采用门控卷积机制进一步提取关于目标词的情感特征;最后通过Softmax分类器将情感特征进行分类,输出情感极性。实验结果显示,与循环神经网络模型中准确率最高的循环注意力网络模型相比,在SemEval 2014任务四的餐厅和笔记本电脑数据集上的准确率分别提高了1.29%和0.12%;与循环神经网络模型中收敛速度较快的基于注意力的长短期记忆网络模型相比,收敛时间下降了约29.17s。     

基于3D-ResNet双流网络的VR病评估模型

为了准确地评估VR视频引起不适的程度，提出基于3D双流卷积神经网络的VR病评估模型.模仿人类视觉系统的2条通路，建立外观流和运动流2个子网络；将2D-ResNet50模型改为3D模型，增加一个深度通道，用以学习视频中的时序信息.加入3D-CBAM注意力模块提高了各帧通道之间的空间关联，增强关键信息，去除冗余信息.采用后端融合的方法，实现2个子网络结果的融合.在公开视频数据集上进行实验验证，结果表明，通过3D-CBAM注意力模块引入注意力机制，使得外观流和运动流网络的VR病评估精度分别提升了1.7%和3.6%，与现有文献相比，融合的双流网络模型的精度得到了较大的提升，精度达到93.7%.     

基于DRSN-CW和LSTM的轴承故障诊断

利用深度残差网络中逐通道不同阈值的残差收缩模块(DRSN-CW)的降噪能力和特征提取能力,结合长短时记忆网络(LSTM)和注意力机制,设计了一个端到端的基于振动信号的轴承故障诊断模型DRSNCW-LSTM。其中,LSTM模块很好地利用了信号的时序特点,充分提取振动信号的内部时域特征。同时,注意力机制的引入可以使得模型自动提取出重要的时域特征用于后续的故障类型识别。在凯斯西储大学(CWRU)数据集上对提出的模型进行了测试,实验表明提出的方法在无降噪处理的情况下,相比于最新的MCNN-LSTM模型能更准确地诊断轴承故障。在训练数据不足的情况下,提出的方法依旧能较好地实现轴承故障诊断,平均准确率能达到98.16%,比MCNN-LSTM平均提升了2.62%。     

融合残差块注意力机制和生成对抗网络的海马体分割

研究一种基于改进的生成对抗网络的深度学习方法对海马体进行分割。提出不同的卷积配置,以捕获由分割网络获得的信息。提出以Pixel2Pixel为基本架构的生成对抗网络模型,生成模型结合残差网络以及注意力机制的编解码结构以捕获更多细节信息。判别网络采用卷积神经网络对生成模型的分割结果和专家分割结果进行判别。经过生成模型和对抗模型不断地传递其损失,使生成模型达到分割海马体的最优状态。使用来自ADNI数据集130名健康受试者的T1加权MRI扫描和相关海马标签作为训练和测试数据,以相似度系数作为评价指标,准确率达到89.46%。试验结果表明,该网络模型可以实现高效地自动分割海马体,对于阿尔茨海默症等疾病的正确诊断具有重要的现实意义。     

基于小波包法与CSSD的P300特征提取方法

针对P300电位信号微弱、抗干扰能力差、识别率低等问题,提出一种小波包变换(wavelet packet transform,WPT)与共空域子空间分解法(spatial subspace decomposition,CSSD)相结合的特征提取方法,即WPCSSD法.首先,对脑电信号进行叠加平均以提高信号的信噪比;其次,使用小波包法对脑电信号进行滤波,并依据P300电位的有效时频信息重构脑电信号;然后,求取其AR模型功率谱,并基于CSSD法构造空间滤波器,获得能体现P300电位时-频-空特征的特征向量;最后,以支持向量机为分类器进行分类.实验结果表明:本方法具有较强的抗干扰能力和自适应能力,在国际BCI竞赛数据集上获得了95.22%的分类正确率,证明了本方法的正确性和有效性.     

P300信号分类的多样本融合支持向量机算法

脑电信号是大脑受到自发或诱发刺激所产生的一种变化的脑电活动,利用结合了多样本融合思想的支持向量机（SVM）算法,在不同受试者的多样本数据上对诱发脑电信号中的P300信号进行了分类识别。首先对实验数据进行预处理和特征提取,然后利用SVM算法训练分类模型,最后通过融合多个样本的预测结果对测试数据的P300信号进行识别。结果表明,相比单样本SVM算法该方法对检测数据有较高的分类准确率,能够成为P300脑电信号预测的较好方法,具有应用前景。     

融合注意力机制的高效率网络车型识别

为了解决现有的车型识别算法对车型特征描述不充分的情况,提出融合注意力机制的高效率网络车型识别算法. 利用高效率网络中的复合缩放方式来平衡网络的深度、宽度和分辨率,将深度可分离卷积集成到基础特征提取模块中来提高模型准确率. 增加双通道的残差注意力机制来关注图片中的关键信息,获得含有更加丰富语义信息的特征图. 在网络的末端添加单独的softmax分类器,使用标签平滑正则化对损失函数进行处理,减小模型过拟合的问题. 在BIT-Vehicles数据集上进行实验,结果表明,提出方法的平均分类准确率为96.83%,较改进前的模型提高了1.11%,优于现有DCNN、Faster-CNN的改进算法,较Faster R-CNN提升了7.16%.     

基于Att-iBi-LSTM的新闻主题词提取方法研究

针对LSTM网络进行主题词提取时因没有考虑中心词的下文对主题词的影响而导致提取准确率低的问题,提出了一种双向LSTM引入Attention机制模型（Att-iBi-LSTM）的主题词提取方法。首先利用LSTM模型将中心词的上文和下文信息在两个方向上建模;然后在双向LSTM模型中引入注意力机制,为影响力更高的特征分配更高的权重;最后利用softmax层将文档中的词分为主题词或非主题词。并且还提出了一种两阶段模型训练方法,即在自动标注的训练集上进行预训练之后,再利用人工标注数据集训练模型。实验在体育、娱乐和科技3种新闻文本上进行主题词提取任务,实验结果表明本文提出的Att-iBi-LSTM模型与SVM、TextRank和LSTM相比F1值分别提高了13.78%、24.31%和3.32%,使用两阶段训练方法的Att-iBi-LSTM比一阶段训练的F1值提高了1.56%。     

基于并行架构和时空注意力机制的心电分类方法

为了有效提取心电信号 (ECG) 的时空特征和提高分类准确性,提出基于深度学习的并行架构心电分类模型. 该模型采用基于GCA Block和GTSA Block模块实现多路特征融合的时空注意力机制. 使用双向长短时记忆网络和卷积神经网络作为基特征提取器,分别捕捉心电信号序列数据的前后依赖关系和不同尺度上的局部相关特征,实现对5种不同类型的心电信号的自动分类. 在MIT-BIH数据集上验证的结果表明,该方法对5种不同心电信号的总体分类准确率、特异性、敏感度、精确度和Macro-F1分别为99.50%、99.61%、96.20%、98.02%和97.08%. 相较于其他心电分类模型,该模型不仅能够有效地缩短网络模型深度,防止模型过拟合,而且能够更准确地提取心电信号的时空特征,获得更好的分类性能.     

一种利用Transformer的无人集群对抗态势要素识别方法

针对无人集群对抗问题中原始态势信息繁杂,难以准确识别集群阵型和集群运动趋势等态势要素的特点,为提高无人集群态势要素识别能力,设计了一种利用Transformer的无人集群对抗态势要素识别方法。基于Transformer模型的思想构建了可应用于无人集群对抗态势要素识别问题的Transformer-Decoder注意力层模型,实现良好的集群态势要素识别能力,设计层间注意力结构以改进提升了Transformer-Decoder的特征表达能力,进一步提高识别准确率。首先将集群态势序列信息输入到LSTM循环神经网络,编码成时序特征信息;然后使用Transformer-Decoder注意力模块和层间注意力模块提取集群的综合高阶态势信息,最后多维度分类网络和softmax层实现对多类态势要素的分类。实验结果表明：利用Transformer和层间注意力的无人集群对抗态势要素识别方法在态势要素分类问题上表现出良好的性能,能够同时对多类态势要素进行准确分类;相对于基线方法,利用Transformer和层间注意力的集群态势识别方法在集群阵型和运动趋势识别问题上具有更高的准确率。尤其在体现集群内部相对趋势的态...     

基于多尺度特征与注意力机制的轴承寿命预测

针对以往剩余使用寿命（RUL）预测方法对轴承退化信息挖掘不充分、忽视不同特征贡献度差异,影响预测准确性的问题,提出基于多尺度特征与注意力机制的轴承RUL预测方法. 在多个尺度下计算轴承原始振动信号的若干时域和频域特征,作为输入特征集. 将多尺度特征集输入到网络中,以注意力模块为不同特征自适应地分配最佳权重,以卷积神经网络（CNN）模块进行深层特征提取与多尺度特征融合,通过前馈神经网络（FNN）模块映射得到RUL预测值. 通过公开的轴承数据集进行实验验证,与其他RUL预测方法相比,所提方法的预测性能更优越.     

基于全局?局部特征和自适应注意力机制的图像语义描述算法

为了探究图像底层视觉特征与高层语义概念存在的差异,提出可以确定图像关注重点、挖掘更高层语义信息以及完善描述句子的细节信息的图像语义描述算法. 在图像视觉特征提取时提取输入图像的全局-局部特征作为视觉信息输入,确定不同时刻对图像的关注点,对图像细节的描述更加完善;在解码时加入注意力机制对图像特征加权输入,可以自适应选择当前时刻输出的文本单词对视觉信息与语义信息的依赖权重,有效地提高对图像语义描述的性能. 实验结果表明,该方法相对于其他语义描述算法效果更有竞争力,可以更准确、更细致地识别图片中的物体,对输入图像进行更全面地描述;对于微小的物体的识别准确率更高.     

基于熟悉人脸范式的P300脑机接口字符输入系统的设计与实现

脑机接口系统是一种使大脑能够不依赖于外周神经和肌肉通道,与外部环境进行交互的系统。基于P300的脑机接口字符输入系统是脑机接口技术的一种典型应用。对基于传统范式的P300脑机接口系统进行改进,设计并实现了基于熟悉人脸范式的P300脑机接口字符输入系统。实验建立了基于熟悉人脸的P300脑机接口系统的信号采集与处理模型,对采集到的数据进行预处理、特征提取,并使用集成支持向量机算法对脑电信号进行分类。结果表明,除P300电位外,熟悉人脸范式诱发出了Vpp和N170电位。与以往传统范式80.6%的字符输入正确率相比,基于熟悉人脸范式的字符输入正确率达到93.5%,具有良好的发展前景。     

基于线性加速度的多节点人体行为识别

针对当前基于加速度人体行为识别方法中存在的行为数据易受重力加速度影响以及空间信息欠缺等问题,提出一种基于线性加速度的多节点人体行为识别算法。通过分段双向去除重力加速度算法,去除传感器加速度中的重力加速度得到线性加速度;使用滑动均值滤波器滤除线性加速度与传感器加速度的颤抖运动,并对两种加速度中的冗余动作进行裁剪;分别从两种加速度中提取不同关节点数据间的动态时间规整算法(dynamic time warping, DTW)距离特征以及7种常规时域特征;利用支持向量机对人体行为进行分类。试验结果表明,该方法能有效提高人体行为识别的准确性。