基于时空注意力图卷积网络模型的人体骨架动作识别算法

针对现有的人体骨架动作识别算法不能充分发掘运动的时空特征问题,提出一种基于时空注意力图卷积网络（STA-GCN）模型的人体骨架动作识别算法。该模型包含空间注意力机制和时间注意力机制：空间注意力机制一方面利用光流特征中的瞬时运动信息定位运动显著的空间区域,另一方面在训练过程中引入全局平均池化及辅助分类损失使得该模型可以关注到具有判别力的非运动区域;时间注意力机制则自动地从长时复杂视频中挖掘出具有判别力的时域片段。将这二者融合到统一的图卷积网络（GCN）框架中,实现了端到端的训练。在Kinetics和NTU RGB+D两个公开数据集的对比实验结果表明,基于STA-GCN模型的人体骨架动作识别算法具有很强的鲁棒性与稳定性,与基于时空图卷积网络（ST-GCN）模型的识别算法相比,在Kinetics数据集上的Top-1和Top-5分别提升5.0和4.5个百分点,在NTURGB+D数据集的CS和CV上的Top-1分别提升6.2和6.7个百分点;也优于当前行为识别领域最先进（SOA）方法,如Res-TCN、STA-LSTM和动作-结构图卷积网络（AS-GCN）。结果表示,所提算法可以更好地满足人体行为识别的实际应用需求。     

基于改进CenterNet的竹条表面缺陷检测方法

在竹条表面缺陷检测中,竹条表面缺陷形状各异,成像环境脏乱,现有基于卷积神经网络（CNN）的目标检测模型面对这样特定的数据时并不能很好地发挥神经网络的优势;而且竹条来源复杂且有其他条件限制,因此没办法采集所有类型的数据,导致竹条表面缺陷数据量少到CNN不能充分学习。针对这些问题,提出一种专门针对竹条表面缺陷的检测网络。该网络的基础框架为CenterNet,而且为提高CenterNet在较少的竹条表面缺陷数据中的检测性能,设计了一种基于从零开始训练的辅助检测模块：在网络开始训练时,冻结采用预训练模型的CenterNet部分,并针对竹条的缺陷特点从零开始训练辅助检测模块;待辅助检测模块损失趋于稳定时,通过一种注意力机制的连接方式将该模块与采用预训练的主干部分进行融合。将所提检测网络与CenterNet以及目前常用于工业检测的YOLO v3在相同训练测试集上进行训练和测试。实验结果表明,所提检测网络的平均精度均值（mAP）在竹条表面缺陷检测数据集上比YOLO v3和CenterNet的mAP分别提高了16.45和9.96个百分点。所提方法能够针对形状各异的竹条表面缺陷进行有效检测,且没有增加过多的时耗,在实际工业运用中具有很好的效果。     

指针生成网络和覆盖损失优化的Transformer在生成式文本摘要领域的应用

针对生成式文本摘要应用场景,提出了以Transformer为基础的摘要模型,并在Transformer模型中加入了指针生成（Pointer Generator）网络和覆盖损失（Coverage Loss）进行优化。首先,提出了基于Transformer模型作为基础结构的方法,利用其注意力机制更好地捕捉上下文的语意信息。然后,在模型的损失函数中引入Coverage Loss来惩罚不断出现的重复的词的分布和覆盖范围,从而解决Transformer模型中的注意力机制在生成式任务中出现不断生成同一个词的问题。最后,在模型中加入了Pointer Generator网络,从而允许模型从源文本中复制词用作生成词来解决词表无法覆盖（OOV）的问题。探索了改进后的模型是否减少了不准确的表达以及重复出现相同词的现象是否得以解决。该模型相较于原始的Transformer模型在ROUGE-1评测函数上得分提升了1.98个百分点、ROUGE-2评测函数上得分提升0.95个百分点,在ROUGE-L评测函数上得分提升了2.27个百分点,并提升了摘要结果的可读性及准确性。实验结果表明,Transformer在加入Coverage Loss和Pointer Generator网络后可应用于生成式文本摘要领域。     

基于深度残差长短记忆网络交通流量预测算法

针对多步交通流量预测任务中时间空间特征提取效果不佳和预测未来时间交通流量精度低的问题,提出一种基于长短时记忆（LSTM）网络、卷积残差网络和注意力机制的融合模型。首先,利用一种基于编解码器的架构,通过在编解码器中加入LSTM网络来挖掘不同尺度的时间域特征;其次,构建基于注意力机制挤压激励（SE）模块的卷积残差网络嵌入到LSTM网络结构中,从而挖掘交通流量数据中的空间域特征;最后,将编码器中获得的隐状态下的信息输入到解码器中,实现高精度多步交通流量的预测。基于真实交通数据进行实验测试和分析,实验结果表明,相较于原始的基于图卷积的模型,所提模型在北京和纽约两个交通流量公开数据集上的均方根误差（RMSE）分别获得了1.622和0.08的下降。所提模型能够高效且精确地对交通流量作出预测。     

基于注意力机制的多层次编码和解码的图像描述模型

图像描述任务是图像理解的一个重要分支,它不仅要求能够正确识别图像的内容,还要求能够生成在语法和语义上正确的句子。传统的基于编码器-解码器的模型不能充分利用图像特征并且解码方式单一。针对这些问题,提出一种基于注意力机制的多层次编码和解码的图像描述模型。首先使用Faster R-CNN（Faster Region-based Convolutional Neural Network）提取图像特征,然后采用Transformer提取图像的3种高层次特征,并利用金字塔型的融合方式对特征进行有效融合,最后构建3个长短期记忆（LSTM）网络对不同层次特征进行层次化解码。在解码部分,利用软注意力机制使得模型能够关注当前步骤所需要的重要信息。在MSCOCO大型数据集上进行实验,利用多种指标（BLEU、METEOR、ROUGE-L、CIDEr）对模型进行评价,该模型在指标BLEU-4、METEOR和CIDEr上相较于Recall（Recall what you see）模型分别提升了2.5个百分点、2.6个百分点和8.8个百分点;相较于HAF（Hierarchical Attention-based Fusion）模型分别提升了1.2个百分点、0.5个百分点和3.5个百分点。此外,通过可视化生成的描述语句可以看出,所提出模型所生成的描述语句能够准确反映图像内容。     

基于自动编码器的深度伪造图像检测方法

基于深度学习的图像伪造方法生成的图像肉眼难辨,一旦该技术被滥用于制作虚假图像和视频,可能会对国家政治、经济、文化造成严重的负面影响,也可能会对社会生活和个人隐私构成威胁。针对上述问题,提出了一种基于自动编码器的深度伪造Deepfake图像检测方法。首先,借助高斯滤波对图像进行预处理,提取高频信息作为模型输入;然后,利用自动编码器对图像进行特征提取,并在编码器中添加注意力机制模块以获取更好的分类效果;最后,通过消融实验证明,采用所提的预处理方法和添加注意力机制模块有助于伪造图像检测。实验结果表明,与ResNet50、Xception以及InceptionV3相比,所提方法在数据集样本量较小且包含的场景丰富时,可以有效检测多种生成方法所伪造的图像,其平均准确率可达97.10%,明显优于对比方法,且其泛化性能也明显优于对比方法。     

基于注意力机制网络的航运监控图像识别模型

针对已有的航运监控图像识别模型C3D里中级表征学习能力有限,有效特征的提取容易受到噪声的干扰,且特征的提取忽视了整体特征与局部特征之间关系的问题,提出了一种新的基于注意力机制网络的航运监控图像识别模型。该模型基于卷积神经网络（CNN）框架,首先,通过特征提取器提取图像的浅层次特征;然后,基于CNN对不同区域激活特征的不同响应强度,生成注意力信息并实现对局部判别性特征的提取;最后,使用多分支的CNN结构融合局部判别性特征和图像全局纹理特征,从而利用局部判别性特征和图像全局纹理特征的交互关系提升CNN学习中级表征的能力。实验结果表明,所提出的模型在航运图像数据集上的识别准确率达到91.8%,相较于目前的C3D模型提高了7.2个百分点,相较于判别滤波器组卷积神经网络（DFL-CNN）模型提高了0.6个百分点。可见所提模型能够准确判断船舶的状态,可以有效应用于航运监控项目。     

基于动态注意力和多角度匹配的答案选择模型

针对当前主流神经网络在处理答案选择任务时无法同时满足句子的充分表示以及句子间信息充分交互的问题,提出了基于动态注意力和多角度匹配（DAMPM）的答案选择模型。首先,调用预训练语言模型的嵌入（ELMo）获得包含简单语义信息的词向量;接着,在注意力层采用过滤机制有效地去除句子中的噪声,从而更好地得到问句和答案句的句子表征;其次,在匹配层同时引入多种匹配策略来完成句子向量之间的信息交互;然后,利用双向长短期记忆（BiLSTM）网络对匹配层输出的句子向量进行拼接;最后,通过分类器来计算拼接向量的相似度大小,从而得到问句和答案句之间的语义关联。在文本检索会议问答（TRECQA）数据集上的实验结果表明,与基于比较聚合框架的基线模型中的动态滑动注意力网络（DCAN）方法相比,DAMPM在平均准确率均值（MAP）和平均倒数排名（MRR）两个性能指标上均提高了1.6个百分点。在维基百科问答（WikiQA）数据集上的实验结果表明,DAMPM相较DCAN在两个性能指标上分别提高了0.7个百分点和0.8个百分点。所提DAMPM相较于基线模型中的方法整体上有更好的性能表现。     

基于多层次空间注意力的图文评论情感分析方法

随着社交网络的不断普及,相对于传统的文字描述,人们更倾向于发布图文结合的评论来表达自己的情感与意见。针对图文情感分析方法中仅考虑图文间的高级语义联系,而较少注意图片的低层次情感特征以及中层美学特征与文本情感之间关联性的问题,提出了一种基于多层次空间注意力（MLSA）的图文评论情感分析方法。所提方法以文本内容为驱动,使用MLSA设计图像与文本之间的特征融合方法,该特征融合方法不仅关注与文本相关的图像实体特征,而且充分利用图像的中层美学特征和低层视觉特征,从而从多个不同角度挖掘图文之间的情感共现。在两个公开的图文情感数据集MVSA_Single和MVSA_Multi上,该方法的分类效果相对于对比方法中最优的方法的分类效果在准确率上分别提高了0.96和1.06个百分点,在F1值上分别提高了0.96和0.62个百分点。实验结果表明,综合分析文本特征和图像特征之间的层次化联系能有效地增强神经网络捕捉图文情感语义的能力,从而更准确地预测图文整体的情感。     

基于注意力机制面向短文本多分类的关键词权重优化

关键词语义敏感影响短文本选择关键词赋予合适权重.针对仅关注关键词是否完备没有考虑到混淆关键词会对分类造成消极影响的问题,提出一种降低混淆关键词权重实现关键词权重优化的模型.首先,基于词频?逆文件频率(TF-IDF)和混淆矩阵的原理选择文本中被定义的混淆关键词.然后,基于注意力机制构建文本表征,通过全连接层降维重构表征;训练重构的表征尽可能相似于原表征,从而选出能保留句子信息的关键词;将混淆关键词从提取的关键词里排除出去,将筛选后的关键词称为强关键词.最后,使用双向长短记忆网络?注意力机制(BiLSTM-Attention)经典模型作短文本多分类的基础模型.在此基础模型之上把强关键词整体做嵌入表示加入到BiLSTM-Attention模型中的注意力部分激活函数计算当中.与BiLSTM-Attention基础模型进行的实验结果表明,所提模型在Snippets公开数据集上,分类准确率提高0.41个百分点.