基于多层次注意力的语义增强情感分类模型

由于自然语言的复杂语义、词的多情感极性以及文本的长期依赖关系，现有的文本情感分类方法面临严峻挑战。针对这些问题，提出了一种基于多层次注意力的语义增强情感分类模型。首先，使用语境化的动态词嵌入技术挖掘词汇的多重语义信息，并且对上下文语义进行建模；其次，通过内部注意力层中的多层并行的多头自注意力捕获文本内部的长期依赖关系，从而获取全面的文本特征信息；再次，在外部注意力层中，将评论元数据中的总结信息通过多层次的注意力机制融入评论特征中，从而增强评论特征的情感信息和语义表达能力；最后，采用全局平均池化层和Softmax函数实现情感分类。在4个亚马逊评论数据集上的实验结果表明，与基线模型中表现最好的TE-GRU(Transformer Encoder with Gated Recurrent Unit)相比，所提模型在App、Kindle、Electronic和CD数据集上的情感分类准确率至少提升了0.36、0.34、0.58和0.66个百分点，验证了该模型能够进一步提高情感分类性能。     

融合多头自注意力机制的中文短文本分类模型

针对中文短文本缺乏上下文信息导致的语义模糊从而存在的特征稀疏问题，提出了一种融合卷积神经网络和多头自注意力机制（CNN-MHA）的文本分类模型。首先，借助现有的基于Transformer的双向编码器表示（BERT）预训练语言模型以字符级向量形式来格式化表示句子层面的短文本；然后，为降低噪声，采用多头自注意力机制（MHA）学习文本序列内部的词依赖关系并生成带有全局语义信息的隐藏层向量，再将隐藏层向量输入到卷积神经网络（CNN）中，从而生成文本分类特征向量；最后，为提升分类的优化效果，将卷积层的输出与BERT模型提取的句特征进行特征融合后输入到分类器里进行再分类。将CNN-MHA模型分别与TextCNN、BERT、TextRCNN模型进行对比，实验结果表明，改进模型在搜狐新闻数据集上的F1值表现和对比模型相比分别提高了3.99%、0.76%和2.89%，验证了改进模型的有效性。     

基于融合CNN和Transformer的分离结构机器翻译模型

针对基于Transformer的机器翻译模型中存在的运行效率不高、计算参数过大以及计算复杂度过高的问题,提出一种基于融合CNN和Transformer的分离结构机器翻译模型。首先,对于运行效率不高和计算参数过大的问题,使用计算注意力模块和归一化模块分离的结构保证堆叠多层结构的可复用性,提高运行效率和降低计算参数。其次,引入了卷积计算模块和原始自注意力模块进行融合,原始自注意力模块用于计算全局上下文语义关系,卷积计算模块用于计算局部上下文语义关系,降低模型的复杂度。与其他机器翻译模型在相同的数据集进行实验对比,实验结果表明,该模型的计算参数最低,效果也比其他模型表现得更好。     

整合卷积与高效自注意力机制的图像分类模型

对于传统的图像分类网络而言,卷积神经网络受限于较小且固定的感受野使其忽略了感受野之外的图像特征信息.基于Transformer模型灵活的多头自注意力机制使得其必须依赖于巨大的数据量以减少过拟合的风险,导致模型参数与计算复杂度过于庞大.针对上述问题本文提出了一种名为CSNet的多阶段图像分类模型.在模型浅层阶段利用大核卷积分解的思想扩大卷积层感受野以学习较大范围的特征信息.在深层阶段利用一种高效的自注意力机制,将卷积运算的特性加入自注意力机制中,有效减少了原始自注意力机制局部计算冗余和过分依赖数据的问题.CSNet在CIFAR-10和ImageNet-1K数据集上的分类准确率分别达到98.9%和82.6%,实验表明CSNet的模型性能优于ResNet和Vision Transformer.     

一种弱纹理目标立体匹配网络

鉴于传统深度估计方法在高分辨率图像下存在特征提取不够充分、图像信息获取不完整、受限于局部信息或特定类型的特征提取等问题,为此提出一种面向全局特征的Transformer立体匹配网络。该网络采用编码器-解码器的端到端架构,使用多头注意力机制,允许模型在不同子空间中关注不同的特征,从而提高建模能力。模型将自注意力机制和特征重构窗口相结合,能够提高特征的表征能力,弥补局部特征不足问题,减少计算负担的同时有效应对Transformer架构通常伴随的高计算复杂度问题,确保模型的注意力计算保持在线性复杂度范围内。在Scene Flow、KITTI-2015数据集上分别进行实验,指标获得显著提升,通过对比实验验证模型的有效性和正确性。     

基于双向稀疏Transformer的多变量时序分类模型

针对多变量时序(Multivariate Time Series, MTS)分类中长序列数据难以捕捉时序特征的问题,提出一种基于双向稀疏Transformer的时序分类模型BST(Bidirectional Sparse Transformer),提高了MTS分类任务的准确度.BST模型使用Transformer框架,构建了一种基于活跃度得分的双向稀疏注意力机制.基于KL散度构建活跃度评价函数,并将评价函数的非对称问题转变为对称权重问题.据此,对原有查询矩阵、键值矩阵进行双向稀疏化,从而降低原Transformer模型中自注意力机制运算的时间复杂度.实验结果显示,BST模型在9个长序列数据集上取得最高平均排名,在临界差异图中领先第2名35.7%,对于具有强时序性的乙醇浓度数据集(Ethanol Concentration, EC),分类准确率提高30.9%.     

基于多层感知机和语义矩阵的答案选择模型

答案选择是问答系统领域的关键子任务，其性能表现支撑着问答系统的发展。基于参数冻结的BERT模型生成的动态词向量存在句级语义特征匮乏、问答对词级交互关系缺失等问题。多层感知机具有多种优势，不仅能够实现深度特征挖掘，且计算成本较低。在动态文本向量的基础上，文中提出了一种基于多层感知机和语义矩阵的答案选择模型，多层感知机主要实现文本向量句级语义维度重建，而通过不同的计算方法生成语义矩阵能够挖掘不同的文本特征信息。多层感知机与基于线性模型生成的语义理解矩阵相结合，实现一个语义理解模块，旨在分别挖掘问题句和答案句的句级语义特征；多层感知机与基于双向注意力计算方法生成的语义交互矩阵相结合，实现一个语义交互模块，旨在构建问答对之间的词级交互关系。实验结果表明，所提模型在WikiQA数据集上MAP和MRR分别为0.789和0.806,相比基线模型，该模型在性能上有一致的提升，在SelQA数据集上MAP和MRR分别为0.903和0.911,也具有较好的性能表现。     

基于Transformer的单通道语音增强模型综述

深度学习可以有效地解决带噪语音信号与干净语音信号之间复杂的映射问题,改善单通道语音增强的质量,但是增强语音的质量依然不理想。Transformer在语音信号处理领域中已得到了广泛应用,由于集成了多头注意力机制,可以更好地关注语音的长时相关性,该模型可以进一步改善语音增强效果。基于此,回顾了基于深度学习的语音增强模型,归纳了Transformer模型及其内部结构,从不同实现结构出发对基于Transformer的语音增强模型分类,详细分析了几种实例模型。并在常用数据集上对比了Transformer单通道语音增强的性能,分析了它们的优缺点。对相关研究工作的不足进行了总结,并对未来发展进行展望。     

基于多头图注意力网络与图模型的多标签图像分类

多标签图像分类是多标签数据分类问题中的研究热点.针对目前多标签图像分类方法只学习图像的视觉表示特征,忽略了图像标签之间的相关信息以及标签语义与图像特征的对应关系等问题,提出了一种基于多头图注意力网络与图模型的多标签图像分类模型(ML-M-GAT).该模型利用标签共现关系与标签属性信息构建图模型,使用多头注意力机制学习标签的注意力权重,并利用标签权重将标签语义特征与图像特征进行融合,从而将标签相关性与标签语义信息融入到多标签图像分类模型中.为验证本文所提模型的有效性,在公开数据集VOC-2007和COCO-2014上进行实验,实验结果表明, ML-M-GAT模型在两个数据集上的平均均值精度(mAP)分别为94%和82.2%,均优于CNN-RNN、ResNet101、MLIR、MIC-FLC模型,比ResNet101模型分别提高了4.2%和3.9%.因此,本文所提的ML-M-GAT模型能够利用图像标签信息提高多标签图像分类性能.     

融合多头自注意力机制的中文短文本分类模型

针对中文短文本缺乏上下文信息导致的语义模糊从而存在的特征稀疏问题,提出了一种融合卷积神经网络和多头自注意力机制（CNN-MHA）的文本分类模型。首先,借助现有的基于Transformer的双向编码器表示（BERT）预训练语言模型以字符级向量形式来格式化表示句子层面的短文本;然后,为降低噪声,采用多头自注意力机制（MHA）学习文本序列内部的词依赖关系并生成带有全局语义信息的隐藏层向量,再将隐藏层向量输入到卷积神经网络（CNN）中,从而生成文本分类特征向量;最后,为提升分类的优化效果,将卷积层的输出与BERT模型提取的句特征进行特征融合后输入到分类器里进行再分类。将CNN-MHA模型分别与TextCNN、BERT、TextRCNN模型进行对比,实验结果表明,改进模型在搜狐新闻数据集上的F1值表现和对比模型相比分别提高了3.99%、0.76%和2.89%,验证了改进模型的有效性。     

A hybrid of transformer and CNN for efficient single image super-resolution via multi-level distillation

In recent years, single image super-resolution (SISR) models based on convolutional neural networks (CNN) have made significant progress and have gradually become the mainstream method. However, they still suffer from high computational costs, heavy memory consumption, and a limited receptive field. Although Vision Transformer has a stronger modeling capability and larger receptive field, it also incurs high computing power consumption and memory occupation. To address these issues, we propose a hybrid network of Transformer and CNN with cascaded feature distillation blocks for efficient image super-resolution (TCFDN), which can take advantage of both local information and long-term interactions while being flexible enough. Concretely, TCFDN consists of cascaded Transformer-CNN feature distillation blocks (TCFDB) and an upsampling module. The feature distillation pipeline of TCFDB can help our model gradually learn refined features with better representation ability while remaining lightweight. Besides, we also designed an enhanced Swin Transformer layer (ESTL) by replacing the multi-layer perceptron (MLP) in the standard Transformer with a convolutional feed-forward layer (CFF), which is more suitable for SR tasks. Then, the enhanced spatial attention embedded in TCFDB can boost SR performance further. Moreover, we observe that using a more advanced loss function, i.e., the contrastive loss, can also bring a PSNR gain of 0.01 dB–0.03 dB on public benchmarks. Extensive experiments demonstrate that TCFDN outperforms the state-of-the-art methods in terms of a better trade-off between performance and model size. Under the 4X SR task on the public benchmark Urban100, our TCFDN outperforms the second-best model by 0.37 dB in terms of PSNR. Compared with other state-of-the-art methods, the total number of parameters in TCFDN can be reduced by up to 32 % while maintaining competitive performance.     

深度层次注意力矩阵分解

矩阵分解由于其较好的评分预测能力而被广泛应用于的个性化推荐中,很多模型也在矩阵分解的基础上改进以提升推荐性能。但是,这些模型由于获取用户偏好信息的能力有限而导致其推荐效果不佳。为了充分挖掘用户的偏好信息,提出了深度层次注意矩阵分解(DeepHAMF)的推荐模型。首先,对于原始数据除了输入到多层感知机之外,还采用自注意力机制编码后再输入到多层感知机中,目标是捕获显式偏好信息,并将这部分命名为自注意力层;其次,将原始矩阵分解与注意力编码之后的矩阵分解结果分别与多层感知机输出的结果通过注意力机制融合,这样能够充分挖掘出用户的潜在偏好信息,这部分命名为层次注意力模块;最后,通过残差网络将层次注意力模块和自注意力层进行信息拟合,这部分命名为残差融合层。在公开评分数据集上的实验结果表明,DeepHAMF比现有的评分预测模型效果更好。     

简化的广义多层感知机模型及其学习算法

提出了简化的广义多层感知机模型(SGMLP模型)，并针对SGMLP模型给出了两种学习算法：广义误差反向传播算法(GBP算法)和基于遗传算法(GA)的学习算法。两个典型算例的实验结果表明，该模型及其学习算法是可行和有效的。     

基于Transformer编码器的语义相似度算法研究

语义相似度计算旨在计算文本之间在语义层面的相似程度,是自然语言处理中一项重要的任务。针对现有的计算方法不能充分表示句子的语义特征的问题,提出基于Transformer编码器的语义特征抽取的模型TEAM,利用Transformer模型的上下文语义编码能力充分提取句子内的语义信息,对句子进行深层语义编码。此外,通过引入交互注意力机制,在编码两个句子时利用交互注意力机制提取两个句子之间关联的相似特征,使模型更擅长捕捉句子内部重要的语义信息,提高了模型对语义的理解和泛化能力。实验结果表明,该模型在英文和中文的语义相似度计算任务上能够提高结果的准确性,较已有方法表现出更好的效果。     

无线局域网基于动态退避次数门限的DCF算法

提出了一种基于动态退避次数门限的DCF算法DDCF。DDCF针对不同的竞争窗口设定相应所需数据连续发送成功的次数门限, 以改变竞争窗口CW在不同的回退阶段的回退概率。通过对DDCF算法的理论分析和仿真试验表明, 该算法有效提高了无线局域网的饱和吞吐率等性能。     

多头注意力评论量化的聚类优化推荐算法

为了解决推荐算法中无法挖掘用户深层兴趣偏好,从而导致提取准确度低下,以及相似用户聚类准确率低下时间复杂度高等问题,提出评论量化模型优化差分进化的聚类优化推荐算法(MT-QRPD)。首先利用BiGRU网络的特征时序性与CNN的强局部特征有效性联合提取评论深度特征,并利用多头注意力机制的多维语义特征筛选对评论进行深度语义特征挖掘;然后经过多层感知机非线性转换进行多特征融合完成准确量化;最后使用PCA对差分进化变异选择进行优化完成相似用户聚类优化操作,寻找相似用户完成项目推荐。通过多项实验分析表明,所提推荐算法在量化评分准确度、时间复杂度以及推荐性能上都有较好的提升。     

多元切比雪夫神经网络及其快速权值确定算法

与传统的多层感知器模型相比,切比雪夫神经网络具有收敛速度快,复杂度低,泛化能力强等优点,但是,其研究最为广泛的一元切比雪夫神经网络在解决实际应用中的多元问题时存在着很大局限。鉴于此,对一元切比雪夫神经网络进行扩展,提出了多元切比雪夫神经网络模型,并在切比雪夫多项式正交性的基础上给出了快速权值确定算法。仿真实验证明,相对于传统多层感知器神经网络,该方法在计算精度和计算速度等方面都存在明显优势。     

采用标签组合与融合注意力的多标签文本分类

传统的多标签文本分类算法在挖掘标签的关联信息和提取文本与标签之间的判别信息过程中存在不足,由此提出一种基于标签组合的预训练模型与多粒度融合注意力的多标签文本分类算法。通过标签组合的预训练模型训练得到具有标签关联性的文本编码器,使用门控融合策略融合预训练语言模型和词向量得到词嵌入表示,送入预训练编码器中生成基于标签语义的文本表征。通过自注意力和多层空洞卷积增强的标签注意力分别得到全局信息和细粒度语义信息,自适应融合后输入到多层感知机进行多标签预测。在特定威胁识别数据集和两个通用多标签文本分类数据集上的实验结果表明,提出的方法在能够有效捕捉标签与文本之间的关联信息,并在F1值、汉明损失和召回率上均取得了明显提升。     

一种基于 Transformer 的三维人体姿态估计方法

三维人体姿态估计是人类行为理解的基础,但是预测出合理的三维人体姿态序列仍然是具有挑 战性的问题。为了解决这个问题,提出一种基于 Transformer 的三维人体姿态估计方法,利用多层长短期记忆 (LSTM)单元和多尺度 Transformer 结构增强人体姿态序列预测的准确性。首先,设计基于时间序列的生成器, 通过 ResNet 预训练神经网络提取图像特征;其次,采用多层 LSTM 单元学习时间连续性的图像序列中人体姿 态之间的关系,输出合理的 SMPL 人体参数模型序列;最后,构建基于多尺度 Transformer 的判别器,利用多 尺度 Transformer 结构对多个分割粒度进行细节特征学习,尤其是 Transformer block 对相对位置进行编码增强 局部特征学习能力。实验结果表明,该方法相对于 VIBE 方法具有更好地预测精度,在 3DPW 数据集上比 VIBE 的平均(每)关节位置误差(MPJPE)低了 7.5%;在 MP-INF-3DHP 数据集上比 VIBE 的 MPJPE 降低了 1.8%。      

通道注意力嵌入的Transformer图像超分辨率重构

目的 基于深度学习的图像超分辨率重构研究取得了重大进展，如何在更好提升重构性能的同时，有效降低重构模型的复杂度，以满足低成本及实时应用的需要，是该领域研究关注的重要问题。为此，提出了一种基于通道注意力（channel attention，CA）嵌入的Transformer图像超分辨率深度重构方法（image super-resolution with channelattention-embedded Transformer，CAET）。方法 提出将通道注意力自适应地嵌入Transformer变换特征及卷积运算特征，不仅可充分利用卷积运算与Transformer变换在图像特征提取的各自优势，而且将对应特征进行自适应增强与融合，有效改进网络的学习能力及超分辨率性能。结果 基于5个开源测试数据集，与6种代表性方法进行了实验比较，结果显示本文方法在不同放大倍数情形下均有最佳表现。具体在4倍放大因子时，比较先进的SwinIR （image restoration using swin Transformer）方法，峰值信噪比指标在Urban100数据集上得到了0.09 dB的提升，在Manga109数据集提升了0.30 dB，具有主观视觉质量的明显改善。结论 提出的通道注意力嵌入的Transformer图像超分辨率方法，通过融合卷积特征与Transformer特征，并自适应嵌入通道注意力特征增强，可以在较好地平衡网络模型轻量化同时，得到图像超分辨率性能的有效提升，在多个公共实验数据集的测试结果验证了本文方法的有效性。