Visible–infrared person re-identification based on key-point feature extraction and optimization

Feature extraction for visible–infrared person re-identification (VI-ReID) is challenging because of the cross-modality discrepancy in the images taken by different spectral cameras. Most of the existing VI-ReID methods often ignore the potential relationship between features. In this paper, we intend to transform low-order person features into high-order graph features, and make full use of the hidden information between person features. Therefore, we propose a multi-hop attention graph convolution network (MAGC) to extract robust person joint feature information using residual attention mechanism while reducing the impact of environmental noise. The transfer of higher order graph features within MAGC enables the network to learn the hidden relationship between features. We also introduce the self-attention semantic perception layer (SSPL) which can adaptively select more discriminant features to further promote the transmission of useful information. The experiments on VI-ReID datasets demonstrate its effectiveness.     

基于骨架动作识别的协作卷积Transformer网络

近年来,基于骨架的人体动作识别任务因骨架数据的鲁棒性和泛化能力而受到了广泛关注。其中,将人体骨骼建模为时空图的图卷积网络取得了显著的性能。然而图卷积主要通过一系列3D卷积来学习长期交互联系,这种联系偏向于局部并且受到卷积核大小的限制,无法有效地捕获远程依赖关系。该文提出一种协作卷积Transformer网络(Co-ConvT),通过引入Transformer中的自注意力机制建立远程依赖关系,并将其与图卷积神经网络(GCNs)相结合进行动作识别,使模型既能通过图卷积神经网络提取局部信息,也能通过Transformer捕获丰富的远程依赖项。另外,Transformer的自注意力机制在像素级进行计算,因此产生了极大的计算代价,该模型通过将整个网络分为两个阶段,第1阶段使用纯卷积来提取浅层空间特征,第2阶段使用所提出的ConvT块捕获高层语义信息,降低了计算复杂度。此外,原始Transformer中的线性嵌入被替换为卷积嵌入,获得局部空间信息增强,并由此去除了原始模型中的位置编码,使模型更轻量。在两个大规模权威数据集NTU-RGB+D和Kinetics-Skeleton上进行实验验证,该模型分别达到了88.1%和36.6%的Top-1精度。实验结果表明,该模型的性能有了很大的提高。     

融合自注意力机制和多路金字塔卷积的软件需求聚类算法

随着软件数量的急剧增长以及种类的日益多样化,挖掘软件需求文本特征并对软件需求特征聚类,成为了软件工程领域的一大挑战.软件需求文本的聚类为软件开发过程提供了可靠的保障,同时降低了需求分析阶段的潜在风险和负面影响.然而,软件需求文本存在离散度高、噪声大和数据稀疏等特点,目前有关聚类的工作局限于单一类型的文本,鲜有考虑软件需...     

基于MacBERT的融合依存句法信息和多视角词汇信息的中文命名实体识别方法

在实体类型开放和实体结构复杂的中文环境下,中文命名实体识别任务存在明显的实体边界判断错误和实体分类准确率低等问题。为了进一步改善上述问题,提出了一种以字符作为编码单位,并基于MacBERT预训练模型的中文命名实体识别模型——MacBERT-SDI-ML。首先,为了提取更丰富的中文语义特征,提高实体识别的准确性,模型采用MacBERT作为嵌入层。其次,为了进一步增强实体表示的特征,提高实体分类的准确性,模型通过一个依存句法信息解析器(SDIP)对实体更丰富的依存信息进行更高效的提取,并将其融合到字符表示中。此外,考虑到字符在不同的词汇中可能处在不同的位置,模型设计了一种基于自注意力机制的面向多视角的词汇信息融合组件(MLIF),来进一步增强字符表示的边界特征,有助于提高对边界判断的能力。最后,分别在Weibo,OntoNotes和Resume数据集上对模型进行训练。实验表明,MacBERT-SDI-ML模型在3个数据集上的F1值分别达到72.97%,86.56%和98.45%。     

基于改进扩散模型的高质量图像生成方法

图像生成是AI2.0时代下AIGC的研究重点,而生成模型的更新迭代促进了图像生成技术的发展。目前主流生成模型的样本质量较低,无法满足AIGC对于图像高保真度的要求,而新兴的扩散模型在无条件生成中不能实现高质量生成。因此,提出了一种基于改进扩散模型的高质量图像生成方法。首先,采用训练稳定、具有优秀采样质量的扩散模型作为基准模型;其次,使用扩散模型中的自注意力机制来进一步引导噪声生成,进而还原图像中的低频内容,增强去噪过程的稳定性;最后,将递归特征金字塔融合到噪声预测器结构中,使图像特征信息反复提纯,从而捕获图像中的高频细节。在3个标准数据集和4个小型数据集上进行的对比实验和消融实验结果表明,该方法展现了比其他方法更为优秀的性能。     

一种基于自注意力的句子情感分类方法

注意力机制近年来在多个自然语言任务中得到广泛应用,但在句子级别的情感分类任务中仍缺乏相应的研究.文中利用自注意力在学习句子中重要局部特征方面的优势,结合长短期记忆网络(Long Short-Term Model,LSTM),提出了一种基于注意力机制的神经网络模型(Attentional LSTM,AttLSTM),并将...     

多尺度卷积神经网络的图像边缘检测

在受图像拍摄条件、图像内容自身复杂性、图像内容与背景接近程度等多种因素的影响,图像的边缘线检测容易发生漏检、误检。因模型自身设计缺陷或训练样本中边缘像素点与非边缘像素点的不平衡原因,多数算法的图像边缘检测结果普遍存在线条粗、质量较低的问题。提出一种多尺度卷积神经网络模型,由三个分别接受一幅图像的不同尺度输入的子网络结构组成,分别在不同尺度视觉下学习图像的边缘知识。然后按尺度从粗到细对各尺度提取的知识特征进行融合,实现边缘轮廓检测。模型充分利用多尺度技术在图像处理领域的优势,同时引入了自注意力机制以提升卷积特征内部关联性的捕获能力。本文提出了一个新的损失函数,由交叉熵损失函数和L1范数组成,避免训练样本非均衡性对训练模型的影响。使用指标ODS、OIS、AP度量图像边缘检测的质量。在BIPED数据集上测试,三个指标的得分分别为0.845,0.856,0.886。在BSDS500数据集上测试,算法在F-measure指标上得分为0.826。实验结果表明,与其它学习型的算法相比,算法输出图像边缘结果漏检率更低、且质量更高。     

基于自注意力机制的条件生成对抗网络

近年来,越来越多的生成对抗网络出现在深度学习的各个领域中.条件生成对抗网络(Conditional Generative Adver-sarial Networks,cGAN)开创性地将监督学习引入到无监督的GAN网络中,这使得GAN可以生成有标签数据.传统的GAN通过多次卷积运算来模拟不同区域之间的相关性,进而生成图...     

基于Bi-LSTM和自注意力的恶意代码检测方法

针对当前恶意代码检测方法严重依赖人工提取特征和无法提取恶意代码深层特征的问题,提出一种基于双向长短时记忆(Bidirectional Long Short Term Memory,Bi-LSTM)模型和自注意力的恶意代码检测方法.采用Bi-LSTM自动学习恶意代码样本字节流序列,输出各时间步的隐状态;利用自注意力机制计...     

结合自注意力机制的神经网络文本分类算法研究

在长文本数据中存在很多与主题不相关词汇,导致这些文本数据具有信息容量大、特征表征不突出等特点。增加这些文本中关键词汇的特征影响,是提高文本分类器性能需要解决的问题。提出一种结合自注意力机制的循环卷积神经网络文本分类模型RCNN_A。注意力机制对文本词向量计算其对正确分类类别的贡献度,得到注意力矩阵,将注意力矩阵和词向量矩阵相结合作为后续结构的输入。实验结果表明,RCNN_A在10类搜狗新闻数据集上,得到了97.35%的分类正确率,比Bi-LSTM(94.75%)、Bi-GRU(94.25%)、TextCNN(93.31%)、RCNN(95.75%)具有更好的文本分类表现。通过在深度神经网络模型中引入注意力机制,能够有效提升文本分类器性能。