共查询到20条相似文献,搜索用时 156 毫秒
1.
布料材质识别是一个极具挑战性的计算机视觉问题。针对传统识别方法存在的识别周期长、人为因素多、技术壁垒高以及有破坏性等缺点,提出了一种基于改进Transformer的布料材质识别方法,该方法利用输入的布料运动视频,通过布料运动的外观变化识别布料的材质类型。改进的Transformer模型由Transformer块和残差空间缩减块(Residual Spatial Reduction)组成,将Transformer块中的自注意力分解为时间自注意力和空间自注意力来减少计算量和运行时间,将两个残差空间缩减块添加进Transformer模型中来减少空间冗余信息和提高布料材质识别的准确率。此外,使用预训练的图像模型对视频模型初始化,可以在减少计算量的同时保持模型的高性能。在布料运动数据集上的实验结果表明,本文方法对12种不同布料材质视频的材质种类识别的准确率达到82.3%,相比其他方法,该方法的识别精度更高。 相似文献
2.
提出了一种基于胶囊的英文文本蕴含识别方法.分别为每一种蕴含关系构建一个胶囊,用于模拟此蕴含关系的识别,并将其指定为该胶囊的属性.给定两段文本,经过highway编码层和序列编码层获取语义表示,分别输入胶囊中,依次通过其内部的交互模块、比较模块和聚合模块.交互模块利用交互注意力机制提取文本间的局部交互特征,比较模块和聚合模块使用前馈神经网络进行语义信息比较和聚合.最后对所有胶囊的输出归一化,得到两段文本的蕴含关系.该方法在SNLI测试集上的准确率为89.2%,在MultiNLI匹配测试集和不匹配测试集上的准确率分别为77.4%和76.4%.对交互模块中注意力关系矩阵的可视化分析结果验证了胶囊在英文文本蕴含识别任务中的有效性. 相似文献
3.
细粒度图像分类是计算机视觉领域的一大分类任务,其难点在于如何通过类别监督信息自主地找到判别性区域.提出一种新的通道-空间融合注意力模块,基于该模块设计了一种新的Swin Transformer算法SwinT-NCSA(a Swin Transformer based on a novel channel-spatial attention module),分别从通道维和空间维同时提取特征,再将其融入到Swin Transformer模型中以提高其小尺度中多头注意力信息的提取能力. SwinT-NCSA算法特别关注了对分类有用的区域,同时忽视对分类无用的背景区域,以此在细粒度图像分类任务中达到较高的分类准确率.在FGVC Aircraft飞机数据集、CUB-200-2011鸟类数据集和Stanford Cars车类数据集3个公共数据集上的实验表明,SwinT-NCSA算法可以分别取得93.3%、88.4%和94.7%的准确率,优于同类算法. 相似文献
4.
针对人机协作特殊场景中工人行为识别的问题,提出基于Transformer网络的视频人体行为识别模型,利用Transformer网络核心的自注意力机制,减少网络的结构复杂度,提升网络的性能.模型在提取图像空间特征的基础上,增加时间特征的分析,从空间和时间2个维度实现对视频数据的处理.在处理后的数据中提取分类向量传入分类模块,得到最终的识别结果.为了验证模型的有效性,分别在公开数据集UCF101和实验室采集的工人常规行为(自建)数据集上进行人体行为识别实验.实验结果显示,在UCF101上模型平均识别准确率为93.44%,在自建数据集上模型平均识别准确率为98.54%. 相似文献
5.
针对现有基于深度学习的方法存在的难以识别相交特征、无法精确确定加工特征面的问题,提出基于图神经网络的加工特征识别方法.通过压缩激励模块提取节点与邻接边的特征,构建节点级与邻接边级的双层注意力网络,分割每个节点对应的加工特征.该方法充分利用了零件模型的面特征与边特征,结合零件模型的拓扑结构,基于注意力机制对特征信息进行深度学习,可以有效地解决非面合并相交特征的识别问题.在多加工特征零件数据集上,将该方法与其他3种特征识别方法进行实验对比,在准确率、平均类准确率和交并比3项指标上均取得最优结果,识别准确率高于95%. 相似文献
6.
针对现有皮肤病变图像分割时缺乏多尺度特征提取,从而导致细节信息缺失和病变区域误分割的问题,本文提出一种融合多尺度Transformer的编解码网络皮肤病变分割算法。首先运用Transformer模块构建分层编码器,分层编码器从全局特征变化角度出发,多尺度分析皮肤病变区域;然后利用多尺度融合模块、通道注意力模块和联合层构建融合解码器,多尺度融合模块互补分层编码器中浅层网络信息与深层网络信息,增强空间信息和语义信息间的依赖关系,通道注意力模块能够有效识别特征丰富的通道,提高算法分割精度;最后引入扩展模块恢复图像大小以匹配实际需求。将该算法在ISBI2016、ISBI2017和ISIC2018三个公共数据集上进行实验测试,其像素精度分别为96.70%、94.50%和95.39%,平均交并比分别为91.69%、85.74%和89.29%,算法测试整体性能优于现有算法。仿真实验证明,多尺度Transformer编解码网络能够有效地分割皮肤病变图像。 相似文献
7.
针对在糖尿病视网膜病变分类过程中,因为数据集不均衡、类间特征相似、类内又存有差异,从而导致最终分类准确率不高的问题,提出了一种结合生成对抗网络与双注意力的分类方法AIDnet。首先,在ACGAN网络后加入转置卷积进行改进,生成轻度NPDR、重度NPDR、 PDR的图像平衡数据集;其次,在InceptionV3网络的基础上加入双注意力机制(DAM),在减少计算开销的同时提升性能;最后,利用焦点损失函数增加难以识别病变的权重,减少易识别病变的权重,高效提取DR图像的细节特征。实验结果表明,AIDnet网络在Kaggle数据集上的自动分类准确率为89.53%,敏感度为82.45%,特异性为93.26%;在Messidor2上的准确率达到90.31%,敏感度达到89.28%,特异性达到93.31%。较其他分类方法而言,AIDnet分类效果良好,有助于提高糖尿病视网膜病变的分类准确率。 相似文献
8.
《广西工学院学报》2021,32(4)
固体金属垃圾具有巨大的回收利用空间和经济再利用价值.在日常生活中,金属垃圾的分类回收主要依靠传统人工分类,费时费力.为此本文提出一种基于深度学习的方法对金属垃圾进行分类:构建一个包含6类共17 804张图片的固体金属垃圾数据集并命名为GX-TrashNet;采用ResNet-101作为分类模型,加入注意力机制模块提升模型的分类准确率;使用卷积核大小为1*1的卷积层代替注意力机制模型中的全连接层,使用全局平均池化层作为分类器.实验结果表明,改进后的模型在GX-TrashNet上的分类准确率为97.00%,在TrashNet上分类准确率为80.87%. 相似文献
9.
针对无监督行人重识别中行人特征表达不充分以及训练过程产生噪声标签等问题,提出了一种基于特征细化的多标签学习无监督行人重识别方法。首先,为提高网络对关键区域信息的利用能力,设计多尺度通道注意力模块(Multi-scale channel attention module, MCAM),嵌入ResNet50网络的不同层来构建特征细化网络,并利用该网络对输入图像通道维度上的关键信息进行强化和关注,以获得更丰富的特征信息;其次,为降低训练过程中产生的噪声标签对网络的负面影响,设计多标签学习模块(Multi-label learning module, MLM),通过该模块进行正标签预测以生成可靠的伪标签;最后,利用多标签分类损失和对比损失进行无监督学习。在数据集Market-1501和DukeMTMC-reID上进行实验,结果表明该方法在这两个数据集上的平均精度均值分别达到82.8%和70.9%,首位命中率分别达到92.9%和83.9%。该方法使用注意力机制强化图像的特征信息,并通过正标签预测减少噪声标签,有效提升了无监督行人重识别的准确率,为无监督行人重识别领域提供了更鲁棒的方法。 相似文献
10.
针对现有的结构化图像超分辨重建算法大多只能解决特定单一种类的结构化图像超分辨问题,提出一种基于改进Transformer的结构化图像超分辨率网络(TransSRNet).该网络利用Transformer的自注意力机制在空间序列中挖掘大范围的全局信息.采用沙漏块结构搭建空间注意力单元,关注低分辨率空间和高分辨率空间在局部区域的映射关系,提取图像映射过程中的结构化信息,使用高效通道注意力模块对自注意力模块和空间注意力模块做特征融合.在高度结构化CelebA、Helen、TCGA-ESCA和TCGA-COAD数据集上的模型评估结果表明,相较于主流超分辨算法,TransSRNet整体性能表现更好.在放大因子为8时,人脸数据集和医学峰值信噪比(PRNR)可以分别达到28.726、26.392 dB,结构相似性(SSIM)可以分别达到0.844、0.881. 相似文献
11.
为了从医疗图像中自动且准确地提取兴趣区域,提出基于神经网络的分割模型MS2Net.针对传统卷积操作缺乏获取长距离依赖关系能力的问题,为了更好提取上下文信息,提出融合卷积和Transformer的架构.基于Transformer的上下文抽取模块通过多头自注意力得到像素间相似度关系,基于相似度关系融合各像素特征使网络拥有全局视野,使用相对位置编码使Transformer保留输入特征图的结构信息.为了使网络适应兴趣区域形态的差异,在MS2Net中应用解码端多尺度特征并提出多尺度注意力机制.对多尺度特征图依次应用分组通道和分组空间注意力,使网络自适应地选取合理的多尺度语义信息. MS2Net在数据集ISBI 2017和CVC-ColonDB上均取得较U-Net、CE-Net、DeepLab v3+、UTNet等先进方法更优的交并比指标,有着较好的泛化能力. 相似文献
12.
为了解决现有的车型识别算法对车型特征描述不充分的情况,提出融合注意力机制的高效率网络车型识别算法. 利用高效率网络中的复合缩放方式来平衡网络的深度、宽度和分辨率,将深度可分离卷积集成到基础特征提取模块中来提高模型准确率. 增加双通道的残差注意力机制来关注图片中的关键信息,获得含有更加丰富语义信息的特征图. 在网络的末端添加单独的softmax分类器,使用标签平滑正则化对损失函数进行处理,减小模型过拟合的问题. 在BIT-Vehicles数据集上进行实验,结果表明,提出方法的平均分类准确率为96.83%,较改进前的模型提高了1.11%,优于现有DCNN、Faster-CNN的改进算法,较Faster R-CNN提升了7.16%. 相似文献
13.
针对水下图像颜色失真、关键信息模糊和细节特征丢失的问题,提出一种基于SK注意力残差网络的水下图像增强方法.该方法通过改进生成对抗网络中的生成器结构,引入残差模块,减少编码器和解码器之间的特征丢失,增强了图像细节和颜色.为了使网络能适应不同尺度的特征图提取图像关键信息,该方法在残差模块后添加SK注意力机制,采用参数修正线性单元来提高网络的拟合能力.将本文方法分别在真实和合成的水下图像数据集中进行验证,采用传统方法和深度学习的方法进行主客观评价.在主观效果分析中发现,本文方法增强后的图像颜色、关键信息和细节特征都有很大提升.在客观评价指标中发现,本文方法指标值均高于现有的水下图像增强算法,验证了该算法的有效性. 相似文献
14.
为提高传统命名实体识别模型在中文电子病历上的准确性,提出一种在基线模型B E RT-BiLSTM-CRF中加入对抗训练的方法,该方法在词嵌入层添加扰动因子从而生成对抗样本,并利用对抗样本进行迭代训练,从而优化模型参数.CCKS2021评测数据集实验结果表明,加入FGM和PGD两个对抗训练模型后,其精准率、召回率以及F1... 相似文献
15.
针对孪生网络目标跟踪算法仅使用特征提取网络提取特征,在遮挡、旋转、光照与尺度变化中容易出现跟踪失败的问题,提出整体特征通道识别的自适应孪生网络跟踪算法. 将高效的通道注意力模块引入ResNet22孪生网络中,提高特征的判别能力. 使用整体特征识别功能计算全局信息,提取更为丰富的语义信息,提高跟踪算法精度. 同时,引入自适应模板更新机制,解决遮挡与长期跟踪导致的模板退化问题. 为了验证所提方法的有效性,在OTB2015、VOT2016与VOT2018等公开数据集上进行测试,并与其他跟踪算法进行对比. 结果表明,所提算法在精确度与成功率上表现较好,在背景杂乱、旋转、光照与尺度变化等情况中表现稳定. 相似文献
16.
针对当前的无监督单目深度估计方法边界模糊的问题, 提出了一种基于双重注意力模块的网络架构。这种架构能有效利用图像特征的远程上下文信息解决深度估计中的边界模糊问题。整个框架使用基于视图合成的无监督方法训练, 模型框架包括深度估计网络与位姿估计网络, 同步估计深度和相机位姿变换。双重注意力模块嵌入在深度估计网络中, 包含位置注意力模块和通道注意力模块, 能表示远程空间位置和不同特征图间的上下文信息, 从而使网络估计出细节更好的深度信息。在KITTI数据集以及Make3D数据集上的实验结果表明, 本文的方法能有效提高单目深度估计的精度和解决深度估计边界模糊问题。 相似文献
17.
为了增加新闻推荐的辅助信息并提高预测精度,提出基于Transformer和知识图谱的新闻推荐方法.为了结合新闻语义信息和实体信息,利用自注意力机制获取新闻单词之间和新闻实体之间的联系,采用加法注意力机制捕捉单词和实体对新闻表示的影响.考虑到用户对新闻的偏好具有时序性特点,引入Transformer以捕捉用户点击新闻间的关联信息及用户兴趣随时间的变化情况.利用知识图谱中的高阶结构信息,融合候选新闻邻接实体,提升候选新闻嵌入向量所含信息的完整性.在2个版本的MIND新闻数据集上与5个典型推荐方法的对比实验表明,注意力机制、Transformer和知识图谱的引入提高了算法在新闻推荐方面的表现. 相似文献
18.
近来,视觉Transformer (vision transformer, ViT)在图像识别领域取得突破性进展,其自我注意力机制(self-attention mechanism, MSA)能够提取不同像素块的判别性标记信息进而提升图像分类精度,但其深层中的分类标记容易忽略层级之间的局部特征,此外,嵌入层将固定大小的像素块输入网络,不可避免地引入额外的图像噪声。为此,本文研究了一种基于数据增强的视觉 Transformer(data augmentation vision transformer, DAVT),并提出注意力裁剪的数据增强方法,以注意力权重为指导裁剪图像,提高网络学习关键特征的能力。其次,本文还提出层级注意力选择方法(hierarchical attention selection, HAS),它通过对层级之间标记进行筛选并融合,提升网络学习层级之间判别性标记的能力。实验结果表明,该方法在CUB-200-2011和Stanford Dogs两个通用数据集上的准确率优于现有的主流方法,其准确率比原始ViT分别提高1.4%和1.6%。 相似文献
19.
微表情是人们试图隐藏自己真实情绪时不由自主泄露出来的面部表情,是近年来情感计算领域的热点研究领域.微表情是一种细微的面部运动,难以捕捉其细微变化的特征.本文基于交叉注意力多尺度ViT (CrossViT)在图像分类领域的优异性能以及能够捕捉细微特征信息的能力,将CrossViT作为主干网络,对网络中的交叉注意力机制进行改进,提出了DA模块(Dual Attention)以扩展传统交叉注意力机制,确定注意力结果之间的相关性,从而提升了微表情识别精度.本网络从三个光流特征(即光学应变、水平和垂直光流场)中学习,这些特征是由每个微表情序列的起始帧和峰值帧计算得出,最后通过Softmax进行微表情分类.在微表情融合数据集上,UF1和UAR分别达到了0.727 5和0.727 2,识别精度优于微表情领域的主流算法,验证了本文提出网络的有效性. 相似文献
20.
人脸图像修复是计算机视觉领域中重建人脸图像的一项重要图像处理技术。现有人脸图像修复技术存在修复结果全局语义不合理的问题,这主要是由于现有技术的特征长程迁移能力不足,无法将破损图像中已知区域的信息合理地迁移到被遮蔽区域上。为此,本文在生成式对抗网络(generative adversarial network, GAN)框架下,构建了一种融合风格感知和多尺度注意力的编解码人脸图像修复模型。风格感知模块用于提取图像的全局语义信息,并利用提取的信息对编码逐级地进行渲染,以实现对修复过程的全局性调节;利用多尺度注意力模块对多尺度特征进行补丁块提取,并通过共享注意力得分和提取补丁块的矩阵乘法进行多尺度特征的长程迁移。在公开数据集CelebA-HQ上的实验结果表明:风格感知模块和多尺度注意力模块极大地增强了修复网络的特征长程迁移能力。相较于现有先进的人脸图像修复方案,本文所提出的模型在多种评价指标上均有显著的提升;修复结果的全局语义更加合理,并且在暗光条件下的修复效果更加自然。 相似文献