基于注意力特征融合的视觉问答模型

随着深度学习的兴起和不断发展,视觉问答领域的研究取得了显著进展,当前较多视觉问答模型通过引入注意力机制和相关迭代操作来提取图像区域与高频疑问词对的相关性,但在获取图像与问题的空间语义关联方面的有效性较低,从而影响答案的准确性.为此,提出一种基于MobileNetV3网络及注意力特征融合的视觉问答模型,首先,为优化图像特...     

基于注意力机制的圆锥角膜分类辅助诊断研究

圆锥角膜是一种眼部疾病,较早发现并诊断圆锥角膜可控制病情,避免角膜移植,也可以为准分子激光手术进行圆锥角膜排查。然而,目前圆锥角膜的早期诊断较为困难,一种可靠的计算机辅助筛查圆锥角膜诊断方法需求迫切。基于此,首次把引入注意力机制(convolutional block attention module,CBAM)的残差网络(residual neural network,ResNet)模型（CBAM＿ResNet50）应用在圆锥角膜辅助诊断中,通过对角膜地形图的原始数据集进行预处理,用其训练CBAM＿ResNet50网络,并和未引入注意力机制的ResNet50网络模型进行对比。使用CBAM＿ResNet50网络模型准确率达到了98%,比未引入注意力机制ResNet50网络模型准确率提升了3%。CBAM＿ResNet50可以较为准确地对圆锥角膜进行分类,能有效辅助医生诊断圆锥角膜。     

融合注意力机制的多标签文本分类

多标签文本分类的结果很大程度上受到标签相关性的影响.为了更加细致地处理标签相关性问题,提出一种融合注意力机制的多标签文本分类方法.首先,将文本和标签预处理后,对标签输入采用两种不同的嵌入方式提取特征;其次,运用注意力机制处理信息,针对文本和标签信息,自注意力机制进行特征处理,标签注意力机制和交互注意力机制进行依赖关系处理,进而得到两种不同状态下的表示方式;最后,通过两次融合,充分表示文本标签信息,得到较好的标签分类结果.实验结果显示,较之于基线方法,在精度和归一化折损累计增益上,该方法数据总体有所提高.由此,该方法可以有效地融合文本和标签信息,缓解标签相关性问题,有利于提升多标签文本分类任务性能.     

用于大库人脸识别的脸型分类研究

提出了一种基于”分集”的人脸识别方法,该方法在人脸识别前加入脸型预分类环节,将一个大规模的人脸数据库分解为依脸型分类的若干个子库。这样做一方面可通过分集降低后续识别处理的数据量,提高人脸识别的速度,另一方面可利用脸型特征对候选人脸集合进行粗筛选,降低系统的错误接受率。为了实现脸型分类,进一步提出了一种基于人体测量学的分类方法,即首先借助AAM技术提取脸部特征点,然后在此基础上计算面型指数,并由此实现对脸型的分类。对较大规模的人脸数据库所进行的实验结果表明,所提出的方法可有效提高人脸识别系统的识别率和识别速度。     

基于卷积注意力机制的电视节目评论情感分析方法研究

本文提出一个基于卷积注意力机制的文本分类方法,该方法利用卷积神经网络抓取上下文信息,自适应生成注意力权重,并与LSTM模型相融合进行分类。在IMDB影评分类测试中,本文所提方法的分类准确率比基准模型高3.6%,证明了本文所提方法的有效性。     

基于3D卷积联合注意力机制的高光谱图像分类

由于高光谱图像存在较高的数据维数,会给分类过程带来一些困难。为了提高分类的准确率,提出了一种使用3D卷积联合注意力机制的高光谱图像分类方法。首先,将中心像素与周围相邻的其它像素进行配对,可以通过配对构成多组新的像素对,充分利用了像素之间的邻域相关性。接着,将像素对放入3D卷积联合注意力机制网络框架中进行分类,它能够对高光谱图像中的特征进行选择性的学习。最后,通过投票策略获得像素标签。实验是在两个真实的高光谱图像数据集上进行。结果表明,所提出的方法充分挖掘了高光谱图像的光谱空间特征,能有效地提高分类精度。     

融合注意力机制的高分辨人脸识别图像重建

针对由于人脸姿势、光照不均、拍摄环境、拍摄设备等内外部因素造成图像分辨率低的问题,提出融合注意力机制的高分辨人脸识别图像重建模型.首先以低分辨率人脸图像对作为两个生成器输入,通过残差块和注意力模块堆叠网络提取人脸特征信息,进而生成高分辨率人脸图像.训练中使用一个鉴别器来监督两个生成器的训练过程.利用Adam算法对鉴别器...     

基于改进的注意力机制残差网络穴盘幼苗分类算法研究

针对SENet的通道注意力机制特征提取单一和分割的幼苗数据集图片存在部分缺失的难点问题,设计了一种基于双通道注意力机制的残差网络。该网络融合通道注意力机制和空间注意力机制模块,可同时获得通道和空间维度特征权重,提升网络的特征学习能力。提出了一种随机擦除方法,来解决分割样本数据中目标部分缺失的难点问题。在自制的穴盘幼苗Plant＿seed数据集上的实验结果表明,在ResNet34残差模块和conv^*＿x模块之间均引入注意力机制模块的改进网络ResNet34+CBAM＿basic＿conv的准确率最优,达到93.8%,同时对数据集部分图片进行随机擦除后,模型分类的错误率下降,验证了所提方法的优异性能。     

基于DeepLabV3+与注意力机制相结合的图像语义分割

基于DeepLabV3+进行图像分割时,在特征提取阶段忽略了不同级别的特征图中存在的特征重要程度不同,丢失了大量的细节信息,致使分割效果不佳.针对该问题,提出了一种基于DeepLabV3+与注意力机制相结合的图像语义分割算法.在骨干网络Xception模型中提取两条低级特征作为解码器的输入特征,提高特征提取的准确性;采...     

基于深度特征和注意力机制的艺术图像情感分类研究

作为人类精神活动产物的艺术图像,其本身蕴含着丰富的情感语义信息,研究艺术图像的情感分类有助于艺术图像的鉴赏与保护,以图像为对象的情感分类研究已成为情感计算的研究热点,但该分类主要依赖于图像低层特征的抽取,从而导致图像情感分类结果不高.本文提出了一种基于底层特征和注意力机制的艺术图像情感分类模型,即提取艺术图像的CLAH...     

基于卷积神经网络与注意力机制的高光谱图像分类

由于浅层卷积神经网络(convolutional neural network,CNN)模型感受野的限制,无法捕获远距离特征,在高光谱图像 (hyperspectral image,HSI) 分类问题中无法充分利用图像空间-光谱信息,很难获得较高精度的分类结果。针对上述问题,本文提出了一种基于卷积神经网络与注意力机制的模型(model based on convolutional neural network and attention mechanism,CNNAM),该模型利用CA (coordinate attention)对图像通道数据进行位置编码,并利用以自注意力机制为核心架构的Transformer模块对其进行远距离特征提取以解决CNN感受野的限制问题。CNNAM在Indian Pines和Salinas两个数据集上得到的总体分类精度分别为97.63%和99.34%,对比于其他模型,本文提出的模型表现出更好的分类性能。另外,本文以是否结合CA为参考进行了消融实验,并证明了CA在CNNAM中发挥重要作用。实验证明将传统CNN与注意力机制相结合可以在HSI分类问题中获得更高的分类精度。     

基于注意力机制的多方向文本检测

针对多方向排列的文本因其尺度变化大、复杂背景干扰而导致检测效果仍不甚理想的问题,本文提出了一种基于注意力机制的多方向文本检测方法。首先,考虑到自然场景下干扰信息多,构建文本特征提取网络(text feature information ResNet50,TF-ResNet),对图像中的文本特征信息进行提取;其次,在特征融合模型中加入文本注意模块(text attention module, TAM),抑制无关信息的同时突出显示文本信息,以增强文本特征之间的潜在联系;最后,采用渐进扩展模块,逐步融合扩展前部分得到的多个不同尺度的分割结果,以获得精确检测结果。本文方法在数据集CTW1500、ICDAR2015上进行实验验证和分析,其F值分别达到80.4%和83.0%,比次优方法分别提升了2.0%和2.4%,表明该方法在多方向文本检测上与其他方法相比具备一定的竞争力。     

融合注意力机制的轻量级摔倒检测

摔倒检测大都依靠传感器设备,此类方法受设备自身和环境因素影响较大,常常无法发挥该有的作用,同时,基于视觉的方法往往实时性较差,鲁棒性不强。针对上述问题,本文提出了一种鲁棒性强、能有效部署在嵌入式设备上的轻量化摔倒检测算法。以YOLOv5为基准模型,首先,融合轻量级注意力机制模块,使网络更关注要识别的目标区域,增强网络的识别精度。其次,使用模型压缩方法对模型进行剪枝,减小模型体积和计算量,使模型轻量化,以提高推理速度和便于部署在嵌入式设备中。最后,对剪枝后的模型进行知识蒸馏,在不提升模型复杂度的前提下提升模型的检测精度。实验结果表明：本文模型相较于基准模型,mAP增加了1.7%,召回率提高了1.2%,模型体积减小了79.1%,浮点运算量降低了70.9%。将本文模型部署在嵌入式设备Jetson Nano上,检测速率达到13.2 frame/s,基本满足实时性摔倒检测的要求。     

基于形状识别的返回散射电离图分类方法研究

基于中值滤波算法, 结合电离图中杂波信号和背景噪声的分布特点, 提出了一种返回散射电离图干净数据提取新算法; 利用返回散射电离图干净数据, 基于形状识别理论, 给出了一种返回散射电离图分类算法, 并对形状因子的提取方法进行了简单介绍.实测电离图仿真实验结果显示, 所提电离图分类算法具有较好的实测电离图识别和分类能力, 具有较好的应用前景.     

基于类别注意力卷积网络的地物分类方法

在近期的研究发展中,语义分割取得了巨大的进步。但大多数方法都是从空间角度出发,来获取更加丰富的上下文信息。与以往的方法不同,本文提出了一种基于类别注意机制的特征融合方法,从类别角度出发,来获取全局上下文信息,并与其他特征信息进行融合,这种方法能够更好地表示图像中各类目标的特征,具有更好的类内聚合性。为此,本文使用了一种ACF（类别注意力特征）模块,以计算和构建图像中各类目标的类别中心,以此为基础得到了一个基于类别注意力的多特征融合语义分割网络,以实现更好的地物分类性能。算法使用ISPRS数据集进行实验,与其他算法进行对比,本文方法具有更好的性能表现。      

Face age classification based on a deep hybrid model

Face age estimation, a computer vision task facing numerous challenges due to its potential applications in identity authentication, human–computer interface, video retrieval and robot vision, has been attracting increasing attention. In recent years, the deep convolutional neural networks (DCNN) have achieved state-of-the-art performance in age classification of face images. We propose a deep hybrid framework for age classification by exploiting DCNN as the raw feature extractor along with several effective methods, including fine-tuning the DCNN into a fine-tuned deep age feature extraction (FDAFE) model, introducing a new method of feature extracting, applying the maximum joint probability classifier to age classification and a strategy to incorporate information from face images more effectively to improve estimation capabilities further. In addition, we pre-process the original image to represent age information more accurately. Based on the discriminative and compact framework, state-of-the-art performance on several face image data sets has been achieved in terms of classification accuracy.     

YOLOv3-A:基于注意力机制的交通标志检测网络

为了解决已有YOLOv3算法对于存在小目标问题和背景复杂问题的交通标志检测任务会有较多的误检和漏检的问题,在YOLOv3算法的基础上,提出了目标检测的通道注意力方法和基于语义分割引导的空间注意力方法,形成YOLOv3-A算法.YOLOv3-A算法通过对检测分支特征在通道和空间2个维度进行重新标定,使网络聚焦和增强有效特...     

基于频谱形状的低复杂度雷达信号分类

为解决雷达信号调制识别中存在的计算复杂度高、低信噪比环境识别准确率低和仿真数据真实度低等问题,提出了基于频谱形状的低复杂度雷达信号分类算法。对信号频谱进行归一化,按频谱采样的方法提取特征参数,训练机器学习分类模型。雷达信号源生成数据的测试结果表明,本算法对Barker码、Frank码、LFM、BPSK、QPSK调制和常规雷达信号的分类准确率大于90%(SNR≥3 dB),计算复杂度低,能适应信号参数变化,具有很好的泛化性。     

基于一种视觉注意力机制的图像描述方法

为了提高由图像生成文字描述的准确率,文中提出了一种基于传统的编码解码框架,分别在编码端和解码端融入视觉注意力机制的方法,即在编码端加入空间注意力机制和图像通道级注意力机制相结合的方法。在解码端运用自适应视觉注意力机制的方法,即在传统的解码端上加入一个额外的“视觉哨兵”模块。文中提出的方法在生成文字描述的过程中自动决定是依赖图像特征还是依赖语义特征,并传递给相应的注意力机制。实验证明,相比较单一的视觉注意力机制,文中方法取得了较高的图像描述语句的正确率,具有更好的图像描述性能。