多尺度通道注意力机制的小样本图像分类算法

为了提升关系网络图像分类的准确度,在网络中引入多尺度通道注意力机制,提出了一种新的小样本图像分类算法.由于多尺度通道注意力机制能够关注样本特征空间的重要信息,该方法能够提取图像更丰富的多尺度特征,并通过关系度量,改善了分类结果.实验结果表明,在MiniImageNet和Omniglot数据集上,该算法对图像分类精度有明显的提高.     

基于多重分割捆绑特征的目标图像检索

针对基于目标的图像检索（OBIR）领域中,传统的视觉关键词方法忽略了局部特征之间的空间关系信息,导致检索准确度不高的问题,提出一种基于多重分割捆绑特征的目标图像检索方法.通过对图像进行多重分割,各分割区块用它所包含的尺度不变特征变换(SIFT)特征集合来描述,生成包含空间关系信息的捆绑特征;根据视觉关键词词库匹配捆绑特征,并提出一种改进的相似性度量方法计算捆绑特征相似度,再将该相似度作为权重融入到视觉关键词方法的向量空间模型中,计算图像相似度并进行排序.结果表明,该方法能够有效利用局部特征之间的空间关系信息,在保证检索效率的同时,显著提高检索准确度.     

基于视觉关系推理与上下文门控机制的图像描述

为了探索图像场景理解所需要的视觉区域间关系的建模与推理,提出视觉关系推理模块. 该模块基于图像中不同的语义和空间上下文信息,对相关视觉对象间的关系模式进行动态编码,并推断出与当前生成的关系词最相关的语义特征输出. 通过引入上下文门控机制,以根据不同类型的单词动态地权衡视觉注意力模块和视觉关系推理模块的贡献. 实验结果表明,对比以往基于注意力机制的图像描述方法,基于视觉关系推理与上下文门控机制的图像描述方法更好;所提模块可以动态建模和推理不同类型生成单词的最相关特征,对输入图像中物体关系的描述更加准确.     

基于类激活映射-注意力机制的图像描述方法

基于软注意力机制的图像描述算法,提出类激活映射-注意力机制的图像描述方法。利用类激活映射算法得到卷积特征包含定位以及更丰富的语义信息,使得卷积特征与图像描述具有更好的对应关系,解决卷积特征与图像描述的对齐问题,生成的自然语言描述能够尽可能完整的描述图像内容。选择双层长短时记忆网络改进注意力机制结构,使得新的注意力机制适合当前全局和局部信息的特征表示,能够选取合适的特征表示生成图像描述。试验结果表明,改进模型在诸多评价指标上优于软注意力机制等模型,其中在MSCOCO数据集上Bleu-4的评价指标相较于软注意力模型提高了16.8%。类激活映射机制可以解决图像空间信息与描述语义对齐的问题,使得生成的自然语言减少丢失关键信息,提高图像描述的准确性。     

MIRGAN:一种基于GAN的医学影像报告生成模型

基于图像理解的医学影像报告生成任务与传统的图像理解任务相比,是一个更加具有挑战的任务。针对该任务,提出医学影像报告生成对抗网络(medical image report generative adversarial network, MIRGAN)模型。采用共同注意力机制对多个特征区域的视觉特征和语义特征进行综合处理并分别生成对应于这些区域的描述。融合生成对抗网络(generative adversarial network, GAN)和强化学习(reinforcement learning, RL)方法优化生成模型的性能使其输出更高质量的报告。试验结果验证了MIRGAN模型的有效性。     

基于注意力机制和编码-解码架构的施工场景图像描述方法

为了实现在光线不佳、夜间施工、远距离密集小目标等复杂施工场景下的图像描述,提出基于注意力机制和编码-解码架构的施工场景图像描述方法. 采用卷积神经网络构建编码器,提取施工图像中丰富的视觉特征;利用长短时记忆网络搭建解码器,捕捉句子内部单词之间的语义特征,学习图像特征与单词语义特征之间的映射关系;引入注意力机制,关注显著性强的特征,抑制非显著性特征,减少噪声信息的干扰. 为了验证所提方法的有效性,构建一个包含10种常见施工场景的图像描述数据集. 实验结果表明,所提方法取得了较高的精度,在光线不佳、夜间施工、远距离密集小目标等复杂施工场景下具有良好的图像描述性能,且具有较强的泛化性和适应性.     

基于空间通道注意力机制的渐进式图像超分辨重建算法

目前在单帧图像超分辨率(SISR)研究领域中,一些深度网络在重构阶段通过简单级联、通道注意、空间注意等方式,利用中间特征来提高图像重构效果,但是它们通常只注意到其中一个方向.为此,文章研究了一种新的注意力,即基于空间特征变换(SFT)的空间通道注意力,并提出了基于SFT的空间通道注意力机制重构的渐进式网络算法.该算法多...     

基于注意力机制的卷积神经网络可视化方法

相比于传统机器学习算法,卷积神经网络“端到端” 的黑盒特性使其内部工作机制缺乏透明性和可解释性,导致其在某些安全性要求较高的领域受到一定限制。为此,提出一种基于注意力机制的卷积神经网络可视化方法,用于可视化解释卷积神经网络中间层所学特征。该方法首先将注意力机制添加到网络结构中,跟随网络一起训练;然后,获取训练后模型的最高层特征图,并使用双线性插值将其放大到输入图像大小;最后,将处理后的特征图与输入图像叠加形成热力图,用于定位输入图像的关键区域,实现对卷积神经网络所学特征的理解和解释。在ＣＩＦＡＲ１０ 数据集上实验结果表明,相比于直接对特征图进行可视化,基于注意力机制的可视化方法能够更准确地定位目标的关键特征,从而帮助理解卷积神经网络所学特征。     

基于改进Mask R-CNN的变电设备红外图像实例分割算法

红外图像中变电设备的分割精度直接影响着故障诊断的结果，针对复杂红外背景下变电设备边缘分割不精细、分割精度低的问题，提出了一种基于改进Mask R-CNN模型的变电设备红外图像分割方法。首先将ResNet特征提取网络中部分残差模块的标准卷积替换为可变形卷积，然后对空间注意力机制模块和通道注意力机制模块并行连接，并在这两个模块中加入可变形卷积，最后改进Mask R-CNN掩膜分支的损失函数，对目标边缘分割的精细度进一步优化。该方法能够有效提高模型对红外图像中变电设备几何特征多样性的适应能力，并减轻模型对背景等干扰特征的关注。在变电设备红外图像数据集上进行实验，结果表明，相比于Mask R-CNN基准模型，该方法的AP_50:95、AP₅₀和AP₇₅提高了3.5%、1.0%、4.2%,表明该方法能够显著提高红外图像中变电设备实例分割的准确率，有效解决边缘分割不精细的问题。     

基于关系推理与门控机制的视觉问答方法

针对现有的注意力机制存在缺乏对视觉对象间关系的理解能力及准确度较差的问题,在注意力机制的基础上增加关系推理模块与自适应门控机制. 该方法利用注意力机制关注多个与问题相关的视觉区域,利用关系推理模块中的二元关系推理与多元关系推理加强视觉区域间的联系. 将分别得到的视觉注意力特征与视觉关系特征输入到自适应门控中,动态控制2种特征对预测答案的贡献. 在VQA1.0及VQA2.0数据集上的实验结果表明：该模型与DCN、MFB、MFH及MCB等先进模型相比,在总体精度上均有约2%的提升;利用基于关系推理与门控机制的模型能够更好地理解图像内容,有效地提升视觉问答的准确率.     

一种改进的全局注意机制图像描述方法

针对现有基于注意机制的图像描述方法全局信息缺失问题,提出了一种改进的全局注意机制图像描述方法。该方法在注意机制的基础上,通过设计全局特征网络来模拟人类感知机制的全过程,对图像全局特征进行增强。将所提方法在相同数据集和网络超参数的情况下与目前最优网络进行实验对比,分析了全局信息对生成文本的影响。实验结果显示,文中提出的方法在更具挑战性的中文文本描述任务上客观评价指标优于目前最优的模型。同时,在主观评价中能够生成更准确的文本内容,也更具丰富性与多样性,接近自然语言描述。     

基于图像描述的文本信息隐藏

针对文本信息隐藏嵌入容量低和语义连贯性差的问题,提出了一种基于神经网络图像描述的文本信息隐藏模型.将卷积神经网络与长短期记忆网络相结合,把图像特征和生成语句进行关联.从收发双方能否共享图像及模型参数的不同应用前提出发,设计了多种概率采样方式,从而生成载密的图像描述文本.实验结果表明,该算法具有较高的隐藏容量,载密描述句能较好地表达图像内容.该模型归属于"无载体"自然语言生成式信息隐藏,具有较好的隐蔽性和安全性.     

基于密集连接网络和多维特征融合的文本匹配模型

针对文本匹配过程中存在语义损失和句子对间信息交互不充分的问题,提出基于密集连接网络和多维特征融合的文本匹配方法. 模型的编码端使用BiLSTM网络对句子进行编码,获取句子的上下文语义特征;密集连接网络将最底层的词嵌入特征和最高层的密集模块特征连接,丰富句子的语义特征;基于注意力机制单词级的信息交互,将句子对间的相似性特征、差异性特征和关键性特征进行多维特征融合,使模型捕获更多句子对间的语义关系. 在4个基准数据集上对模型进行评估,与其他强基准模型相比,所提模型的文本匹配准确率显著提升,准确率分别提高0.3%、0.3%、0.6%和1.81%. 在释义识别Quora数据集上的有效性验证实验结果表明,所提方法对句子语义相似度具有精准的匹配效果.     

基于CGA模型的盾构扭矩预测研究

以盾构近距离下穿既有车站结构为背景,提出了一种结合卷积神经网络(Convolutional Neural Networks, CNN)、门控制循环单元神经网络(Gated Recurrent Unit, GRU)和注意力机制(Attention)的新型盾构荷载预测模型。首先用CNN-Attention模型提取数据的高维空间特征并区分不同特征的重要性,然后通过GRU模型提取数据的时序特性,紧接着通过注意力机制提取出重要时间节点信息,最后得出预测的结果。为验证所提模型的预测效果,选取了4种现有的算法进行比较。结果表明所提出的模型在三种评价指标上均优于其他算法模型,同时该模型还可为盾构刀具磨损、地表及结构变形等方面的预测研究提供思路。     

全卷积神经结构的段落式图像描述算法

针对段落式图像描述生成研究中提升描述语句之间的连贯性问题,提出了一种基于全卷积结构的图像段落描述算法.采用基于卷积网络的区域检测器获取图像表示,结合段落在语言学角度的层次性,构建一种层次性的深度卷积解码器对图像表示解码,自动生成段落式文本描述.同时将门控机制嵌入卷积解码器网络中,以提升模型的记忆能力.实验结果表明,相比于基于循环神经网络等传统段落图像的描述方法,新算法能够为图像生成更为连贯的段落式文本描述,在评测指标上取得较好的结果.     

基于深度卷积神经网络的高光谱遥感图像分类

传统的高瀑布图像分类模型只考虑光谱特征信息,忽略了图像空间结构信息在分类中的重要作用。为提高高光谱遥感图像的分类精度,提出一种同时利用高瀑布图像的光谱信息和空间信息的深度卷积神经网络分类模型。通过对低层特征自动分层地学习来提取更加抽象的高层特征,提取的特征具有平移、缩放及其他形式扭曲等高度不变性;基于学习到的深度特征,用logistic回归分类器进行分类训练。高光谱数据实验结果表明,深度卷积神经网络模型能够提高高光谱遥感图像的分类精度,从而验证了深度卷积神经网络进行高瀑布图像分类的可行性和有效性。