基于通道注意力和Transformer的图像标题生成方法

图像标题生成是指通过计算机将图像翻译成描述该图像的标题语句。针对现有图像标题生成任务中，未充分利用图像的局部和全局特征以及时间复杂度较高的问题，本文提出一种基于卷积神经网络（Convolution Neural Networks,CNN）和Transformer的混合结构图像标题生成模型。考虑卷积网络所具有的空间和通道特性，首先将轻量化高精度的注意力ECA与卷积网络CNN进行融合构成注意力残差块，用于从输入图像中提取视觉特征；然后将特征输入到序列模型Transformer中，在编码器端借助自注意学习来获得所参与的视觉表示，在语言解码器中捕获标题中的细粒度信息以及学习标题序列间的相互作用，进而结合视觉特征逐步得到图像所对应的标题描述。将模型在MSCOCO数据集上进行实验，BLEU-1、BLEU-3、BLEU-4、Meteor和CIDEr指标分别提高了0.3、0.5、0.7、0.4、1.6个百分点。     

融合约束学习的图像字幕生成方法

目的 图像字幕生成是一个涉及计算机视觉和自然语言处理的热门研究领域，其目的是生成可以准确表达图片内容的句子。在已经提出的方法中，生成的句子存在描述不准确、缺乏连贯性的问题。为此，提出一种基于编码器-解码器框架和生成式对抗网络的融合训练新方法。通过对生成字幕整体和局部分别进行优化，提高生成句子的准确性和连贯性。方法 使用卷积神经网络作为编码器提取图像特征，并将得到的特征和图像对应的真实描述共同作为解码器的输入。使用长短时记忆网络作为解码器进行图像字幕生成。在字幕生成的每个时刻，分别使用真实描述和前一时刻生成的字幕作为下一时刻的输入，同时生成两组字幕。计算使用真实描述生成的字幕和真实描述本身之间的相似性，以及使用前一时刻的输出生成的字幕通过判别器得到的分数。将二者组合成一个新的融合优化函数指导生成器的训练。结果 在CUB-200数据集上，与未使用约束器的方法相比，本文方法在BLEU-4、BLEU-3、BLEI-2、BLEU-1、ROUGE-L和METEOR等6个评价指标上的得分分别提升了0.8%、1.2%、1.6%、0.9%、1.8%和1.0%。在Oxford-102数据集上，与未使用约束器的方法相比，本文方法在CIDEr、BLEU-4、BLEU-3、BLEU-2、BLEU-1、ROUGE-L和METEOR等7个评价指标上的得分分别提升了3.8%、1.5%、1.7%、1.4%、1.5%、0.5%和0.1%。在MSCOCO数据集上，本文方法在BLEU-2和BLEU-3两项评价指标上取得了最优值，分别为50.4%和36.8%。结论 本文方法将图像字幕中单词前后的使用关系纳入考虑范围，并使用约束器对字幕局部信息进行优化，有效解决了之前方法生成的字幕准确度和连贯度不高的问题，可以很好地用于图像理解和图像字幕生成。     

融合卷积注意力机制的图像描述生成模型

图像描述模型需要提取出图像中的特征,然后通过自然语言处理（NLP）技术将特征用语句表达出来。现有的基于卷积神经网络（CNN）和循环神经网络（RNN）搭建的图像描述模型在提取图像关键信息时精度不高且训练速度缓慢。针对这个问题,提出了一种基于卷积注意力机制和长短期记忆（LSTM）网络的图像描述生成模型。采用Inception-ResNet-V2作为特征提取网络,在注意力机制中引入全卷积操作替代传统的全连接操作,减少了模型参数的数量。将图像特征与文本特征有效融合后送入LSTM单元中完成训练,最终产生描述图像内容的语义信息。模型采用MSCOCO数据集进行训练,使用多种评价指标（BLEU-1、BLEU-4、METEOR、CIDEr等）对模型进行验证。实验结果表明,提出的模型能够对图像内容进行准确描述,在多种评价指标上均优于基于传统注意力机制的方法。     

融合自适应常识门的图像描述生成模型

针对传统的图像描述模型不能充分利用图像信息且融合特征方式单一的问题,提出了一种融合自适应常识门（ACG）的图像描述生成模型。首先,使用基于视觉常识区域的卷积神经网络（VC R-CNN）提取视觉常识特征,并将常识特征分层输入到Transformer编码器中;然后,在编码器的每一分层中设计了ACG,从而对视觉常识特征和编码特征进行自适应融合操作;最后,将融合常识信息的编码特征送入Transformer解码器中完成训练。使用MSCOCO数据集进行训练和测试,结果表明所提模型在评价指标BLEU-4、CIDEr和SPICE上分别达到了39.2、129.6和22.7,相较于词性堆叠交叉注意网络（POS-SCAN）模型分别提升了3.2%、2.9%和2.3%。所提模型的效果明显优于使用单一显著区域特征的Transformer模型,能够对图像内容进行准确的描述。     

基于多注意力多尺度特征融合的图像描述生成算法

针对图像描述生成中对图像细节表述质量不高、图像特征利用不充分、循环神经网络层次单一等问题，提出基于多注意力、多尺度特征融合的图像描述生成算法。该算法使用经过预训练的目标检测网络来提取图像在卷积神经网络不同层上的特征，将图像特征分层输入多注意力结构中，依次将多注意力结构与多层循环神经网络相连，构造出多层次的图像描述生成网络模型。在多层循环神经网络中加入残差连接来提高网络性能，并且可以有效避免因为网络加深导致的网络退化问题。在MSCOCO测试集中，所提算法的BLEU-1和CIDEr得分分别可以达到0.804及1.167，明显优于基于单一注意力结构的自上而下图像描述生成算法；通过人工观察对比可知，所提算法生成的图像描述可以表现出更好的图像细节。     

DenseNet和SeNet融合残差结构的DR分类方法

糖尿病性视网膜病变(diabetic retinopathy, DR)是糖尿病在发病过程中影响视网膜的症状。针对模型下采样过程中特征提取DR图像微动脉瘤等病灶区域信息丢失问题,提出了一种DenseNet融合残差结构的模块。该模块首先连接两个连续的dense block,然后利用残差结构对特征信息求和,并行融合处理特征图像信息,以防止有效特征信息的丢失,最后残差连接两个含有dropout的卷积块,抑制过拟合现象。针对以往卷积操作中未对病变区域的特征图通道加权的问题,提出了一种SeNet融合残差结构的模块。该模块首先连接SeNet,把全局平均池化和全局最大池化的特征信息相加,以提高有效通道信息的利用率,然后通过Conv1×1的残差方式来保证特征图信息的完整性。基于以上两个模块的设计,提出了一种DenseNet和SeNet融合残差结构的DR分类方法。该模型在APTOS2019数据集上的精确度达到89.8%,特异性达到97.0%,在Messidor-2数据集上的精确度达到78.8%,特异性达到91.9%,能够有效地提高视网膜图像病变程度的分类能力。     

融合ELMo词嵌入的多模态Transformer的图像描述算法

图像描述任务旨在针对一张给出的图像产生其对应描述。针对现有算法中语义信息理解不够全面的问题,提出了一个针对图像描述领域的多模态Transformer模型。该模型在注意模块中同时捕捉模态内和模态间的相互作用;更进一步使用ELMo获得包含上下文信息的文本特征,使模型获得更加丰富的语义描述输入。该模型可以对复杂的多模态信息进行更好地理解与推断并且生成更为准确的自然语言描述。该模型在Microsoft COCO数据集上进行了广泛的实验,实验结果表明,相比于使用bottom-up注意力机制以及LSTM进行图像描述的基线模型具有较大的效果提升,模型在BLEU-1、BLEU-2、BLEU-3、BLEU-4、ROUGE-L、CIDEr-D上分别有0.7、0.4、0.9、1.3、0.6、4.9个百分点的提高。     

结合全局和局部特征的BiGRU-RA图像中文描述模型

针对目前基于全局特征的图像描述模型存在细节语义信息不足的问题,提出结合全局和局部特征的图像中文描述模型.该模型采用编码器-解码器框架,在编码阶段,分别使用残差网络(residual networks,ResNet)和Faster R-CNN提取图像的全局特征和局部特征,提高模型对不同尺度图像特征的利用.采用嵌入了残差连接结构和视觉注意力结构的双向门控循环单元(bi-directional gated recurrent unit,BiGRU)作为解码器(BiGRU with residual connection and attention,BiGRU-RA).模型可以自适应分配图像特征和文本权重,改善图像特征区域和上下文信息的映射关系.此外,加入基于强化学习的策略梯度对模型的损失函数进行改进,直接对评价指标CIDEr进行优化.在AI Challenger全球挑战赛图像中文描述数据集上进行训练和实验,实验结果表明,该模型获得更高的评分,生成的描述语句更准确、更详细.     

基于依存句法的可解释图像描述生成

已有图像描述生成模型虽可以检测与表示图像目标实体及其视觉关系，但没有从文本句法关系角度关注模型的可解释性.因而，提出基于依存句法三元组的可解释图像描述生成模型（interpretable image caption generation based on dependency syntax triplets modeling, IDSTM），以多任务学习的方式生成依存句法三元组序列和图像描述. IDSTM模型首先通过依存句法编码器从输入图像获得潜在的依存句法特征，并与依存句法三元组及文本词嵌入向量合并输入单层长短期记忆网络（long short-term memory, LSTM），生成依存句法三元组序列作为先验知识；接着，将依存句法特征输入到图像描述编码器中，提取视觉实体词特征；最后，采用硬限制和软限制2种机制，将依存句法和关系特征融合到双层LSTM，从而生成图像描述.通过依存句法三元组序列生成任务，IDSTM在未显著降低生成的图像描述精确度的前提下，提高了其可解释性.还提出了评测依存句法三元组序列生成质量的评价指标B1-DS (BLEU-1-DS), B4-DS (BLEU-4-D...     

基于Transformer的多方面特征编码图像描述生成算法

由目标检测算法提取的目标特征在图像描述生成任务中发挥重要作用,但仅使用对图像进行目标检测的特征作为图像描述任务的输入会导致除关键目标信息以外的其余信息获取缺失,且生成的文本描述对图像内目标之间的关系缺乏准确表达。针对上述不足,提出用于编码图像内目标特征的目标Transformer编码器,以及用于编码图像内关系特征的转换窗口Transformer编码器,从不同角度对图像内不同方面的信息进行联合编码。通过拼接方法将目标Transformer编码的目标特征与转换窗口Transformer编码的关系特征相融合,达到图像内部关系特征和局部目标特征融合的目的,最终使用Transformer解码器将融合后的编码特征解码生成对应的图像描述。在MS-COCO数据集上进行实验,结果表明,所构建模型性能明显优于基线模型,BLEU-4、METEOR、ROUGE-L、CIDEr指标分别达到38.6%、28.7%、58.2%和127.4%,优于传统图像描述网络模型,能够生成更详细准确的图像描述。     

改进残差网络在玉米叶片病害图像的分类研究

针对传统的玉米叶片病害图像识别方法正确率不高、速度慢等问题,提出一种基于改进深度残差网络模型的玉米叶片图像识别算法。提出的改进策略有：将传统的ResNet-50模型第一层卷积层中7×7卷积核替换为3个3×3的卷积核;使用LeakyReLU激活函数替代ReLU激活函数;改变残差块中批标准化层、激活函数与卷积层的排列顺序。进行数据预处理,将训练集与测试集的比例划分为4∶1,采用数据增强的方式对训练集进行扩充,将改进的ResNet-50模型经过迁移学习得到在ImageNet上预训练好的权重参数。实验结果表明,改进的网络在玉米叶片病害图像分类中得到了98.3%的正确率,与其他网络模型相比准确率大幅提升,鲁棒性进一步增强,可为玉米叶片病害的识别提供参考。     

基于ECA-Net与多尺度结合的细粒度图像分类方法

针对细粒度图像分类问题提出了一种有效的算法以实现端到端的细粒度图像分类.ECA-Net中ECA(efficient channel attention)模块是一种性能优势显著的通道注意力机制,将其与经典网络ResNet-50进行融合构成新的基础卷积神经网络ResEca;通过物体级图像定位模块与部件级图像生成模块生成物体级图像和部件级图像,并结合原始图像作为网络的输入,构建以ResEca为基础的三支路网络模型Tb-ResEca-Net(three branch of ResEca network).该算法在公有数据集CUB-200-2011、FGVC-aircraft和Stanford cars datasets上进行测试训练,分别取得了89.9％、95.1％和95.3％的准确率.实验结果表明,该算法相较于其他传统的细粒度分类算法具有较高的分类准确率以及较强的鲁棒性,是一种有效的细粒度图像分类方法.     

基于深度迁移学习的大鼠肝纤维化诊断

针对肝纤维化临床诊断方法具有有创性和传统机器学习方法特征提取的不完全性的缺陷,本文采用深度迁移学习方法利用预训练的ResNet-18和VGGNet-11模型用于肝纤维化分期诊断.使用南方医科大学提供的大鼠肝纤维化核磁共振影像数据集进行不同程度的迁移训练.将两种模型在通过4种不同参数采集的核磁共振影像数据集上,分别使用6种网络迁移配置训练.实验结果表明,使用T1RHO-FA参数采集的核磁共振影像和采用VGGNet-11模型更能提高肝纤维化分期诊断的准确率.同时相对于ResNet-18模型,深度模型迁移学习方法能稳定提升VGGNet-11模型进行肝纤维化分期诊断的准确率和训练速度.     

基于多分支神经网络模型的弱监督细粒度图像分类方法

针对传统基于注意力机制的神经网络不能联合关注局部特征和旋转不变特征的问题,提出一种基于多分支神经网络模型的弱监督细粒度图像分类方法。首先,用轻量级类激活图(CAM)网络定位有潜在语义信息的局部区域,设计可变形卷积的残差网络ResNet-50和旋转不变编码的方向响应网络(ORN);其次,利用预训练模型分别初始化特征网络,并输入原图和以上局部区域分别对模型进行微调;最后,组合三个分支内损失和分支间损失优化整个网络,对测试集进行分类预测。所提方法在CUB-200-2011和FGVC_Aircraft数据集上的分类准确率分别达到87.7%和90.8%,与多注意力卷积神经网络(MA-CNN)方法相比,分别提高了1.2个百分点和0.9个百分点;在Aircraft_2数据集上的分类准确率达到91.8%,比ResNet-50网络提高了4.1个百分点。实验结果表明,所提方法有效提高了弱监督细粒度图像分类的准确率。     

基于稠密残差网络的图像超分辨率重建算法

图像超分辨率重建作为一种廉价方便的图像增强手段,在视频监控、医学成像、卫星遥感等领域有着重要的研究意义.为此结合深度学习在图像重建的性能优势,提出了一种基于增强稠密残差网络(ERDN)的图像超分辨率重建模型.首先使用多卷积核的稠密残差神经网络模块,提取图像的细节信息;然后通过跳跃连接和特征复用模块对多层图像信息进行筛选...     

结合双注意力机制的道路裂缝检测

目的 道路裂缝检测旨在识别和定位裂缝对象,是保障道路安全的关键问题之一。为解决传统深度神经网络在检测背景较复杂、干扰较大的裂缝图像时精度较低的问题,设计了一种基于双注意力机制的深度学习道路裂缝检测网络。方法 本文提出了在骨干网络中融入空洞卷积和两种注意力机制的方法,将其中的轻量型注意力机制与残差模块结合为残差注意力模块Res-A。对比研究了该模块“串联”和“并联”两种方式对于裂缝特征关系权重的影响并获得最佳连接。同时,引入Non-Local计算模式的注意力机制,通过挖掘特征图谱的关系权重以提高裂缝检测性能。结合两种注意力机制可以有效解决复杂背景下道路裂缝难检测的问题,提高了道路裂缝检测精度。结果 在公开复杂道路裂缝数据集Crack500上进行对比实验与验证。为证明本文网络的有效性,将平均交并比(mean intersection over union, m Io U)、像素精确度(pixel accuracy, PA)和训练迭代时间作为评价指标,并进行了3组对比实验。第1组实验用于评价残差注意力模块中通道注意力机制和空间注意力机制之间不同组合方式的检测性能,结果表明这两种机制并联相加时...     

深度多尺度融合注意力残差人脸表情识别网络

针对人脸表情呈现方式多样化以及人脸表情识别易受光照、姿势、遮挡等非线性因素影响的问题,提出了一种深度多尺度融合注意力残差网络(deep multi-scale fusion attention residual network, DMFA-ResNet)。该模型基于ResNet-50残差网络,设计了新的注意力残差模块,由7个具有三条支路的注意残差学习单元构成,能够对输入图像进行并行多卷积操作,以获得多尺度特征,同时引入注意力机制,突出重点局部区域,有利于遮挡图像的特征学习。通过在注意力残差模块之间增加过渡层以去除冗余信息,简化网络复杂度,在保证感受野的情况下减少计算量,实现网络抗过拟合效果。在3组数据集上的实验结果表明,本文提出的算法均优于对比的其他先进方法。