基于Se-ResNet50特征编码器的公共环境图像描述生成

针对传统公共环境图像描述模型中编码器—解码器结构在编码过程中特征提取能力不足以及解码过程中上下文信息丢失严重的问题,提出了一种基于Se-ResNet50与M-LSTM的公共环境图像描述模型。将SeNet模块添加到ResNet-50的残差路径中得到改进残差网络提取图像特征,SeNet对特征的各个部分赋予权重生成不同的注意力特征图,再融合文本特征向量输入具有额外门控运算的改进长短期记忆网络(M-LSTM)训练。模型训练结束后,输入公共环境图像就能得到描述图像内容的自然语句。该模型在多种数据集上进行了评估,实验结果表明,提出的模型在MSCOCO数据集上相较传统模型,在BLEU-1、BLEU-2、BLEU-3、BLEU-4、METEOR、CIDEr等评价指标上分别提高了3.2%、2.1%、1.7%、1.7%、1.3%、8.2%,证明了提出的方法在评价指标、语义多样性上具有一定的优越性。     

双向特征融合与注意力机制结合的目标检测

目标检测使用特征金字塔检测不同尺度的物体时,忽略了高层信息和低层信息之间的关系,导致检测效果差;此外,针对某些尺度的目标,检测中容易出现漏检。本文提出双向特征融合与注意力机制结合的方法进行目标检测。首先,对SSD(single shot multibox detector)模型深层特征层与浅层特征层进行特征融合,然后将得到的特征与深层特征层进行融合。其次,在双向融合中加入了通道注意力机制,增强了语义信息。最后,提出了一种改进的正负样本判定策略,降低目标的漏检率。将本文提出的算法与当前主流算法在VOC数据集上进行了比较,结果表明,本文提出的算法在对目标进行检测时,目标平均准确率有较大提高。     

DenseNet和SeNet融合残差结构的DR分类方法

糖尿病性视网膜病变(diabetic retinopathy, DR)是糖尿病在发病过程中影响视网膜的症状。针对模型下采样过程中特征提取DR图像微动脉瘤等病灶区域信息丢失问题,提出了一种DenseNet融合残差结构的模块。该模块首先连接两个连续的dense block,然后利用残差结构对特征信息求和,并行融合处理特征图像信息,以防止有效特征信息的丢失,最后残差连接两个含有dropout的卷积块,抑制过拟合现象。针对以往卷积操作中未对病变区域的特征图通道加权的问题,提出了一种SeNet融合残差结构的模块。该模块首先连接SeNet,把全局平均池化和全局最大池化的特征信息相加,以提高有效通道信息的利用率,然后通过Conv1×1的残差方式来保证特征图信息的完整性。基于以上两个模块的设计,提出了一种DenseNet和SeNet融合残差结构的DR分类方法。该模型在APTOS2019数据集上的精确度达到89.8%,特异性达到97.0%,在Messidor-2数据集上的精确度达到78.8%,特异性达到91.9%,能够有效地提高视网膜图像病变程度的分类能力。