基于多尺度特征融合和注意力机制的医学图像分割网络

针对传统编解码结构的医学图像分割网络存在特征信息利用率低、泛化能力不足等问题,该文提出了一种结合编解码模式的多尺度语义感知注意力网络(multi-scale semantic perceptual attention network,MSPA-Net) 。首先,该网络在解码路径加入双路径多信息域注意力模块(dual-channel multi-information domain attention module,DMDA) ,提高特征信息的提取能力;其次,网络在级联处加入空洞卷积模块(dense atrous convolution module,DAC) ,扩大卷积感受野;最后,借鉴特征融合思想,设计了可调节多尺度特征融合模块 (adjustable multi-scale feature fusion,AMFF) 和双路自学习循环连接模块(dual self-learning recycle connection module,DCM) ,提升网络的泛化性和鲁棒性。为验证网络的有效性,在CVC-ClinicDB、ETIS-LaribPolypDB、COVID-19 CHEST X-RAY、Kaggle_3m、ISIC2017和Fluorescent Neuronal Cells等数据 集上进行验证,实验结果表明,相似系数分别达到了94.96%、92.40%、99.02%、90.55%、92.32%和75.32%。因此,新的分割网络展现了良好的泛化能力,总体性能优于现有网络,能够较好实现通用医学图像的有效分割。     

特征增强和双线性特征向量融合的移动端工业货箱文本检测

在实际工业环境下,光线昏暗、文本不规整、设备有限等因素,使得文本检测成为一项具有挑战性的任务。针对此问题,设计了一种基于双线性操作的特征向量融合模块,并联合特征增强与半卷积组成轻量级文本检测网络RGFFD（ResNet18+GhostModule+特征金字塔增强模块（feature pyramid enhancement module, FPEM）+ 特征融合模块（feature fusion module,FFM）+可微分二值化（differenttiable binarization,DB））。其中,Ghost模块内嵌特征增强模块,提升特征提取能力,双线性特征向量融合模块融合多尺度信息,添加自适应阈值分割算法提高DB模块分割能力。在实际工厂环境下,采用嵌入式设备UP2 board对货箱编号进行文本检测,RGFFD检测速度达到6.5 f/s。同时在公共数据集ICDAR2015、Total-text上检测速度分别达到39.6 f/s和49.6 f/s,在自定义数据集上准确率达到88.9%,检测速度为30.7 f/s。     

基于双重注意力融合和空洞残差特征增强的场景文本检测

针对自然场景中任意形状文本容易漏检、错检的问题,提出了一种基于双重注意力融合和空洞残差特征增强的场景文本检测方法.为了增强文本特征通道之间的潜在联系,提出了双重注意力融合(DAF)模块,采用双向特征金字塔与双重注意力融合模块相结合的方式进行多层的特征融合;另外针对深层特征图在降维的过程中可能造成语义丢失的现象,提出了空...     

基于注意力机制的多方向文本检测

针对多方向排列的文本因其尺度变化大、复杂背景干扰而导致检测效果仍不甚理想的问题,本文提出了一种基于注意力机制的多方向文本检测方法。首先,考虑到自然场景下干扰信息多,构建文本特征提取网络(text feature information ResNet50,TF-ResNet),对图像中的文本特征信息进行提取;其次,在特征融合模型中加入文本注意模块(text attention module, TAM),抑制无关信息的同时突出显示文本信息,以增强文本特征之间的潜在联系;最后,采用渐进扩展模块,逐步融合扩展前部分得到的多个不同尺度的分割结果,以获得精确检测结果。本文方法在数据集CTW1500、ICDAR2015上进行实验验证和分析,其F值分别达到80.4%和83.0%,比次优方法分别提升了2.0%和2.4%,表明该方法在多方向文本检测上与其他方法相比具备一定的竞争力。     

一种有效融合多尺度特征的图像语义分割方法

卷积神经网络在高级计算机视觉任务中展现出强 大的特征学习能力,已经在图像语义 分割任务 中取得了显著的效果。然而,如何有效地利用多尺度的特征信息一直是个难点。本文提出一 种有效 融合多尺度特征的图像语义分割方法。该方法包含4个基础模块,分别为特征融合模块(feature fusion module,FFM)、空 间信息 模块(spatial information module,SIM)、全局池化模块(global pooling module,GPM)和边界细化模块(boundary refinement module,BRM)。FFM采用了注意力机制和残差结构,以提高 融合多 尺度特征的效率,SIM由卷积和平均池化组成,为模型提供额外的空间细节信息以 辅助定 位对象的边缘信息,GPM提取图像的全局信息,能够显著提高模型的性能,BRM以残差结构为核心,对特征图进行边界细化。本文在全卷积神经网络中添加4个基础模块, 从而有 效地利用多尺度的特征信息。在PASCAL VOC 2012数据集上的实验结 果表明该方法相比全卷积神 经网络的平均交并比提高了8.7%,在同一框架下与其他方法的对比结 果也验证了其性能的有效性。     

基于字符注意力的自然场景文本识别

自然场景文本识别中采用固定大小的卷积核提取视觉特征,后仅进行字符分类的方法,其全局建模能力弱且忽视了文本语义建模的重要性,因此,本文提出一种基于字符注意力的自然场景文本识别方法。首先构建不同于卷积网络的多级efficient Swin Transformer提取特征,其可使不同窗口的特征进行信息交互;其次设计了字符注意力模块(character attention module, CAM),使网络专注于字符区域的特征,以提取识别度更高的视觉特征;并设计语义推理模块(semantic reasoning module, SRM),根据字符的上下文信息对文本序列进行建模,获得语义特征来纠正不易区分或模糊的字符;最后融合视觉和语义特征,分类得到字符识别结果。实验结果表明,在规则文本数据集IC13上识别准确率达到了95.2%,在不规则的弯曲文本数据集CUTE上达到了85.8%,通过消融及对比实验证明了本文提出的方法可行。     

基于改进特征金字塔网络和注意力机制的场景文本检测

本文提出了基于可切换空洞卷积与注意力导向的特征金字塔网络（SwitchableDilatedConvolutionsand Attention-guidedFPN,SDA-FPN）模型,通过加入不同空洞率的可切换空洞卷积使模型能够根据任务选择不同感受野的特征图;引入注意力导向模块（Attention-guideModule,AM）增强特征语义信息且减少空洞卷积对文本边界信息的破坏。针对各尺度特征融合不充分导致语义信息丢失,提出了特征增强融合模块（FeatureEnhancementFusionModule,FEFM）,通过结合注意力机制增强模型对尺度、空间、任务的感知能力。该方法在公开数据集ICDAR2015取得了较好的检测结果,且召回率有明显的提升。     

基于注意力机制特征融合与增强的自然场景文本检测

为了解决自然场景文本检测中由于文本实例分布随机、形态与尺度多样造成的检测难题,设计了一种基于注意力机制特征融合与增强的自然场景文本检测算法。利用注意力机制对有效特征提取的优势,在模型的解码融合阶段设计并引入了一种基于注意力的特征融合模块(Attention-based Feature Fusion Module, AFFM),利用空间和通道注意力分别为高层特征和低层特征引入更丰富的细节和全局信息,进一步提高了检测的准确率;设计了联合注意力特征增强模块(Joint Attention Feature Enhancement Module, JAM),利用卷积对级联后的特征在不同通道之间、空间位置间的联系建模,并生成联合特征权重mask对级联特征做加权,从而提高信息的表征能力,有效减少误检与漏检。在Total-Text和ICDAR2015两个数据集上对模型做评估,测试结果表明,该方法的F1综合指标分别达到了85.1%和87.6%,均优于当前主流算法。     

基于深度学习的街景下的文本检测

针对自然街景文本角度倾斜、形状弯曲、长度不定等特点,提出一种基于注意力机制的自然街景文本检测方法,通过利用注意力机制的优势,对主干网络提取的特征进行加权融合,从而提升整体网络的检测性能.首先,针对特征金字塔（FPN）横向连接中特征信息丢失的问题,引入注意力融合模块AFFM(Attention Feature Fusion Module),通过计算高维和低维特征的融合权重,来改进原FPN中简单直接相加的特征融合方式,从而减少FPN特征融合过程中文本信息丢失,增强网络的特征提取能力.其次,针对不同尺度特征图中的文本特征,引入一个子空间注意力模块SAM(Subspace Attention Module),通过将多尺度融合特征图按通道划分为数个子空间特征图,分别学习每个子空间中的文本特征权重,使得融合后的特征图包含更多不同尺度的文本特征,从而增强融合特征图对文本实例的表征能力,进而提升网络的检测效果.在公开数据集Total-Text上对模型进行评估,实验结果表明,该算法与目前快速高效的DBNet相比,准确率、召回率和F值分别提高了0.5%、0.4%和0.4%.     

融合注意力线性特征多样化的DR分级模型

糖尿病视网膜病变(diabetic retinopathy, DR)是目前人类的主要致盲疾病之一。针对DR数据集中样本类间差异小和类分布不均衡等制约分级性能提高的问题,本文提出一种融合注意力线性特征多样化(fusion of attention linear feature diversification, FALFD)的分级算法。该算法首先用改进的Res2Net残差网络作为模型骨干来增大感受野,进一步提高网络捕捉特征信息的能力;其次引入自适应特征多样化模块(adaptive feature diversification module, AFDM)对眼底图像可分辨的微小病理特征进行识别,获得具有高语义信息的局部特征,避免单一特征区域的限制,进而提高分级准确度;再后利用双线性注意力融合模块(bilinear attention fusion module, BAFM)增加可判别区域特征的网络权重占比;最后采用正则化焦点损失(focal loss, FL)进一步提升算法的分类性能。在IDRID数据集上,灵敏度和特异性分别为94.20%和97.05%,二次加权系数为87.83%;在APTO...     

Multi-scale aware dual path network for face detection in resource-constrained edge computing environment

Aiming at the problem that face detectors with complex deep neural structures are difficult to deploy in the resource-constrained edge computing environment,to reduce the resource consumption while maintain the accuracy in complex scenes such as multi-scale face changes,occlusion,blur,and illumination,SDPN(multi-scale aware dual path network) for face detection was proposed.The Face-ResNet (face residual neural network) was improved,and a dual path shallow feature extractor was used to understand the multi-scale information of the image through parallel branches.Then the deep and shallow feature fusion module,a combination of the underlying image information and the high-level semantic feature,was used in conjunction with the multi-scale awareness training strategy to supervise the multi-branch learning discriminating features.The experimental results show that SDPN can extract more diversified features,which effectively improve the accuracy and robustness of face detection while maintaining the efficiency of the model and low inference delay.     

多尺度语义信息融合的目标检测

针对当前目标检测算法对小目标及密集目标检测效果差的问题,该文在融合多种特征和增强浅层特征表征能力的基础上提出了浅层特征增强网络(SEFN),首先将特征提取网络VGG16中Conv4_3层和Conv5_3层提取的特征进行融合形成基础融合特征;然后将基础融合特征输入到小型的多尺度语义信息融合模块中,得到具有丰富上下文信息和空间细节信息的语义特征,同时把语义特征和基础融合特征经过特征重利用模块获得浅层增强特征;最后基于浅层增强特征进行一系列卷积获取多个不同尺度的特征,并输入各检测分支进行检测,利用非极大值抑制算法实现最终的检测结果。在PASCAL VOC2007和MS COCO2014数据集上进行测试,模型的平均精度均值分别为81.2%和33.7%,相对于经典的单极多盒检测器(SSD)算法,分别提高了2.7%和4.9%;此外,该文方法在检测小目标和密集目标场景上,检测精度和召回率都有显著提升。实验结果表明该文算法采用特征金字塔结构增强了浅层特征的语义信息,并利用特征重利用模块有效保留了浅层的细节信息用于检测,增强了模型对小目标和密集目标的检测效果。     

复杂场景下多尺度船舶实时检测方法

船舶检测在军事侦察、海上目标跟踪、海上交通管制等任务中发挥着重要作用。然而,受船舶外形尺度多变和复杂海面背景的影响,在复杂海面上检测多尺度船舶仍然是一个挑战。针对此难题,提出了一种基于多层信息交互融合和注意力机制的 YOLOv4 改进方法。该方法主要通过多层信息交互融合（multi-layer information interactive fusion,MLIF）模块和多注意感受野（multi-attention receptive field,MARF）模块构建一个双向细粒度特征金字塔。其中,MLIF模块用于融合不同尺度的特征,不仅能将深层的高级语义特征串联在一起,而且将较浅层的丰富特征进行重塑;MARF由感受野模块（receptive field block,RFB）与注意力机制模块组成,能有效地强调重要特征并抑制冗余特征。此外,为了进一步评估提出方法的性能,在新加坡海事数据集（Singapore maritime dataset,SMD）上进行了实验。实验结果表明,所提方法能有效地解决复杂海洋环境下多尺度船舶检测的难题,且同时满足了实时需求。     

引入自上向下特征融合的小目标检测算法

针对原始SSD(Single Shot Multibox Detector)算法未充分利用各特征层之间关系导致浅层特征层缺乏小目标语义信息的问题,为了提高对小目标的检测能力,提出了一种结合PANet多尺度特征融合网络和自上向下特征融合路径的TTB-SSD(Top to Bottom SSD)改进算法。首先,使用PANet多尺度特征融合网络对特征进行反复提取,从而获得丰富的多尺度语义信息;然后,使用一种深层特征融合模块将浅层特征层的空间信息传递到深层特征层,进而更准确地对小目标进行定位;最后,为了增强浅层特征层的语义信息,构造了自上向下的特征融合路径,从而强化浅层对小目标检测的准确率。实验结果表明,在PASCAL VOC2007测试集检测的mAP(Mean Average Precision)值达到80.5%,对目标的mAP较原始SSD提高了5.7%,证明了该算法对小目标检测的有效性。     

基于深度学习的场景文本检测算法研究

针对自然场景中任意形状文本图像因文本行难以区分导致的信息丢失问题,提出了 一种基于深度学习的场景文本检测算法。首先构建特征提取模块,使用Resnet50作为骨干 网络,在增加跨层连接的金字塔网络结构中引入并联的空洞卷积模块,以提取更多语义信息; 其次,对得到的特征图进行多尺度特征融合,学习不同尺度的特征;最后预测出不同内核大 小的文本实例,并通过尺度扩展逐渐扩大文本行区域,直到得到最终的检测结果。实验结果 表明,该方法在SCUT-CTW1500弯曲文本数据集上的准确率、召回率及F1值分别达到88.5%、 77.0%和81.3%,相比其他基于分割的算法,该算 法对弯曲文本的检测效果良好,具有一定的 应用价值。     

融合多尺度信息和跨维特征引导的轻量行人检测

针对复杂道路场景下行人检测精度与速度难以提升的问题,提出一种融合多尺度信息和跨维特征引导的轻量级行人检测算法。首先以高性能检测器YOLOX为基础框架,构建多尺度轻量卷积并嵌入主干网络中,以获取多尺度特征信息。然后设计了一种端到端的轻量特征引导注意力模块,采用跨维通道加权的方式将空间信息与通道信息融合,引导模型关注行人的可视区域。最后为减少模型在轻量化过程中特征信息的损失,使用增大感受野的深度可分离卷积构建特征融合网络。实验结果表明,相比于其他主流检测算法,所提算法在KITTI数据集上达到了71.03%的检测精度和80 FPS的检测速度,在背景复杂、密集遮挡、尺度不一等场景中都具有较好的鲁棒性和实时性。     

多尺度特征与双注意力机制的高光谱影像分类

针对经典卷积神经网络(convolutional neural network,CNN) 的高光谱影像分类方法存在关键细节特征表现不足、训练需要大量样本等问题,提出一种基于多尺度特征与双注意力机制的高光谱影像分类方法。首先,利用三维卷积提取影像的空谱特征,并采用转置卷积获得特征的细节信息;然后,通过不同尺寸的卷积核运算提取多尺度特征并实现不同感受野下多尺度特征的融合;最后,设计双注意力机制抑制混淆的区域特征,同时突出区分性特征。在两幅高光谱影像上进行的实验结果表明:分别在每类地物中 随机选取10%和0.5%的样本作为训练样本,提出模型的总体分类精度分别提高到99.44%和98.86%;对比一些主流深度学习分类模型,提出模型能够关注于对分类任务贡献最大的关键特征,可以获取更高的分类精度。     

双向特征融合的快速精确任意形状文本检测

现有的基于分割的场景文本检测方法仍较难区分相邻文本区域,同时网络得到分割图后后处理阶段步骤复杂导致模型检测效率较低.为了解决此问题,该文提出一种新颖的基于全卷积网络的场景文本检测模型.首先,该文构造特征提取器对输入图像提取多尺度特征图.其次,使用双向特征融合模块融合两个平行分支特征的语义信息并促进两个分支共同优化.之后,该文通过并行地预测缩小的文本区域图和完整的文本区域图来有效地区分相邻文本.其中前者可以保证不同的文本实例之间具有区分性,而后者能有效地指导网络优化.最后,为了提升文本检测的速度,该文提出一个快速且有效的后处理算法来生成文本边界框.实验结果表明:在相关数据集上,该文所提出的方法均实现了最好的效果,且比目前最好的方法在F-measure指标上最多提升了1.0％,并且可以实现将近实时的速度,充分证明了该方法的有效性和高效性.