基于注意力机制的多方向文本检测

针对多方向排列的文本因其尺度变化大、复杂背景干扰而导致检测效果仍不甚理想的问题,本文提出了一种基于注意力机制的多方向文本检测方法。首先,考虑到自然场景下干扰信息多,构建文本特征提取网络(text feature information ResNet50,TF-ResNet),对图像中的文本特征信息进行提取;其次,在特征融合模型中加入文本注意模块(text attention module, TAM),抑制无关信息的同时突出显示文本信息,以增强文本特征之间的潜在联系;最后,采用渐进扩展模块,逐步融合扩展前部分得到的多个不同尺度的分割结果,以获得精确检测结果。本文方法在数据集CTW1500、ICDAR2015上进行实验验证和分析,其F值分别达到80.4%和83.0%,比次优方法分别提升了2.0%和2.4%,表明该方法在多方向文本检测上与其他方法相比具备一定的竞争力。     

基于LFN的自然场景文本检测

在自然场景文本检测领域,现有的深度学习网络仍存在文本误检、漏检、定位不准确的情况.针对这一问题,本文设计出一种基于大感受野特征网络(Large Receptive Field Feature Network,LFN)的文本检测算法.首先选取速度和准确度更好的轻量级主干网络ShuffleNet V2,并加入细粒度特征融合模块以获取更多隐藏的文本特征信息;再通过分析不同尺度的特征图感受野不同,并对比不同尺度的特征图进行归一化后得到的特征图尺寸对结果的影响,构造了双融合特征提取模块,对输入图像提取多尺度特征以减少文本特征丢失,增大感受野;最后为处理正负样本失衡的问题,在可微二值化模块中引入Dice Loss,增加文本定位的准确度.在ICDAR2015和CTW1500数据集上的实验表明,该网络无论是在性能还是速度上对文本检测效果都有显著提升.其中在ICDAR2015数据集上F1为86.1%,较性能最优的PSENet网络提升了0.4%,速度达到了50 fps,较速度最快的DBNet网络提升了约1.92倍,在CTW1500数据集上F1为83.2%,较PSENet网络提升了1%,速度达到了35 fp...     

基于深度学习的街景下的文本检测

针对自然街景文本角度倾斜、形状弯曲、长度不定等特点,提出一种基于注意力机制的自然街景文本检测方法,通过利用注意力机制的优势,对主干网络提取的特征进行加权融合,从而提升整体网络的检测性能.首先,针对特征金字塔（FPN）横向连接中特征信息丢失的问题,引入注意力融合模块AFFM(Attention Feature Fusion Module),通过计算高维和低维特征的融合权重,来改进原FPN中简单直接相加的特征融合方式,从而减少FPN特征融合过程中文本信息丢失,增强网络的特征提取能力.其次,针对不同尺度特征图中的文本特征,引入一个子空间注意力模块SAM(Subspace Attention Module),通过将多尺度融合特征图按通道划分为数个子空间特征图,分别学习每个子空间中的文本特征权重,使得融合后的特征图包含更多不同尺度的文本特征,从而增强融合特征图对文本实例的表征能力,进而提升网络的检测效果.在公开数据集Total-Text上对模型进行评估,实验结果表明,该算法与目前快速高效的DBNet相比,准确率、召回率和F值分别提高了0.5%、0.4%和0.4%.     

基于注意力机制特征融合与增强的自然场景文本检测

为了解决自然场景文本检测中由于文本实例分布随机、形态与尺度多样造成的检测难题,设计了一种基于注意力机制特征融合与增强的自然场景文本检测算法。利用注意力机制对有效特征提取的优势,在模型的解码融合阶段设计并引入了一种基于注意力的特征融合模块(Attention-based Feature Fusion Module, AFFM),利用空间和通道注意力分别为高层特征和低层特征引入更丰富的细节和全局信息,进一步提高了检测的准确率;设计了联合注意力特征增强模块(Joint Attention Feature Enhancement Module, JAM),利用卷积对级联后的特征在不同通道之间、空间位置间的联系建模,并生成联合特征权重mask对级联特征做加权,从而提高信息的表征能力,有效减少误检与漏检。在Total-Text和ICDAR2015两个数据集上对模型做评估,测试结果表明,该方法的F1综合指标分别达到了85.1%和87.6%,均优于当前主流算法。     

基于双重注意力和多尺度特征融合的场景文本检测算法

本文提出了一种场景文本检测方法,用于应对复杂自然场景中文本检测的挑战。该方法采用了双重注意力和多尺度特征融合的策略,通过双重注意力融合机制增强了文本特征通道之间的关联性,提升了整体检测性能。在考虑到深层特征图上下采样可能引发的语义信息损失的基础上,提出了空洞卷积多尺度特征融合金字塔(dilated convolution multi-scale feature fusion pyramid structure, MFPN),它采用双融合机制来增强语义特征,有助于加强语义特征,克服尺度变化的影响。针对不同密度信息融合引发的语义冲突和多尺度特征表达受限问题,创新性地引入了多尺度特征融合模块(multi-scale feature fusion module, MFFM)。此外,针对容易被冲突信息掩盖的小文本问题,引入了特征细化模块(feature refinement module, FRM)。实验表明,本文的方法对复杂场景中文本检测有效,其F值在CTW1500、ICDAR2015和Total-Text 3个数据集上分别达到了85.6%、87.1%和86.3%。     

具有自校正与注意力机制相结合的场景文本检测北大核心CSCD

在日常生活中,存在着丰富的文本信息,对这些信息的提取,能够极大地提高人们的生活品质。但自然场景中文本信息表达形式丰富多样,文本形状各异,在检测过程中存在误检、文本区域定位不准问题。针对以上不足,本文提出了一种具有自校正与注意力机制相结合的文本检测方法。首先,在ResNet50骨干网络中嵌入自校正卷积(self-calibrated convolution, SConv)及高效通道注意力(efficient channel attention, ECA),使网络能够校正全局无关信息的干扰,并集中关注于文本区域,提取更加丰富的语义信息;其次,在特征融合后加入协调注意力(coordinate attention, CA),纠正不同尺度的特征图在融合过程中产生的位置偏差。最后,通过修正后的特征图预测得到多个不同尺度的文本实例,采用渐进尺度扩展算法,求出最终检测到的文本实例。实验结果表明,在任意方向数据集ICDAR2015以及弯曲文本数据集Total-Text、SCUT-CTW1500上,相比于改进前的ResNet50综合指标F值分别提升了1.0%、5.2%、5.4%,证明了本方法具有良好的检测能力。     

多尺度语义信息融合的目标检测

针对当前目标检测算法对小目标及密集目标检测效果差的问题,该文在融合多种特征和增强浅层特征表征能力的基础上提出了浅层特征增强网络(SEFN),首先将特征提取网络VGG16中Conv4_3层和Conv5_3层提取的特征进行融合形成基础融合特征;然后将基础融合特征输入到小型的多尺度语义信息融合模块中,得到具有丰富上下文信息和空间细节信息的语义特征,同时把语义特征和基础融合特征经过特征重利用模块获得浅层增强特征;最后基于浅层增强特征进行一系列卷积获取多个不同尺度的特征,并输入各检测分支进行检测,利用非极大值抑制算法实现最终的检测结果。在PASCAL VOC2007和MS COCO2014数据集上进行测试,模型的平均精度均值分别为81.2%和33.7%,相对于经典的单极多盒检测器(SSD)算法,分别提高了2.7%和4.9%;此外,该文方法在检测小目标和密集目标场景上,检测精度和召回率都有显著提升。实验结果表明该文算法采用特征金字塔结构增强了浅层特征的语义信息,并利用特征重利用模块有效保留了浅层的细节信息用于检测,增强了模型对小目标和密集目标的检测效果。     

双向特征融合的快速精确任意形状文本检测

现有的基于分割的场景文本检测方法仍较难区分相邻文本区域,同时网络得到分割图后后处理阶段步骤复杂导致模型检测效率较低.为了解决此问题,该文提出一种新颖的基于全卷积网络的场景文本检测模型.首先,该文构造特征提取器对输入图像提取多尺度特征图.其次,使用双向特征融合模块融合两个平行分支特征的语义信息并促进两个分支共同优化.之后...     

基于Transformer解码的端到端场景文本检测与识别算法

针对任意形状的场景文本检测与识别，提出一种新的端到端场景文本检测与识别算法。首先，引入了文本感知模块基于分割思想的检测分支从卷积网络提取的视觉特征中完成场景文本的检测；然后，由基于Transformer视觉模块和Transformer语言模块组成的识别分支对检测结果进行文本特征的编码；最后，由识别分支中的融合门融合编码的文本特征，输出场景文本。在Total-Text、ICDAR2013和ICDAR2015基准数据集上进行的实验结果表明，所提算法在召回率、准确率和F值上均表现出了优秀的性能，且时间效率具有一定的优势。     

基于字符注意力的自然场景文本识别

自然场景文本识别中采用固定大小的卷积核提取视觉特征,后仅进行字符分类的方法,其全局建模能力弱且忽视了文本语义建模的重要性,因此,本文提出一种基于字符注意力的自然场景文本识别方法。首先构建不同于卷积网络的多级efficient Swin Transformer提取特征,其可使不同窗口的特征进行信息交互;其次设计了字符注意力模块(character attention module, CAM),使网络专注于字符区域的特征,以提取识别度更高的视觉特征;并设计语义推理模块(semantic reasoning module, SRM),根据字符的上下文信息对文本序列进行建模,获得语义特征来纠正不易区分或模糊的字符;最后融合视觉和语义特征,分类得到字符识别结果。实验结果表明,在规则文本数据集IC13上识别准确率达到了95.2%,在不规则的弯曲文本数据集CUTE上达到了85.8%,通过消融及对比实验证明了本文提出的方法可行。     

特征增强和双线性特征向量融合的移动端工业货箱文本检测

在实际工业环境下,光线昏暗、文本不规整、设备有限等因素,使得文本检测成为一项具有挑战性的任务。针对此问题,设计了一种基于双线性操作的特征向量融合模块,并联合特征增强与半卷积组成轻量级文本检测网络RGFFD（ResNet18+GhostModule+特征金字塔增强模块（feature pyramid enhancement module, FPEM）+ 特征融合模块（feature fusion module,FFM）+可微分二值化（differenttiable binarization,DB））。其中,Ghost模块内嵌特征增强模块,提升特征提取能力,双线性特征向量融合模块融合多尺度信息,添加自适应阈值分割算法提高DB模块分割能力。在实际工厂环境下,采用嵌入式设备UP2 board对货箱编号进行文本检测,RGFFD检测速度达到6.5 f/s。同时在公共数据集ICDAR2015、Total-text上检测速度分别达到39.6 f/s和49.6 f/s,在自定义数据集上准确率达到88.9%,检测速度为30.7 f/s。     

融合多尺度信息和跨维特征引导的轻量行人检测

针对复杂道路场景下行人检测精度与速度难以提升的问题,提出一种融合多尺度信息和跨维特征引导的轻量级行人检测算法。首先以高性能检测器YOLOX为基础框架,构建多尺度轻量卷积并嵌入主干网络中,以获取多尺度特征信息。然后设计了一种端到端的轻量特征引导注意力模块,采用跨维通道加权的方式将空间信息与通道信息融合,引导模型关注行人的可视区域。最后为减少模型在轻量化过程中特征信息的损失,使用增大感受野的深度可分离卷积构建特征融合网络。实验结果表明,相比于其他主流检测算法,所提算法在KITTI数据集上达到了71.03%的检测精度和80 FPS的检测速度,在背景复杂、密集遮挡、尺度不一等场景中都具有较好的鲁棒性和实时性。     

双向特征融合的快速精确任意形状文本检测

现有的基于分割的场景文本检测方法仍较难区分相邻文本区域,同时网络得到分割图后后处理阶段步骤复杂导致模型检测效率较低.为了解决此问题,该文提出一种新颖的基于全卷积网络的场景文本检测模型.首先,该文构造特征提取器对输入图像提取多尺度特征图.其次,使用双向特征融合模块融合两个平行分支特征的语义信息并促进两个分支共同优化.之后,该文通过并行地预测缩小的文本区域图和完整的文本区域图来有效地区分相邻文本.其中前者可以保证不同的文本实例之间具有区分性,而后者能有效地指导网络优化.最后,为了提升文本检测的速度,该文提出一个快速且有效的后处理算法来生成文本边界框.实验结果表明:在相关数据集上,该文所提出的方法均实现了最好的效果,且比目前最好的方法在F-measure指标上最多提升了1.0％,并且可以实现将近实时的速度,充分证明了该方法的有效性和高效性.     

基于多残差学习与注意力融合的中值滤波检测

针对小尺寸JPEG压缩图像携带有效信息较少、中值滤波痕迹不明显的问题,提出一种基于多残差学习与注意力融合的图像中值滤波检测算法。该算法将多个高通滤波器与注意力模块相结合,获取带权值的多残差特征图作为特征提取层的输入,特征提取层采用分组卷积形式,对输入的多残差特征图进行多尺度特征提取,融合不同尺度的特征信息,同时采用密集连接方式,每一层卷积的输入来自前面所有卷积层的输出和。实验结果表明,针对小尺寸JPEG压缩图像的中值滤波检测,本文算法比现有算法具有更高的检测精度,且能更有效地检测与定位局部篡改区域。     

基于特征增强模块的小尺度行人检测

行人检测中,小尺度行人时常被漏检、误检。为了提升小尺度行人的检测准确率并且降低其漏检率,该文提出一个特征增强模块。首先,考虑到小尺度行人随着网络加深特征逐渐减少的问题,特征融合策略突破特征金字塔层级结构的约束,融合深层、浅层特征图,保留了大量小尺度行人特征。然后,考虑到小尺度行人特征容易与背景信息发生混淆的问题,通过自注意力模块联合通道注意力模块建模特征图空间、通道关联性,利用小尺度行人上下文信息和通道信息,增强了小尺度行人特征并且抑制了背景信息。最后,基于特征增强模块构建了一个小尺度行人检测器。所提方法在CrowdHuman数据集中小尺度行人的检测准确率为19.8%,检测速度为22帧/s,在CityPersons数据集中小尺度行人的误检率为13.1%。结果表明该方法对于小尺度行人的检测效果优于其他对比算法且实现了较快的检测速度。     

基于多级特征选择的自然场景文本识别算法

针对现有场景文本识别方法只关注局部序列字符 分类,而忽略了整个单词全局信息的问题,提出 了一种多级特征选择的场景文本识别(multilevel feature selection scene text recogn ition,MFSSTR)算 法。该算法使用堆叠块体系结构,利用多级特征选择模块在视觉特征中分别捕获上下文特征 和语义特 征。在字符预测过程中提出一种新颖的多级注意力选择解码器(multilevel attention sele ction decoder, MASD),将视觉特征、上下文特征和语义特征拼接成一个新的特征空间,通过自注意力机制 将新的特征 空间重新加权,在关注特征序列的内部联系的同时,选择更有价值的特征并参与解码预测, 同时在训练 过程中引入中间监督,逐渐细化文本预测。实验结果表明,本文算法在多个公共场景文本 数据集上识 别准确率能达到较高水平,特别是在不规则文本数据集SVTP上准确率能达到87.1%,相比于当前热门算法提升了约2%。     

基于YOLACT与Transformer相结合的实例分割算法研究

为提高单阶段实例分割的检测精度和改善小目标漏检、错检情况,提出一种基于YOLACT改进的YOLACTR算法。该算法首先利用CNN与Transformer相结合,设计一种新的头部预测网络,对特征进一步提取,并使用双向注意力来关联同一实例的掩码信息并区分不同实例之间的掩码特征,注重特征点周围的关联信息,使得检测框的预测更加准确;然后利用多级上采样和设计的CS注意力模块结合形成掩码分支,使其融入多种不同尺度信息,并利用CS注意力来关注不同的尺度信息。在MS COCO数据上,YOLACTR算法与YOLACT算法相比,其边框和掩码检测精度分别提升了7.4%和2.9%,在小目标检测上分别提升了18.9%和13.5%。实验表明,YOLACTR算法可以在多目标复杂场景下,提升检测和分割精度以及分类的准确度,改善小目标和重叠目标漏检、错检的问题。     

基于残差神经网络的道路提取算法研究

针对遥感图像道路提取信息丢失问题,提出了一种基于残差神经网络的道路提取算法。首先构建编码器 解码器网络,结合预编码器以及空洞卷积模块进行训练,提取更多的语义信息;其次并联设计的空洞卷积模块加在编码器 解码器结构的中间部分,它可以对不同感受野的特征图进行特征提取;最后编码器 解码器之间采用跳连的方式进行多尺度的特征融合,学习更多低维和高维的特征。实验结果表明,在Massachusetts道路数据集上,该方法相比其他算法在Preci sion、Recall和F1 score性能指标上分别有11%、0.3%和7.4%的提升;同时在Accuracy指标上也达到了97.9%,相比于其他算法,该算法有一定的应用价值。     

FD-SSD: An improved SSD object detection algorithm based on feature fusion and dilated convolution

Objects that occupy a small portion of an image or a frame contain fewer pixels and contains less information. This makes small object detection a challenging task in computer vision. In this paper, an improved Single Shot multi-box Detector based on feature fusion and dilated convolution (FD-SSD) is proposed to solve the problem that small objects are difficult to detect. The proposed network uses VGG-16 as the backbone network, which mainly includes a multi-layer feature fusion module and a multi-branch residual dilated convolution module. In the multi-layer feature fusion module, the last two layers of the feature map are up-sampled, and then they are concatenated at the channel level with the shallow feature map to enhance the semantic information of the shallow feature map. In the multi-branch residual dilated convolution module, three dilated convolutions with different dilated ratios based on the residual network are combined to obtain the multi-scale context information of the feature without losing the original resolution of the feature map. In addition, deformable convolution is added to each detection layer to better adapt to the shape of small objects. The proposed FD-SSD achieved 79.1% mAP and 29.7% mAP on PASCAL VOC2007 dataset and MS COCO dataset respectively. Experimental results show that FD-SSD can effectively improve the utilization of multi-scale information of small objects, thus significantly improve the effect of the small object detection.