融合多粒度信息的文本分类研究

目前对中文文本分类的研究主要集中于对字符粒度、词语粒度、句子粒度、篇章粒度等数据信息的单一模式划分，这往往缺少不同粒度下语义所包含的信息特征。为了更加有效提取文本所要表达的核心内容，提出一种基于注意力机制融合多粒度信息的文本分类模型。该模型对字、词和句子粒度方面构造嵌入向量，其中对字和词粒度采用Word2Vec训练模型将数据转换为字向量和词向量，通过双向长短期记忆网络（bi-directional long short-term memory,BiLSTM）获取字和词粒度向量的上下文语义特征，利用FastText模型提取句子向量中包含的特征，将不同种特征向量分别送入到注意力机制层进一步获取文本重要的语义信息。实验结果表明，该模型在三种公开的中文数据集上的分类准确率比单一粒度和两两粒度结合的分类准确率都有所提高。     

基于轻量型U-net的钢材金相图像晶界分割方法

在金相组织的晶粒度自动化评估工作中,对晶粒边界识别的精准与否直接影响着金相组织晶粒度等级的评估准确度。针对钢材金相图像中晶粒边界密集程度高、边缘复杂且晶粒边界识别准确性低的问题,提出一种基于轻量型U-net卷积神经网络的金相图像晶界分割方法,该轻量型网络模型将浅层特征层用跳跃连接的方式拼接在上采样过程中,使网络学习到更多的有效特征信息;减少了网络层数并在特征提取过程中添加了一次卷积过程,减少了网络参数量并提高了对晶界的预测速度和准确率;实验结果表明,该方法在117张金相图像测试集上像素准确率达到93.91%、特异度为96.73%、灵敏度为81.6%。与传统U-net网络相比,像素准确率提高了0.2%,网络参数量相对减少了61.5%。本方法对金相晶界分割具有有效性和优越性。     

结合多粒度特征融合的自然场景文本检测方法

自然场景下的文本信息通常具有多样性和复杂性的特点.由于采用手工设计特征的方式,传统的自然场景文字检测方法缺乏鲁棒性,而已有的基于深度学习的文本检测方法在各层网络提取特征的过程中存在丢失重要特征信息的问题.文中从多粒度和认知学的角度,提出了一种结合多粒度特征融合的自然场景文本检测方法.该方法的主要贡献是通过对通用特征提取网络的不同粒度特征进行融合,并加入残差通道注意力机制,使得模型在充分学习图像中不同粒度特征信息的基础上,更加关注目标特征信息并抑制无用的信息,提升了模型的鲁棒性和准确率.实验结果表明,相比其他最新的方法,该方法在公开数据集上取得了85.3％的准确率和82.53％的F值,具有更好的性能.     

基于多粒度特征融合的新型图卷积网络用于方面级情感分析

方面级情感分析是情感分析中的细粒度任务,旨在检测给定句子中方面词的情感极性。随着图卷积网络的兴起,通过依赖树构建的图卷积网络模型被广泛用于该任务,并取得了令人满意的效果。但大多数研究只获取图卷积网络最后一层输出作为分类层的输入,忽略了其他层的节点特征,且深层图卷积网络存在节点平滑问题。近年来,有研究者将图卷积网络的多层节点特征进行集成,提高了情感分类模型的性能。文中结合自适应特征融合与高速公路网络,提出了一种基于多粒度特征融合的高速公路图卷积网络模型,用于方面级情感分析。首先,该模型通过句法依赖结构和双向的上下文信息构建图卷积网络;同时,在图卷积网络引入高速公路网络缓解深层图卷积网络过平滑的问题,加深图卷积网络的深度。然后,使用自适应融合机制从不同深度图卷积网络获得多粒度节点信息。最后,在公共数据集上进行实验,实验结果表明,与基准模型相比,所提模型能更好地捕获更多粒度的句法信息和长距离依存关系。     

多特征融合与残差优化的点云语义分割方法

目的 当前的大场景3维点云语义分割方法一般是将大规模点云切成点云块再进行处理。然而在实际计算过程中,切割边界的几何特征容易被破坏,使得分割结果呈现明显的边界现象。因此,迫切需要以原始点云作为输入的高效深度学习网络模型,用于点云的语义分割。方法 为了解决该问题,提出基于多特征融合与残差优化的点云语义分割方法。网络通过一个多特征提取模块来提取每个点的几何结构特征以及语义特征,通过对特征的加权获取特征集合。在此基础上,引入注意力机制优化特征集合,构建特征聚合模块,聚合点云中最具辨别力的特征。最后在特征聚合模块中添加残差块,优化网络训练。最终网络的输出是每个点在数据集中各个类别的置信度。结果 本文提出的残差网络模型在S3DIS （Stanford Large-scale 3D Indoor Spaces Dataset）与户外场景点云分割数据集Semantic3D等2个数据集上与当前的主流算法进行了分割精度的对比。在S3DIS数据集中,本文算法在全局准确率以及平均准确率上均取得了较高精度,分别为87.2%,81.7%。在Semantic3D数据集上,本文算法在全局准确率和平均交并比上均取得了较高精度,分别为93.5%,74.0%,比GACNet （graph attention convolution network）分别高1.6%,3.2%。结论 实验结果验证了本文提出的残差优化网络在大规模点云语义分割的应用中,可以缓解深层次特征提取过程中梯度消失和网络过拟合现象并保持良好的分割性能。     

结合上下文特征与CNN多层特征融合的语义分割

目的 针对基于区域的语义分割方法在进行语义分割时容易缺失细节信息,造成图像语义分割结果粗糙、准确度低的问题,提出结合上下文特征与卷积神经网络（CNN）多层特征融合的语义分割方法。方法 首先,采用选择搜索方法从图像中生成不同尺度的候选区域,得到区域特征掩膜;其次,采用卷积神经网络提取每个区域的特征,并行融合高层特征与低层特征。由于不同层提取的特征图大小不同,采用RefineNet模型将不同分辨率的特征图进行融合;最后将区域特征掩膜和融合后的特征图输入到自由形式感兴趣区域池化层,经过softmax分类层得到图像的像素级分类标签。结果 采用上下文特征与CNN多层特征融合作为算法的基本框架,得到了较好的性能,实验内容主要包括CNN多层特征融合、结合背景信息和融合特征以及dropout值对实验结果的影响分析,在Siftflow数据集上进行测试,像素准确率达到82.3%,平均准确率达到63.1%。与当前基于区域的端到端语义分割模型相比,像素准确率提高了10.6%,平均准确率提高了0.6%。结论 本文算法结合了区域的前景信息和上下文信息,充分利用了区域的语境信息,采用弃权原则降低网络的参数量,避免过拟合,同时利用RefineNet网络模型对CNN多层特征进行融合,有效地将图像的多层细节信息用于分割,增强了模型对于区域中小目标物体的判别能力,对于有遮挡和复杂背景的图像表现出较好的分割效果。     

基于多粒度与自修复融合的人脸表情识别

为有效提取和融合表情多粒度特征信息，降低自然场景人脸表情数据集存在不确定性和错误数据等因素致使准确率难以满足现实需求的问题，基于深度卷积神经网络提出多粒度与自修复融合的表情识别模型。采用拼图生成器生成不同粒度图像，利用渐进式的训练过程学习不同粒度图像之间互补的特征信息，采用自修复方法避免网络过度拟合错误样本图像，对错误样本进行重新标注。在AffectNet数据集和RAF-DB数据集上准确率分别达到了63.94%和87.10%,实验结果表明，该模型具有较高的准确率和良好的鲁棒性。     

基于MLDCSAU-Net的视网膜图像血管分割算法

视网膜图像中血管的准确分割有助于对眼部病变的观察。为了提高视网膜图像血管分割精度和特征信息复用率以及精简模型,从网络框架入手,提出一种结合DCSAU-Net、多尺度信息融合模块以及Ghost模块的视网膜图像血管分割模型——MLDCSAU-Net模型。模型改进主要包括两个方面：首先在跳跃连接之后引入多尺度信息融合模块;其次编码器端使用Ghost模块替换编码器端的CSA模块。实验结果表明：多尺度信息融合模块对于模型的分割准确率有较大提升;Ghost模块有效减少了模型参数量。在STARE、CHASEDB1和HRF三个公开数据集中MLDCSAU-Net模型的准确率、查准率、查全率和F1分数均高于原模型,同时参数量更少。     

融合多粒度特征的细粒度图像分类网络

在细粒度图像分类任务中，巨大的类内方差决定了该任务的分类依赖于粗粒度和细粒度信息.最近的工作主要关注于如何定位不同粒度的辨别性局部来解决这个问题.然而，在如何选择具有辨别性的粒度以及融合多粒度特征方面，现有的工作还缺乏一定研究.因此，本文提出了一个融合多粒度特征的细粒度图像分类网络，首先通过一个局部错位模块选择细粒度图像中的不同粒度，然后引入注意力机制定位它们并提取其多粒度特征，并且通过迭代学习的方式提取多粒度间的互补信息，最后采用可变形卷积融合这些多粒度特征，从而实现细粒度图像分类.本文所提出的方法在CUB-200-2011、FGVC-Aircraft和Stanford Cars三个数据集上准确率分别达到88.6%、93.6%和94.8%,这表明本文的方法能够获得优秀的分类性能.     

基于注意力感知和语义感知的RGB-D室内图像语义分割算法

近年来,全卷积神经网络有效提升了语义分割任务的准确率.然而,由于室内环境的复杂性,室内场景语义分割仍然是一个具有挑战性的问题.随着深度传感器的出现,人们开始考虑利用深度信息提升语义分割效果.以往的研究大多简单地使用等权值的拼接或求和操作来融合RGB特征和深度特征,未能充分利用RGB特征与深度特征之间的互补信息.本文提出一种基于注意力感知和语义感知的网络模型ASNet(Attention-aware and Semantic-aware Network).通过引入注意力感知多模态融合模块和语义感知多模态融合模块,有效地融合多层次的RGB特征和深度特征.其中,在注意力感知多模态融合模块中,本文设计了一种跨模态注意力机制,RGB特征和深度特征利用互补信息相互指导和优化,从而提取富含空间位置信息的特征表示.另外,语义感知多模态融合模块通过整合语义相关的RGB特征通道和深度特征通道,建模多模态特征之间的语义依赖关系,提取更精确的语义特征表示.本文将这两个多模态融合模块整合到一个带有跳跃连接的双分支编码-解码网络模型中.同时,网络在训练时采用深层监督策略,在多个解码层上进行监督学习.在公开数据集上的实验结果表明,本文算法优于现有的RGB-D图像语义分割算法,在平均精度和平均交并比上分别比近期算法提高了1.9%和1.2%.     

多尺度注意力引导的全景分割网络

全景分割是近年来新提出的图像分割任务。现有全景分割模型大都对前景实例对象和背景未定形区采用不同的方式进行特征表示,因此需要额外的后处理和融合操作来处理各种实例重叠和语义冲突问题。全卷积全景分割网络实现了统一的特征表示,省去了这些复杂操作,但其对于前景实例对象的分割准确率不高,对图像中远距离小目标的分割效果不是很理想。针对这些问题,基于全卷积全景分割网络进行改进优化,提出一种多尺度注意力引导的全景分割网络。首先改进特征提取网络,通过在主干网中添加一条自底向上的辅助路径来增强模型的多尺度特征获取能力。其次提出一种注意力模块,通过将空洞空间金字塔池化与通道注意力融合,来引导卷积核更新,生成更匹配的权重。在Cityscapes数据集上与全卷积全景分割网络进行对比实验,图像实例级全景分割质量提高了2.74个百分点,背景未定形区全景分割质量和综合全景分割质量分别提高了1.36个百分点和1.94个百分点,对于交通灯和摩托车等小物体的类别检测准确率分别提高了4.4个百分点和8.3个百分点。提出的全景分割网络综合了全卷积全景分割网络、多尺度特征及注意力机制的优点,使得图像实例级全景分割准确率更高。     

基于多尺度特征融合模型的遥感图像建筑物分割

针对传统深度网络模型难以精确提取建筑物边缘轮廓特征及对不同尺寸建筑物无法自适应提取的问题,提出一种膨胀卷积特征提取的多尺度特征融合深度神经网络模型(Multiscale-feature fusion Deep Neural Networks with dilated convolution,MDNNet)对遥感图像建筑物自动分割的方法。首先在ResNet101模型中引入膨胀卷积扩大提取视野保留更多特征图像分辨率;其次利用多尺度特征融合模块获取多个尺度的建筑物特征并将不同尺度的特征融合;最终利用特征解码模块将特征图恢复到原始输入图像尺寸,实现遥感图像建筑物精确分割。在WHU遥感图像数据集的实验结果表明,提出模型有效克服道路、树木和阴影等因素影响,分割结果有效保留建筑物边界细节信息,有效提升分割精度,像素准确率PA达到0.864,平均交并比mIoU达到0.815,召回率Recall达到0.862。     

改进多尺度残差网络病害叶片图像识别

针对农作物病害图像识别模型存在参数量较大内存占用较多、识别准确率不高及训练速度慢等问题,提出了融合注意力模块的多尺度卷积网络叶片病害图像识别模型。该网络模型基于残差网络模块,利用多尺度卷积取代了传统的单尺度卷积,使得网络加宽以获取更多的特征信息,避免网络堆叠过深引起的过拟合现象;同时为了加快模型训练速度,采用深度可分离卷积代替传统卷积减少模型参数量;将注意力机制引入到残差网络中,增强了模型的关键特征信息的提取能力,从而提高了模型的识别精度。通过对试验数据集进行对比试验,改进网络模型的识别准确率达到99.48%并且模型参数量仅有19.06 MB,试验结果表明所提出的方法能有效地提高模型的识别性能并降低模型参数量,为实现低成本终端运行奠定基础。     

改进HED网络的金属零件二维条码分割方法

针对复杂环境金属件标刻的DM码因磨损、腐蚀等原因，导致传统图像分割算法难以精确定位的问题，提出一种基于改进HED网络的金属零件二维条码分割方法。在原HED网络上对主干特征提取网络改进，采用空洞卷积扩大感受野保留DM码全局信息；改变特征融合模块，增加两层卷积运算充分融合深监督模块输出的多尺度特征，提取区域轮廓完成DM码区域分割；使用LSD算法寻找区域分割图中的直线，经过直线聚类减少非感兴趣直线产生的干扰，实现二维条码区域精确分割定位。实验结果表明，该模型在全局最佳(ODS)和单图最佳(OIS)精度评定中F1值分别达到0.813和0.825,平均定位准确率达到97%。     

一种改进的室内场景语义分割网络

针对目前室内场景语义分割网络无法很好融合图像的RGB信息和深度信息的问题,提出一种改进的室内场景语义分割网络。为使网络能够有选择性地融合图像的深度特征和RGB特征,引入注意力机制的思想,设计了特征融合模块。该模块能够根据深度特征图和RGB特征图的特点,学习性地调整网络参数,更有效地对深度特征和RGB特征进行融合;同时使用多尺度联合训练,加速网络收敛,提高分割准确率。通过在SUNRGB-D和NYUDV2数据集上验证,相比于包含深度敏感全连接条件随机场的RGB-D全卷积神经网络（DFCN-DCRF）、深度感知卷积神经网络（Depth-aware CNN）、多路径精炼网络（RefineNet）等目前主流的语义分割网络,所提网络具有更高的分割精度,平均交并比（mIoU）分别达到46.6%和48.0%。     

多尺度特征金字塔融合的街景图像语义分割

针对街景图像语义分割任务中的目标尺寸差异大、多尺度特征难以高效提取的问题, 本文提出了一种语义分割网络(LDPANet). 首先, 将空洞卷积与引入残差学习单元的深度可分离卷积结合, 来优化编码器结构, 在降低了计算复杂度的同时缓解梯度消失的问题. 然后利用层传递的迭代空洞空间金字塔, 将自顶向下的特征信息依次融合, 提高了上下文信息的有效交互能力; 在多尺度特征融合之后引入属性注意力模块, 使网络抑制冗余信息, 强化重要特征. 再者, 以通道扩展上采样代替双线插值上采样作为解码器, 进一步提升了特征图的分辨率. 最后, LDPANet方法在Cityscapes和CamVid数据集上的精度分别达到了91.8%和87.52%, 与近几年网络模型相比, 本文网络模型可以精确地提取像素的位置信息以及空间维度信息, 提高了语义分割的准确率.     

基于编解码结构的多特征融合眼底图像分割

为解决现有眼底图像分割方法对于细微血管存在低分割精度和低准确率的问题,提出一种基于编解码结构的U-Net改进网络模型。首先对数据进行预处理与扩充,提取绿色通道图像,并将其通过对比度限制直方图均衡化和伽马变换以增强对比度;其次训练集被输入到用于分割的神经网络中,在编码过程加入残差模块,用短跳跃连接将高、低特征信息融合,并利用空洞卷积增加感受野,解码模块加入注意力机制增加对细微血管分割精度;最后利用训练完成的分割模型进行预测得出视网膜血管分割结果。在DRIVE和CHASE-DB1眼底图像数据集上进行对比实验,模型算法的平均准确率、特异性和灵敏度分别达到96.77%和97.22%、98.74%和98.40%、80.93%和81.12%。实验结果表明该算法能够改善微细血管分割准确率及效率不高的问题,对视网膜血管可以进行更准确的分割。     

融合卷积与自注意力机制的基因型填补算法

基因型填补可以通过填补估算出在基因测序数据中未覆盖的样本区域弥补因技术限制导致的缺失，但现有的基于深度学习的填补方法不能有效捕捉到全序列位点间的连锁关系，造成整体填补准确率低、批量序列填补准确率分散等问题。针对这些问题提出一种融合卷积与自注意力机制的填补方法——FCSA，使用两种融合模块构成编解码器组建网络模型。编码器融合模块使用自注意力层得到全序列位点间的关联度，将该关联度融合到全局位点后再通过卷积层提取局部特征；解码器融合模块使用卷积对编码后的低维向量进行局部特征重建，应用自注意力层对全序列建模并融合。使用多物种的动物基因数据进行模型训练，并在Dog、Pig和Chicken数据集上进行比较验证，结果表明，与SCDA(Sparse Convolutional Denoising Autoencoders)、AGIC(Autoencoder Genome Imputation and Compression)和U-net相比，FCSA在10%、20%和30%缺失率下的平均填补准确率均取得了最高值，且批量序列填补准确率的分散程度较小；消融实验的结果也表明，这两种融合模块的设计能够有效提升...     

基于知识粒度的图像分割新算法

为有效解决粗糙理论在边界域不能够变化因而无法适应图像信息复杂空间的相关性和不确定性的问题,提出基于变精度分层粒度模型的图像分割算法。以知识粒度为基础,引入分类误差精度,构造出具有不同置信阈值和分类质量的图像粒度结构;根据分割精度要求,确定单元粒度层,在该粒度层分析不同灰度级的重要度,进行相应的灰度核计算;通过差异度指数定义等价关系,实现相似区域合并,完成图像分割。分割实验结果表明,该算法降低了图像信息和时间的复杂度,提高了图像分割的并行性,为知识粒度在图像处理中的应用提供了新思路。     

多尺度特征融合的脊柱X线图像分割方法

为了精确地从X线图像中分割脊柱,提出了一种基于深度学习的脊柱X线图像分割方法,使用基于多尺度特征融合的U-Net网络进行分割。将U-Net模型中的卷积层替换成类Inception网络来提取不同尺度的特征,并进行多尺度融合。同时在跳跃连接前增加残差连接层,并在首次上采样前添加卷积块注意力模块。该模型对20幅脊柱X线图像进行验证,Dice系数为0.845 7,与近期X线脊柱图像分割方法相比,提高了0.135 1。