基于注意力机制与Swin Transformer模型的腰椎图像分割方法

腰椎图像的精确分割是腰椎间盘疾病自动化诊断的重要前提,现有的分割方法在实际应用于分割任务时仍然存在无法精确分割的问题.对此,本文提出了一种基于注意力机制与Swin Transformer模型的腰椎图像分割网络模型.该模型在卷积网络中引入Swin Transformer模型,使用移动窗口的Transformer模块对卷积提取的高层语义信息进行全局信息建模;然后使用注意力机制对上采样过程中跳过连接中传递的低级特征施加权重,去除背景信息,最终实现腰椎图像的精细分割.实验结果表明,本文的腰椎图像分割方法相似度系数指标达到91.18％,性能优于UNet及其变型网络模型.     

基于注意力机制的轻量级RGB-D图像语义分割网络

目的针对卷积神经网络在RGB-D(彩色-深度)图像中进行语义分割任务时模型参数量大且分割精度不高的问题,提出一种融合高效通道注意力机制的轻量级语义分割网络。方法文中网络基于RefineNet,利用深度可分离卷积(Depthwiseseparableconvolution)来轻量化网络模型,并在编码网络和解码网络中分别融合高效的通道注意力机制。首先RGB-D图像通过带有通道注意力机制的编码器网络,分别对RGB图像和深度图像进行特征提取;然后经过融合模块将2种特征进行多维度融合;最后融合特征经过轻量化的解码器网络得到分割结果,并与RefineNet等6种网络的分割结果进行对比分析。结果对提出的算法在语义分割网络常用公开数据集上进行了实验,实验结果显示文中网络模型参数为90.41 MB,且平均交并比(mIoU)比RefineNet网络提高了1.7%,达到了45.3%。结论实验结果表明,文中网络在参数量大幅减少的情况下还能提高了语义分割精度。     

基于多残差网络的遥感图像语义分割方法

高分辨率遥感图像含有许多较为复杂的地物信息,对其进行的语义分割存在分割精度低、分割边界模糊等问题.本文提出一种新型的多尺度语义分割网络模型,旨在提高遥感图像语义分割精度.该模型为编码—解码(Encoder-Decoder)网络结构,编码器利用残差网络对图像特征进行提取;解码器利用反卷积进行上采样;残差连接将提取到的高级...     

基于DeepLabv3+的图像语义分割优化方法

目的为了实现良好的图像语义分割精度,同时尽可能降低网络的参数量,加快网络训练速度,提出基于DeepLabv3+的图像语义分割优化方法。方法编码器主干网络增加注意力机制模块,并采用更密集的特征池化模块有效聚合多尺度特征,同时使用深度可分离卷积降低网络计算复杂度。结果基于CamVid数据集的对比实验显示,优化后网络的MIoU分数达到了71.03%,在像素精度、平均像素精度等其他方面的评价指标上较原网络有小幅提升,并且网络参数量降低了12%。在Cityscapes的测试数据集上的MIoU分数为75.1%。结论实验结果表明,优化后的网络能够有效提取图像特征信息,提高语义分割精度,同时降低模型复杂度。文中网络使用城市道路场景数据集进行测试,可以为今后的无人驾驶技术的应用提供参考,具有一定的实际意义。     

融合Swin Transformer的立体匹配方法STransMNet

针对基于CNN的立体匹配方法中特征提取难以较好学习全局和远程上下文信息的问题，提出一种基于Swin Transformer的立体匹配网络改进模型(stereo matching net with swin transformer fusion,STransMNet)。分析了在立体匹配过程中，聚合局部和全局上下文信息的必要性和匹配特征的差异性。改进了特征提取模块，把基于CNN的方法替换为基于Transformer的Swin Transformer方法；并在Swin Transformer中加入多尺度特征融合模块，使得输出特征同时包含浅层和深层语义信息；通过提出特征差异化损失改进了损失函数，以增强模型对细节的注意力。最后，在多个公开数据集上与STTR-light模型进行了对比实验，误差(End-Point-Error,EPE)和匹配错误率3 px error均有明显降低。     

自适应特征融合级联Transformer视网膜血管分割算法

针对眼底视网膜分割存在病理伪影干扰、微小血管分割不完全和血管前景与非血管背景对比度低等问题,本文提出一种自适应特征融合级联Transformer视网膜血管分割算法。该算法首先通过限制对比度直方图均衡化和Gamma校正等方法进行图像预处理,以增强血管纹理特征;其次在编码部分设计自适应增强注意模块,降低计算冗余度同时消除视网膜背景图像噪声;然后在编解码结构底部加入级联群体Transformer模块,建立血管特征长短距离依赖;最后在解码部分引入门控特征融合模块,实现编解码语义融合,提升视网膜血管分割光滑度。在公共数据集DRIVE、CHASE＿DB1和STARE上进行验证,准确率达到97.09%、97.60%和97.57%,灵敏度达到80.38%、81.05%和80.32%,特异性达到98.69%、98.71%和98.99%。实验结果表明,本文算法总体性能优于现有大多数先进算法,对临床眼科疾病的诊断具有一定应用价值。     

基于Transformer的多尺度物体检测

目前,Transformer基本模型对同一场景内不同尺寸物体的检测能力不足,其主要原因为各层等尺度的输入嵌入无法提取跨尺度特征,导致网络不具备在不同尺度的特征之间建立交互的能力。基于此,提出一种基于Transformer的多尺度物体检测网络,该网络采用跨尺度嵌入层初步对图像特征进行嵌入处理;利用多分支空洞卷积对输入进行下采样,通过调整并行分支的膨胀率使该结构具有多样的感受野;然后,由残差自注意力模块对输出嵌入结果进行处理,为特征图的局部和全局信息构建联系,使注意力计算融入有效的多尺度语义信息,最终实现多尺度物体检测。模型在COCO等数据集上进行训练,实验结果表明该方法与其他物体检测方法相比具有显著优势。     

基于多尺度Transformer的多视图三维形状分析方法

基于多视图的三维形状分析方法是三维计算机视觉领域中的重要研究分支,通过整合三维形状在多个视角下的二维图像的特征来完成三维形状的识别、检索等任务。然而,如何有效地探索不同视角之间的关联性,并运用这些关联性来聚合多视图图像的特征仍然是三维形状分析中一个亟待解决的核心问题。受到最近兴起的Transformer网络在关系建模问题上成功应用的启发,研究工作引入了一种创新的多尺度Transformer架构,提出了基于多尺度Transformer的多视图三维形状分析方法(Multi-View Multi-Scale Transformer, MVMST)。此方法能够有效地学习不同视角之间的关联性,将多视图图像的特征聚合为一个具有强大表达能力的整体描述符。与以往方法使用感受野为全局的Transformer建模多视图特征的关系不同,该方法受到多尺度学习方法的启发,使用多尺度的Transformer来建模不同尺度下的多视图图像特征之间的关系,并设计了一个多尺度融合模块将多个尺度下经过Transformer处理的特征进行融合,得到一个相比单一尺度更加有效的多尺度表示。多个视图的多尺度表示最终经过视角池化模块...     

基于语义信息的场景识别方法研究

在场景识别任务中,由于场景图像类内变化大,类间相似度高,不同场景类别之间表现出相似的外观和对象分布,从而容易导致场景识别任务的失败.为解决该问题,本文提出一种基于语义分割及高效网络相结合的场景识别模型.该模型由语义分支和RGB分支两部分组成,语义分支在语义分割基础上进一步提取图像上下文信息,RGB分支采用高效网络来提取图像的全局特征,通过注意力机制将两个分支的输出特征进行融合,最终输入线性分类器以实现场景识别的预测.将提出的网络模型在ADE20K,MIT Indoor 67和SUN3973个数据集进行训练与测试,实验结果表明,提出的模型可以显著减少网络参数数量,同时提高场景识别的准确率.     

基于语义分割的密封圈缺陷检测方法研究

密封圈的缺陷区域过小、缺陷特征与背景相似度较高和密封圈上杂质过多,导致密封圈表面缺陷检测难度很大。对此,本文提出一种基于编解码结构的语义分割缺陷检测算法。首先,通过向编码器端的各个卷积模块注入不同尺度的图像特征,以此增加模型的多尺度信息和冗余信息,同时使用膨胀卷积层替换常规卷积层,有效地增加网络的感受野,使得模型不易漏掉小的缺陷;其次,结合注意力机制将编码器的信息与解码器端的信息进行级联,加强模型对目标区域信息的捕获;最后,将解码器端输出的不同尺度信息进行融合,提高网络对小缺陷的分割精度。实验结果表明,本文所提出的方法能够对较小的、边缘不清晰的密封圈缺陷进行有效分割,能够满足密封圈缺陷的检测需求。     

基于下采样的特征融合遥感图像语义分割

本文提出了一种基于下采样的特征融合遥感图像语义分割模型,该模型在编解码结构基础上,将高分辨率原始图像引入"下采样"模块提取低级语义特征,在此基础上,将输出的低级语义特征通过MobileNetV2和空间金字塔池化进一步提取多尺度高级语义细节特征,然后,将这些高级语义特征和直接从下采样模块提取的低级语义特征融合并进行特征图分割.最后,在"CCF卫星影像的AI分类与识别竞赛"的数据集上取得了93%的训练准确率以及91%的预测准确率.     

引入反馈注意力的并行式多分辨率语义分割算法

目的 为了进一步提升语义分割精度,解决当前语义分割算法中特征图分辨率低下,低级信息特征随意丢弃,以及上下文重要信息不能顾及等问题,文中尝试提出一种融合反馈注意力模块的并行式多分辨率语义分割算法。方法 该算法提出一种并行式网络结构,在其中融合了高低分辨率信息,尽可能多地保留高维信息,减少低级信息要素的丢失,提升分割图像的分辨率。同时还在主干网络中嵌入了带反馈机制的感知注意力模块,从通道、空间、全局3个角度获得每个样本的权重信息,着重加强样本之间的特征重要性。在训练过程中,还使用了改进的损失函数,降低训练和优化难度。结果 经实验表明,文中的算法模型在PASCAL VOC2012、Camvid上的MIOU指标分别为77.78%、58.67%,在ADE20K上的也有42.52%,体现了出较好的分割性能。结论 文中的算法模型效果相较于之前的分割网络有一定程度的提升,算法中的部分模块嵌入别的主干网络依旧表现出较好的性能,展现了文中算法模型具备一定的有效性和泛化能力。     

基于多流卷积神经网络的中文笔迹鉴别研究

针对中文笔迹签别中局部特征与全局特征的提取与融合问题,本文提出一种基于多流卷积神经网络的中文离线笔迹签别方法。该网络共有3条支流结构,其中1条支流对整图进行全局特征提取,另外2条支流分别对原图采用水平分割和垂直分割方式来获取局部数据并进行特征提取,而后将提取到的特征与全局特征进行多尺度融合。本文采用了top-1和top-5 2种准确率进行性能评估并进行了作者级别的准确率对比分析。实验结果表明,本文所提出的结构不仅可以更好融合、利用局部和全局特征还能拓宽网络获取细节特征的来源,改善网络性能。     

基于级联稀疏查询机制的轻量化火灾检测算法

针对现有火灾检测算法仍存在的模型复杂、检测速度慢、误检率高等问题,提出一种基于级联稀疏查询机制的轻量化火灾检测网络LFNet。首先,建立了轻量化的图像特征提取模块ECDNet,其通过在YOLOv5s主干网络中嵌入轻量化注意力模块ECA (efficient channel attention),用于解决火灾检测中火焰与烟雾的多尺度难点;其次,利用深层特征提取模块FPN+PAN,对不同层级的特征图进行深度处理和多尺度融合;最后,利用嵌入轻量化的级联稀疏查询模块CSQ (cascade sparse query)提升对早期火灾中的小火焰与薄烟雾的检测准确率。实验表明,本文方法在mAP和Precision等客观指标上的综合表现达到最优,同时在实现较高检测精度时的参数量也较低,能够满足实际场景的火灾检测要求。     

基于SENet双路径多尺度特征融合的ECT图像重建

针对单一神经网络在电容层析成像图像重建过程中难以捕捉复杂、深层电容向量特征的问题，提出一种基于压缩激励网络(squeeze-and-excitation networks, SENet)双路径多尺度特征融合的电容层析成像图像重建算法。构建多尺度密集深度空洞卷积模块，使模型获得更大的局部感受野的同时可以保持较低计算复杂度，并实现多尺度特征融合，以捕获电容向量的多尺度细节特征，增强模型的表征能力；采用残差神经网络解决深层网络提取特征时出现的退化现象，并添加SENet模块重新标定电容特征张量所属通道对应权重，校准特征响应。形成具有双向特征提取能力的双通道多特征融合的混合模型，以更好的拟合电容张量与介电常数之间的非线性映射关系。试验结果表明，BSFF算法相对于Landweber迭代算法、CNN算法等具有更高的图像重建质量，更好的鲁棒性。     

基于Swin Transformer和UNet的肺结节分割方法

肺结节的准确分割是后续良恶性分析和诊断的关键。由于基于卷积神经网络的分割模型受限于局部特征提取特性,忽略了全局特征。因此,本文提出了一种新的肺结节语义分割框架ST-UNet网络,将Swin transformer嵌入UNet中,构成一种新颖的Swin Transformer和CNN并行的双编码器结构。结果表明：该模型不仅对肺结节的分割具有较好的性能,而且对医生进行肺结节的早期诊断具有重要的临床意义和应用价值。     

基于特征金字塔的多尺度特征融合网络

特征金字塔网络（FPN）是CNN网络对图像信息进行表达输出的一种有效方法,在目标检测网络中广泛应用．然而,FPN没有充分地将浅层的细节信息传递到深层的语义特征,存在特征融合不足的缺陷,因而只能依靠深层语义信息来进行预测,从而忽略了网络低层细节信息,对各种视觉学习的效果造成了一定的影响．针对FPN存在的以上问题,本文提出基于特征金字塔的多尺度特征融合网络模型,在FPN主干网络的基础上,设计了混合特征金字塔和金字塔融合模块,并结合注意力机制,对特征金字塔进行了多尺度的深度融合．本文在PASCAL VOC2012和MS COCO2014数据集上,以Faster R-CNN作为基础检测器进行实验,验证了MFPN对特征融合的有效性．     

基于语义分割的火车车厢位置检测研究

为了实现在煤炭定量装车站装车过程中实时检测火车车厢位置,为溜槽升降提供触发信号,设计了一种基于语义分割的火车车厢位置检测模型。以FPN （feature pyramid networks,特征金字塔网络）和ResNet101 （residual network,残差网络）为主干网络,提取并融合分辨率、语义强度不同的特征图;结合基于期望最大化（expectation maximization, EM）算法的注意力机制,构建车厢上边框语义分割模型,用于过滤特征图中的噪声,提高图像边界的语义分割精度;设计位置检测模块,计算语义分割后图像中各类别的面积及其比例和车厢上边框外接矩形高度,以获取火车车厢位置信息。结果表明,所构建的车厢上边框语义分割模型在测试集上的mIoU （mean intersection over union,均交并比）为81.21%,mPA （mean pixel accuracy,平均像素精度）为88.64%,相比未引入注意力机制的语义分割模型分别提升了3.91%和7.44%。在煤炭定量装车站现场进行的火车车厢位置检测试验结果表明,基于语义分割的火车车厢位置检测模型的检测精度满足煤炭装车过程中车厢位置检测任务的要求,这为实现煤炭定量装车系统的智能化提供了新思路。     

基于双分支特征提取的轻量级图像分割算法

目的 为了提升彩色图像的分割精度，解决彩色图像分割中存在庞大计算成本和冗余参数的问题，本文提出一种双分支特征提取网络来解决上述问题。方法 双分支特征提取网络主要由语义信息分支和空间细节分支组成。语义信息分支通过在非对称残差模块中设置不同的空洞卷积率来获取输入图像不同尺度的上下文信息。空间细节分支是一个浅层且简单的网络，用于建立每个像素间的局部依赖关系以保留细节。在双分支之后连接一个特征聚合模块来有效地结合这2个分支的输出。结果 在没有任何预训练和后处理的情况下，在单块RTX2080Ti GPU上仅用0.91 M参数在Cityscapes数据集上以97帧/s的速度实现75.1%的分割准确性，在Camvid数据集上以107帧/s的推理速度取得了70.5%的分割效果。结论 通过大量实验证明，本文模型在分割准确性和效率之间取得了较好的平衡。     

非对称关键点注意力结构的交互式图像分割方法

目的 人机交互信息在交互式图像分割过程中具有重要意义,为了提高交互信息的使用效率,文中提出一种优化方法。方法 提出一种非对称注意力结构,将交互信息通过该结构融合到交互式图像分割算法（IOG）的特征提取网络中。该算法能够进一步强化关键点信息对图像分割所起到的引导作用。结果 非对称注意力结构能够在不增加交互成本的条件下,在PASCAL数据集上达到92.2%的准确率,比目前最好的IOG分割算法提高了0.2%。仅在小样本PASCAL数据集上训练时,文中算法具有更明显的优势,比现有最好的IOG算法的准确率提高了1.3%。结论 通过中文的非对称注意力结构,能够在不增加交互成本的同时提升网络的分割精度。