基于注意力机制和辅助任务的语义分割算法

为提高网络模型低层特征的离散度和语义分割算法的性能,以全卷积神经网络作为基础模型,提出一种基于辅助损失、边缘检测辅助任务和注意力机制的语义分割算法。通过重新设计网络模型的辅助损失分支,使网络低层特征编码更多语义信息。在多任务学习中,选择边缘检测作为辅助任务,基于注意力机制设计边缘检测的辅助任务分支,使网络模型更关注物体的形状和边缘信息。在此基础上,将基础模型、辅助损失分支、辅助任务分支集成构造为语义分割模型。在VOC2012数据集上的实验结果表明,该算法的平均交并比为71.5%,相比基础模型算法提高了6个百分点。     

一种结合注意力残差的肝脏及肝肿瘤分割算法

长时间的肝脏医学图像人工诊断容易使医生产生疲劳,导致误诊和漏诊情况发生。针对以上现象提出一种改进的Unet网络用于肝脏和肝肿瘤自动分割。改进Unet模型,引入注意力残差结构和特征复用结构,提高输入图像中特征信息的利用效率;对损失函数进行改进,在Dice系数中加入欠分割和过分割惩罚因子,提高模型的预测能力。在公开数据集上的实验结果表明：该算法对肝脏和肝肿瘤的分割相似系数分别达到了0.962和0.713,优于现有的分割模型且具有较强的鲁棒性。     

融合类激活映射和视野注意力的皮肤病变分割

在皮肤镜图像分割问题中,分割精度受多重因素影响,包括图像对比度、病变大小及异物干扰等,为提高分割精度,解决病变边界分割不准等问题,提出一种改进的DeepLab V3+网络。该改进网络一方面生成原图像的类激活映射,融入到网络的编码器中作先验信息,为网络提供准确的定位信息并消除部分干扰因素;另一方面,在空洞空间金字塔模块中融合视野注意力机制,实现局部跨视野交互;同时将Dice损失和排序损失相结合作为本网络的损失函数,使网络更关注硬像素的误差,优化分割模型。分别在ISIC-2017和PH2数据集上对所提模型评估,其Jaccard指数（JA）分别达到82.6%和89.2%,准确率分别达到95.2%和96.5%,实验结果表明所提模型分割敏感度更高,综合分割性能较其他先进网络有所提升。     

基于注意力机制和多尺度特征融合的道路裂缝检测

针对复杂背景下细小裂缝难以检测和裂缝检测出现断裂的问题,提出一种基于注意力机制和多尺度特征融合的道路裂缝检测方法EAFNet。在编码阶段设计边缘细化模块,更好提取裂缝细节特征;在网络中间部分设计基于注意力机制的多尺度特征融合模块对裂缝进行准确定位;在解码器部分设计融合优化模块,更好提取裂缝特征和定位裂缝位置。在公开数据集CRACK500训练集上进行训练并在两个道路裂缝数据集上进行测试,与现有的部分检测方法相比,该算法在分割精度和泛化性上都有提升,该算法对于细小裂缝的分割更为精细且有效解决了裂缝检测的断裂问题。     

基于双分支融合注意力机制的图像分割算法

针对DeepLabV3+在特征提取阶段忽略了不同尺度特征重要程度出现的部分细节信息损失导致图像分割不细致,提出一种融合双分支特征提取和注意力机制的改进算法. ResNet101骨干网络初步提取出的特征图作为注意力机制的输入特征,解决了网络退化及梯度消失的问题,也能够捕获到被DeepLabV3+忽略的图像细节信息;设计双分支特征提取机制扩大特征提取能力,细化图像边缘信息以优化网络对不同尺度特征关注不均的问题;同时,联合采用交叉熵损失和类别不平衡函数两种损失函数作为损失函数,通过聚焦于前景样本降低背景的影响,提高算法分割精度.实验结果表明,改进算法在PASCAL VOC 2012和CityScapes数据集上的平均交并比(MIoU)值分别达到了79.92%和68.59%,与经典算法和基于DeepLabV3+改进的算法相比,特征提取的准确性有所提高,分割效果更优.     

基于连续注意力机制和卷积金字塔的路面裂缝检测

近年来,随着全球汽车保有量的增加和路面的不断扩建,路面裂缝检测受到了广泛的关注.虽然许多裂缝检测器模型已经被提出,但也存在一些问题,例如:一些宽度较细的裂缝可能未被检测而出现裂缝断裂的现象;边缘信息可能会在过滤或池化过程中丢失.本文以SegNet为基础框架,编码层设计了一种连续注意力机制,并且在特征图通过解码层之前添加...     

融合自注意力的SOFC表面缺陷图像分割

固体氧化物燃料电池(SOFC)表面缺陷的图像分割, 对单片SOFC质量检测具有重要意义. 针对单片SOFC表面缺陷图像边缘模糊、背景复杂等问题, 提出一种融合自注意力的SOFC表面缺陷图像分割方法. 首先, 提出多通道自注意力模块, 以增强多通道间关联和提升通道表示; 其次, 利用多尺度注意力融合模块, 进一步提升网络对不同尺度缺陷特征的提取能力; 最后, 提出三元联合损失函数对训练过程进行监督. 实验表明, 提出方法在提升网络分割性能的同时可有效提取单片SOFC表面缺陷.     

基于深度神经网络的移动端人像分割

针对现有的人像分割算法大多忽略移动设备的硬件限制，盲目追求效果，以致无法满足移动端对于分割速度要求的问题，提出了一种可在移动设备上高效运行的人像分割网络。首先，基于编码器-解码器的轻量级U型架构来构建网络；其次，为了克服全卷积网络（FCN）受制于较小的感受域，无法充分捕获长距离信息的缺陷，引入期望最大化注意力块（EMAU）置于编码器之后、解码器之前；然后，在训练阶段添加多层边界辅助损失，有助于提高人物边界轮廓的准确度；最后，对模型进行量化和压缩。在Veer数据集上将所提网络与PortraitFCN+、ENet和BiSeNet等网络进行对比实验。实验结果表明，所提网络可以提高图像推理速度和分割效果，并能够以95.57%的准确率处理分辨率为224×224的RGB图像。     

基于多维注意力融合的驾驶场景分割增强算法

针对使用注意力机制的语义分割模型计算资源消耗与精度不平衡的问题,提出一种轻量化的语义分割注意力增强算法。首先,基于驾驶场景中物体的形状特点设计了条状分维注意力机制,使用条形池化代替传统方形卷积,并结合降维操作分维度提取长程语义关联,削减模型计算量。接着融合通道域与空间域上的注意力,形成可叠加与拆解的轻量化多维注意力融合模块,全方位提取特征信息,进一步提升模型精度。最后,将模块插入基于ResNet-101骨干网的编码—解码网络中,指导高低层语义融合,矫正特征图边缘信息,补充预测细节。实验表明,该模块有较强的鲁棒性和泛化能力,与同类型注意力机制相比,削减了约90%的参数量以及80%的计算量,且分割精度依旧取得了稳定的提升。     

基于深度神经网络的移动端人像分割

针对现有的人像分割算法大多忽略移动设备的硬件限制,盲目追求效果,以致无法满足移动端对于分割速度要求的问题,提出了一种可在移动设备上高效运行的人像分割网络。首先,基于编码器-解码器的轻量级U型架构来构建网络;其次,为了克服全卷积网络（FCN）受制于较小的感受域,无法充分捕获长距离信息的缺陷,引入期望最大化注意力块（EMAU）置于编码器之后、解码器之前;然后,在训练阶段添加多层边界辅助损失,有助于提高人物边界轮廓的准确度;最后,对模型进行量化和压缩。在Veer数据集上将所提网络与PortraitFCN+、ENet和BiSeNet等网络进行对比实验。实验结果表明,所提网络可以提高图像推理速度和分割效果,并能够以95.57%的准确率处理分辨率为224×224的RGB图像。     

基于标签传递的人像分割

人像分割技术在人脸识别、3D人体重建及运动捕捉等实际应用中具有重要的作用,其可靠性直接影响后续处理的效果。本文以标签传递理论的目标分割算法为基础,提出了一种优化的人像分割算法。首先,引入模糊集理论,提高复杂背景图像分割的能力;然后,使用超像素过分割进行预处理,利用过分割结果优化相似度定义提高分割轮廓的平滑性和可靠性。实验结果表明,与原有标签传递算法相比,本文提出的算法可以保持较高的分割轮廓平滑度且具有更高的分割精度。     

结合注意力机制的知识感知推荐算法

知识图谱在推荐系统中的应用越来越受重视,可以有效地解决推荐系统中存在的数据稀疏性和冷启动问题.但现有的基于路径和基于嵌入的知识感知推荐算法在合并知识图谱中的实体来表示用户时,并没有考虑到实体对于用户的重要性并不相同,推荐结果会受到无关实体的影响.针对现有方法的局限性,提出了一种新的结合注意力机制的知识感知推荐算法,并给...     

基于多尺度高阶注意力机制的视网膜血管分割

视网膜血管分割对于辅助医生诊断糖尿病性视网膜病变、黄斑萎缩、青光眼等眼科疾病具有重要意义.注意力机制被广泛用于U-Net及其变体中以提高血管分割模型的性能.为进一步提高视网膜血管的分割精度,挖掘视网膜图像中的高阶及全局上下文信息,本文提出基于多尺度高阶注意力机制的模型(multi-scale high-order attention network, MHA-Net).首先,多尺度高阶注意力(multi-scale high-order attention, MHA)模块从深层特征图中提取多尺度和全局特征计算初始化注意力图,从而改进模型处理医学图像分割时尺度不变的缺陷.接下来,该模块通过图的传递闭包构建注意力图,进而提取高阶的深层特征.通过将多尺度高阶注意力模块应用于编码器-解码器结构中,在彩色眼底图像数据集DRIVE上进行血管分割,实验结果表明,基于多尺度高阶注意力机制的视网膜血管分割方法有效地提高了分割的精度.     

结合注意力的3D卷积网络脑胶质瘤分割算法

为了提升脑胶质瘤分割精度，提出一种结合注意力机制的3D卷积神经网络算法。输入3个不同尺度的图像块，经过9个卷积层和1个分类层后得到3个不同的分类结果，将分类结果与注意力学习到的权重相乘并逐体素相加得到输出。此外该算法采用了一种混合Dice损失函数与Focal损失函数的超参数损失函数。实验表明，该算法的Dice系数在整体区域、核心区域以及增强区域分别达到了95.31%、80.12%、82.25%。与已有的一种脑胶质瘤分割算法deepmedic相比，整体区域、核心区域以及增强区域的Dice系数分别提升了3%、2%、6%。在脑胶质瘤分割方面，具有重要的临床意义。     

多注意力机制网络卫星图像分割算法

针对深度学习的语义分割法,在卫星图像分割中对半岛、小岛和湖泊细小支流的边缘信息提取丢失问题,提出了多注意力机制网络（MA-Net）卫星图像分割算法,弥补了边缘信息提取丢失问题。该算法的框架采用了端到端的对称结构,由编码和解码两部分组成。编码部分采用改进的VGG16网络提取湖泊的纹理特征,解码部分引入全局平均池化注意力融合机制（GPA）,能够有效融合编码部分提取的纹理特征,得到高分辨率的卫星图像特征图。在网络的输出端加入注意力机制模块（Attention）,充分提取湖泊边缘信息,有效分割出半岛、小岛和湖泊细小支流。实验结果表明,该模型相比现有语义分割算法,具有更好的分割精度,各项分割指标都有提升,并且在公共数据集City Scapes上验证了模型具有通用性。     

基于密集层和注意力机制的快速语义分割

针对传统语义分割网络速度慢、精度低的问题,提出一种基于密集层和注意力机制的快速场景语义分割方法.在ResNet网络中加入密集层和注意力模块,密集层部分采用两路传播方式,以更好地获得多尺度目标,并使用分组卷积减少计算量.同时在特征提取网络中加入注意力模块,以减少精度损失.实验结果表明,该方法在保证分割精度的前提下提升了分割速度,在Cityscapes数据集上得到了81.5%的MIOU,速度为42.3 frame/s,在ADE20K数据集上得到了61.8%的MIOU,速度为27.9 frame/s.     

基于可变形卷积和语义嵌入式注意力机制的眼球超声图像分割方法

眼球区域分割是医学超声图像处理和分析的关键步骤,由于临床设备采集的眼球超声图像具有噪声干扰、区域模糊、边缘灰度相似等缺点,从而导致现有的方法不能准确地分割出眼球区域,因此本文基于可变形卷积提出了一种语义嵌入的注意力机制的分割方法.首先使用可变形卷积替代传统的卷积,提高本文网络对眼球区域的表征能力;其次构建语义嵌入的注意...