自适应调控卷积与双路信息嵌入的城市街景实例分割

城市街道场景实例分割是无人驾驶不可忽略的关键技术之一,针对城市街景实例密集、边缘模糊以及背景干扰严重等问题,提出一种自适应调控卷积与双路信息嵌入的城市街景实例分割模型RENet.首先使用自适应调控卷积替代原有的残差结构,利用可变形卷积学习空间采样位置偏移量,提高模型对图像复杂形变的建模能力,同时对多分支结构进行通道混洗以加强不同通道间的信息流动,并应用注意力机制实现通道权重的自适应校准,提高模型对复杂场景下模糊、密集目标的分割精度;然后设计低维空间信息嵌入分支,对不同尺度特征图进行空间信息激励与重编码,在抽象语义特征中嵌入低维空间信息,提高模型轮廓分割准确性;最后引入高级语义信息嵌入模块,实现特征图与语义框的对齐,弥补特征图间语义与分辨率的差距,提高不同尺度下特征信息融合的有效性.在自建数据集上的实验结果表明,与原始YOLACT网络模型相比,RENet模型在复杂街道背景下的平均分割精度最高达到51.6%,提高了10.4个百分点;网络推理速度达到17.5帧/s,验证了该模型的有效性和在工程中的实用性.     

基于Fastformer和自监督对比学习的实例分割算法

针对现有的实例分割算法对有遮挡以及模糊实例检测精度低、掩码较粗糙以及泛化能力弱的问题,提出一种基于Fastformer和自监督对比学习的实例分割算法。首先,在特征提取网络之后加入基于加性注意力的Fastformer模块,并对每一层特征图中的像素点之间的相互关系进行深入建模,以提高算法对特征图全局信息的提取能力;其次,受自监督学习启发,加入自监督对比学习模块对图像中的实例进行自监督对比学习,以提高算法对图像的理解能力,从而改善在噪声干扰较多的环境下的分割效果。在Cityscapes和COCO2017数据集上的实验结果表明,相较于近期经典的实例分割算法SOLOv2(Segmenting Objects by LOcations v2),所提算法的平均精度均值（mAP）分别提高了3.1和2.5个百分点,并在实时性和精度之间达到较好的平衡,在比较复杂的场景实例分割中具有较好的鲁棒性。     

时序特征融合的视频实例分割

目的 随着移动互联网和人工智能的蓬勃发展,海量的视频数据不断产生,如何对这些视频数据进行处理分析是研究人员面临的一个挑战性问题。视频中的物体由于拍摄角度、快速运动和部分遮挡等原因常常表现得模糊和多样,与普通图像数据集的质量存在不小差距,这使得对视频数据的实例分割难度较大。目前的视频实例分割框架大多依靠图像检测方法直接处理单帧图像,通过关联匹配组成同一目标的掩膜序列,缺少对视频困难场景的特定处理,忽略对视频时序信息的利用。方法 本文设计了一种基于时序特征融合的多任务学习视频实例分割模型。针对普通视频图像质量较差的问题,本模型结合特征金字塔和缩放点积注意力机制,在时间上把其他帧检测到的目标特征加权聚合到当前图像特征上,强化了候选目标的特征响应,抑制背景信息,然后通过融合多尺度特征丰富了图像的空间语义信息。同时,在分割网络模块增加点预测网络,提升了分割准确度,通过多任务学习的方式实现端到端的视频物体同时检测、分割和关联跟踪。结果 在YouTube-VIS验证集上的实验表明,与现有方法比较,本文方法在视频实例分割任务上平均精度均值提高了2%左右。对比实验结果证明提出的时序特征融合模块改善了视频分割的效果。结论 针对当前视频实例分割工作存在的忽略对视频时序上下文信息的利用,缺少对视频困难场景进行处理的问题,本文提出融合时序特征的多任务学习视频实例分割模型,提升对视频中物体的分割效果。     

基于注意力机制的道路环境语义分割算法

针对复杂场景道路图像分割中，由于目标形状不规则、光照变化以及物体遮挡等因素，而导致的分割结果出现分割精度低、小目标分割错误等问题，提出了一种新的语义分割算法GH-deeplabV3+。将DeeplabV3+网络和高分辨率网络相结合，并在骨干特征提取网络中插入注意力机制模块。高分辨率网络模块保持了图像的高分辨特征信息，注意力机制模块增强了关键目标特征信息的权重。在优化超参数的研究中，使用APReLU激活函数和AdaBelief优化器来优化算法，降低网络损失。在Cityscapes数据集上进行了验证，实验结果表明，GH-deeplabV3+算法提高了图片的分割精度，分割性能优于其它分割算法。     

结合目标色彩特征的基于注意力的图像分割

提出一种基于注意力的图像分割算法,在视觉场景选择机制基础上结合目标色彩特征的任务驱动机制,形成了自下而上和自上而下的注意力集成分割机理。该算法在图像的多尺度空间中,把视觉场景的亮度、颜色和方向特征与任务目标色彩特征同时进行提取,生成场景和目标相结合的显著图,然后在基于视觉注意力图像空间中对“场景-目标” 显著图进行归一化的跨尺度融合,最后通过双线性插值和显著图连通区域二值化分割出图像目标注意力焦点。应用该算法对自然场景与室内场景图像进行实验,结果表明该方法在各种环境中尤其是干扰物体较显著的情形下都能成功地分割提取出目标物体。     

注意力残差多尺度特征增强的显著性实例分割

显著性实例分割是指分割出图像中最引人注目的实例对象。现有的显著性实例分割方法中存在 较小显著性实例不易检测分割,以及较大显著性实例分割精度不足等问题。针对这 2 个问题,提出了一种新的 显著性实例分割模型,即注意力残差多尺度特征增强网络(ARMFE)。模型 ARMFE 主要包括 2 个模块：注意力 残差网络模块和多尺度特征增强模块,注意力残差网络模块是在残差网络基础上引入注意力机制,分别从通道 和空间对特征进行选择增强;多尺度特征增强模块则是在特征金字塔基础上进一步增强尺度跨度较大的特征信 息融合。因此,ARMFE 模型通过注意力残差多尺度特征增强,充分利用多个尺度特征的互补信息,同时提升 较大显著性实例对象和较小显著性实例对象的分割效果。ARMFE 模型在显著性实例分割数据集 Salient Instance Saliency-1K (SIS-1K)上进行了实验,分割精度和速度都得到了提升,优于现有的显著性实例分割算法 MSRNet 和 S4Net。     

基于FCN-LSTM的工业烟尘图像分割

工业生产中常根据林格曼烟气黑度判断工业烟尘的污染等级,一种有效的方式是应用计算机视觉系统对工业烟尘进行监测, 其中对烟尘目标进行准确分割是该系统的关键技术。因为工业烟尘具有形状不固定、和云相似度高等特点,现有算法在复杂场景下对烟尘进行分割时容易受到干扰,分割准确度有待提高。针对这一问题,提出一种基于FCN-LSTM的工业烟尘图像分割方法,在全卷积网络对图像空间特征提取的基础上,使用长短时记忆网络提取图像序列的时间信息,通过烟尘的动态特征对运动的烟尘和背景进行区分,增强复杂场景下的抗干扰能力。实验表明,本文模型相比于全卷积网络,在复杂场景下的抗干扰能力有显著提升,能够有效克服来自云的干扰,对全卷积网络分割结果中易出现干扰点的问题也有改善,IoU指标最高有8.04%的提升。     

注意力机制和特征融合的自动抠图算法

针对目前人工抠图工作量大,而自动抠图无法区分多个实例的问题,提出了一种注意力机制和特征融合的自动抠图算法.该算法由预分割模块和Alpha抠图模块2部分组成,分别采用了不同的网络结构.其中预分割模块是使用迁移学习方法对Mask Scoring R-CNN进行微调实现了对多实例自然图像的实例分割,从而得到输入图像前景个体的二值化分割图.而Alpha抠图模块在此基础上首先对二值化分割图预处理生成三分图,然后将三分图与原输入图像一起输入Alpha抠图模块网络.通过为Alpha抠图模块设计不同的解码策略和注意力机制,实现了对图像细节信息的精确恢复.在后续对自制车辆数据集的无人工交互前景车辆Alpha估计对比实验中,相比现有DIM算法,该算法的SAD降低19.2%, MSE降低26.3%,达到了更高的抠图精度.     

基于改进自注意力机制的金字塔场景解析网络

金字塔场景解析网络存在图像细节信息随着网络深度加深而丢失的问题，导致小目标与物体边缘语义分割效果不佳、像素类别预测不够准确。提出一种基于改进自注意力机制的金字塔场景解析网络方法，将自注意力机制的通道注意力模块与空间注意力模块分别加入到金字塔场景解析网络的主干网络和加强特征提取网络中，使网络中的两个子网络能够分别从通道和空间两个方面提取图像中更重要的特征细节信息。针对现有的图像降维算法无法更好地提高自注意力机制计算效率的问题，在分析“词汇”顺序对自注意力机制计算结果影响的基础上，利用希尔伯特曲线遍历设计新的图像降维算法，并将该算法加入到空间自注意力模块中，以提高其计算能力。仿真实验结果表明，该方法在PASCAL VOC 2012和息肉分割数据集上的精度均有提高，小目标与物体边缘分割更加精细，其中在VOC 2012训练集中平均交并比与平均像素精度分别达到75.48%、85.07%，较基准算法分别提升了0.68、1.35个百分点。     

复杂场景下遥感船舶的检测与分割定位

遥感图像船舶识别是目标识别的一个重要领域,在海防和救援方面具有重大应用价值.但遥感图像中的船舶普遍存在云雾遮挡、陆地背景干扰和体积小等因素所造成的识别难的问题.为了能准确识别复杂场景下船舶目标,在网络的特征提取部分加入了视觉注意机制,增强网络提取船舶特征信息的能力;并采用多级特征提取和去量化操作的学习方法来解决船舶体积小的问题;采用难样本重学习的学习策略来弱化云雾遮挡和陆地背景的干扰.通过上述方法,船舶识别的综合准确率达到了92.56%,召回率达到了89.26%,与相同实验环境(PyTorch)下其他常见目标检测算法相比,精确率和召回率都有明显提升.实验结果表明,文中方法在一定程度上解决了复杂场景下船舶分割和识别难的问题.实验中所使用代码和部分结果详见https://github.com/curioyang/First_paper.     

复杂背景下彩色数字图像分割算法研究

为了提高复杂背景下彩色数字图像分割的准确率,减少噪声对图像处理的干扰,尽可能的缩短运行时间,需要对复杂背景下彩色数字图像分割算法进行研究。当前图像分割算法在彩色数字图像分割的过程中,仅仅考虑了图像像素的亮度值,没有考虑其空间特征,存在计算的复杂性过大等缺陷,影响彩色数字图像处理效果。为此,提出了一种基于随机权重粒子群的复杂背景下彩色数字图像分割算法。该算法先采用多尺度均匀滤波方法,对复杂背景下彩色数据图像进行划分,其中包含噪声和不含噪声的像素点的亮度值、结构元素以及局部区域内的图像像素加权亮度密度特征。采用多段图分割获取彩色数字图像的优化分割,在平滑项中代入彩色数字图像梯度信息,对彩色数字图像分割结果中的弱边界进行剔除,从而实现准确的彩色数字图像分割。实验仿真证明,所提算法增加了彩色数字图像分割的对比度和信噪比,提高了复杂背景下彩色数字图像分割的准确性。     

多尺度注意力引导的全景分割网络

全景分割是近年来新提出的图像分割任务。现有全景分割模型大都对前景实例对象和背景未定形区采用不同的方式进行特征表示,因此需要额外的后处理和融合操作来处理各种实例重叠和语义冲突问题。全卷积全景分割网络实现了统一的特征表示,省去了这些复杂操作,但其对于前景实例对象的分割准确率不高,对图像中远距离小目标的分割效果不是很理想。针对这些问题,基于全卷积全景分割网络进行改进优化,提出一种多尺度注意力引导的全景分割网络。首先改进特征提取网络,通过在主干网中添加一条自底向上的辅助路径来增强模型的多尺度特征获取能力。其次提出一种注意力模块,通过将空洞空间金字塔池化与通道注意力融合,来引导卷积核更新,生成更匹配的权重。在Cityscapes数据集上与全卷积全景分割网络进行对比实验,图像实例级全景分割质量提高了2.74个百分点,背景未定形区全景分割质量和综合全景分割质量分别提高了1.36个百分点和1.94个百分点,对于交通灯和摩托车等小物体的类别检测准确率分别提高了4.4个百分点和8.3个百分点。提出的全景分割网络综合了全卷积全景分割网络、多尺度特征及注意力机制的优点,使得图像实例级全景分割准确率更高。     

基于RGB-D的反向融合实例分割算法

RGB-D 图像在提供场景 RGB 信息的基础上添加了 Depth 信息,可以有效地描述场景的色彩及 三维几何信息。结合 RGB 图像及 Depth 图像的特点,提出一种将高层次的语义特征反向融合到低层次的边缘 细节特征的反向融合实例分割算法。该方法通过采用不同深度的特征金字塔网络(FPN)分别提取 RGB 与 Depth 图像特征,将高层特征经上采样后达到与最底层特征同等尺寸,再采用反向融合将高层特征融合到低层,同时 在掩码分支引入掩码优化结构,从而实现 RGB-D 的反向融合实例分割。实验结果表明,反向融合特征模型能 够在 RGB-D 实例分割的研究中获得更加优异的成绩,有效地融合了 Depth 图像与彩色图像 2 种不同特征图像 特征,在使用 ResNet-101 作为骨干网络的基础上,与不加入深度信息的 Mask R-CNN 相比平均精度提高 10.6%, 比直接正向融合 2 种特征平均精度提高 4.5%。     

基于Dense ASPP的道路图像语义分割方法

伴随着车辆智能化程度的持续提高,对道路场景的感知技术提升的需求也在持续增长,而道路场景感知技术的核心要素正是图像视觉。纵观智能驾驶体系,图形视觉最具普遍性的使用场景正是道路图像语义分割。立足于Deeplab V3+网络,以及全连接条件随机场于图像处理领域的特点,面向道路场景语义分割过程之中常见的小范围像素细节出现干扰、空间上下文特征信息缺失、图像分割边缘过程之中出现的模糊等现象,使用图像语义的性能对主、子网络模式展开划分,同时对网络模型展开优化。在Deeplab V3+网络的解码单元之中引入注意力机制,将解码中浅层信息进行跨层融合操作,提升保存图像空间相关数据,从而设置基于改进的Dense ASPP道路图像语义分割模型,并在道路场景数据集Cityscapes上,对Deeplab V3+等算法展开对比实验。从实验数据来看,提出的算法不单单能够完成对道路场景的语义分割,同时还能够高质量地对图像细节数据以及空间信息展开处置,有效提升了图像语义分割的质量。     

基于实例分割的车道线检测及自适应拟合算法

车道线检测是智能驾驶系统的重要组成部分。传统车道线检测方法高度依赖手动选取特征,工作量大,在受到物体遮挡、光照变化和磨损等复杂场景的干扰时精度不高,因此设计一个鲁棒的检测算法面临着很大挑战。为了克服这些缺点,提出了一种基于深度学习实例分割方法的车道线检测模型。该模型基于改进的Mask R-CNN模型,首先利用实例分割模型对道路图像进行分割,提高车道特征信息的检测能力;然后使用聚类模型提取离散的车道线特征信息点;最后提出一种自适应拟合的方法,结合直线和多项式两种拟合方法对不同视野内的特征点进行拟合,生成最优车道线参数方程。实验结果表明,该方法提高了检测速度,在不同场景下都具有较好的检测精度,能够实现对各种复杂实际条件下的车道线信息的鲁棒提取。     

改进Mask RCNN算法及其在行人实例分割中的应用

Mask RCNN算法在特征提取过程中存在语义信息丢失的问题,而自然场景中的行人具有姿态不同、遮挡和背景复杂等特点,导致算法应用于行人实例分割时检测准确性较差。对此,提出一种改进的Mask RCNN算法。在Mask RCNN网络的Mask分支中增加串联特征金字塔网络（CFPN）模块,对网络生成的多层特征进行融合,充分利用不同特征层的语义信息。在此基础上,执行RoI Align操作生成行人掩膜。仿照COCO数据集,从生活场景中拍摄1 000张图片,自建一个新的行人数据集。基于该数据集的实验结果表明,改进算法较原算法具有更高的检测精确率。     

融合多维注意力机制CNN皮肤肿瘤图像分割提取

针对卷积神经网络(CNN)在医学图像分割时,受皮肤病损图像多样性、分割目标位置、形状及尺度变化等因素影响,提出了一种基于传统卷积神经网络综合注意力模块图像分割算法。首先利用U-Net主干网络的优势,其目的让图像特征提取更完善；其次,由空间、通道、尺度构成的综合注意力机制对目标病灶区域进行检测识别,利用通道级联把来自编码器中低级图像特征和解码器中高级图像特征注意力结合起来进行权值自适应融合,提升了网络对样本病灶区的关注度和辨识力,突出强调最相关的特征通道和多尺度间最显著的特征图。通过对ISIC2018数据集及医院整形外科提供患者不同类型的皮肤肿瘤图像进行分割测试,并将注意力模块随机组合形成的不同算法进行指标评价比对,所提出算法的平均分割精度可达92.89%。实验结果表明,所提出算法是有效可行的,在多维度下分割处理带复杂背景的皮肤病灶图像时有更高的鲁棒性。     

基于超像素联接权模型的视频分割算法

视频图像分割是图像处理领域的一个热门问题。在传统分割算法的基础上,提出了一种新的无监督的视频分割算法。该算法采用超像素对运动前景进行表示,定义联接权概念来描述超像素属于同一物体的可能性,并利用当前帧的静态特征与前后帧的关联特征进行联接权计算。为优化超像素间匹配关系的搜索,算法引入了超像素颜色特征匹配约束与运动关联性匹配约束的机制。分别在简单场景和复杂场景进行了视频分割实验,简单场景下,算法保证了较高的召回率与稳定的准确率;复杂场景下,算法完成了人群中单个人的切分。大量实验结果表明,该算法能够实现视频图像的分割,并且能有效解决过分割问题。     

改进的遥感图像语义分割算法

针对遥感图像中多个目标聚集导致边缘混淆，小尺度物体分割不明显，以及语义分割过程中全局信息获取不足的问题，提出了一种基于混合注意力与全尺度跳层连接网络的遥感图像语义分割算法DU-net。该算法以U-net3+为基础网络，采用全尺度跳层连接网络作为特征提取网络，摒弃了原算法中的深度监督，建立特征与注意力机制之间的关联，最终实现语义分割的过程。实验结果表明，DU-net算法在不同指标下较经典算法都有明显提升，同时提高了图像边缘分割质量，改善了算法对小尺度目标的分割准确度。     

多注意力机制网络卫星图像分割算法

针对深度学习的语义分割法,在卫星图像分割中对半岛、小岛和湖泊细小支流的边缘信息提取丢失问题,提出了多注意力机制网络（MA-Net）卫星图像分割算法,弥补了边缘信息提取丢失问题。该算法的框架采用了端到端的对称结构,由编码和解码两部分组成。编码部分采用改进的VGG16网络提取湖泊的纹理特征,解码部分引入全局平均池化注意力融合机制（GPA）,能够有效融合编码部分提取的纹理特征,得到高分辨率的卫星图像特征图。在网络的输出端加入注意力机制模块（Attention）,充分提取湖泊边缘信息,有效分割出半岛、小岛和湖泊细小支流。实验结果表明,该模型相比现有语义分割算法,具有更好的分割精度,各项分割指标都有提升,并且在公共数据集City Scapes上验证了模型具有通用性。