多尺度注意力引导的全景分割网络

全景分割是近年来新提出的图像分割任务。现有全景分割模型大都对前景实例对象和背景未定形区采用不同的方式进行特征表示,因此需要额外的后处理和融合操作来处理各种实例重叠和语义冲突问题。全卷积全景分割网络实现了统一的特征表示,省去了这些复杂操作,但其对于前景实例对象的分割准确率不高,对图像中远距离小目标的分割效果不是很理想。针对这些问题,基于全卷积全景分割网络进行改进优化,提出一种多尺度注意力引导的全景分割网络。首先改进特征提取网络,通过在主干网中添加一条自底向上的辅助路径来增强模型的多尺度特征获取能力。其次提出一种注意力模块,通过将空洞空间金字塔池化与通道注意力融合,来引导卷积核更新,生成更匹配的权重。在Cityscapes数据集上与全卷积全景分割网络进行对比实验,图像实例级全景分割质量提高了2.74个百分点,背景未定形区全景分割质量和综合全景分割质量分别提高了1.36个百分点和1.94个百分点,对于交通灯和摩托车等小物体的类别检测准确率分别提高了4.4个百分点和8.3个百分点。提出的全景分割网络综合了全卷积全景分割网络、多尺度特征及注意力机制的优点,使得图像实例级全景分割准确率更高。     

基于卷积神经网络的全景分割Transformer模型

提出一种基于卷积神经网络的Transformer模型来解决全景分割任务,方法借鉴CNN在图像特征学习方面的先天优势,避免了Transformer被移植到视觉任务中所导致的计算量增加.基于卷积神经网络的Transformer模型由执行特征域变换的映射器和负责特征提取的提取器这两种基本结构构成,映射器和提取器的有效结合构成了该模型的网络框架.映射器由一种Lattice卷积模型实现,通过对卷积滤波器进行设计和优化来模拟图像的空间关系.提取器由链式网络实现,通过链式单元堆叠提高特征提取能力.基于全景分割的结构和功能,构建了基于CNN的全景分割Transformer网络.在MS COCO和Cityscapes数据集的实验结果表明,所提方法具有优异的性能.     

基于肤色检测与卷积神经网络的手势识别

针对光照变化、背景噪声等复杂环境对手势识别的影响,提出了一种基于YCb Cr空间肤色分割去除背景结合卷积神经网络进行手势识别方法。首先根据人体肤色在YCb Cr颜色空间中的聚类效果,采用基于椭圆模型的肤色检测方法进行手势分割;然后对分割后的手势图像提取骨架与边缘相融合的手势特征图;再通过深层次的Alex Net卷积神经网络结构,对经过融合的手势特征图进行识别。实验结果表明,针对复杂的背景环境,该算法具有较强的鲁棒性,在不同数据集下对手势的平均识别率提升了4%,可以达到99.93%。     

基于反卷积特征学习的图像语义分割算法

随着深度学习的发展,语义分割任务中许多复杂的问题得以解决,为图像理解奠定了坚实的基础.本文算法突出表现在两个方面,其一是利用反卷积网络,对卷积网络中不同深度的卷积层提取到的多尺度特征进行融合,之后再次通过反卷积操作对融合后的特征图进行上采样,将其放大到原图像的大小,最后对每个像素进行语义类别的预测.其二为了提升本文网络结构的性能,提出一种新的数据处理方式,批次中心化算法.经过实验验证,本文算法在SIFT-Flow数据集上语义分割的平均准确率达到45.2%,几何分割的准确率达到96.8%,在PASCAL VOC2012数据集上语义分割的平均准确率达到73.5%.     

对称式密集连接网络的地基云图分割方法

为了提高地基云图分割的精度，提出一种对称式密集连接卷积神经网络的云图分割方法进行地基云图分割研究。提出的新的网络结构通过普通卷积层提取地基云图特征，通过连续的密集连接块和上采样模块对特征图进一步处理，通过并联方式融合网络浅层和网络深层的特征图从而实现对地基云图精确的分割。其中，密集块中采用跨层连接的方式实现了网络中所用层的特征传递，使得云图特征得到复用，同时一定程度上减轻了训练过程中的梯度消失问题，通过并联浅层网络和深层网络的特征图实现了对地基云图的进一步精确分割。实验结果表明，该方法与其他用于地基云图分割的机器学习方法相比，能够提高地基云图的分割准确率，具有良好的泛化效果。     

结合全局注意力机制的实时语义分割网络

针对轻量化网络结构从特征图提取有效语义信息不足,以及语义信息与空间细节信息融合模块设计不合理而导致分割精度降低的问题,本文提出一种结合全局注意力机制的实时语义分割网络(global attention mechanism with real time semantic segmentation network ,GaSeNet)。首先在双分支结构的语义分支中引入全局注意力机制,在通道与空间两个维度引导卷积神经网来关注与分割任务相关的语义类别,以提取更多有效语义信息;其次在空间细节分支设计混合空洞卷积块,在卷积核大小不变的情况下扩大感受野,以获取更多全局空间细节信息,弥补关键特征信息损失。然后重新设计特征融合模块,引入深度聚合金塔池化,将不同尺度的特征图深度融合,从而提高网络的语义分割性能。最后将所提出的方法在CamVid数据集和Vaihingen数据集上进行实验,通过与最新的语义分割方法对比分析可知,GaSeNet在分割精度上分别提高了4.29%、16.06%,实验结果验证了本文方法处理实时语义分割问题的有效性。     

基于改进的U-Net肺结节分割方法研究

由于肺部CT图像的特征信息复杂程度高,经典U型卷积网络对肺结节分割存在准确率较低和误分割等问题.针对这一问题,提出一种改进的U型卷积网络模型.该模型将U-Net网络和DenseNet网络融合,将解码器浅层特征连接至深层特征来增强特征的复用性.通过U-Net网络与卷积条件随机场(ConvCRF)的端到端结合训练来增强边缘特征,解决了边界模糊的问题.提出一种改进的focal loss损失函数,该函数提高了结节所占的权重,解决了正负样本不平衡的问题.在LUNA16数据集中作对比实验验证了模型的性能,分割精准度达到0.9374,敏感度为0.941,该结果证明了改进模型在肺结节分割中更优.     

基于深度特征聚合网络的医学图像分割

利用卷积神经网络(CNN)进行医学图像分割时,通常将分割问题抽象为特征表示和参数优化问题,但在上采样和下采样过程中容易丢失特征信息,导致分割效果不理想.设计包含三级特征表示层和特征聚合模块的深度特征聚合网络结构DFA-Net.通过三级特征表示层提取基础特征同时聚合中间特征和深层特征,从而以聚合深层特征弥补CNN上采样与...     

基于递归特征金字塔的UPSNet全景分割应用研究

在学习研究全景分割方法UPSNet时，发现其骨干网络所提取的特征对子网络的分割结果起到了至关重要的影响。针对UPSNet全景分割算法所提取的特征不能更好地适用于语义分割和实例分割子网络的问题，对其进行改进，将递归特征金字塔网络结构融合到原网络中，提出基于递归特征金字塔的UPSNet全景分割改进算法。该结构将骨干网络提取的特征通过递归的方式二次反馈到骨干网络中，使其再训练得到更好的特征提供给子网络，提升了模型的鲁棒性，从而提升了原网络的性能。将改进的算法在Cityscapes数据集及自行标注的全景分割数据集上与UPSNet及其他优秀的全景分割网络进行了实验对比，结果证明，评价指标PQ(Panoptic Quality)有了较大的提升，改进后的网络更加适用于智能驾驶场景。     

基于全卷积神经网络的肝脏CT影像分割研究

针对腹部CT影像邻近器官对比度较低及因个体肝脏形状差异较大等引起肝脏分割困难的问题,提出了全卷积神经网络肝脏分割模型。首先通过卷积神经网络提取图像深层、抽象的特征,再通过反卷积运算对提取到的特征映射进行插值重构后得到分割结果。由于单纯进行反卷积得到的分割结果往往比较粗糙,因此,在反卷积之前,先融合高层与低层的特征,并且通过增加反卷积的层数、减少反卷积步长,得到了更为精确的分割结果。与传统卷积神经网络的分割方法相比,该模型可以充分利用CT影像的空间信息。实验数据表明该模型能够使腹部CT影像肝脏分割具有较高的精度。     

基于可分离金字塔的轻量级实时语义分割算法

针对现有语义分割算法参数量过多、内存占用巨大导致其很难满足自动驾驶需要等现实应用的问题,提出一种基于可分离金字塔模块（SPM）的新颖、有效且轻量的实时语义分割算法。首先,利用特征金字塔形式的分解卷积和扩张卷积来构建瓶颈结构,从而以一种简单但有效的方式提取局部和上下文信息;然后,提出基于计算机视觉注意力的上下文通道注意力（CCA）模块,来利用深层语义修改浅层特征图通道权重优化分割效果。实验结果显示：所提出的算法在Cityscapes测试集上以每秒91帧的速度达到了71.86%的平均交并比（mIoU）。相较高效残差分解卷积网络（ERFNet）,所提算法mIoU提高了3.86个百分点,处理速度是其2.2倍;与最新的非局部高效实时算法（LRNNet）相比,所提算法mIoU略低0.34个百分点,但处理速度每秒上升了20帧。实验结果表明,所提算法有助于完成如自动驾驶中要求的高效、准确的街道场景图像分割任务。     

A Unified Neural Network for Panoptic Segmentation

In this paper, we propose a unified neural network for panoptic segmentation, a task aiming to achieve more fine‐grained segmentation. Following existing methods combining semantic and instance segmentation, our method relies on a triple‐branch neural network for tackling the unifying work. In the first stage, we adopt a ResNet50 with a feature pyramid network (FPN) as shared backbone to extract features. Then each branch leverages the shared feature maps and serves as the stuff, things, or mask branch. Lastly, the outputs are fused following a well‐designed strategy. Extensive experimental results on MS‐COCO dataset demonstrate that our approach achieves a competitive Panoptic Quality (PQ) metric score with the state of the art.     

基于无锚框分割网络改进的实例分割方法

在无人驾驶应用场景中,现有无锚框实例分割方法存在大目标特征覆盖小目标特征、缺少两阶段检测器中的感兴趣区域对齐操作、忽略类别分支对掩膜分支提供的位置和空间信息等问题,导致特征提取不充分且无法准确获取目标区域。提出一种改进的无锚框实例分割方法。结合可变形卷积,设计编码-解码特征提取网络提取高分辨率特征,以增强对小目标特征的提取能力,并采用空洞卷积和合并连接的方式,在不增加计算量的前提下有效融合多种分辨率的特征。在此基础上,将注意力机制引入到类别分支中,同时设计结合空间信息和通道信息的信息增强模块,以提高目标检测能力。实验结果表明,该方法在COCO 2017和Cityscapes数据集上平均精度和平均交并比分别为41.1%和83.3%,相比Mask R-CNN、SOLO、Yolact等方法,能够有效改进实例分割效果并具有较优的鲁棒性。     

交叉特征融合和RASPP驱动的场景分割方法

本文针对场景中目标多样性和尺度不统一等现象造成的边缘分割错误、特征不连续问题, 提出了一种交叉特征融合和RASPP驱动的场景分割方法. 该方法以交叉特征融合的方式合并编码器输出的多尺度特征, 在融合高层语义信息时使用复合卷积注意力模块进行处理, 避免上采样操作造成的特征信息丢失以及引入噪声的影响, 细化目标边缘分割效果. 同时提出了深度可分离残差卷积, 在此基础上设计并实现了结合残差的金字塔池化模块——RASPP, 对交叉融合后的特征进行处理, 获得不同尺度的上下文信息, 增强特征语义表达. 最后, 将RASPP模块处理后的特征进行合并, 提升分割效果. 在Cityscapes和CamVid数据集上的实验结果表明, 本文提出方法相比现有方法具有更好的表现, 并且对场景中的目标边缘有更好的分割效果.     

A Fast Panoptic Segmentation Network for Self-Driving Scene Understanding

In recent years, a gain in popularity and significance of science understanding has been observed due to the high paced progress in computer vision techniques and technologies. The primary focus of computer vision based scene understanding is to label each and every pixel in an image as the category of the object it belongs to. So it is required to combine segmentation and detection in a single framework. Recently many successful computer vision methods has been developed to aid scene understanding for a variety of real world application. Scene understanding systems typically involves detection and segmentation of different natural and manmade things. A lot of research has been performed in recent years, mostly with a focus on things (a well-defined objects that has shape, orientations and size) with a less focus on stuff classes (amorphous regions that are unclear and lack a shape, size or other characteristics Stuff region describes many aspects of scene, like type, situation, environment of scene etc. and hence can be very helpful in scene understanding. Existing methods for scene understanding still have to cover a challenging path to cope up with the challenges of computational time, accuracy and robustness for varying level of scene complexity. A robust scene understanding method has to effectively deal with imbalanced distribution of classes, overlapping objects, fuzzy object boundaries and poorly localized objects. The proposed method presents Panoptic Segmentation on Cityscapes Dataset. Mobilenet-V2 is used as a backbone for feature extraction that is pre-trained on ImageNet. MobileNet-V2 with state-of-art encoder-decoder architecture of DeepLabV3+ with some customization and optimization is employed Atrous convolution along with Spatial Pyramid Pooling are also utilized in the proposed method to make it more accurate and robust. Very promising and encouraging results have been achieved that indicates the potential of the proposed method for robust scene understanding in a fast and reliable way.     

基于多尺度特征融合模型的遥感图像建筑物分割

针对传统深度网络模型难以精确提取建筑物边缘轮廓特征及对不同尺寸建筑物无法自适应提取的问题,提出一种膨胀卷积特征提取的多尺度特征融合深度神经网络模型(Multiscale-feature fusion Deep Neural Networks with dilated convolution,MDNNet)对遥感图像建筑物自动分割的方法。首先在ResNet101模型中引入膨胀卷积扩大提取视野保留更多特征图像分辨率;其次利用多尺度特征融合模块获取多个尺度的建筑物特征并将不同尺度的特征融合;最终利用特征解码模块将特征图恢复到原始输入图像尺寸,实现遥感图像建筑物精确分割。在WHU遥感图像数据集的实验结果表明,提出模型有效克服道路、树木和阴影等因素影响,分割结果有效保留建筑物边界细节信息,有效提升分割精度,像素准确率PA达到0.864,平均交并比mIoU达到0.815,召回率Recall达到0.862。     

基于多级特征图联合上采样的实时语义分割

视觉感知是无人驾驶技术中的重要一环,而语义分割技术又是实现视觉感知的主要技术手段之一.现在的语义分割技术多采用计算量大、内存占用高的空洞卷积来提取高分辨率特征图,从而导致现在主流的语义分割网络分割速度不足,无法有效应用于无人驾驶的场景中.针对这一问题,提出了一种实时性更好的语义分割网络.首先,采用了一种轻量级的卷积神经...     

多尺度特征金字塔融合的街景图像语义分割

针对街景图像语义分割任务中的目标尺寸差异大、多尺度特征难以高效提取的问题, 本文提出了一种语义分割网络(LDPANet). 首先, 将空洞卷积与引入残差学习单元的深度可分离卷积结合, 来优化编码器结构, 在降低了计算复杂度的同时缓解梯度消失的问题. 然后利用层传递的迭代空洞空间金字塔, 将自顶向下的特征信息依次融合, 提高了上下文信息的有效交互能力; 在多尺度特征融合之后引入属性注意力模块, 使网络抑制冗余信息, 强化重要特征. 再者, 以通道扩展上采样代替双线插值上采样作为解码器, 进一步提升了特征图的分辨率. 最后, LDPANet方法在Cityscapes和CamVid数据集上的精度分别达到了91.8%和87.52%, 与近几年网络模型相比, 本文网络模型可以精确地提取像素的位置信息以及空间维度信息, 提高了语义分割的准确率.     

基于增强特征融合解码器的语义分割算法

针对语义分割中全卷积神经网络解码器部分特征融合低效的问题,设计一种增强特征融合的解码器。级联深层特征与降维后的浅层特征,经过卷积运算后引入自身平方项的注意力机制,通过卷积预测自身项与自身平方项各通道的权重,利用乘法增强后对结果进行作和。基于pascal voc2012数据集的实验结果表明,该解码器相比原网络mIoU指标提升2.14%,结合不同特征融合方式的解码结果也验证了其性能优于同一框架下的其他对比方法。     

基于多层信息融合的实时语义分割 及其在电力场景中的应用

语义分割是计算机视觉的一项基础工作。本文提出一种新型的结合点卷积与空洞卷积的上采样结构，并基于该结构设计一个能融合多层信息的实时语义分割模型。该模型在Cityscapes数据集上的mIoU能达到72.1%，对于640×360的输入图像，运行速度能达到125 fps，同时该模型在电力场景数据集下也有很好的效果。此外，本文还将该模型移植到移动端，实现一款基于语义分割的电力场景增强现实应用。