基于深度特征融合的图像语义分割

在图像语义分割中使用卷积网络进行特征提取时,由于最大池化和下采样操作的重复组合引起了特征分辨率降低,从而导致上下文信息丢失,使得分割结果失去对目标位置的敏感性。虽然基于编码器-解码器架构的网络通过跳跃连接在恢复分辨率的过程中逐渐细化了输出精度,但其将相邻特征简单求和的操作忽略了特征之间的差异性,容易导致目标局部误识别等问题。为此,文中提出了基于深度特征融合的图像语义分割方法。该方法采用多组全卷积VGG16模型并联组合的网络结构,结合空洞卷积并行高效地处理金字塔中的多尺度图像,提取了多个层级的上下文特征,并通过自顶向下的方法逐层融合,最大限度地捕获上下文信息;同时,以改进损失函数而得到的逐层标签监督策略为辅助支撑,联合后端像素建模的全连接条件随机场,无论是在模型训练的难易程度还是预测输出的精度方面都有一定的优化。实验数据表明,通过对表征不同尺度上下文信息的各层深度特征进行逐层融合,图像语义分割算法在目标对象的分类和空间细节的定位方面都有所提升。在PASCAL VOC 2012和PASCAL CONTEXT两个数据集上获得的实验结果显示,所提方法分别取得了80.5%和45.93%的mIoU准确率。实验数据充分说明,并联框架中的深度特征提取、特征逐层融合和逐层标签监督策略能够联合优化算法架构。特征对比表明,该模型能够捕获丰富的上下文信息,得到更加精细的图像语义特征,较同类方法具有明显的优势。     

基于多尺度Markov模型的SAR图像上下文融合分割方法

在多尺度Markov模型的基础上,提出了一种新的用于SAR图像无监督分割的上下文融合分割方法。该方法充分考虑了SAR图像分布的统计特性,用基于混合Rayleigh分布的多尺度Markov模型对待分割图像建模,并直接根据待分割图像用迭代条件估计算法来训练模型的参数。然后以上下文向量的形式提出了四种不同的上下文模型,并用这四种上下文模型分别对待分割图像的多尺度图像信息进行自上而下的融合,最终得到四种不同的分割结果。实验表明,该方法进一步提高了SAR图像分割结果的精度。     

基于反馈注意力机制和上下文融合的非模式实例分割

非模式实例分割是最近提出的对实例分割的扩展,其任务是对每个对象实例的可见区域和被遮挡区域都进行预测,感知完整的物理结构和语义概念。在预测对象被遮挡部分的形状和语义时,往往由于特征表示的识别能力不够和对上下文信息缺乏而导致对遮挡区域预测欠拟合甚至错误。针对这个问题,提出一个上下文注意模块和反馈注意力机制的特征金字塔结构,引入反馈连接进行再学习。该方法能够有效捕获全局语义信息和精细的空间细节,通过在COCO-amodal数据集训练和验证,非模式实例分割掩码平均精确率从8.4%提高到14.3%,平均召回率从16.6%提高到20.8%。实验结果表明,该方法能够显著提高对物体被遮挡部分预测的准确率,有效解决欠拟合问题。     

高精度实时语义分割算法框架: 多通道深度加权聚合网络

近年来随着深度学习技术的不断发展,涌现出各种基于深度学习的语义分割算法,然而绝大部分分割算法都无法实现推理速度和语义分割精度的兼得.针对此问题,提出一种多通道深度加权聚合网络(MCDWA_Net)的实时语义分割框架.\:该方法首先引入多通道思想,构建一种3通道语义表征模型,3通道结构分别用于提取图像的3类互补语义信息:低级语义通道输出图像中物体的边缘、颜色、结构等局部特征;辅助语义通道提取介于低级语义和高级语义的过渡信息,并实现对高级语义通道的多层反馈;高级语义通道获取图像中上下文逻辑关系及类别语义信息.\:之后,设计一种3类语义特征加权聚合模块,用于输出更完整的全局语义描述.\:最后,引入一种增强训练机制,实现训练阶段的特征增强,进而改善训练速度.\:实验结果表明,所提出方法在复杂场景中进行语义分割不仅有较快的推理速度,且有很高的分割精度,能够实现语义分割速度与精度的均衡.     

流形正则化约束的图像语义分割

目的 在基于深度学习的图像语义分割方法中,损失函数通常只考虑单个像素点的预测值与真实值之间的交叉熵并对其进行简单求和,而引入图像像素间的上下文信息能够有效提高图像的语义分割的精度,但目前引入上下文信息的方法如注意力机制、条件随机场等算法需要高昂的计算成本和空间成本,不能广泛使用。针对这一问题,提出一种流形正则化约束的图像语义分割算法。方法 以经过数据集ImageNet预训练的残差网络(residual network, ResNet)为基础,采用DeepLabV3作为骨架网络,通过骨架网络获得预测分割图像。进行子图像块的划分,将原始图像和分割图像分为若干大小相同的图像块。通过原始图像和分割图像的子图像块,计算输入数据与预测结果所处流形曲面上的潜在几何约束关系。利用流形约束的结果优化分割网络中的参数。结果 通过加入流形正则化约束,捕获图像中上下文信息,降低了网络前向计算过程中造成的本征结构的损失,提高了算法精度。为验证所提方法的有效性,实验在Cityscapes和PASCAL VOC 2012(pattern analysis, statistical modeling and computational learning visual object classes)两个数据集上进行。在Cityscapes数据集中,精度值为78.0%,相比原始网络提高了0.5%;在PASCAL VOC 2012数据集中,精度值为69.5%,相比原始网络提高了2.1%。同时,在Cityscapes数据集中进行对比实验,验证了算法的有效性,对比实验结果证明提出的算法改善了语义分割的效果。结论 本文提出的语义分割算法在不提高推理网络计算复杂度的前提下,取得了较好的分割精度,具有极大的实用价值。     

基于邻近切片注意力融合的直肠癌分割网络

针对直肠癌目标靶区在磁共振成像（MRI）图像的大小、形状、纹理和边界清晰程度不同等问题，为了克服患者之间的个体差异性并提高分割精度，提出一种基于邻近切片注意力融合的直肠癌分割网络（ASAF-Net）。首先，使用高分辨率网络（HRNet）作为主干网络，并在特征提取过程始终保持高分辨率特征表示，以减少语义信息和空间位置信息的损失；其次，通过邻近切片注意力融合（ASAF）模块融合并增强相邻切片之间的多尺度上下文语义信息，使网络能够学习相邻切片之间的空间特征；最后，在解码网络使用全卷积网络（FCN）和空洞空间金字塔池化（ASPP）分割头协同训练，并通过添加相邻切片间的一致性约束作为辅助损失缓解训练过程中出现的相邻切片差异过大的问题。实验结果表明，与HRNet相比，ASAF-Net在平均交并比（IoU）、平均Dice相似系数（DSC）指标上分别提升了1.68和1.26个百分点，平均95%豪斯多夫距离（HD）降低了0.91 mm。同时，ASAF-Net在直肠癌MRI图像多目标靶区的内部填充和边界预测方面均能实现更好的分割效果，有助于提升医生在临床辅助诊断中的效率。     

融合上下文信息的多尺度贝叶斯图像分割

提出了一种融合上下文信息的多尺度贝叶斯图像分割算法,基于多尺度MRF图像模型,将模型中各结点的邻域结点类别信息抽象为上下文,求得结点的后验边缘概率之后,在各尺度融合表征了同一尺度内及相邻尺度的邻域信息的上下文,结点在相邻结点信息的指导下,得到的分割结果在均匀区域内部及区域边界都大为改善,而且没有增加模型的复杂度,算法仍然是快速的、非迭代的．融合过程中的参数采用EM算法估计．分析和实验结果表明算法是有效的．     

边界信息保持的全染色肾脏切片多粒度分割

目的 肾小球图像的准确分割对肾脏病理学的疾病诊断和定量分析起到关键作用,然而全染色肾脏切片图像存在由肾小球个体差异大导致的空间尺度和上下文形状变化大,以及图像分辨率过高的问题,给高精度、高性能分割任务带来挑战。为此,提出一种边界信息保持的全染色肾脏切片多粒度分割方法。方法 使用一种多粒度上下文的空间注意力机制生成多粒度和多形状变化的空间注意力图,以限制上下文特征,减弱背景对目标的影响,强化网络对目标的感知能力,使网络更多地关注小目标特征;将原图像切分为若干小图来解决全染色图像分辨率高的问题,使用增广路径边界补零策略处理卷积核存在的贡献偏移效应,解决了肾小球目标处于图像边界所导致的分割困难问题,保证图像块的信息无损失地向高层传递,提高处于图像块边界的肾小球目标的分割精度;进一步地,针对图像块拼接带来的边缘肾小球容易漏检、计算开销大的问题,采用特征复用的概率累积滑窗策略,同时提高了分割精度和效率。结果 在小鼠肾脏细胞切片和HuBMAP（human biomolecular atlas program）人体肾脏数据上,本文方法提高了分割精度,并使预测速度提高50%左右。结论 对于全染色肾脏切片的肾小球分割问题,多粒度上下文特征和增广路径边界补零策略解决了边界区域肾小球目标分割困难、分割精度低的问题,并通过概率累积滑窗策略提高分割速度,相较传统的分割方法有更优秀的性能。     

基于空洞空间金字塔池化的雾天图像语义分割

针对雾天图像语义分割中分割精度不高的问题,基于空洞空间金字塔池化、Xception模块和残差网络,提出一种雾天图像语义分割算法.该算法一方面使用空洞空间金字塔池化和残差网络,以多个采样率的并行卷积以及卷积核大小为1×1的卷积对输入图像进行多尺度的上下文特征提取;另一方面,采用解码器结构使用预训练后的Xception模块对提取的特征进行分类,得到每一个像素的预测结果,用于增强分割边界的细化得到边界精细的分割结果.实验表明,所提算法在foggy cityscapes数据集上的平均交并比为73.03％、73.81％与74.50％,分割性能良好.     

人体前景的自动抠图算法

在基于立体视觉的人体建模系统中,背景像素的移除可以减少不必要的立体匹配计算,提高人体模型重建效率.为此,在给定大量具有前景Alpha蒙板真值的人体图像作为训练数据的前提下,提出了一个端到端的深度学习网络,以实现系统采集图像中人体前景自动抠图.该深度学习网络包括2个阶段:人体前景分割阶段和人体前景Alpha抠图阶段.在人体前景分割阶段,采用Mask R-CNN网络中的目标检测和掩码生成2个负载,并结合训练数据进行迁移学习,得到了适用于人体前景二值化分割的模型网络.在人体前景Alpha抠图阶段,采用Encoder-Decoder网络架构实现Alpha蒙板的自动预测.首先引入核为5的非学习卷积层,以上一个阶段的二值化分割结果作为输入,自动得到三分图Trimap,再和人体前景训练数据一起作为此阶段抠图网络的输入;经过学习迭代,获得能够预测人体前景Alpha蒙板的模型网络.在实验部分,以单幅系统采集人体图像为输入,无需额外先验和人工交互,可以自动估计人体前景Alpha掩码结果.用户测试结果以及与其他方法的对比和分析证明了文中算法的可靠性和鲁棒性;同时,该自动抠图算法还对其他公开数据集的人体图像进行了掩码预测,实验结果表明该算法具有一定的泛化能力.     

Fast portrait automatic segmentation with coarse-to-fine CNNs

In this paper, we propose a coarse-to-fine convolutional network framework designed with problem specific knowledge for fast automatic portrait segmentation. We built up a dataset of 7 100 portrait images which are frames from personal live show videos. The proposed network includes a coarse network which can learn global information and a fine network which utilizes local information to refine the coarse output. Additionally, an auxiliary contour loss is introduced to help training the coarse network. The proposed framework shows higher accuracy than the widely-used fully convolutional network. With light-weight post-processing, the predicted foreground mask can be used in real-time portrait video editing tasks such as background replacement.     

动态生成掩膜弱监督语义分割

目的 传统图像语义分割需要的像素级标注数据难以大量获取,图像语义分割的弱监督学习是当前的重要研究方向。弱监督学习是指使用弱标注样本完成监督学习,弱标注比像素级标注的标注速度快、标注方式简单,包括散点、边界框、涂鸦等标注方式。方法 针对现有方法对多层特征利用不充分的问题,提出了一种基于动态掩膜生成的弱监督语义分割方法。该方法以边界框作为初始前景分割轮廓,使用迭代方式通过卷积神经网络（convolutional neural network,CNN） 多层特征获取前景目标的边缘信息,根据边缘信息生成掩膜。迭代的过程中首先使用高层特征对前景目标的大体形状和位置做出估计,得到粗略的物体分割掩膜。然后根据已获得的粗略掩膜,逐层使用CNN 特征对掩膜进行更新。结果 在Pascal VOC（visual object classes） 2012 数据集上取得了78.06% 的分割精度,相比于边界框监督、弱—半监督、掩膜排序和实例剪切方法,分别提高了14.71%、4.04%、3.10% 和0.92%。结论 该方法能够利用高层语义特征,减少分割掩膜中语义级别的错误,同时使用底层特征对掩膜进行更新,可以提高分割边缘的准确性。     

名词引导局部特征提取的基于文本的实例分割方法

局部特征信息在图像分割中扮演着重要角色,然而基于文本的实例分割任务具有对输入文本表达式的依赖性,无法直接从原始的输入图像中提取局部特征信息。针对这一问题,提出了一种具体的名词引导局部特征提取的深度神经网络模型(NgLFNet),NgLFNet模型可根据输入文本表达式中的关键名词来自动挖掘待分割对象的局部特征信息。具体地,该模型首先通过语句分析得到关键名词;其次通过文本和图像编码器提取相应特征,并利用关键名词通过多头注意力机制获取高关注区域局部特征;然后逐步融合多模态特征;最后在解码修正模块利用得到的局部特征对预测掩膜进行更细致的修正,从而得到最终结果。将该方法与多种主流基于文本的实例分割方法进行对比,实验结果表明该方法提升了分割效果。     

Machine vision scheme for stain-release evaluation using Gabor filters with optimized coefficients

This paper presents an efficient and practical approach for automatic, unsupervised object detection and segmentation in two-texture images based on the concept of Gabor filter optimization. The entire process occurs within a hierarchical framework and consists of the steps of detection, coarse segmentation, and fine segmentation. In the object detection step, the image is first processed using a Gabor filter bank. Then, the histograms of the filtered responses are analyzed using the scale-space approach to predict the presence/absence of an object in the target image. If the presence of an object is reported, the proposed approach proceeds to the coarse segmentation stage, wherein the best Gabor filter (among the bank of filters) is automatically chosen, and used to segment the image into two distinct regions. Finally, in the fine segmentation step, the coefficients of the best Gabor filter (output from the previous stage) are iteratively refined in order to further fine-tune and improve the segmentation map produced by the coarse segmentation step. In the validation study, the proposed approach is applied as part of a machine vision scheme with the goal of quantifying the stain-release property of fabrics. To that end, the presented hierarchical scheme is used to detect and segment stains on a sizeable set of digitized fabric images, and the performance evaluation of the detection, coarse segmentation, and fine segmentation steps is conducted using appropriate metrics. The promising nature of these results bears testimony to the efficacy of the proposed approach.     

基于双解码U型卷积神经网络的胰腺分割

计算机断层成像(computed tomography, CT)中, 胰腺分割作为医学图像分析中最具挑战的任务之一, 由于其体积小、形状多变的特点, 导致传统的自动分割方法无法达到理想的分割精度. 利用高级语义特征指导低级特征的思想, 提出一种基于双解码U型卷积神经网络的单阶段胰腺分割模型. 模型由一个编码器和两个解码...     

特征注意金字塔调制网络的视频目标分割

目的 视频目标分割是在给定第1帧标注对象掩模条件下,实现对整个视频序列中感兴趣目标的分割。但是由于分割对象尺度的多样性,现有的视频目标分割算法缺乏有效的策略来融合不同尺度的特征信息。因此,本文提出一种特征注意金字塔调制网络模块用于视频目标分割。方法 首先利用视觉调制器网络和空间调制器网络学习分割对象的视觉和空间信息,并以此为先验引导分割模型适应特定对象的外观。然后通过特征注意金字塔模块挖掘全局上下文信息,解决分割对象多尺度的问题。结果 实验表明,在DAVIS 2016数据集上,本文方法在不使用在线微调的情况下,与使用在线微调的最先进方法相比,表现出更具竞争力的结果,J-mean指标达到了78.7%。在使用在线微调后,本文方法的性能在DAVIS 2017数据集上实现了最好的结果,J-mean指标达到了68.8%。结论 特征注意金字塔调制网络的视频目标分割算法在对感兴趣对象分割的同时,针对不同尺度的对象掩模能有效结合上下文信息,减少细节信息的丢失,实现高质量视频对象分割。     

一种运动目标多特征点的鲁棒跟踪方法研究

提出了一种基于特征光流分割和卡尔曼滤波估计的鲁棒性的运动目标跟踪方法。该方法具有很多特点：首先在特征光流的计算中采用由粗到细的层级匹配算法，因而能够计算大的运动速度和具有更好的匹配精度；其次采用了有效的遮挡判决算法，该算法综合利用了先验的信息，对噪声的干扰不敏感；最后建立了线性卡尔曼滤波模型，当特征点被遮挡或丢失时，能够预测它们的位置，这使得跟踪更具有主动性。实验表明，该方法具有高精度、快速跟踪和很好的鲁棒性。     

实时视觉目标跟踪与视频对象分割多任务框架

目的 针对视觉目标跟踪（video object tracking,VOT）和视频对象分割（video object segmentation,VOS）问题,研究人员提出了多个多任务处理框架,但是该类框架的精确度和鲁棒性较差。针对此问题,本文提出一个融合多尺度上下文信息和视频帧间信息的实时视觉目标跟踪与视频对象分割多任务的端到端框架。方法 文中提出的架构使用了由空洞深度可分离卷积组成的更加多尺度的空洞空间金字塔池化模块,以及具备帧间信息的帧间掩模传播模块,使得网络对多尺度目标对象分割能力更强,同时具备更好的鲁棒性。结果 本文方法在视觉目标跟踪VOT-2016和VOT-2018数据集上的期望平均重叠率（expected average overlap,EAO）分别达到了0.462和0.408,分别比SiamMask高了0.029和0.028,达到了最先进的结果,并且表现出更好的鲁棒性。在视频对象分割DAVIS（densely annotated video segmentation）-2016和DAVIS-2017数据集上也取得了有竞争力的结果。其中,在多目标对象分割DAVIS-2017数据集上,本文方法比SiamMask有更好的性能表现,区域相似度的杰卡德系数的平均值J_M和轮廓精确度的F度量的平均值F_M分别达到了56.0和59.0,并且区域和轮廓的衰变值J_D和F_D都比SiamMask中的低,分别为17.9和19.8。同时运行速度为45帧/s,达到了实时的运行速度。结论 文中提出的融合多尺度上下文信息和视频帧间信息的实时视觉目标跟踪与视频对象分割多任务的端到端框架,充分捕捉了多尺度上下文信息并且利用了视频帧间的信息,使得网络对多尺度目标对象分割能力更强的同时具备更好的鲁棒性。