深度学习在视频对象分割中的应用与展望

视频对象分割是指在给定的一段视频序列的各帧图像中,找出属于特定前景对象的所有像素点位置区域.随着硬件平台计算能力的提升,深度学习受到了越来越多的关注,在视频对象分割领域也取得了一定的进展.本文首先介绍了视频对象分割的主要任务,并总结了该任务所面临的挑战.其次,对开放的视频对象分割常用数据集进行了简要概述,并介绍了通用的性能评估标准.接着,综述了视频对象分割的研究现状,详细地分析了当前的各种方法,并将它们划分为三大类:半监督的方法,即给出视频第一帧图像中感兴趣对象的详细人工真值标注,分割出视频剩余图像中的感兴趣对象;无监督的方法,即不给任何人工标注信息,自动识别并分割出视频中的前景对象;交互式的方法,即在分割过程中,通过人工交互式的参与,结合粗略的人工标注先验信息,进行视频对象分割.第三类方法的条件相当于前两者的折中:相对于第一类方法,它虽然需要人工的参与,但只需要少量的标注工作量;相对于第二类方法,它给视频序列中某些帧的图像适当地添加了一些人工标注信息,从而更具针对性.最后,对深度学习在视频对象分割任务中的应用,进行了总结和展望.     

ASRNet: Adversarial Segmentation and Registration Networks for Multispectral Fundus Images

Multispectral imaging (MSI) technique is often used to capture images of the fundus by illuminating it with different wavelengths of light. However, these images are taken at different points in time such that eyeball movements can cause misalignment between consecutive images. The multispectral image sequence reveals important information in the form of retinal and choroidal blood vessel maps, which can help ophthalmologists to analyze the morphology of these blood vessels in detail. This in turn can lead to a high diagnostic accuracy of several diseases. In this paper, we propose a novel semi-supervised end-to-end deep learning framework called “Adversarial Segmentation and Registration Nets” (ASRNet) for the simultaneous estimation of the blood vessel segmentation and the registration of multispectral images via an adversarial learning process. ASRNet consists of two subnetworks: (i) A segmentation module S that fulfills the blood vessel segmentation task, and (ii) A registration module R that estimates the spatial correspondence of an image pair. Based on the segmention-driven registration network, we train the segmentation network using a semi-supervised adversarial learning strategy. Our experimental results show that the proposed ASRNet can achieve state-of-the-art accuracy in segmentation and registration tasks performed with real MSI datasets.     

深度学习的图像实例分割方法综述

实例分割是一项具有挑战性的任务,需要同时进行实例级和像素级的预测,在自动驾驶、视频分析、场景理解等方面应用广泛.近年来,基于深度学习的实例分割方法迅速发展,如两阶段检测器Faster R-CNN扩展出的聚焦于网络的精度而非速度的强大实例分割基准Mask R-CNN,一度成为实例分割的标杆.利用高速检测的单阶段检测器延伸出的实例分割算法YOLACT填补了实时实例分割模型的空白,具有较高的研究和应用价值.本文首先对实例分割算法进行了类别划分,然后对一些代表性的算法及其改进算法进行了深入分析,并阐述了相关算法的优缺点,最后对实例分割方法未来的发展进行了展望.     

机械密封微小形变图像测量系统像素当量的标定

在机械密封数字散斑微小形变图像测量系统中,像素当量的标定工作介于图像采集和处理之间;基于VC++2008 MFC开发了图像像素当量标定系统;系统包含了抓图、图像的阈值分割、形态学处理、扫描检测标定块的边缘及线性回归分析功能;介绍了抓图软件的开发过程;编制了形态学的腐蚀、膨胀及开/闭运算的函数,使用这些函数实现了图像的形态学处理;在形态学处理后显示图像的基础上框选包含标定块的理想区域使用扫描法获取边缘信息;对获取的边缘信息进行线性回归分析拟合出标定块的上下边缘的直线方程,根据拟合出的方程求出两条直线间的距离,最后用标定块的实际宽度除以直线间的距离即为像素当量;运行结果表明获得了亚像素级别的像素当量,保证了后期使用DSCM方法计算微小形变的精度.     

经食道心房调搏的放射性核素心血管造影

本文应用反符合电路剔除调搏脉冲干扰的方法,制成经食道心房调搏心电心音门电路触发装置,用于经食道心房调搏的核素心血管造影。参考Tzivoni标准,当逐级增加调搏心率至140次/min或亚极量心率后发现:冠心病人有调搏后EF降低;急性心肌梗塞病人EF减低更为明显,并呈室壁反向运动。因此,心房调搏核素心血管造影有助于冠心病,特别是心肌梗塞的诊断。     

结合局部特征和全局信息的自适应活动轮廓模型

提出一种新的基于全局图像信息和局部图像特征的活动轮廓分割模型。模型的总能量函数主要包括3项:全局能量项、局部能量项和自适应调节项。其中,全局能量项整合了图像的全局信息,局部能量项则考虑了图像的局部特征,而二者的权重会根据上下文内容自适应调整。由于在模型中充分利用了图像全局信息和局部特征,因而有效地提高了分割的精度。此外,加入了凸优化技术,以获取模型的全局最优解。最后,采用Split-Bregman方法进行快速求解,使得模型的分割效率大大提高。实验结果表明,该模型对初始化具有较好的鲁棒性,在分割精度上有了较大的提升,特别是分割速度比C-V模型快1.5倍到2倍。     

保持几何特征的自适应弹性二次曲线模型

物体形状特征的准确提取往往受到图像获取、目标分割等过程中各种因素的影响,因而需要构造一种鲁棒的形状表现来保有其本质特征。揭示弹性二次曲线(EQW)模型中能量权重因子和样条重叠度因子与形状几何特性间的关系,提出一种自适应保持几何特征的EQW形状表现模型,并将该模型与交互式Live Wire算法相结合,应用至图像分割中,对于各种模态图像中的目标进行分割实验。直观上,本文方法能够在去除噪声同时较好地保持目标形状的显著特征;量化结果方面,交互式分割误差保持在较小稳定范围内,引入EQW模型带来的时间开销亦在可接受范围内。     

基于图像内容层次表征的遥感图像 分割方法

提出基于图像内容层次表征的高分辨率遥感图像快速多精度分割方法。首先根据初始分割结果建立区域邻接图(RAG),并将其定义为马尔可夫随机场(MRF);然后引入光谱、形状和边缘等图像特征进行层次合并,通过记录层次合并过程获得图像内容的层次表征;最后根据层次表征中不同层级对象之间的关系快速生成任意不同精度的分割结果,以满足不同应用的需求。利用QuickBird卫星图像进行实验和评价的结果表明,本文方法具有较高的精度和效率。     

均衡化特征匹配的非刚体细胞形态跟踪

提出利用均衡化特征匹配来进行非刚性细胞形体跟踪的方法。采用重启动的随机游走方法建立并求解特征匹配概率模型,利用双向均衡方法对匹配邻接矩阵进行均衡化处理,得到指定目标与待跟踪目标之间的精确匹配,以获得目标的定位跟踪结果。同时利用特征匹配结果进行目标的自动标定,并应用图像分割方法进行目标的精确轮廓跟踪。实验结果表明,将该方法应用于视频中动态背景下的运动细胞形态跟踪时,在背景相似度较高及目标迅速移动的条件下,表现出了良好的性能,与同类方法相比可获得较高的定位精度以及更为准确的目标轮廓。     

改进FCM在交互式图像分割中的应用

为解决由于自然纹理的干扰而导致的分割图像边缘模糊问题,对模糊C均值聚类算法进行改进并应用于交互式图像分割中。用户通过输入种子点来获得目标和背景的主要特征,并将输入的种子点作为聚类中心点;提出全局空间相似性度量标准并引入Gabor能量滤波器来计算图像中各点到聚类中心的距离;算法首次引入边缘密度概念定义权重因子,根据图像特点,自适应地计算图像中任意一点的纹理特征和颜色特征在特征空间中所占比例,使得到的特征更加准确地描述图像的本质属性。对具有自然纹理背景的图像进行仿真实验,应用两种性能指标来比较本文所提算法与随机游走算法的分割精度。实验结果表明,本文算法分割精度高于模糊聚类和随机游走算法。