信息熵约束下的视频目标分割

大部分基于图论的视频分割方法往往先通过分析运动和外观信息获得先验显著性区域,然后用最小化能量模型来进一步分割,这些方法常常忽略对外观信息精细化分析,建立的目标模型对复杂场景的鲁棒性不佳。根据信息熵能够度量样本纯度,信息熵最小化和能量模型最小化具有一致的目标,提出一种信息熵约束下的视频目标分割方法。首先在经典光流法基础上结合点在多边形内部原理获得第一阶段的分割结果;然后以超像素为基本分割单元,获得均匀的运动和表现;最后在能量函数中引入信息熵约束项,构建前景背景像素标记的优化问题,通过最小化能量函数得到更精确的分割结果。在公开数据集上的实验结果表明目标模型中引入信息熵约束项能够有效提高视频目标分割的鲁棒性。     

基于SLIC和马尔科夫随机场的H.264视频对象分割

为了提高H.264压缩域视频对象分割时的鲁棒性和准确性,提出了一种基于简单线性迭代聚类(SLIC)和图割优化的马尔科夫随机场(MRF)运动对象分割算法.算法直接利用从摄像机产生的H.264压缩码流中提取的运动矢量.首先对运动矢量场进行预处理,然后构建基于改进的SLIC分割的马尔科夫模型能量函数,最后利用图割法求解能量函数进而分割出运动对象.在公开的数据集上进行实验表明,与近年来经典压缩域视频对象分割算法相比,上述算法在复杂背景下可以有效提高分割的准确率和F度量,运算速度平均提高约1.85倍.与先进的像素域分割方法相比,运算速度提高了5倍,算法适用于实时性要求较高的视频监控场合,可有效减少数据存储和处理的内存需求.     

多星形先验和图割的遥感影像交互式分割

针对遥感影像对多种地物进行分割时分割结果不够精确、适用性较差、效率较低的问题,提出了一种使用多星形先验与图割算法相结合的方法,实现遥感影像各类地物高效分割。算法利用均值漂移算法进行预分割,在图割算法中引入多星形先验信息,并基于前景背景交替迭代思想,实现多种地物一次分割。通过引入多星形先验,利用形状信息提高分割的准确性;利用一次交互获取多种地物的种子点,通过前景与背景种子点的交替迭代,改进图割理论的前景背景分割,提高分割效率。定量分析与实验结果表明:该算法对分割人工建筑区、植被、道路及水系更具准确性、高效性及普适性。     

结合核密度估计和边缘信息的运动对象分割算法

针对前景与背景具有相似颜色时的运动对象分割问题,提出一种结合核密度估计和边缘信息的分割算法.在前景和背景建模阶段使用颜色信息的基础上,引入边缘信息来构造前景和背景的概率模型;然后在马尔可夫随机场框架下引入与概率模型有关的似然能量项,以及反映空域连续性和时域一致性的能量项,并利用图切割方法来获得可靠的运动对象分割结果.实验结果证明,对于前景与背景具有相似颜色的视频序列,该算法降低了对象分割误差,显著地提高了整个序列中对象分割的鲁棒性.     

基于图割的低景深图像自动分割

结合图割算法,提出了一种针对低景深(Depth of field, DOF)图像的自动分割模型.首先,通过改进的点锐度算法得到图像的点锐度图, 并结合图像的颜色特征,得到一个四维的特征向量.其次, 通过对图像点锐度图强边缘的计算,利用图像清晰部分边缘较连续, 模糊部分边缘较弱、连续性较差的特点得到图像初步的前景/背景区域. 然后,对前景/背景的颜色和点锐度特征进行高斯混合模型(Gaussian mixture model, GMM)建模,结合全局、局部自适应的λ值,对图割算法的Shrinking bias 现象进行改善.最后,通过迭代的图割算法对前景/背景区域进行修正. 实验结果表明,该模型鲁棒性较高,分割结果更加精确.     

结合全卷积网络的无监督视频目标分割

对视频中的目标进行像素级分割是计算机视觉领域的研究热点，完全没有用户标注的无监督视频分割对分割算法提出了更高的要求。近几年在分割中常使用基于帧间运动信息进行建模的方法，即用光流等运动信息预测目标轮廓，再结合颜色等特征建立模型进行分割。针对这些方法产生的前景背景混淆以及边缘粗糙等问题，本文提出结合全卷积网络的视频目标分割方法。首先通过全卷积网络预测视频序列中显著目标的轮廓，结合光流获得的运动显著性标签进行修正，然后建立时间-空间图模型，运用图割的方法获得最终的预测标签。在SegTrack v2以及DAVIS这2个通用数据集上进行评估，结果表明本文方法较基于帧间运动信息的方法在分割效果上有明显的提高。     

一种新的结合非下采样Contourlet域融合和参数化内核图割的SAR图像无监督水灾变化检测

目的：基于非下采样Contourlet变换(NSCT)融合策略可以有效地抑制背景信息增强变化区域的信息。但是融合后图像具有复杂的统计特征,传统的基于统计特征的变化检测难以实现。基于参数化内核图割的遥感图像分割不受统计特征的限制。为此提出了一种基于NSCT融合和参数化内核图割的SAR图像无监督水灾变化检测新算法。方法：将均值比差异图像和对数比差异图像采用基于NSCT的融合算法进行融合,将融合后的差异图像采用参数化内核图割算法进行前景/背景的分割,得到最终的变化检测结果。结果：融合后的差异图像利用前两种差异图像的互补信息提高了变化检测精度。算法不受统计模型限制,不需要先验知识,适用性强。结论：实验结果表明,本文算法的检测精度优于传统的变化检测方法。     

结合支持向量机和图割的视频分割

为了提高视频分割的稳定性,提出一种结合支持向量机(SVM)和图割的算法.首先进行预处理,尽可能保持相邻帧背景静止;然后基于均值转移算法进行第1帧分割;再通过上一帧的分割结果采样收集像素的位置和颜色信息作为特征训练SVM,进而对后续帧进行标注;最后以标注的概率作为能量,结合基于图割的视频分割方法得到稳定的分割结果.实验结果表明,与传统图割算法相比,文中算法能得到更加稳定的分块边缘;同时,该算法使用的SVM能很方便地与其他现有视频分割算法结合.     

基于多分辨率三维图割的NRD分割

为了提高视网膜神经上皮层脱离自动分割的精度和效率,提出一种基于多分辨率三维图割的自动分割算法.首先通过视网膜厚度变化信息准确定位目标和背景区域,统计目标和背景的灰度分布特征,为图割算法提供先验信息;然后采用三维图割算法对4倍下采样后的频域光学相干断层扫描(SD-OCT)图像进行分割,得到粗分割结果;最后在原始分辨率图像上,对粗分割结果两侧的窄带区域进行三维图割,得到最终分割结果.在18组CirrusSD-OCT数据集上进行分割的实验结果表明,该算法的Dice相似性系数为95.07%,分割一组数据的平均时间为57 s,精度和效率均优于现有算法.     

结合边缘特征先验引导的深度卷积显著性检测

针对当前基于深度学习的显著性检测算法缺少利用先验特征和边缘信息，且在复杂场景中难以检测出鲁棒性强的显著性区域的问题，提出了一种结合边缘特征，利用先验信息引导的全卷积神经网络显著性检测算法。该算法利用三种被经常用到的先验知识结合边缘信息形成先验图，通过注意力机制将提取的先验特征与深度特征有效融合，最终通过提出的循环卷积反馈优化策略迭代地学习改进显著性区域，从而产生更可靠的最终显著图预测。经过实验定性定量分析，对比证明了算法的可靠性。     

深浅层表示融合的半监督视频目标分割

为了解决半监督视频目标分割任务中,分割精度与分割速度难以兼顾以及无法对视频中与前景相似的背景目标做出有效区分的问题,提出一种基于深浅层特征融合的半监督视频目标分割算法。首先,利用预先生成的粗糙掩膜对图像特征进行处理,以获取更鲁棒的特征;然后,通过注意力模型提取深层语义信息;最后,将深层语义信息与浅层位置信息进行融合,从而得到更加精确的分割结果。在多个流行的数据集上进行了实验,实验结果表明：在分割运行速度基本不变的情况下,所提算法在DAVIS 2016数据集上的雅卡尔（J）指标相较于学习快速鲁棒目标模型的视频目标分割（FRTM）算法提高了1.8个百分点,综合评价指标为J和F得分的均值J&F相较于FRTM提高了2.3个百分点;同时,在DAVIS 2017数据集上,所提算法的J指标比FRTM提升了1.2个百分点,综合评价指标J&F比FRTM提升了1.1个百分点。以上结果充分说明所提算法能够在保持较快分割速度的情况下实现更高的分割精度,并且能够有效区别相似的前景与背景目标,具有较强的鲁棒性。可见所提算法在平衡速度与精度以及有效区分前景背景方面的优越性能。     

融合时空多特征表示的无监督视频分割算法

针对视频分割的难点在于分割目标的无规则运动、快速变换的背景、目标外观的任意变化与形变等,提出了一种基于时空多特征表示的无监督视频分割算法,通过融合像素级、超像素级以及显著性三类特征设计由细粒度到粗粒度的稳健特征表示。首先,采用超像素分割对视频序列进行处理以提高运算效率,并设计图割算法进行快速求解;其次,利用光流法对相邻帧信息进行匹配,并通过K-D树算法实现最近邻搜索以引入各超像素的非局部时空颜色特征,从而增强分割的鲁棒性;然后,对采用超像素计算得到的分割结果,设计混合高斯模型进行完善;最后,引入图像的显著性特征,协同超像素分割与混合高斯模型的分割结果,设计投票获得更加准确的视频分割结果。实验结果表明,所提算法是一种稳健且有效的分割算法,其结果优于当前大部分无监督视频分割算法及部分半监督视频分割算法。     

一种基于确信度的双向视频分割方法

提出了一种将前景物体从一个视频序列中分割出来的方法.提出了确信度模型,该模型由局部颜色配置信息求得.该算法首先对视频所有帧做了分水岭预处理,然后对关键帧做了图分割处理.接下来经由双向过程计算确信度.具体为先通过正向过程计算确信度,再通过逆向过程并辅以光流算法对小部分确信度进行修正,最后根据确信度进行前背景标注.该确信度模型对前背景较为相似的视频有良好的分割效果,并且由于通过双向过程进行分割,对视频中部分遮挡物体的分割也有不错的改善.     

一种动态场景下运动对象分割新算法

视频运动对象分割是计算机视觉和视频处理的基本问题。在摄像机存在全局运动的动态场景下,准确分割运动对象依然是难点和热点问题。本文提出一种基于全局运动补偿和核密度检测的动态场景下视频运动对象分割算法。首先,提出匹配加权的全局运动估计补偿算法,消除动态场景下背景运动对运动对象分割的影响;其次,采用非参数核密度估计方法分别估计各像素属于前景与背景的概率密度,通过比较属于前景和属于背景的概率及形态学处理得到运动对象分割结果。实验结果证明,该方法实现简单,有效地提高了动态场景下运动对象分割的准确性。     

Adding a rigid motion model to foreground detection: application to moving object detection in rivers

Object detection in a dynamic background is a challenging task in many computer vision applications. In some situations, the motion of objects can be predicted thanks to its regularity (e.g., vehicle motion, pedestrian motion). In this article, we propose to model such motion knowledge and to use it as additional information to help in foreground detection. The inclusion of object motion information provides a measure for distinguishing moving objects from a background that has similar sizes and brightness levels. This information is obtained by applying statistical methods on data obtained during the training period. When available, prior knowledge can be incorporated into the foreground detection process to improve robustness and to decrease false detection. We apply this framework to moving object detection in rivers, one of the situations in which classic background subtraction algorithms fail. Our experiments show that the incorporation of prior motion data into background subtraction improves object detection.     

Optical flow approximation based motion object extraction for MPEG-2 video stream

This paper presents a compressed-domain motion object extraction algorithm based on optical flow approximation for MPEG-2 video stream. The discrete cosine transform (DCT) coefficients of P and B frames are estimated to reconstruct DC + 2AC image using their motion vectors and the DCT coefficients in I frames, which can be directly extracted from MPEG-2 compressed domain. Initial optical flow is estimated with Black’s optical flow estimation framework, in which DC image is substituted by DC + 2AC image to provide more intensity information. A high confidence measure is exploited to generate dense and accurate motion vector field by removing noisy and false motion vectors. Global motion estimation and iterative rejection are further utilized to separate foreground and background motion vectors. Region growing with automatic seed selection is performed to extract accurate object boundary by motion consistency model. The object boundary is further refined by partially decoding the boundary blocks to improve the accuracy. Experimental results on several test sequences demonstrate that the proposed approach can achieve compressed-domain video object extraction for MPEG-2 video stream in CIF format with real-time performance.     

一种基于时空联合的视频对象分割方法

视频对象分割在基于内容的视频编码和视频检索中均有重要的应用.为此,针对视频对象分割,提出了一种时域和空域信息融合的视频对象分割方案,该方案首先对时域分割采用基于F-假设检验的方法来得到初始的变化检测模板,然后通过与基于形态学的空域分割融合来获得最终的运动对象.实验结果表明,该方案计算比较简单,能较好地将前景运动对象从静止或运动、简单或复杂的背景中分离出来,且定位精度较好.     

一种用于视频对象分割的仿 U 形网络

在半监督的分割任务中,单镜头视频对象分割(OSVOS)方法根据第一帧的对象标记掩模进行引 导,从视频画面中分离出后续帧中的前景对象。虽然取得了令人印象深刻的分割结果,但其不适用于前景对象 外观变化显著或前景对象与背景外观相似的情形。针对这些问题,提出一种用于视频对象分割的仿 U 形网络结 构。将注意力机制加入到此网络的编码器和解码器之间,以便在特征图之间建立关联来产生全局语义信息。同 时,优化损失函数,进一步解决了类别间的不平衡问题,提高了模型的鲁棒性。此外,还将多尺度预测与全连 接条件随机场(FC/Dense CRF)结合,提高了分割结果边缘的平滑度。在具有挑战性的 DAVIS 2016 数据集上进 行了大量实验,此方法与其他最先进方法相比获得了具有竞争力的分割结果。