结合在线归纳和直推推理的快速视频目标分割方法

视频目标分割任务是通过算法自动获得视频序列中感兴趣目标对应的像素级区域.因为存在目标表观变化、尺度变化、相似目标干扰、遮挡等困难,所以视频目标分割是一个非常有挑战的任务.现有的方法按照对给定的视频第一帧真实标签的利用方式不同可以分为两类:一类是基于在线归纳学习的方法;另一类是基于直推推理的方法.基于在线归纳学习的方法为了获得准确的结果,在测试阶段,利用给定的初始帧分割图来在线地微调整个网络,导致时间消耗较大,很难满足实时需求.此外,基于直推推理的方法在建模时序推理规则时需要使用大量的合成数据或者标注数据,增加了算法训练的成本.为了充分利用基于在线归纳学习和基于直推推理的两类算法的优点,同时避免两种方法的缺点,本文提出了一个新的结合在线归纳学习和直推推理的快速视频目标分割算法,该网络由直推推理分支和在线归纳分支组成.具体的,直推推理分支可以通过视频前若干帧图像和对应的分割图建模视频短期内的时序变换和运动信息,从而推理出当前帧的分割结果,其学到的时序特征可以指导网络提高视频分割的稳定性.直推推理分支的预训练过程中只需要使用无标注的原始视频数据,不需要使用任何的合成或标注信息.在线归纳分支根...     

面向多种场景的视频对象自动分割算法

针对当前应用于视频对象分割的图割方法容易在复杂环境、镜头移动、光照不稳定等场景下鲁棒性不佳的问题,提出了结合光流和图割的视频对象分割算法.主要思路是通过分析前景对象的运动信息,得到单帧图像上前景区域的先验知识,从而改善分割结果.论文首先通过光流场采集视频中动作信息,并提取出前景对象先验区域,然后结合前景和背景先验区域建立图割模型,实现前景对象分割.最后为提高算法在不同场景下的鲁棒性,本文改进了传统的测地显著性模型,并基于视频本征的时域平滑性,提出了基于混合高斯模型的动态位置模型优化机制.在两个标准数据集上的实验结果表明,所提算法与当前其他视频对象分割算法相比,降低了分割结果的错误率,有效提高了在多种场景下的鲁棒性.     

视频分割中的层次化结构与匹配

通过加入层次化结构信息,解决了视频分割中由于帧与帧之间的关联不正确而产生的分割结果"闪屏"现象.首先对视频每帧进行层次化分割,并选取关键帧进行标注;然后建立帧间关联,在此过程中提出层次化的匹配算法,通过有效地利用层次化结构信息来改善分割效果.实验结果表明,该算法效率高、视频分割结果准确.     

结合全卷积网络的无监督视频目标分割

对视频中的目标进行像素级分割是计算机视觉领域的研究热点，完全没有用户标注的无监督视频分割对分割算法提出了更高的要求。近几年在分割中常使用基于帧间运动信息进行建模的方法，即用光流等运动信息预测目标轮廓，再结合颜色等特征建立模型进行分割。针对这些方法产生的前景背景混淆以及边缘粗糙等问题，本文提出结合全卷积网络的视频目标分割方法。首先通过全卷积网络预测视频序列中显著目标的轮廓，结合光流获得的运动显著性标签进行修正，然后建立时间-空间图模型，运用图割的方法获得最终的预测标签。在SegTrack v2以及DAVIS这2个通用数据集上进行评估，结果表明本文方法较基于帧间运动信息的方法在分割效果上有明显的提高。     

动态双边网格实现的视频前景分割算法

针对视频前景分割技术中前/背景颜色相似、物体遮挡、数据冗余等难点,提出用双边网格的数据结构形式来实现视频前景分割.首先为视频数据构造一个高维的映射空间;然后根据标签数据为空间中每一个节点计算相应的分割值,并采用图割算法进行分割;最后把高维特征空间中的结果降维到当前对应的视频帧中,完成分割.采用DAVIS数据对算法进行实验结果的表明,通过对分割结果的定性分析与定量对比,证明该算法切实可行,并能有效地解决上述问题.     

结合区域生长与图割算法的冠状动脉CT血管造影图像三维分割

针对图割算法适用于小幅图像,且在分割结构较复杂、感兴趣区域较小的三维CT血管造影(CTA)冠状动脉图像时效率较低的问题,实现了将区域生长和图割结合分割冠状动脉的算法.首先,利用基于阈值的区域生长算法将图像划分为若干区域,去除无关像素,得到结构简化、感兴趣区域较突出的图像;其次,对简化后的图像,结合灰度和空间信息构造网络图;最后,利用图割理论实现网络图分割,得到冠状动脉分割图像.实验结果表明,与传统的图割方法相比: 在分割效率上,区域生长和图割结合的分割算法降低了计算复杂度,效率提高了51.7%; 在绘制质量上,得到的冠状动脉分割图像目标区域完整,有助于医师对病变的正确分析.     

基于两段多组件图割的非监督彩色图像分割算法

提出基于两段多组件图割的彩色图像分割算法,以解决因标签过多和噪声导致的过分割和图割算法低效等问题.多组件图割算法分割图像时,把标签相同的区域处理为该标签的多个组件,结合两层高斯金字塔形成两段多组件图割,以减少分割错误和标签数量,提高分割的性能.算法首先提取基于多尺度四元数Gabor滤波的texton纹理特征,并自适应融合颜色特征;然后使用两段多组件图割获取图像的优化分割,其中,为了引导图割优化的方向,在平滑项中引入彩色梯度信息;最后去除分割结果中的弱边界,获得最终的分割结果.实验结果表明,相对于比较算法,新算法的分割性能有明显提升.     

利用图割实现背景自动切换

视频序列图像的背景切换是从视频图像帧中自动准确的提取出对象图像,然后赋予对象图像新的背景.针对此问题,本文提出基于图割理论的图像对象提取算法.首先提出采用能量最小化模型分离图像对象背景,并利用最小割/最大流算法实现能量最小化模型.其次,为了提高算法分割效果,算法采用HSV颜色模型,削弱V分离的作用从而减弱亮度变化对于分割的影响;最后对分割后的对象二值图像进行修正,提出用形态学操作进行边缘修补,用目标同化进行空洞填补.实验证明,算法提取出的对象图像完整、图像边缘清晰,较好的实现了视频序列图像的背景切换.     

基于笔画提取和颜色模型的视频文字分割算法

提出综合利用视频文字时空、笔画、颜色和几何特征的文字分割算法,快速准确地从复杂背景的视频图像中分割出文字。利用多帧融合进行图像增强,基于笔画宽度特征,使用笔画特征算子提取文字笔画,根据笔画图标注的文字区域建立颜色模型,提取文字颜色层,并用改进的连通域分析法去除文字颜色层中的同色背景和噪声。实验结果表明,该算法比传统算法能更好解决复杂背景的视频文字分割问题。     

基于纹理信息的室内场景语义标注学习方法

针对目前室内场景视频中关键物体的检测、跟踪及信息编辑等方面主要是采用人工处理方式,存在效率低、精度不高等问题,提出了一种基于纹理信息的室内场景语义标注学习方法。首先,采用光流方法获取视频帧间的运动信息,利用关键帧标注和帧间运动信息进行非关键帧的标注初始化;然后,利用非关键帧的图像纹理信息约束及其初始化标注构建能量方程;最后,利用图割方法优化得到该能量方程的解,即为非关键帧语义标注。标注的准确率和视觉效果的实验结果表明,与运动估计法和基于模型的学习法相比较,所提基于纹理信息的室内场景语义标注学习法具有较好的效果。该方法可以为服务机器人、智能家居、应急响应等低时延决策系统提供参考。     

一种时空联合的视频运动目标提取与跟踪新算法

提出了一种时空联合的视频运动目标提取与跟踪新算法。在空域分割中,针对分水岭方法过分割现象明显的缺点,对分水岭分割方法进行了改进;在时域分割中,首先对全局运动进行了补偿,随后为消除仅用两帧帧差进行对象分割所带来的误差,采用多帧帧差求和的方法,并自适应选取累积帧差的二值化阈值;时空分割结果进行投影融合后得到视频对象,提出用一种基于区域子块匹配的方法跟踪视频对象。实验结果表明,该算法简洁有效,能较好地把对象从运动背景中提取出来,并实现跟踪。     

一种基于时空结合的视频运动对象分割算法

针对目前的视频运动对象分割中算法复杂度高、实时性差,分割不精确等问题,提出了一种基于时空结合的视频运动对象分割算法.该算法利用视频序列的时间相关性来进行对称差分处理,首先取得当前帧运动对象的大致轮廓区域;然后在轮廓区域内,用区域增长法对图象作空域分割;最后利用对称差分的分割结果排除空域分割结果中的背景区域来取得运动对象.实验结果表明,这种算法简单实用,不仅兼顾了实时性和精确性,而且能有效地分割出视频序列中的运动对象.     

融合时空多特征表示的无监督视频分割算法

针对视频分割的难点在于分割目标的无规则运动、快速变换的背景、目标外观的任意变化与形变等,提出了一种基于时空多特征表示的无监督视频分割算法,通过融合像素级、超像素级以及显著性三类特征设计由细粒度到粗粒度的稳健特征表示。首先,采用超像素分割对视频序列进行处理以提高运算效率,并设计图割算法进行快速求解;其次,利用光流法对相邻帧信息进行匹配,并通过K-D树算法实现最近邻搜索以引入各超像素的非局部时空颜色特征,从而增强分割的鲁棒性;然后,对采用超像素计算得到的分割结果,设计混合高斯模型进行完善;最后,引入图像的显著性特征,协同超像素分割与混合高斯模型的分割结果,设计投票获得更加准确的视频分割结果。实验结果表明,所提算法是一种稳健且有效的分割算法,其结果优于当前大部分无监督视频分割算法及部分半监督视频分割算法。     

基于时空测地线传播的RGB-D视频分割

针对前景和背景深度交叠或相机运动时基于深度统计的传统视频分割算法中存在的问题,提出一种基于时空测地线的方法,并证明该方法适合基于深度的视频分割.首先使用基于运动检测的方式进行初始化;然后使用基于特征点选择方式定义种子结点,特征点匹配方式构建时域链接,空间上8邻域像素连接形成空域链接,在连续两帧之间构建时空测地线传播图;最后在时空测地线传播图上使用泛化测地线距离变换将前一帧的分割结果传播到当前帧,并自适应地在传播和检测间切换消除累计误差.实验结果表明,该方法能够在复杂场景和相机运动情形下输出稳定的分割结果.     

一种改进的视频关键帧提取算法研究

视频镜头分割和关键帧提取是基于内容的视频检索的核心问题.提出了一种改进的关键帧提取算法,其为视频检索奠定了基础,镜头分割部分采用改进直方图方法及基于像素方法的综合方法.首先,通过结合直方图交集及非均匀分块加权的改进直方图方法,根据视频内容将视频分割为镜头;然后,利用基于像素的帧差法,对得到的检测镜头进行二次检测,优化检测结果;最后,在HSV颜色空间的基础上,计算每个镜头内每帧的图像熵,从而确定关键帧序列.实验结果表明,提出的改进算法所得到的关键帧结构紧凑且分布均匀.     

视频目标分割中帧间相似性传播的研究

目前视频目标分割算法多是基于匹配和传播策略分割目标,常常以掩模或者光流的方式利用前一帧的信息,探索了新的帧间特征传播方式,利用短时匹配模块提取前一帧信息并传播给当前帧,提出一种面向视频序列数据的目标分割模型。通过长时匹配模块和短时匹配模块分别与第一帧和前一帧做相关操作进行像素级匹配,得到的全局相似性图和局部相似性图,以及前一帧的掩模和当前帧的特征图,经过两个优化网络后通过分割网络得到分割结果。在视频目标分割公开数据集上的实验表明,所提出方法在单目标和多目标上分别取得了86.5%和77.4%的区域相似度和轮廓精度均值,每秒可计算21帧。提出的短时匹配模块比仅使用掩模更有利于提取前一帧的信息,通过长时匹配模块和短时匹配模块的结合,不使用在线微调即可实现高效的视频目标分割,适合应用于移动机器人视觉感知。     

基于分水岭-隐马尔可夫模型联合的语义视频对象提取技术

针对3C无线网络的增值服务业务,提出一种语义对象基于分水岭算法的视频帧内的分割,及基于隐马尔可夫模型的视频帧间跟踪提取技术.其主要的特点是首先采用基于标识集的分水岭算法来进行初始帧内语义视频对象的标定和分割处理,随后再进行二值化掩膜处理,最后借助隐马尔可夫测量场模型,将后续帧中视频对象的跟踪处理演化为跟踪区域与非跟踪区域的二值离散化标定问题.实验结果证明,该算法能很好地实现视频帧序列中语义视频对象的连续提取.     

基于视觉注意的SVM彩色图像分割方法

提出一种基于视觉注意的自然场景彩色图像支持向量机（Support Vector Machine,SVM）分割方法。基于人类视觉注意机制将图像进行预分割,得到图像的显著区域和非显著区域,利用形态学操作对得到的图像进行处理,并自动选取和标注SVM的训练样本,用训练后的SVM分类器对整幅图像进行分割。该方法充分利用视觉注意机制方法的有效信息,解决了其边界不确定的缺陷,并且结合具有很好泛化性能的SVM学习方法,在无需先验知识以及任何人工干预的情况下,实现对自然场景图像的分割。为验证算法的有效性,分别从加州大学伯克利分校图像数据库及互联网选取多幅彩色图像进行实验,实验结果表明：该方法的分割结果不仅与人类视觉注意结果相一致,而且与伯克利图像数据库中人工标注结果相比,得到较好分割效果。     

基于图割与改进模糊C均值的图像分割

为提高图割算法对图像的分割效果,提出一种改进的模糊C均值聚类算法(FCMA)和图割分割算法相结合的图像分割方法。首先,用均值漂移算法将图像过分割成多个小区域(超像素),用得到的超像素代替像素点作为图的顶点,以相邻像素块间的关系为边构建图模型;然后,采用改进的模糊C均值(FCMA)算法对前景和背景的混合高斯模型分别进行聚类分析;最后,用最大流/最小割算法求取能量函数的全局最优解即得到图像的分割结果。实验结果表明,该方法在分割结果上具有较强的区域一致性及较为清晰、平滑的图像边缘,并且该方法对含有噪声的图像也能得到较好的分割结果。     

基于SVM和ICA的视频帧字幕自动定位与提取

视频字幕蕴涵了丰富语义,可以用来对相应视频流进行高级语义标注,但由于先前视频字幕提取考虑的只是如何尽可能定义好字幕特征,而忽视了分类学习机自身的学习推广能力.针对这一局限性,提出了一种基于支持向量机和独立分量分析的视频帧字幕定位与提取算法.该算法是首先将原始图象帧分割成N×N大小子块,同时将每个子块标注为字幕块和非字幕块两类;然后从每个子块提取能够保持相互高阶独立的独立分量特征去训练支持向量机分类器;最后结合金字塔模型和去噪方法,用训练好的支持向量机来实现对视频字幕区域自动定位提取.由于支持向量机能够在样本不是很多的情况下,具有良好的分类推广能力以及能使独立成分特征之间彼此保持高阶独立性,与其他视频帧字幕定位提取算法比较的结果表明,该算法具有明显的优点.