一种鲁棒的视频分割算法

无论是在图象识别，还是在基于MPEG－4的图象压缩编码等应用领域，视频对象分割取是其中一个很重要的技术环节，为了在静止背景的情况下，能很好地解决多目标分割的问题，同时能进行单目标的分割，提出了一种鲁棒性较好的视频分割算法，该算法通过对图象序列中每连续3 帧图象进行对称差分，首先检测出目标的运动范围，然后通过对差分结构进行聚类分析来确定该帧图象中视频对象的个数，接着再利用在二值差分图象上收缩的活动轮廓，把视频对象的轮廓精确地包围起来，即得到该帧分割结果；最后利用光流法来对视频对象进行投注跟踪，修正，另外还利用多个图象序列对该方法进行了试验，实验结果表明，在静止背景下，该算法无论是对运动的单目标，还是对运动的多目标，均能较好地从静止背景中分离出来，即能得到理想的分割结果，故具有一定的鲁棒性和实用性。     

交互式分割视频运动对象的研究与实现

在 MPEG- 4视频编码标准中 ,为了实现基于视频内容的交互功能 ,视频序列的每一帧由视频对象面来表示 ,而生成视频对象面 ,需要对视频序列中运动对象进行有效分割 ,并跟踪运动对象随时间的变化 .在视频分割方法中 ,交互式分割视频对象能满足分割的效率与质量指标要求 ,因此提出了一种交互分割与自动跟踪相结合的方式来分割视频语义对象 ,即在初始分割时 ,依据用户的交互与形态学的分水线分割算法相结合提取视频对象轮廓 ,并用改进的轮廓跟踪方法有效提高视频对象轮廓的精度 ;对后续帧的跟踪 ,采用六参数仿射变换跟踪运动对象轮廓的变化 ,用平移估算的运动矢量作为初始值 ,计算六参数仿射变换的参数 .实验结果表明 ,该方法能有效地分割并跟踪视频运动对象     

一种异步视频对象的速率控制算法

MPEG-4提出了视频对象的概念，产生了基于对象的速率控制问题，编码的视频对象可以是同步进行也可以是异步进行，后者在低比特率条件下更具有优越性，实验结果也证实了这点，针对异步视频对象编码，提出 一种速率控制算法，以达到恒定目标比特率，该算法首先根据在一个短的时间段内，一个视频对象的同一类型编码比特数近似相等的假设来估计某时刻总的编码比特数，然后采用全局分配原则，将目标比特数分配到编码的视频对象中，以获得视频对象近似恒定的失真比，另外，还提出了一种后处理技术，并用以克服异步对象的解码合成图象的失真，实验结果表明，该算法能够对异步视频对象进行有效的比特控制，并具有较高的主客观质量。     

基层层次光流的半自动时空视频分割技术

在新一代MPEG-4视频编码标准中，为了支持面向对象编码和实现基于内容的应用，视频的半自动分割成为关键技术之一，为此提出了一种基于层次光流的半自动时空视频分割算法。该算法由空域分割和时域分割组成。在空域分割中，提出的基于点的图形用户界面（PBGUI），在用户的协助下，能够精确地定义需要分割的视频对象（VO）。时域分割根据空域分割的结果采用层次光流算法对视频对象进行边界和整体跟踪。实验结果表明，利用该算法，能够精确地分割出视频对象。     

基于层次光流的半自动时空视频分割技术

在新一代 MPEG- 4视频编码标准中 ,为了支持面向对象编码和实现基于内容的应用 ,视频的半自动分割成为关键技术之一 ,为此提出了一种基于层次光流的半自动时空视频分割算法 .该算法由空域分割和时域分割组成 .在空域分割中 ,提出的基于点的图形用户界面 (PBGU I) ,在用户的协助下 ,能够精确地定义需要分割的视频对象 (VO) .时域分割根据空域分割的结果采用层次光流算法对视频对象进行边界和整体跟踪 .实验结果表明 ,利用该算法 ,能够较精确地分割出视频对象 .     

A multi-level abstraction and modeling in video databases

In this paper, we propose a multi-level abstraction mechanism for capturing the spatial and temporal semantics associated with various objects in an input image or in a sequence of video frames. This abstraction can manifest itself effectively in conceptualizing events and views in multimedia data as perceived by individual users. The objective is to provide an efficient mechanism for handling content-based queries, with the minimum amount of processing performed on raw data during query evaluation. We introduce a multi-level architecture for video data management at different levels of abstraction. The architecture facilitates a multi-level indexing/searching mechanism. At the finest level of granularity, video data can be indexed based on mere appearance of objects and faces. For management of information at higher levels of abstractions, an object-oriented paradigm is proposed which is capable of supporting domain specific views.     

基于拓扑独立成分分析和高斯混合模型的视频语义概念检测

针对目前词袋模型(BoW)视频语义概念检测方法中的量化误差问题,为了更有效地自动提取视频的底层特征,提出一种基于拓扑独立成分分析(TICA)和高斯混合模型(GMM)的视频语义概念检测算法。首先,通过TICA算法进行视频片段的特征提取,该特征提取算法能够学习到视频片段复杂不变性特征;其次利用GMM方法对视频视觉特征进行建模,描述视频特征的分布情况;最后构造视频片段的GMM超向量,采用支持向量机(SVM)进行视频语义概念检测。GMM是BoW概率框架下的拓展,能够减少量化误差,具有良好的鲁棒性。在TRECVID 2012和OV两个视频库上,将所提方法与传统的BoW、SIFT-GMM方法进行了对比实验,结果表明,基于TICA和GMM的视频语义概念检测方法能够提高视频语义概念检测的准确率。     

基于特征描述子的视频对象分级分割和跟踪算法

不同的视频应用对视频对象的分割和跟踪的速度和精确度具有不同的要求。提出了一种视频对象的分级分割和跟踪框架,基于视频对象特征描述子算法可以实时地分割和跟踪视频对象,基于区域特征描述子算法对分割的视频对象进一步细化,提高空域准确性。该框架可以满足各种视频应用。     

一种静态背景下的运动目标提取算法

为了对静态背景下的运动目标进行快速、准确的提取 ,提出了一种新的运动目标自动提取算法 .该算法在传统的亮度信息的基础上 ,通过引入色差信息来作为预分割的参考 ,取得了较好的预分割效果 ;然后通过改进传统的 canny算法 ,使之能处理含有时间关系的两帧图象 ,以此来获得物体的精细边缘 ;最后设计了一种辅助边缘提取方法 ,结合精细边缘 ,以此来得到运动物体的连续边界 .实验表明 ,这是一种快速稳健的分割算法     

一种层次视频摘要生成方法

视频摘要是视频内容的一种压缩表示方式。为了能够更好地浏览视频，提出了一种根据浏览或检索的粒度不同来建立两种层次视频摘要(镜头级和场景级)的思想，并给出了一种视频摘要生成方法：首先用一种根据内容变化自动提取镜头内关键帧的方法来实现关键帧的提取；继而用一种改进的时间自适应算法通过镜头的组合来得到场景；最后在场景级用最小生成树方法提取代表帧。由于关键帧和代表帧分别代表了它们所在镜头和场景的主要内容，因此它们的序列就构成了视频总结。一些电影视频片段检验的实验结果表明，这种生成方法能够较好地提供粗细两种粒度的视频内容总结。     

Direct Model-Based Tracking of 3D Object Deformations in Depth and Color Video

The tracking of deformable objects using video data is a demanding research topic due to the inherent ambiguity problems, which can only be solved using additional assumptions about the deformation. Image feature points, commonly used to approach the deformation problem, only provide sparse information about the scene at hand. In this paper a tracking approach for deformable objects in color and depth video is introduced that does not rely on feature points or optical flow data but employs all the input image information available to find a suitable deformation for the data at hand. A versatile NURBS based deformation space is defined for arbitrary complex triangle meshes, decoupling the object surface complexity from the complexity of the deformation. An efficient optimization scheme is introduced that is able to calculate results in real-time (25 Hz). Extensive synthetic and real data tests of the algorithm and its features show the reliability of this approach.     

基于视频对象的视频内容分级描述模型

本文提出了一种基于视频对象的视频内容分级描述模型.视频序列首先被分成一个个的镜头,在每个镜头内对视频对象进行分割和跟踪.按照镜头、视频对象、视频对象平面和视频对象区域四级框架提取特征,对视频内容进行分级描述.本文对视频内容信息的描述可以用于视频检索、视频注释等应用.     

动态场景下基于语义和光流约束的视觉同步定位与地图构建

针对动态场景下的定位与静态语义地图构建问题,提出了一种基于语义和光流约束的动态环境下的同步定位与地图构建（SLAM）算法,以降低动态物体对定位与建图的影响。首先,对于输入的每一帧,通过语义分割获得图像中物体的掩模,再通过几何方法过滤不符合极线约束的特征点;接着,结合物体掩模与光流计算出每个物体的动态概率,根据动态概率过滤特征点以得到静态特征点,再利用静态特征点进行后续的相机位姿估计;然后,基于RGB-D图片和物体动态概率建立静态点云,并结合语义分割建立语义八叉树地图。最后,基于静态点云与语义分割创建稀疏语义地图。公共TUM数据集上的测试结果表明,高动态场景下,所提算法与ORB-SLAM2相比,在绝对轨迹误差和相对位姿误差上能取得95%以上的性能提升,与DS-SLAM、DynaSLAM相比分别减小了41%和11%的绝对轨迹误差,验证了该算法在高动态场景中具有较好的定位精度和鲁棒性。地图构建的实验结果表明,所提算法创建了静态语义地图,与点云地图相比,稀疏语义地图的存储空间需求量降低了99%。     

SSD与时空特征融合的视频目标检测

目的 视频目标检测旨在序列图像中定位运动目标,并为各个目标分配指定的类别标签。视频目标检测存在目标模糊和多目标遮挡等问题,现有的大部分视频目标检测方法是在静态图像目标检测的基础上,通过考虑时空一致性来提高运动目标检测的准确率,但由于运动目标存在遮挡、模糊等现象,目前视频目标检测的鲁棒性不高。为此,本文提出了一种单阶段多框检测（single shot multibox detector,SSD）与时空特征融合的视频目标检测模型。方法 在单阶段目标检测的SSD模型框架下,利用光流网络估计当前帧与近邻帧之间的光流场,结合多个近邻帧的特征对当前帧的特征进行运动补偿,并利用特征金字塔网络提取多尺度特征用于检测不同尺寸的目标,最后通过高低层特征融合增强低层特征的语义信息。结果 实验结果表明,本文模型在ImageNet VID （Imagelvet for video object detetion）数据集上的mAP （mean average precision）为72.0%,相对于TCN （temporal convolutional networks）模型、TPN+LSTM （tubelet proposal network and long short term memory network）模型和SSD+孪生网络模型,分别提高了24.5%、3.6%和2.5%,在不同结构网络模型上的分离实验进一步验证了本文模型的有效性。结论 本文模型利用视频特有的时间相关性和空间相关性,通过时空特征融合提高了视频目标检测的准确率,较好地解决了视频目标检测中目标漏检和误检的问题。     

Multiresolution video object extraction fitted to scalable wavelet-based object coding

To enable content based functionalities in video processing algorithms, decomposition of scenes into semantic objects is necessary. A semi-automatic Markov random field based multiresolution algorithm is presented for video object extraction in a complex scene. In the first frame, spatial segmentation and user intervention determine objects of interest. The specified objects are subsequently tracked in successive frames and newly appeared objects/regions are also detected. The video object extraction algorithm includes discrete wavelet transform decomposition multiresolution Markov random field (MRF)-based spatial segmentation with emphasis on border smoothness at different resolutions, and an MRF-based backward region classification that determines the tracked objects in the scene. Finally, a motion constraint, embedded in the region classifier, determines the newly appeared objects/regions and completes the proposed algorithm towards an efficient video segmentation algorithm. The results are applicable for generic segmentation applications, however the proposed multiresolution video segmentation algorithm supports scalable object-based wavelet coding in particular. Moreover, compared to traditional object extraction algorithms, it produces smoother and more visually pleasing shape masks at different resolutions. The proposed effective multiresolution video object extraction method allows for larger motion, better noise tolerance and less computational complexity     

基于边缘信息和LH的视频文本自动检测

视频数据中的文本能提供重要的语义信息。针对视频中的文本检测问题,提出了用基于边缘信息和LH的方法检测视频帧文本所在的位置,方法简单,能快速地定位文本区域,且不受文本颜色、语种、文本字体大小的限制。检测和分割效果良好。     

基于特征选择和深度信念网络的文本情感分类算法

由于人类语言的复杂性，文本情感分类算法大多都存在因为冗余而造成的词汇量过大的问题。深度信念网络（DBN）通过学习输入语料中的有用信息以及它的几个隐藏层来解决这个问题。然而对于大型应用程序来说，DBN是一个耗时且计算代价昂贵的算法。针对这个问题，提出了一种半监督的情感分类算法，即基于特征选择和深度信念网络的文本情感分类算法（FSDBN）。首先使用特征选择方法（文档频率（DF）、信息增益（IG）、卡方统计（CHI）、互信息（MI））过滤掉一些不相关的特征从而使词汇表的复杂性降低；然后将特征选择的结果输入到DBN中，使得DBN的学习阶段更加高效。将所提算法应用到中文以及维吾尔语中，实验结果表明在酒店评论数据集上，FSDBN在准确率方面比DBN提高了1.6%，在训练时间上比DBN缩短一半。     

基于帧间差分法的动体特征速度聚类分析

针对智能视频监控中快速、准确的检测和识别运动物体的问题,提出了一种依据运动物体特征速度来检测识别动体以及解读其语义含义的算法。该方法以相对帧间差分法为基础,通过对预处理后的二值斑块图像的标记,计算斑块的像素长度作为其特征速度,并依据斑块特征速度的众数进行聚类分析,从斑块特征速度得到运动物体的特征速度语义解读和运动物体的检测识别。实验结果表明,斑块的特征速度不仅可以实现对运动物体的检测,而且通过聚类分析可以准确的得出动体特征的语义解读。用特征速度和众数聚类分析方法实现对运动物体的检测识别和语义解读相对于其他统计算法简单有效,便于智能摄像机的嵌入式开发。     

激光—相机系统语义栅格建图和路径规划

目的 SLAM（simultaneous localization and mapping）是移动机器人在未知环境进行探索、感知和导航的关键技术。激光SLAM测量精确，便于机器人导航和路径规划，但缺乏语义信息。而视觉SLAM的图像能提供丰富的语义信息，特征区分度更高，但其构建的地图不能直接用于路径规划和导航。为了实现移动机器人构建语义地图并在地图上进行路径规划，本文提出一种语义栅格建图方法。方法 建立可同步获取激光和语义数据的激光-相机系统，将采集的激光分割数据与目标检测算法获得的物体包围盒进行匹配，得到各物体对应的语义激光分割数据。将连续多帧语义激光分割数据同步融入占据栅格地图。对具有不同语义类别的栅格进行聚类，得到标注物体类别和轮廓的语义栅格地图。此外，针对语义栅格地图发布导航任务，利用路径搜索算法进行路径规划，并对其进行改进。结果 在实验室走廊和办公室分别进行了语义栅格建图的实验，并与原始栅格地图进行了比较。在语义栅格地图的基础上进行了路径规划，并采用了语义赋权算法对易移动物体的路径进行对比。结论 多种环境下的实验表明本文方法能获得与真实环境一致性较高、标注环境中物体类别和轮廓的语义栅格地图，且实验硬件结构简单、成本低、性能良好，适用于智能化机器人的导航和路径规划。