基于流形学习与隐条件随机场的人体动作识别

提出了一种基于流形学习与隐条件随机场(hidden conditional random fields,简称HCRF)的动作识别方法.算法提取人体剪影作为输入特征,采用有监督的保持邻域嵌入(neighborhood preserving embedding,简称NPE)的子空间学习算法获得高维运动特征的低维流形表示,基于HCRF建模运动特征与动作语义之间的映射关系.在降维过程中,通过保持数据的局部邻接关系,NPE可以获取动作特征在低维流形空间上的本质分布特性.与HMM(hidden Markov model)等产生式模型相比,HCRF侧重从样本数据中抽取共有特征以获取正确的分类边界,不需要假定观测过程条件独立,可以更加自然地对动作的时空邻域关系进行建模.实验结果表明,即便对于特征差异较大或存在噪声干扰的动作序列,算法也能取得较好的识别效果.     

融合时空信息的前景/阴影视频分割算法

视频目标分割是视频目标跟踪、统计以及识别的基础.阴影是影响目标分割准确性的重要因素,有效对阴影进行检测与消除可提高视频目标分割的质量.本文提出一种采用状态机对阴影进行建模的方法,通过阴影模型来消除阴影.算法定义背景、阴影以及前景的势函数,利用马尔可夫随机场融合视频序列的时空邻域信息,采用Gibbs采样算法求解最大后验概率,提高视频目标分割的质量.在不同环境下对本文算法的有效性进行测试,并与其他算法进行比较,结果证明本文算法的有效性.     

结合识别信息的多目标视频分割

针对实际应用中待分割目标类型已知的情况,提出一种结合识别信息的多目标视频分割算法,使用训练数据集构建目标以及背景的特征字典,计算视频帧的超像素,构造一个分层条件随机场模型,用于约束视频帧的局部邻域和全局邻域,通过求解分层条件随机场模型,获得最终分割结果。实验结果表明,该算法能够对视频中相互遮挡及残缺不全的多个目标进行有效分割。     

结合识别信息的多目标视频分割

针对实际应用中待分割目标类型已知的情况,提出一种结合识别信息的多目标视频分割算法,使用训练数据集构建目标以及背景的特征字典,计算视频帧的超像素,构造一个分层条件随机场模型,用于约束视频帧的局部邻域和全局邻域,通过求解分层条件随机场模型,获得最终分割结果。实验结果表明,该算法能够对视频中相互遮挡及残缺不全的多个目标进行有效分割。     

面向智能视频监控中的运动目标检测方法研究

运动目标检测是实现智能视频监控的基础,针对当前运动目标检测方法在复杂场景中适应性差的问题,提出了一种结合时空马尔可夫随机场模型和高斯混合模型的运动目标检测方法。在训练时空马尔可夫随机场模型时,采用高斯混合模型的参数更新算法计算邻域图像分割区域的均值和方差,并通过时空邻域标记场设置势函数。通过与传统目标检测方法的仿真比较,验证了该方法的优越性。结果表明,与传统的目标检测方法相比,该方法在复杂场景下具有更高的检测精度,能够更清晰地分割前景中的运动目标。     

基于保边滤波的显著目标快速分割方法

在视频中自动发掘目标并对其进行精确分割是一个非常有挑战性的计算机视觉问题。本文提出了一种基于保边滤波的显著目标快速分割方法。首先,通过融合外观特征与运动特征,将视频中的显著目标发掘转为能量函数最小化问题进行求解。其次,为了更精确地进行分割目标,融合外观的高斯混合外观模型(Gaussian mixture mode,GMM)、位置先验以及时空平滑约束构建马尔科夫随机场(Markov random field,MRF)模型,并使用图割算法进行求解。本文提出的基于保边滤波的显著目标快速分割方法,在牺牲较少的精度下,极大地提高了分割效率。最后在两个数据集上进行了对比实验,实验结果表明,本文算法的分割精度超过了其他5种目标分割方法,且加速算法在损失少量精度的情况下提高了2倍分割效率。     

参数自适应的条件随机场视频分割方法

针对已有算法需要采用一系列参数经验值得到最优视频分割结果的问题,提出根据视频特征自适应地计算视频邻域关系的特征强度函数,构造参数自适应的条件随机场视频分割模型。算法的核心思想是采用视频中像素之间的邻域关系自适应计算各个模型的特征函数,通过条件随机场模型对这些特征能量函数进行约束并利用Gibbs采样算法对该模型进行求解,获得全局优化的分割结果。针对不同环境下的视频分割实验表明,该算法能够很好地逼近最优经验参数所得到的视频分割结果,从而避免定义经验值所导致的算法局限性问题。     

融合HCRF和AAM的足球视频精彩事件检测

精彩事件检测在体育视频语义分析领域具有很高的学术研究价值和广泛的市场应用前景.利用隐条件随机场(hidden conditional random field,HCRF)模型在表达和识别语义事件方面的强大功能,创新性地提出了一种融合了HCRF和情感激励模型(affective arousal model,AAM)的精彩事件检测方法.首先,通过精彩事件视频结构语义分析,定义了13种多模态语义线索,以准确描述精彩事件富含的语义信息;其次,在基于概念格的多模态语义线索聚类基础上,添加时域特征信息,以构建特征值加权的情感激励模型,得到了各类精彩事件的情感激励值;最后,在小规模训练样本情况下,有效建立了各类精彩事件检测的HCRF模型,基于视频语义镜头序列、情感激励值序列和精彩事件之间的映射关系,从多模态语义线索、视频结构语义、情感语义等多个维度挖掘了精彩事件的潜在规律,实现了同一HCRF模型下各类精彩事件的同时检测.实验证明了该方法的有效性.     

基于多分辨率马尔可夫随机场运动目标分割

提出一种基于三维时空小波变换和马尔可夫随机场(Markov Random Field)模型的多分辨率运动目标分割算法.该算法利用三维时空小波变换对图像序列进行分解得到多分辨率的图像序列,并在此基础上建立多分辨率的马尔可夫随机场模型,构造相应的能量函数.通过条件迭代模型优化算法(Iterated Conditional Modes)求解能量函数的最优解,得出标记场,提取出运动目标.实验结果证明,该算法能够很好地消除了单一分辨率的MRF运动检测结果中"空洞"现象,对运动目标分割具有很好的分割效果.     

基于分层分数条件随机场的行为识别

针对隐条件随机场(HCRF)的实时性问题和隐动态条件随机场（LDCRF）行为转换时的标记偏差问题,提出了一种基于分层分数条件随机场(SFCRF)模型的行为识别算法。该算法改进了LDCRF,并提出分数标记的概念,将人体行为的完整性和有向性具体化。实验结果表明,该算法取得了比条件随机场(CRF)、HCRF和LDCRF更好的识别效果。     

MPEG-4中的运动图像分割算法

MPEG-4采纳了基于对象的编码技术，它要求对图像和视频作更多的分析，甚至是理解。基于对象的编码是MPEG-4的一个重要特点，但是对象的分割问题至今仍未得到满意的解决。为了应用MPEG-4视频标准，视频序列的每一帧应该根据视频对象平面采描述，编码前的首要工作是视频对象的识别，把每一帧分解为若干视频对象平面，每个视频对象平面代表不同的有语义的对象。该论文介绍了MPEG-4的标准、国际上图像分割的发展状况，在此基础上提出了利用空时域信息实现MPEG-4视频对象的自动分割的算法。     

MPEG-4中的运动图像分割算法

MPEG-4采纳了基于对象的编码技术,它要求对图像和视频作更多的分析,甚至是理解。基于对象的编码是MPEG-4的一个重要特点,但是对象的分割问题至今仍未得到满意的解决。为了应用MPEG-4视频标准,视频序列的每一帧应该根据视频对象平面来描述,编码前的首要工作是视频对象的识别,把每一帧分解为若干视频对象平面,每个视频对象平面代表不同的有语义的对象。该论文介绍了MPEG-4的标准、国际上图像分割的发展状况,在此基础上提出了利用空时域信息实现MPEG-4视频对象的自动分割的算法。     

A dynamic conditional random field model for foreground and shadow segmentation

This paper proposes a dynamic conditional random field (DCRF) model for foreground object and moving shadow segmentation in indoor video scenes. Given an image sequence, temporal dependencies of consecutive segmentation fields and spatial dependencies within each segmentation field are unified by a dynamic probabilistic framework based on the conditional random field (CRF). An efficient approximate filtering algorithm is derived for the DCRF model to recursively estimate the segmentation field from the history of observed images. The foreground and shadow segmentation method integrates both intensity and gradient features. Moreover, models of background, shadow, and gradient information are updated adaptively for nonstationary background processes. Experimental results show that the proposed approach can accurately detect moving objects and their cast shadows even in monocular grayscale video sequences.     

结合SIFT校正的视频对象鲁棒水印

提出一种结合尺度不变特征变换(SIFT)特征点校正和时空域视频对象分割的视频对象水印算法。该算法采用时域和空域结合的方法分割出视频对象,将水印嵌入在视频对象的离散余弦变换域中。在嵌入前提取并注册视频对象的SIFT特征点,在水印检测时,通过与注册机构中特征点集的匹配和计算对视频对象进行几何校正,提取出水印信息。实验结果表明,该算法能够较好地保护视频对象,对几何攻击和常见信号处理攻击具有鲁棒性。     

Multiresolution video object extraction fitted to scalable wavelet-based object coding

To enable content based functionalities in video processing algorithms, decomposition of scenes into semantic objects is necessary. A semi-automatic Markov random field based multiresolution algorithm is presented for video object extraction in a complex scene. In the first frame, spatial segmentation and user intervention determine objects of interest. The specified objects are subsequently tracked in successive frames and newly appeared objects/regions are also detected. The video object extraction algorithm includes discrete wavelet transform decomposition multiresolution Markov random field (MRF)-based spatial segmentation with emphasis on border smoothness at different resolutions, and an MRF-based backward region classification that determines the tracked objects in the scene. Finally, a motion constraint, embedded in the region classifier, determines the newly appeared objects/regions and completes the proposed algorithm towards an efficient video segmentation algorithm. The results are applicable for generic segmentation applications, however the proposed multiresolution video segmentation algorithm supports scalable object-based wavelet coding in particular. Moreover, compared to traditional object extraction algorithms, it produces smoother and more visually pleasing shape masks at different resolutions. The proposed effective multiresolution video object extraction method allows for larger motion, better noise tolerance and less computational complexity     

一种用于视频对象分割的仿 U 形网络

在半监督的分割任务中,单镜头视频对象分割(OSVOS)方法根据第一帧的对象标记掩模进行引 导,从视频画面中分离出后续帧中的前景对象。虽然取得了令人印象深刻的分割结果,但其不适用于前景对象 外观变化显著或前景对象与背景外观相似的情形。针对这些问题,提出一种用于视频对象分割的仿 U 形网络结 构。将注意力机制加入到此网络的编码器和解码器之间,以便在特征图之间建立关联来产生全局语义信息。同 时,优化损失函数,进一步解决了类别间的不平衡问题,提高了模型的鲁棒性。此外,还将多尺度预测与全连 接条件随机场(FC/Dense CRF)结合,提高了分割结果边缘的平滑度。在具有挑战性的 DAVIS 2016 数据集上进 行了大量实验,此方法与其他最先进方法相比获得了具有竞争力的分割结果。     

一种非刚体目标的视频分割算法

视频分割是目标识别的关键技术。论文在对现有算法的分析,尤其是对空间分割中K均值算法和时间分割中的背景登记算法分析的基础上,改进了K均值算法,提出了一种基于时空结合的符合人眼对颜色变化敏感因素的分割算法。其基本思想是对视频序列分别做时间和空间分割,然后根据贝叶斯分类法对上述分割结果进行区域合并,即二次分类,从而得到分割结果。实验结果表明,论文提出的分割算法在保证算法效率的前提下,提高了分割的精度。