镜头内容分析及其在视频检索中的应用

提出了一种镜头内容分析方法及其在视频检索中的两个应用:镜头检索与场景结构提取.为了刻画一个镜头的内容变化,首先引入两个新的内容描述子:主色直方图和空间结构直方图.主色直方图能够捕捉那些持续时间最长的颜色,而这些颜色是这段视频所关注的对象或背景的主要颜色.从颜色块图提取的空间结构直方图是描述图像空间信息的一组特征.一个变化较大的镜头可以划分为几个内容一致的子镜头,两个镜头的相似性可以从对应子镜头的相似性计算得到.镜头相似性度量可以直接用于镜头检索,还可用于场景结构提取.另外,还提出分裂与合并力量竞争的场景结构提取方法.在大容量视频数据库上进行实验所得结果证实了该方法在镜头检索和场景提取的优异表现.     

基于视频对象的视频内容分级描述模型

本文提出了一种基于视频对象的视频内容分级描述模型.视频序列首先被分成一个个的镜头,在每个镜头内对视频对象进行分割和跟踪.按照镜头、视频对象、视频对象平面和视频对象区域四级框架提取特征,对视频内容进行分级描述.本文对视频内容信息的描述可以用于视频检索、视频注释等应用.     

一种通过视频片段进行视频检索的方法

视频片段检索是基于内容的视频检索的主要方式,它需要解决两个问题:(1) 从视频库里自动分割出与查询片段相似的多个片段;(2) 按照相似度从高到低排列这些相似片段.首次尝试运用图论的匹配理论来解决这两个问题.针对问题(1),把检索过程分为两个阶段:镜头检索和片段检索.在镜头检索阶段,利用相机运动信息,一个变化较大的镜头被划分为几个内容一致的子镜头,两个镜头的相似性通过对应子镜头的相似性计算得到;在片段检索阶段,通过考察相似镜头的连续性初步得到一个个相似片段,再运用最大匹配的Hungarian算法来确定真正的相似片段.针对问题(2),考虑了片段相似性判断的视觉、粒度、顺序和干扰因子,提出用最优匹配的Kuhn-Munkres算法和动态规划算法相结合,来解决片段相似度的度量问题.实验对比结果表明,所提出的方法在片段检索中可以取得更高的检索精度和更快的检索速度.     

一种层次的电影视频摘要生成方法

合理地组织视频数据对于基于内容的视频分析和检索有着重要的意义。提出了一种基于运动注意力模型的电影视频摘要生成方法。首先给出了一种基于滑动镜头窗的聚类算法将相似的镜头组织成为镜头类;然后根据电影视频场景内容的发展模式,在定义两个镜头类的3种时序关系的基础上,提出了一种基于镜头类之间的时空约束关系的场景检测方法;最后利用运动注意力模型选择场景中的重要镜头和代表帧,由选择的代表帧集合和重要镜头的关键帧集合建立层次视频摘要(场景级和镜头级)。该方法较全面地涵盖了视频内容,又突出了视频中的重要内容,能够很好地应用于电影视频的快速浏览和检索。     

基于关键帧序列的视频片段检索

提出了一种基于关键帧融合的视频片段检索方法。使用特征联合分布直方图将视频分割为子镜头,子镜头用关键帧表示。检索时,对范例视频片段的每个关键帧检索到相似的关键帧,所有的相似关键帧按照时间连续性融合为视频片段。提出一种快速的视频片段相似度计算模型。实验表明,本文的方法快速有效。     

结合互信息量与模糊聚类的关键帧提取方法

关键帧是描述一个镜头的关键图像帧,它通常反映一个镜头的主要内容,因此,关键帧提取技术是视频分析和基于内容的视频检索的基础。提出了一种结合互信息量与模糊聚类的关键帧提取方法,一方面通过互信息量算法对视频片段进行镜头检测可以保持视频的时间序列和动态信息,另一方面通过模糊聚类使镜头中的关键帧能很好的反映视频镜头的主要内容。最后构建了一套针对MPEG-4视频的关键帧提取系统,通过实验证明该系统提取的关键帧,可以较好地代表视频内容,并且有利于实现视频分析和检索。     

在线聚类算法用于基于内容的镜头检索

视频数据具有一定的隐舍层次性,因此在对视频进行镜头分割后,可以利用模糊聚类算法依据相似度提取关键帧和关键镜头,对视频内容进行抽象概括,并以此时镜头进行检索.本文用非监督学习方法中的在线聚类算法自动提取镜头的关键帧,以相似方法对关键帧进行聚类以自动提取关键镜头,并对分类结果进行自我调整.将上述方法实现并用于镜头检索,获得了良好的检索结果,并减少了经验对聚类的影响,而且较好地表示了视频内容的层次性.     

一种改进的视频关键帧提取算法研究

视频镜头分割和关键帧提取是基于内容的视频检索的核心问题.提出了一种改进的关键帧提取算法,其为视频检索奠定了基础,镜头分割部分采用改进直方图方法及基于像素方法的综合方法.首先,通过结合直方图交集及非均匀分块加权的改进直方图方法,根据视频内容将视频分割为镜头;然后,利用基于像素的帧差法,对得到的检测镜头进行二次检测,优化检测结果;最后,在HSV颜色空间的基础上,计算每个镜头内每帧的图像熵,从而确定关键帧序列.实验结果表明,提出的改进算法所得到的关键帧结构紧凑且分布均匀.     

基于超图聚类的故事单元的抽取与分析

合理而有效地结构化组织视频数据是浏览、检索和管理视频的重要前提.提出了一种新的层次化的结构化组织视频数据的提取故事单元的方法.它采用k-近邻超图描述镜头间的内容相似关系,利用超图模型对镜头聚类,并通过分析镜头类别间的时间投影关系提取故事单元,并采用一维字符串描述故事单元.此外,还提出了结合领域知识确定故事单元的类型的算法框架,并将其用于对话场景的检测.将算法用于测试多段视频,实验结果令人满意.     

基于视觉注意模型的自适应视频关键帧提取

关键帧提取是基于内容视频检索领域中一个重要的研究课题。提出了一种基于视觉注意模型的自适应视频关键帧提取方法。该方法分别提取视频中的运动和空间显著度,并用一种运动优先非线性混合模式将显著度合成为视觉注意度。在此基础上提出一种基于视觉注意度的局部和整体两级关键帧提取策略,先采用局部策略,选择镜头内注意度最大的帧作为关键帧候选;再根据视觉注意度的变化,为各个镜头自适应分配关键帧数目作为整体关键帧分配策略。实验证明,该方法提取的关键帧较为符合人类的视觉系统特性,而且该方法具有根据内容变化自适应提取关键帧等特点。     

细粒度分层时空特征描述符的微表情识别方法

由于微表情持续时间小于0.5?s、非自愿性和低强度等特点,微表情识别仍然是具有挑战性的任务。对分层时空特征描述符进行改进,提出一种新的细粒度分层时空特征的微表情识别方法。提取微表情视频片段中的各层次时空特征,利用投影矩阵建立时空特征和微表情之间的联系,进而选择对识别任务有贡献的区域。然后统计具有整体最大贡献度的层次,将该层次下选中的区域块和前一层选中的区域块进行交集操作,达到去除分层时空特征的空间冗余性和提升微表情特征区分度的目的。在CASME[Ⅱ]上的实验表明,提出的方法能够细粒度化微表情发生区域,获得了更好的识别结果。     

人体动作的超兴趣点特征表述及识别

提出一种基于超兴趣点的动作特征描述方法,用于人体动作的识别。兴趣点特征描述了人体动作时变化显著的局部点信息,但其最大的缺陷在于离散的兴趣点间缺乏时间和空间上的结构关联。提出根据兴趣点间的时空距离,使用广度优先搜索邻居算法,将时空距离相近的兴趣点聚合成超兴趣点,该结构作为一个整体,反映人肢体在一定时空范围内的动作变化特征。与现有的基于局部兴趣点的动作识别算法相比,本文算法增加了兴趣点间的整体时空结构关系,提高了特征的区分度。实验采用两层分类方法对超兴趣点特征分类,实验结果表明该算法具有较好的识别率。     

基于仿射传播聚类的自适应关键帧提取

关键帧提取技术,是基于内容的视频检索的一个重要组成部分。为了能从不同类型的视频里有效地提取关键帧,提出了基于仿射传播聚类的自适应关键帧提取算法。首先通过图像的颜色特征获取视频镜头的相似性矩阵,然后通过仿射传播聚类自适应地提取视频关键帧。该算法从视频的本身信息分布出发,自适应地搜索出视频最优关键帧,且运算速度快。实验表明,该算法能有效地提取出视频最优关键帧,且算法快速稳健。     

基于时空模式的轨迹数据聚类算法

针对轨迹聚类算法在相似性度量中多以空间特征为度量标准,缺少对时间特征的度量,提出了一种基于时空模式的轨迹数据聚类算法。该算法以划分再聚类框架为基础,首先利用曲线边缘检测方法提取轨迹特征点;然后根据轨迹特征点对轨迹进行子轨迹段划分;最后根据子轨迹段间时空相似性,采用基于密度的聚类算法进行聚类。实验结果表明,使用所提算法提取的轨迹特征点在保证特征点具有较好简约性的前提下较为准确地描述了轨迹结构,同时基于时空特征的相似性度量因同时兼顾了轨迹的空间与时间特征,得到了更好的聚类结果。     

改进STC和SURF特征联合优化的目标跟踪算法

针对传统时空上下文目标跟踪(STC)算法中目标窗口不能适应目标尺度变化,导致对目标针对性不强等问题,提出改进STC和SURF特征联合优化的目标跟踪算法(STC-SURF)。首先利用加速稳健(SURF)特征算法对相邻的2帧图像提取特征点并进行匹配,再通过随机抽样一致(RANSAC)算法消除误匹配,提高匹配精度。进而根据2帧图像中匹配特征点的变化对目标窗口进行调整。最终对STC算法中模型的更新方式进行优化以提高跟踪结果的准确性。实验结果表明,STC-SURF算法能够适应目标尺度变化,并且其目标跟踪成功率优于TLD算法和传统STC算法的。     

基于时空模型的尺度自适应视觉跟踪*

针对视觉跟踪过程中因目标尺度变化跟踪精度低的问题,提出一种基于时空模型的尺度自适应视觉跟踪算法(Spatio-temporal context – scale adaptive,简称STC-SA)。在颜色属性空间下提取目标颜色直方图特征;再通过时空上下文学习获取置信图中概率最大位置;最后利用颜色直方图进行相似度匹配和自适应方法修正跟踪框尺寸以达到最佳的跟踪效果。实验选取Benchmark中五组具有明显尺度变化的图像序列进行测试,STC-SA算法的跟踪成功率最高达到91%,验证了STC-SA算法具有较高的跟踪精度和跟踪实时性。     

基于自适应时空码书的粒子滤波多目标跟踪

提出一种基于自适应时空码书检测模型的粒子滤波多目标跟踪算法。使用时空码书模型进行前景背景分割,检测出前景目标,在该模型上加入目标自适应过程。将自适应时空码书检测的结果作为粒子滤波跟踪算法的初始目标状态,通过关联算法和粒子滤波实现多目标跟踪。自适应时空码书模型能明显降低对前景目标的误检率,抑制噪声干扰。实验结果表明,该算法能够在有干扰的复杂背景下实现对运动多目标的快速捕获,并有效提高跟踪的可靠性和精度。     

时空推理中自动生成复合表的通用算法

时空推理是面向时间/空间问题的研究领域,在人工智能(如语义Web、机器人导航、自然语言处理、物理过程的定性模拟和常识推理等)和其他领域有着广泛的应用前景.复合推理在时空推理中具有重要作用,是约束满足问题等其他定性推理的基础.复合推理是由R(a,b)和R(b,c)决定R(a,c)的一种演绎推理.一般将关系复合结果放在复合表中备查.但目前复合表的建立需要逐个模型进行手工推导,少数模型给出了独立的复合表生成算法,没有适合多种时空关系模型、能自动生成复合表的通用算法.为此,提出了一种能自动生成复合表的通用算法.首先,给出了基于空间划分的通用时空表示模型.在此基础上,提出了基于场景检测的通用复合表生成算法.通过理论分析和对RCC、宽边界、区间代数等20余种典型时空模型的测试,证明了本算法对于所有以精确区域(或区间)为基础的确定、不确定时空模型均能正确快速地生成复合表.     

多信息动态融合的运动目标检测方法

针对基于视觉显著性的运动目标检测算法存在时空信息简单融合及忽略运动信息的问题,提出一种动态融合视觉显著性信息和运动信息的运动目标检测方法。该方法首先计算每个像素的局部显著度和全局显著度,并通过贝叶斯准则生成空间显著图;然后,利用结构随机森林算法预测运动边界,生成运动边界图;其次,根据空间显著图和运动边界图属性的变化,动态确定最佳融合权值;最后,根据动态融合权值计算并标记运动目标。该方法既发挥了显著性算法和运动边界算法的优势,又克服了各自的不足,与传统背景差分法和三帧差分法相比,检出率和误检率的最大优化幅度超过40%。实验结果表明,该方法能够准确、完整地检测出运动目标,提升了对场景的适应性。