基于概率超图的视频事件语义检测

视频事件类别的归属具有模糊性和不确定性,将超图的点边射入矩阵拓展成概率形式的软超图进行关联关系分析和语义分析,将会更有利于提高多事件检索检测的精准率和召回率。提出基于概率超图模型的视频事件语义检测算法（PHVESD）。 该方法首先将颜色、灰度共生矩阵、Tchebichef矩、局部二值模式（LBP）等四种底层视觉特征进行融合; 然后定义视频段的亲密度函数并利用亲密度的信息构建概率超图模型,其中每条超边对应一种事件语义;采用随机游走过程来预测视频段属于每条超边的概率;最后结合阈值采用条件概率模型对视频段进行事件语义分类。将该方法用于交通突发事件多语义检测中并与其他的识别算法相比较,实验结果表明,与基于超图模型的多标签随机游走算法（MLRW）相比,PHVESD的算法使多语义事件检测的准确率提高了10%,召回率提高了8%。     

一种基于多互补分类器的自动视频语义标注方法

在现有互训练(Co-Training)算法的基础上,提出了一种基于多个互补型分类器的半监督学习(Semi-Supervised Learn-ing)方法,并将其应用到自动视频语义标注框架中.该方法通过构建基于特征互补和模型互补的多个分类器对未标注样本中的隐含信息加以利用,并结合视频序列中概念分布的时间相关性和局部聚集性等特性提高了分类的准确性,相对于有监督学习方法提高了约7%左右.     

基于相关核映射线性近邻传播的视频语义标注

针对基于图的半监督学习方法在多媒体研究应用中忽略视频相关性的问题,提出了一种基于相关核映射线性近邻传播的视频标注算法.该算法首先通过核函数按照半监督学习调整后的距离计算出迭代标记传播系数;其次利用传播系数求得表示低层特征空间的样本,再根据视频相关性建模构造出语义概念间的关联表;最后完成近邻图的构造,并利用已标注视频信息迭代传播到未标注视频中,完成视频标注.实验结果表明,该算法不仅可以提高视频标注的准确度,还能弥补已标注视频数据数量的不足.     

基于超图模型的复杂视频事件检测

近年来,语义事件分析越来越受到重视,典型语义事件的检测与识别是一个具有挑战性的研究领域。提出了基于超图模型的复杂视频事件检测方法,通过分析对象的运动轨迹,检测出视频中的所有子事件并构建时序关系图及依赖关系图,从而生成子事件超图,并通过谱超图聚类分析来检测相应的复杂事件。采用图变换工具AGG进行模拟实验,其实验结果表明,该方法具有较高的准确率与召回率。     

一种基于反馈模糊图论的视频多语义标注算法

为了弥补视频语义检索中视频底层特征与高层语义概念之间的“语义鸿沟”,提出了一种基于反馈模糊图论的视频多语义标注算法。该算法首先构造一个包括所有数据的时间和空间分布信息的小样本集,据此进行人工标注并将其作为训练集。然后将模糊算子引入图论中,将语义概念间的关系模糊化,以实现模糊推理。最后将标注完成的测试集中的样本加入到训练集中,以完成视频标注的反馈。实验结果表明,使用反馈的模糊图不仅可以很好地建立语义概念间的关系,还能提高视频标注的准确率,表现出良好的性能。     

基于视觉本体的视频语义标注算法

提出一个基于视觉本体的视频语义标注算法。该算法利用贝叶斯统计学习和决策理论,通过计算视频关键帧的主要区域与视觉本体中概念的视觉相似性．动态地实现对视频对象的半自动语义标注。实验结果表明,利用该算法进行语义标注效果良好．并具有稳定的性能。     

基于概率超图聚类的关键帧提取方法

现有聚类方法在提取关键帧时存在着划分敏感、无法表达镜头内大量帧图像高次相关关系等问题。鉴于此,提出基于概率超图聚类的关键帧提取方法。该方法首先构建镜头帧概率超图,然后使用概率超图谱的聚类学习算法对镜头中的帧图像进行聚类,最后选取各聚类中心的帧图片作为该镜头的关键帧。实验表明,该方法计算简单,所提取的关键帧准确性高,提取结果能够更好地反映视频的主要内容。     

多头注意力与语义视频标注

在序列到序列的视频标注模型中,视频信息在经过编码之后被大幅压缩导致解码器端不能充分利用。为了解决这一问题,在模型中引入多头注意力机制和语义信息。多头注意力使得模型在生成不同的单词时可以焦距编码端视频信息的不同部分。语义信息由语义探测单元通过多标签分类方式生成视频的语义概率信息方式引入,给解码端提供额外指导,改进后的模型仍然是端到端的。实验结果表明,改进后的模型标注效果取得了显著的提升,采用的改进方法对提升标注能力有明显作用。     

基于自适应SVM的半监督主动学习视频标注

具有不同分布特性的视频包含相同的语义概念,会表现出不同的视觉特征,从而导致标注正确率下降。为解决该问题,提出一种基于自适应支持向量机(SVM)的半监督主动学习视频标注算法。通过引入?函数和优化模型参数将现有分类器转换为自适应支持向量(A-SVM)分类器,将基于高斯调和函数的半监督学习融合到基于A-SVM的主动学习中,得出相关性评价函数,根据评价函数对视频数据进行标注。实验结果表明,该算法在跨域视频概念检测问题上的平均标准率为68.1%,平均标全率为60%,与支持向量机半监督主动学习和基于直推式支持向量机半监督主动学习相比有所提高。     

基于宏微观重要性判别模型的时序多文档文摘

时序多文档文摘是针对新闻领域跨时段的相关文档集,即系列新闻报道进行问题无关的、抽取式文摘.根据系列新闻报道不同细节层次的时序特性.提出一种基于宏微观重要性判别模型的内容选择方法.从宏观和微观角度挖掘信息随着时间进化的时序特性,以指导时序多文档文摘的内容选择.首先通过宏观模型确定重要的时间点,然后通过微观模型在重要的时间点选择重要的句子,从而更有效地获取文摘.实验证明该方法是有效的.     

A temporal context model for boosting video annotation

In this paper, we propose a new method to model the temporal context for boosting video annotation accuracy. The motivation of our idea mainly comes from the fact that temporally continuous shots in video are generally with relevant content, so that the performance of video annotation could be comparably boosted by mining the temporal dependency between shots in video. Based on this consideration, we propose a temporal context model to mine the redundant information between shots. By connecting our model with conditional random field and borrowing the learning and inference approaches from it, we could obtain the refined probability of a concept occurring in the shot, which is the leverage of temporal context information and initial output of video annotation. Comparing with existing methods for temporal context mining of video annotation, our model could capture different kinds of shot dependency more accurately to improve the video annotation performance. Furthermore, our model is relatively simple and efficient, which is important for the applications which have large scale data to process. Extensive experimental results on the widely used TRECVID datasets exhibit the effectiveness of our method for improving video annotation accuracy.     

基于Hessian半监督特征选择的网络图像标注

针对半监督特征选择算法进行了研究,采用有标签图像和无标签图像的半监督特征选择方法来提升网络图像标注的性能。基于二阶Hessian能提出一个新的半监督特征选择方法,该方法具有更好的局部拓扑结构保持特性和推断能力,从而能够克服基于图拉普拉斯半监督学习方法的缺点。将所提出的半监督特征选择算法应用到网络图像标注任务中,在两个大规模网络图像数据库上进行了实验,结果表明Hessian半监督特征选择方法优于拉普拉斯半监督特征选择方法,适合大规模网络图像标注。     

基于连续预测的半监督学习图像语义标注

为了在图像底层特征与高层语义之间建立关系,提高图像自动标注的精确度,结合基于图学习的方法和基于分类的标注算法,提出了基于连续预测的半监督学习图像语义标注的方法,并对该方法的复杂度进行分析。该方法利用标签数据提供的信息和标签事例与无标签事例之间的关系,根据邻接点(事例)属于同一个类的事实,构建K邻近图。用一个基于图的分类器,通过核函数有效地计算邻接信息。在建立图的基础上,把经过划分后的样本节点集通过基于连续预测的多标签半监督学习方法进行标签传递。实验表明,提出的算法在图像标注中的标注词的平均查准率、平均查全率方面有显著的提高。     

图学习的区域图像标注方法

近年来,图像标注技术得到广泛关注.提出一种图学习的自动图像标注方法,将图像标注作为多示例学习框架下的半监督学习策略,通过给出适合图像在包空间的有效度量方式,充分利用未标注样本挖掘图像特征的内在规律性,将半监督学习的方法和多示例学习有效结合起来,从而获得更准确的标注结果.实验结果表明,提出的标注方法可行,同时标注结果与传统的标注方法相比得到了明显提高.     

基于超图表示的服装兼容性预测模型

针对现有服装兼容性模型都集中探究成对单品之间的兼容性这一问题,提出一种基于超图表示的服装兼容性预测模型。该模型首先基于现有数据集中时尚服装的不同类别和时尚服装间的搭配关系构建了一个服装超图,其中每个节点表示一件衣服,每条超边表示多件衣服组成的套装。为了更好地从超图中推断服装的兼容性,该模型将超图转换为传统图,并利用图神经网络模拟节点之间的复杂交互。最后引入注意力机制计算服装的兼容性得分,增强模型的预测能力。实验结果表明,在服装填空任务和服装兼容性预测两个服装搭配任务上,该模型分别达到了77.29%和96.23%的准确率,较其他基线模型有显著的提升。     

Combining Active and Semi-Supervised Learning for Video Compression

Video compression algorithms manipulate video signals to dramatically reduce the storage and bandwidth required while maximizing perceived video quality. Typical video compression methods include discrete cosine transform, vector quantization, fractal compression, and discrete wavelet transform. Recently, a machine learning based approach has been proposed which converts the color images (frames) to gray scale images (frames) and the color information for only a few representative pixels is kept. A learning model is then trained to predict the color values for the gray scale pixels across frames. Selecting the most representative pixels is essentially an active learning problem, while colorization is a semi-supervised learning problem. In this paper, we propose to combine active and semi-supervised learning for video compression. The basic idea is to minimize the size of the covariance matrix of the regularized least squares estimates, in which the regression model assumes that each pixel can be reconstructed by the other pixels with similar spatial location and intensity value. The experimental results demonstrate the effectiveness of the proposed approach for video compression.