基于卷积神经网络的多模态视频场景分割优化算法

针对基于内容的视频检索中场景分割效率有待提高的问题,提出了一种基于卷积神经网络提取特征的多模态视频场景分割优化算法。首先利用改进的VGG19网络从视频镜头中提取多种模态的底层特征和语义特征,再将这些特征组成向量,然后通过三重损失学习与镜头相似度计算等方法,使场景分割问题转换为对镜头边界的二分类问题,最后建立评分机制优化所得结果,获取分割好的视频场景及对应的场景边界,完成场景分割任务。实验结果表明,该算法能对视频场景进行有效分割,整体查全率与查准率分别能达到85.77%、87.01%。     

基于镜头竞争力的多模态视频场景分割算法

为了能快速、有效地进行视频场景分割,论文提出一种基于镜头竞争力的多模态视频场景分割算法,充分考虑视频中多模态之间的时序关联共生特性,通过对视频物理特征的提取、融合计算出镜头间相似度,结合镜头竞争力的判定思想分割出视频场景.实验结果表明,该算法能较为高效地进行视频场景分割,查全率和查准率可达82.1％和86.7％.     

一种基于语义的视频场景分割算法

针对如何在镜头基础上进行聚类，以得到更高层次的场景问题，提出了一个基于语义的场景分割算法。该算法首先将视频分割为镜头，并提取镜头的关键帧。然后计算关键帧的颜色直方图和MPEG-7边缘直方图，以形成关键帧的特征；接着利用镜头关键帧的颜色和纹理特征对支持向量机（SVM）进行训练来构造7个基于SVM对应不同语义概念的分类器，并利用它们对要进行场景分割的视频镜头关键帧进行分类，以得到关键帧的语义。并根据关键帧包含的语义概念形成了其语义概念矢量，最后根据语义概念矢量通过对镜头关键帧进行聚类来得到场景。另外．为提取场景关键帧，还构建了镜头选择函数，并根据该函数值的大小来选择场景的关键帧。实验结果表明，该场景分割算法与Hanjalic的方法相比，查准率和查全率分别提高了34．7％和9．1％。     

一种新的基于对象的足球视频镜头分类方案

论文提出了一种基于对象的足球视频镜头分类方案。首先对足球视频中的场地和运动员对象进行检测和分割,然后利用识别出的场地特征、运动员数目及运动员与场地比例等特征,对足球视频中的长距镜头、中距镜头、特写及其它类型的镜头进行分类。实验表明,该分类方案取得了良好的效果。     

基于粗糙集和模糊聚类的新闻视频镜头边界检测方法

为了将视频分割成镜头,目前的方法都是提取某些特征然后构造不同的相异性函数。然而,太多的特征就会降低镜头分割算法的效率。因此,有必要对每一个镜头检测决策进行特征约简。基于此,提出了基于粗糙集和模糊聚类的分类方法并得到了相应的决策规则。针对新闻场景的特殊性,将镜头分割成突变过渡、渐变过渡以及无场景变化3类。用超过2个小时的新闻视频所做的实验获得了96.5%的查全率和97.9%的准确率。     

基于3D深度残差网络与级联U-Net的缺血性脑卒中病灶分割算法

为了解决人工勾画缺血性脑卒中病灶费时费力且易引入主观差异的问题,提出了一种基于三维（3D）深度残差网络与级联U-Net的自动分割算法。首先,为了有效利用图像的3D上下文信息并改善类不平衡现象,将脑卒中核磁共振图像（MRI）采样成图像块作为网络输入;然后,利用基于3D深度残差网络与级联U-Net的分割模型对图像块进行特征提取,获得粗分割结果;最后,对粗分割结果进行精分割处理。在ISLES数据集上的实验结果表明,该算法的Dice系数可达到0.81,精确度可达到0.81,灵敏度可达到0.81,平均对称表面距离（ASSD）距离系数为1.32,HD为22.67。所提算法与3D U-Net算法、基于水平集算法、基于模糊C均值（FCM）算法和基于卷积神经网络（CNN）算法相比分割性能更好。     

利用基于色彩直方图的Fuzzy K-Means算法进行视频镜头分割

分析了现有的基于帧间特征差与阈值进行比较的传统视频镜头分割方法在阈值确定上的困难,以及由此对实验结果带来的不准确性,提出了将聚类算法应用于视频镜头分割,并提出了用FuzzyK-Means的聚类算法进行视频镜头分割.在视频特征上,选取的是传统的色彩直方图.实验结果显示这种基于色彩直方图的Fuzzy K-Means算法对于视频镜头的分割具有较好效果.     

基于子窗口区域的足球视频镜头分类

为了对海量视频数据进行有效的管理和快速浏览,急需对数字视频进行基于内容的视频检索。镜头分类是足球视频处理与检索的重要部分,针对目前现有足球镜头分类方法存在算法准确性不高或运算量过大的问题,提出了一种新的基于子窗口区域的镜头分类方法。该方法采用在HSV颜色空间中计算足球视频帧子窗口区域球场色像素比率,并辅以边缘信息的检测,对足球视频中的主镜头、中镜头、特写镜头和其他镜头进行了分类,实验结果表明该方法切实可行,具有很高的检出率和准确率。     

基于三维卷积神经网络的航运监控事件识别

针对传统的机器学习算法对大数据量的航运监控视频识别分类的效果不佳,以及现有的三维（3D）卷积的识别准确率较低的问题,基于3D卷积神经网络模型,结合较为流行的视觉几何组（VGG）网络结构以及GoogleNet的Inception网络结构,提出了一种基于VGG-16的3D卷积网络并引入Inception模块的VIC3D模型对航运货物实时监控视频进行智能识别。首先,将从摄像头获取到的视频数据处理成图片;然后,将等间隔取帧的视频帧序列按照类别进行分类并构建训练集与测试集;最后,在保证运行环境相同并且训练方式相同的前提下,将结合后的VIC3D模型与原模型分别进行训练,根据测试集的测试结果对各种模型进行比较。实验结果表明,VIC3D模型的识别准确率在原模型的基础上有所提升,相较于组约束循环卷积神经网络（GCRNN）模型的识别准确率提高了11.1个百分点,且每次识别所需时间减少了1.349 s;相较于C3D的两种模型的识别准确率分别提高了14.6个百分点和4.2个百分点。VIC3D模型能有效地应用到航运视频监控项目中。     

挖掘视频层次结构，改善视频管理*

为了实现视频层次结构挖掘,提出了一个有效的视频镜头分割算法和一种镜头相似性度量方法,然后根据镜头颜色、纹理和语义相似性采用场景边界探测算法构造视频场景.实验结果表明,这些算法是可行的.     

足球视频镜头分类方法

根据视频语义分析和视频摘要等应用对于视频数据结构化的需求,提出了一种针对足球视频的镜头分类方法.通过logo模板匹配检测并定位出视频中的慢镜头,对其余的正常比赛部分做镜头边界检测完成视频切分.基于分块的思想,对正常比赛镜头帧计算其各块的场地像素比率值作为特征,利用SVM分类器将正常比赛镜头分为远镜头、中镜头、球员特写或场外镜头3类.至此,整个视频流可以表示为结构化的四类镜头类型标示序列.实验结果表明,该方法在视频切分和镜头类型识别的准确性方面具有良好的效果.     

足球视频的结构分析与概要

该文描述了一种有效的框架对足球视频进行结构分析,根据电影特征和对象特征生成视频概要。由于足球视频的特殊性,本文在镜头边界检测中采用分层检测的方法:象素点对的比较、颜色直方图和对象分割和跟踪技术。我们在镜头分类中对中远镜头的区分提出了新的方法。以慢动作回放镜头为标志,通过分析镜头间的关联规则生成视频概要。     

基于语义信息提取的新闻视频场景分割方法

随着数字视频的广泛应用,视频数据库系统已成为多媒体领域的一个研究热点。在建立视频数据库的过程中,视频场景的分割是一个重要而又难以解决的问题。文章从分析新闻视频场景所特有的结构特征入手,提出了一种基于语义信息提取的新闻视频场景分割新方法,该方法通过对音频流和视频流中的镜头变换、主持人镜头、主题字幕和静音区间等语义信息的提取和分析来实现新闻视频场景的分割。实验表明,采用该文提出的方法,场景分割正确率可达86.9%,较好地解决了新闻视频场景分割问题。     

Scene Detection in Videos Using Shot Clustering and Sequence Alignment

Video indexing requires the efficient segmentation of video into scenes. The video is first segmented into shots and a set of key-frames is extracted for each shot. Typical scene detection algorithms incorporate time distance in a shot similarity metric. In the method we propose, to overcome the difficulty of having prior knowledge of the scene duration, the shots are clustered into groups based only on their visual similarity and a label is assigned to each shot according to the group that it belongs to. Then, a sequence alignment algorithm is applied to detect when the pattern of shot labels changes, providing the final scene segmentation result. In this way shot similarity is computed based only on visual features, while ordering of shots is taken into account during sequence alignment. To cluster the shots into groups we propose an improved spectral clustering method that both estimates the number of clusters and employs the fast global k-means algorithm in the clustering stage after the eigenvector computation of the similarity matrix. The same spectral clustering method is applied to extract the key-frames of each shot and numerical experiments indicate that the content of each shot is efficiently summarized using the method we propose herein. Experiments on TV-series and movies also indicate that the proposed scene detection method accurately detects most of the scene boundaries while preserving a good tradeoff between recall and precision.     

足球比赛场景的三维再现和自动解说

特定领域的视频解说巳成为当前多媒体研究的热点问题，其中一个主要应用领域是体育运动的解说与分析，文中介绍一个实用的足球比赛场景的三维重建和视频解说系统；首先通过足球比赛的视频序列恢复场景的三维模型，包括球员的位置、速度等参数，以及足球的运动轨迹，并根据这些信息和特定的先验知识识别球员的动作行为；进而对比赛过程加以评论；最后构造一个OpenGL的虚拟环境，用户可以在球场上漫游，从任意视角观看比赛。     

Active Foreground Region Extraction and Tracking for Sports Video Annotation

Automatic video segmentation plays a vital role in sports videos annotation. This paper presents a fully automatic and computationally efficient algorithm for analysis of sports videos. Various methods of automatic shot boundary detection have been proposed to perform automatic video segmentation. These investigations mainly concentrate on detecting fades and dissolves for fast processing of the entire video scene without providing any additional feedback on object relativity within the shots. The goal of the proposed method is to identify regions that perform certain activities in a scene. The model uses some low-level feature video processing algorithms to extract the shot boundaries from a video scene and to identify dominant colours within these boundaries. An object classification method is used for clustering the seed distributions of the dominant colours to homogeneous regions. Using a simple tracking method a classification of these regions to active or static is performed. The efficiency of the proposed framework is demonstrated over a standard video benchmark with numerous types of sport events and the experimental results show that our algorithm can be used with high accuracy for automatic annotation of active regions for sport videos.     

基于视觉注意模型和HMM的足球视频语义分析

HMM模型具有良好的适应性,可以自动学习,对预测随机时序数据性能良好。场景是足球视频的基本特征,场景的转换体现了足球视频的摄制、编辑模式,表现了足球视频的语义。提出了一种基于场景分析和HMM的视频语义分析框架,用于识别足球视频中的一些语义事件。为了克服以往基于主颜色和其他底层特征的视频场景分析中存在的较大误差,又提出基于视觉注意模型对足球视频中的场景进行分析。实验结果表明,基于场景分析和HMM的事件识别方法对足球视频中的任意球事件有良好的识别效果