级联手工特征与深度特征的视频关键帧检测方法

关键帧检测是有效的视频内容分析的关键环节。常用的基于手工特征的方法运行效率高但很难有效表征关键帧特征,因而性能不好。基于深度特征的方法因为网络结构复杂,导致效率不高。在体育比赛类视频中,关键帧常为比赛转播中镜头变化的最后一帧。但广播视频中除了包含比赛视频还包括很多其他类型的镜头如中场休息、渐变镜头等。因此检测最后一帧包含很多比赛无关内容。针对这一问题,本文提出了一种手工特征与深度特征相结合的视频关键帧检测方法。首先基于颜色直方图特征进行镜头边界检测获取最后一帧。进一步基于直方图相似性提出一种类似聚类的方法得到候选关键帧。最后,基于深度神经网络对候选关键帧进行分类,得到真正的关键帧。在冰壶比赛视频和篮球比赛视频上的对比实验结果表明,相对于传统的背景差分法、光流法等,本文提出方法能够快速、可靠地提取关键帧。      

一种基于时空切片提取摄像机运动的方法

根据对视频时空切片的分析,提出了一种从视频中提取摄像机运动特征的方法:通过镜头突变检测,将视频分割为单镜头序列,再检测镜头中摄像机的运动.实验证明,该方法是鲁棒且有效的.     

基于知识的红移测量和谱线证认方法

该文给出了一种基于知识的天体光谱的红移测量和谱线证认方法。首先,利用特征谱线的相关知识对红移候选和特征谱线候选进行了定义,并根据定义交叉确认红移候选和特征谱线候选;然后,利用Parzen窗法对所得到的红移候选集进行密度估计;最后,确定密度最大的红移候选,将落入其Parzen窗内的所有红移候选值进行平均得到红移,与这些红移候选值相对应的特征谱线候选即为特征谱线。与现有的基于谱线匹配的方法相比,该方法对谱线提取效果的依赖程度较低。实验结果表明:该方法的鲁棒性较好,正确率较其它基于谱线匹配的方法有较大提高。     

一种稳健的新闻视频镜头检测方法

 根据人眼的视觉特性,本文提出了一种基于K-L变换的新闻视频镜头检测方法.首先,通过对原始RGB空间进行K-L变换,得到由主轴构成的图像参数模型;其次,运用基于滑动窗口的自适应阈值方法来比较相邻帧间参数模型的差异,得到候选的镜头切换帧;再次,定义以候选帧为首帧的小窗口,计算窗口内各帧与首帧的参数模型差异,得到随时间变化的曲线,称之为参数模型差异曲线(Parameter Model Variation Curve),简称PMV曲线;最后,通过分析曲线的特性进行镜头检测,完成镜头切换方式的分类,同时滤除掉闪光灯镜头.实验结果和性能比较表明,针对国内外新闻视频中出现的各种类型镜头切换该算法取得了良好的检测效果,并且对目标的快速运动、光照变化等具有一定的鲁棒性.     

一种基于交互信息量的视频摘要生成方法

提出了一种基于交互信息量的视频摘要生成方法。该方法首先使用基于交互信息量的方法进行视频镜头检测,通过对检测到镜头帧的聚类提取镜头候选关键帧。然后对候选关键帧按照相邻帧间交互信息量的比较来提取镜头关键帧,最后将镜头关键帧按时序排列在一起形成视频摘要。试验表明,这种关键帧提取算法是有效的,其建立的视频摘要能较好的反映原视频的内容。     

基于半监督学习的SAR目标检测网络

现有的基于卷积神经网络(CNN)的合成孔径雷达(SAR)图像目标检测算法依赖于大量切片级标记的样本,然而对SAR图像进行切片级标记需要耗费大量的人力和物力。相对于切片级标记,仅标记图像中是否含有目标的图像级标记较为容易。该文利用少量切片级标记的样本和大量图像级标记的样本,提出一种基于卷积神经网络的半监督SAR图像目标检测方法。该方法的目标检测网络由候选区域提取网络和检测网络组成。半监督训练过程中,首先使用切片级标记的样本训练目标检测网络,训练收敛后输出的候选切片构成候选区域集;然后将图像级标记的杂波样本输入网络,将输出的负切片加入候选区域集;接着将图像级标记的目标样本也输入网络,对输出结果中的正负切片进行挑选并加入候选区域集;最后使用更新后的候选区域集训练检测网络。更新候选区域集和训练检测网络交替迭代直至收敛。基于实测数据的实验结果证明,所提方法的性能与使用全部样本进行切片级标记的全监督方法的性能相差不大。     

一种新的视频镜头扫换边界检测方法

视频镜头扫换边界是一种常见的镜头边界类型,扫换的特征与大的物体/相机运动相似,比镜头的切变和溶解边界更难检测.本文提出了一种将三维的视频数据转换到二维的时空切片灰度图像,然后利用图像处理算法将扫换边界前后的镜头分割开来.本文提出的方法对大部分扫换类型有效,对扫换镜头边界的长度以及光照的变化不敏感.实验结果表明本文算法能够快速、有效地检测出镜头扫换边界.     

VR全景视频时空切片传输的流量评估与建模

为了刻画虚拟现实（VR）全景视频的传输流量需求,针对时空切片传输模式,首先,基于VR全景视频观看数据集,对传输流量评估与空间切块方式和时间分段方式之间的关系进行仿真。然后,基于仿真结果,对VR全景视频的传输流量进行统计建模,建立传输流量与空间切块数量和时间分段长度之间的函数关系。最后,基于得到的传输流量模型,提出一种VR全景视频时空切片方式的嵌套优化方法,其外层对空间切块数量进行遍历寻优,内层直接计算最优的时间分段长度。研究和仿真结果表明,传输流量近似服从正态分布,其均值和方差与时空切片方式有关;通过对不同类型的视频分别进行传输流量统计建模,基于所建立的流量模型优化得到的时空切片方式与通过仿真搜索得到的最优切片方式性能接近。     

基于语义特征立方体切片的人体动作识别

基于深度学习的人体动作识别近几年取得了良好的识别效果,尤其是二维卷积神经网络可以较充分的学习人体动作的空间特征,但在捕获长时间的运动信息上仍存在问题。针对此问题,提出了基于语义特征立方体切片的人体动作识别模型来联合地学习动作的表观和运动特征。该模型在时序分割网络(Temporal Segment Networks,TSN)的基础上,选取InceptionV4作为骨干网络提取人体动作的表观特征,将得到的三维特征图立方体分为二维的空间上和时间上的特征图切片。另外设计一个时空特征融合模块协同的学习多维度切片的权重分配,从而得到人体动作的时空特征,由此实现了网络的端到端训练。与TSN模型相比,该模型在UCF101和 HMDB51数据集上的准确率均有所提升。实验结果表明,该模型在不显著增加网络参数量的前提下,能够捕获更丰富的运动信息,使人体动作的识别结果提高。      

基于时空切片轨迹分析的复杂人体运动跟踪

时空切片方法是一种有效的时空分析方法。然而,现有的算法仅讨论处理近似直线的简单轨迹情况,不能满足实际存在复杂曲线轨迹的处理要求。针对这一问题,本文提出一种实时的时空切片复杂轨迹分析方法来实现人体运动跟踪。首先在视频不同高度处提取水平时空切片,在各切片中分别使用高斯背景模型检测人体轨迹;然后拼合不同高度切片中的人体轨迹,在拼合后的轨迹上使用Hough变换计算人体对应的轨迹方程;最后根据轨迹方程和轨迹检测结果,确定人体的当前坐标、宽和高等信息。 实验表明,相对于传统跟踪方法,该方法降低了跟踪的轨迹误差,满足实时性跟踪要求,且在人体短时遮挡情况下仍然能够实现有效的人体跟踪。      

基于音频的电视新闻节目的主题检索和聚类

随着流媒体应用的蓬勃兴起,基于媒体内容的检索和管理逐渐成为当前的学术研究热点。新闻节目作为电视节目的一种常见形式,对其主题进行自动提取检索具有重要的实际意义。该文从电视新闻节目的音频入手,综合应用了播音室语音/非播音室语音分类、说话人转换点检测以及按说话人聚类等多种技术,实现了对电视新闻节目的主题的检索和聚类。实验表明,该文中的方法能够找到新闻节目中96%以上的播音室段落,并对其进行准确归类,显示了这种方法的可行性和潜在价值。     

媒资管理系统中新闻节目高效检索的研究

提出了一种基于多特征融合的新闻节目高效检索方法.该方法充分利用媒资管理系统中新闻视频的文字描述和关键帧的图像特征,能够实现视频节目快速、准确的检索,提升新闻检索的性能.将文字描述、人脸和场景图像作为搜索项,通过Fisherfaces和LBP算子相结合的人脸识别算法,以及基于重要性加权的局部直方图匹配算法,实现样例图像与关键帧的匹配.实验结果表明,该方法能够提升媒资管理系统中新闻节目检索的准确度和效率,满足新媒体时代节目快速制作和发布的要求.     

新闻视频检索技术的研究

新闻视频字幕是新闻视频数据中所包含的固有信息，是实现自动化视频检索的重要信息源，运用X^2直方图匹配法检测突变镜头，再通过C-均值聚类算法标识出新闻字幕，可以准确提取出新闻字幕，利用新闻视频字幕进行新闻视频检索，可以克服现有硬件设备的局限性，提高检索的速度和准确性，进而提高数字电视的人机交互性。     

基于Prewitt算子的新闻字幕检测

新闻视频的标题字幕中包含有丰富的语义信息,是实现自动化视频检索、分析和理解的重要信息源之一。通过对新闻字幕的特点进行分析,文章提出了一种基于Prewitt算子的新闻字幕检测的方法。算法首先对图像进行灰度变换,然后利用Prewitt算子进行边缘检测,最后进行字幕区域的探测与合并,检测出字幕。通过对不同的新闻视频帧进行实验,获得了较高的探测准确率。试验证明,文章提出的方法能够较好的完成新闻字幕检测的任务。     

Elliptical-core two mode optical-fiber sensor implementationmethods

Experimental methods for the practical implementation of few-mode elliptical-core sensors are described. Techniques for desensitizing the lead-in and lead-out fibers are discussed, and results of a vibration sensor embedded in a graphite-epoxy composite are presented. A scheme using a single-mode elliptical-core fiber as the lead-in fiber and an offset circular-core single-mode fiber as the lead-out fiber is successfully implemented. Detection techniques for few-mode fiber sensors are reviewed, and a novel fringe-counting method to unambiguously detect the amplitude and direction of dynamic strain is reported     

基于模糊粗糙集的新闻视频镜头边界检测方法

镜头边界检测是实现基于内容的视频检索的一个重要步骤.为了将视频分割成镜头,现有的方法大都是首先提取大量的特征然后构造相异性测度函数.然而,太多的特征就会降低算法的效率.因此,有必要对镜头边界检测的规则进行特征约简.本文将粗糙集中的属性重要性和模糊粗糙集中的分类精度相结合定义了模糊粗糙算子,并构造了相异度检测函数.最后给出了镜头边界检测的一般性规则.由于本文检测方案的自适应性,因此适合于各种类型的新闻视频.用来自中央电视台的3个多小时的新闻视频所做的镜头边界检测实验获得了95.4%的查全率和96.1%的准确率.     

新媒体环境下电视新闻节目策划探究

电视新闻节目是电视节目类型中的一个重要组成部分,人们通过不同类型的电视新闻节目可以获取国内外的新闻资讯。如今随着新媒体的不断发展,传统意义上的电视新闻节目受到了一定的冲击,人们获取信息的渠道越来越多,形式也多种多样。面对新媒体带来的巨大冲击,电视新闻节目也面临极大的挑战,为此主要围绕新媒体环境下的电视新闻节目策划展开探究。     

全自动中文新闻字幕生成系统的设计与实现

本文设计与实现了一个全自动中文新闻字幕生成系统,输入为新闻视频,输出为视频对应的字幕文本.以<新闻联播>为语料,实现了音频提取、音频分类与切分、说话人识别、大词汇量连续语音识别、视频文件的播放和文本字幕的自动生成等多项功能.新闻字幕的自动生成,避免了繁重费时的人工字幕添加过程.实验表明,该系统识别率高,能够满足听障等特...     

大连广播电视台高标清同播浅析

大连广播电视台于2012年12月20日开播高清频道,实现了新闻综合频道的高标清同播。同播系统采用源分离方式,立足标清、面向高清,高清/标清系统独立建设、并行播出,并充分利用台内现有高清节目源、标清节目源上变换进行播出。开播以来系统运行稳定,随着全台大规模高清改造,新闻高清频道的高清播出率将大幅度提升。