Unsupervised Video Hashing via Deep Neural Network

Hashing is a common solution for content-based multimedia retrieval by encoding high-dimensional feature vectors into short binary codes. Previous works mainly focus on image hashing problem. However, these methods can not be directly used for video hashing, as videos contain not only spatial structure within each frame, but also temporal correlation between successive frames. Several researchers proposed to handle this by encoding the extracted key frames, but these frame-based methods are time-consuming in real applications. Other researchers proposed to characterize the video by averaging the spatial features of frames and then the existing hashing methods can be adopted. Unfortunately, the sort of “video” features does not take the correlation between frames into consideration and may lead to the loss of the temporal information. Therefore, in this paper, we propose a novel unsupervised video hashing framework via deep neural network, which performs video hashing by incorporating the temporal structure as well as the conventional spatial structure. Specially, the spatial features of videos are obtained by utilizing convolutional neural network, and the temporal features are established via long-short term memory. After that, the time series pooling strategy is employed to obtain the single feature vector for each video. The obtained spatio-temporal feature can be applied to many existing unsupervised hashing methods. Experimental results on two real datasets indicate that by employing the spatio-temporal features, our hashing method significantly improves the performance of existing methods which only deploy the spatial features, and meanwhile obtains higher mean average precision compared with the state-of-the-art video hashing methods.     

基于感知哈希和切块的视频相似度检测方法

长期以来视频侵权问题层出不穷,而检测视频相似度是视频侵权的重要手段。针对现有视频相似度检测方法中存在的多特征关系难以关联、时间复杂度高等问题,提出一种基于感知哈希和切块的快速对比方法。首先,利用视频的关键图像帧生成数字指纹集;然后,基于切块的方法构建相应的倒排索引,提高数字指纹间的对比速度;最后,根据得到的数字指纹间的汉明距离进行相似度判定。实验结果表明,与传统的感知哈希对比方法相比,该方法能在保证检测准确度的前提下将检测时间平均缩短93%;与多特征哈希（MTH）、自学习哈希（STH）、光哈希（SPH）等三种常见方法相比,所提方法的平均准确率均值（mAP）分别提高了1.4%、2%和2.3%,检测时间分别缩短了24%、32%和16%,验证了所提方法的可行性。     

基于拉普拉斯特征映射的鲁棒视频哈希方法

针对视频拷贝检测问题,提出了基于拉普拉斯特征映射(Laplacian Eigenmaps,LE)的视频哈希方法,该方法利用视频层析成像技术和服从均匀分布的向量对视频进行镜头分割和关键帧提取,以高阶累计量作为视频在高维空间的特征,并利用LE进行降维,得到视频在三维空间中的轨迹,利用三维空间中点的范数构造视频哈希来实现视频拷贝检测。实验结果表明,该方法具有较好的鲁棒性和区分性。     

FGS视频流的码率分配算法研究

该文针对精细可分级编码(FGS)比特流在时变带宽网络上的传输,提出了一种基于视频序列率失真(R-D)特性的FGS增强层的码率分配算法,目标是减少接收端解码视频质量的波动,同时保持视频总体质量最优。首先建立一个在多帧图像增强层之间进行码率分配的最优化问题形式,并进行了合理的简化,然后利用线性内插原则建立描述各帧图像增强层率失真特性的R-D模型。由于各帧图像R-D曲线的单调特性,如此建立起来的最优化问题可以用简单的算法求出最优解。仿真结果表明,这个方案在保证解码视频质量恒定和保持视频总体质量最优两方面均收到了良好的效果,同时该方案的简易性使得它的实现和应用成为可能。     

基于多帧图像的视频文字跟踪和分割算法

视频中文字的提取是视频语义理解和检索的重要信息来源．针对视频中的静止文字时间和空间上的冗余特性,以文字区域的边缘位图为特征对检测结果作精化,并提出了基于二分搜索法的快速文字跟踪算法,实现了对文字对象快速有效的定位．在分割阶段,除了采用传统的灰度融合图像进行文字区域增强方法,还结合边缘位图对文字区域进行进一步的背景过滤．实验表明,文字的检测精度和分割质量都有很大提高．     

基于视频元数据信息的快速图像检索

现有视频图像检索技术大多是基于2幅图片的整个信息比较,计算量大,且未生成有效的视频结构。针对该问题,提出一种基于视频元数据信息的快速图像检索方法。利用交互信息量提取关键帧,将关键帧划分为场景和主题2个部分,计算其灰度分布和概率密度,构造视频元数据,通过元数据信息进行视频检索。实验结果表明,该方法能快速准确检索出用户所需的视频内容。     

基于实时操作系统的低成本捷联惯导系统

针对捷联惯导系统低成本、小体积的要求,给出提出一种利用微机械惯性传感器,、以ARM芯片作为导航计算机的硬件方案。设计基于嵌入式实时操作系统的实时多任务导航计算机软件系统。测试结果表明,姿态角度的短期误差可保持在2o范围内,软件系统能合理分配硬件资源,提高导航计算机的整体性能,软件的模块化设计使导航计算机的软件系统具备良好可移植性。     

基于排序学习的视频摘要

视频数据的急剧增加,给视频的浏览、存储、检索等应用带来一系列问题和挑战,视频摘要正是解决此类问题的一个有效途径。针对现有视频摘要算法基于约束和经验设置构造目标函数,并对帧集合进行打分带来的不确定和复杂度高等问题,提出一个基于排序学习的视频摘要生成方法。该方法把视频摘要的提取等价为视频帧对视频内容表示的相关度排序问题,利用训练集学习排序函数,使得排序靠前的是与视频相关度高的帧,用学到的排序函数对帧打分,根据分数高低选择关键帧作为视频摘要。另外,与现有方法相比,该方法是对帧而非帧集合打分,计算复杂度显著降低。通过在TVSum50数据集上测试,实验结果证实了该方法的有效性。     

FGS视频流的码率分配算法研究

该文针对精细可分级编码(FGS)比特流在时变带宽网络上的传输，提出了一种基于视频序列率失真(R—D)特性的FGS增强层的优化码率分配算法。首先建立一个在多帧图像增强层之间进行码率分配的最优化问题形式，并进行了合理地简化，然后利用线性内插原则建立描述各帧图像增强层率失真特性的R—D模型。由于各帧图像R—D曲线的单调特性，如此建立起来的最优化问题可以用简单的算法求出最优解。仿真结果表明，这个方案在保证解码视频质量恒定和保持视频总体质量最优两方面均收到了良好的效果，同时本方案的简易性使得它的实现和应用成为可能。     

低帧率周期运动视频超分辨率重建方法

通过重建周期视频一个周期内的每一帧从而恢复出一个周期的高质量视频。由于视频是低帧率的,相邻帧间差别较大,无法使用相邻的帧进行基于模型的超分辨率重建,于是提出了配准视频周期,然后利用出每个周期内的相同景物的帧进行超分辨率重建,从而为低帧率低分辨率单个周期视频找到了超分辨率重建的方法;在帧间配准方面使用了互信息方法,取得了更精确的效果;使用的超分辨率重建方法无需迭代,对图像直接进行重建,算法更为简单。在仿真实验和实际实验中均取得了比其他基于模型的方法更好的结果。     

一种基于边缘检测和线条特征的视频字符检测算法

叠加在视频帧中的字符串为多媒体数据的高层语义分析提供了重要信息．该文提出了一种基于边缘的视频字符检测算法．利用字符区域内边缘的分布和强度的特点,对Canny边缘检测算子进行改进,使其根据图像内容自动确定分割阈值,确保获得高质量的字符边缘;然后,提取字符线条的关键特征,过滤非字符线条并用神经网络分类器判断最终的字符区域．实验结果表明该文算法在保持高速度和高查全率的同时,有效地降低了虚警,克服了基于边缘的字符检测算法的普遍缺点．     

基于视频监控的人脸识别方法

目前人脸识别方法主要针对静态图像进行识别,而在监控视频中,不同视频帧人脸具有相关性且只有部分人脸能够有效反映人脸信息。根据监控视频中人脸图像变化特性,提出了一种基于监控视频的人脸识别方法。首先通过结合人脸检测与跟踪技术获得视频人脸序列,然后以视频人脸序列中部分人脸图像识别结果为导向选取全部人脸序列图像中的代表人脸图像进行识别,最后根据选取的全部人脸图像识别结果综合反映人脸信息。实验结果表明,该方法能够在确保识别率和误识率的前提下有效提升监控视频中人脸识别的实时性。     

基于双边信息的残差分布式压缩视频感知

压缩感知(CS)是在低于奈奎斯特率条件下获取和重构稀疏信号的新兴技术,在图像和视频获取和处理中有巨大的发展潜力.为了有效提高被测信号的稀疏性和重构效率,本文提出一种基于双边信息的残差分布式压缩视频感知(RDCVS-DSI)编解码模型.该模型利用了图像自身的频域特性和邻近帧之间的相关性,以低质量的视频帧作为编解码的第一边信息,解码端利用关键帧运动估计和运动补偿技术生成非关键帧的第二边信息.通过性能分析和仿真测试表明,该RDCVS-DSI模型能够在较低复杂度条件下,高保真地重建视频序列.与以前的压缩视频感知工作对比,重构帧的平均峰值性噪比达到1-5dB的增益,重构速度接近于复杂度最低的DCVS.     

基于长短时记忆单元和卷积神经网络混合神经网络模型的视频着色方法

视频可以看作是连续的视频帧图像组成的序列,视频彩色化的实质是对图像进行彩色化处理,但由于视频的长期序列性,若直接将现有的图像着色方法应用到视频彩色化上极易产生抖动或闪烁现象。针对这个问题,提出一种结合长短时记忆（LSTM）和卷积神经网络（CNN）的混合神经网络模型用于视频的着色。该方法用CNN提取视频帧的语义特征,同时使用LSTM单元学习灰度视频的时序信息,保证视频的时空一致性,然后融合局部语义特征和时序特征,生成最终的彩色视频帧序列。通过对实验结果的定量分析和用户研究表明,该方法在视频彩色化上实现了较好的效果。     

基于时空一致性优化的视频去雾算法*

为了提高有雾视频的可用性,针对视频增强的需求,基于图像去雾的物理模型,利用视频相邻帧间的信息冗余性,提出了基于光流法的视频去雾方法;对视频中亮度变化以及光流法误差引起的去雾对象边界不平滑的问题,通过引入时间域和空间域能量函数,对待处理视频进行时空一致性约束。实验证明：对于定点拍摄的视频数据,使用时空一致性优化的视频去雾算法能够增加帧间稳定性,获得较为理想的去雾结果。     

映射结合聚类的视频关键帧提取

目的 视频摘要技术在多媒体数据处理和计算机视觉中都扮演着重要的角色。基于聚类的摘要方法多结合图像全局或局部特征,对视频帧进行集群分类操作,再从各类中获取具有代表性的关键帧。然而这些方法多需要提前确定集群的数目,自适应的方法也不能高效的获取聚类的中心。为此,提出一种基于映射和聚类的图像密度值分析的关键帧选取方法。方法 首先利用各图像间存在的差异,提出将其映射至2维空间对应点的度量方法,再依据点对间的相对位置和邻域密度值进行集群的聚类,提出根据聚类的结果从视频中获取具有代表性的关键帧的提取方法。结果 分别使用提出的度量方法对Olivetti人脸库内图像和使用关键帧提取方法对Open Video库进行测试,本文关键帧提取方法的平均查准率达到66%、查全率达到74%,且F值较其他方法高出11%左右达到了69%。结论 本文提出的图像映射后聚类的方法可有效进行图像类别的识别,并可有效地获取视频中的关键帧,进而构成视频的摘要内容。     

基于视频指纹的视频片段检索方法

提出一种基于视频指纹的视频片段检索方法,通过视频指纹的相似性匹配对视频片段进行检索。通过改进的Harris检测计算DC图像的角点信息,去掉视频图像边缘提取视频运动特征,根据图像特征相似度和运动特征相似度的调和因子得到视频片段总的相似度。实验结果表明,与现有方法相比,该方法能准确检测视频片段,具有较强的鲁棒性,满足视频检索的实时要求。     

Non-Parametric Motion Activity Analysis for Statistical Retrieval with Partial Query

We present an original approach for motion-based video retrieval involving partial query. More precisely, we propose a unified statistical framework allowing us to simultaneously extract entities of interest in video shots and supply the associated content-based characterization, which can be used to satisfy partial queries. It relies on the analysis of motion activity in video sequences based on a non-parametric probabilistic modeling of motion information. Areas comprising relevant types of motion activity are extracted from a Markovian region-level labeling applied to the adjacency graph of an initial block-based partition of the image. As a consequence, given a set of videos, we are able to construct a structured base of samples of entities of interest represented by their associated statistical models of motion activity. The retrieval operations is then formulated as a Bayesian inference issue using the MAP criterion. We report different results of extraction of entities of interest in video sequences and examples of retrieval operations performed on a base composed of one hundred video samples.     

基于纹理合成的视频去抖动

视频去抖动是视频增强技术的一个重要应用,通过纠正视频帧的位置使视频运动变得平稳。随之而来的问题是如何修复视频帧留下的空缺以保持视频的连续性。在对图像修复技术进行研究的基础上,提出了利用改进的纹理合成技术进行去抖动视频修复的方法。实验给出的视频去抖动效果证明了该方法的有效性。