基于关键帧序列的视频片段检索

提出了一种基于关键帧融合的视频片段检索方法。使用特征联合分布直方图将视频分割为子镜头,子镜头用关键帧表示。检索时,对范例视频片段的每个关键帧检索到相似的关键帧,所有的相似关键帧按照时间连续性融合为视频片段。提出一种快速的视频片段相似度计算模型。实验表明,本文的方法快速有效。     

基于深度学习的视频近似拷贝检索

随着网络和多媒体技术的发展,越来越多的视频数据充斥着互联网,对视频进行有效的管理,尽可能排除其中的重复内容已经成为一项很重要的工作。基于这种现状,设计了一套快速而有效的视频近似拷贝检索系统。不同于传统的视频近似检测方法,该系统采用深度学习的方法,使用深度卷积神经网络快速地为采样帧提取特征,使用k-d树为视频库中的特征值建立索引,从而提高相似查找的速度,最后计算输入视频与所有候选视频的相似度,并按相似度对候选视频排序输出。     

一种通过视频片段进行视频检索的方法

视频片段检索是基于内容的视频检索的主要方式,它需要解决两个问题:(1) 从视频库里自动分割出与查询片段相似的多个片段;(2) 按照相似度从高到低排列这些相似片段.首次尝试运用图论的匹配理论来解决这两个问题.针对问题(1),把检索过程分为两个阶段:镜头检索和片段检索.在镜头检索阶段,利用相机运动信息,一个变化较大的镜头被划分为几个内容一致的子镜头,两个镜头的相似性通过对应子镜头的相似性计算得到;在片段检索阶段,通过考察相似镜头的连续性初步得到一个个相似片段,再运用最大匹配的Hungarian算法来确定真正的相似片段.针对问题(2),考虑了片段相似性判断的视觉、粒度、顺序和干扰因子,提出用最优匹配的Kuhn-Munkres算法和动态规划算法相结合,来解决片段相似度的度量问题.实验对比结果表明,所提出的方法在片段检索中可以取得更高的检索精度和更快的检索速度.     

通过例子视频进行视频检索的新方法

结合作者开发的系统,提出了一种新的视频相似度度量模型,详细地介绍了算法的实现,并得出了实验结果。相对于已有的算法,它在考虑人们主观视觉判断的基础上,提出了许多影响相似度的因子,如顺序因子、速度因子、干扰因子等。因而它全面、系统地体现了视频间的相似程度。而且该算法具有粒度可适性,可用于不同层次的视频结构的比较,在视频检索系统中。它可以广泛地应用于针对用户提交例子的查询中。     

视频检索中的关键帧提取技术

关键帧提取技术是实现基于内容的视频检索的关键技术之一。本文对关键帧提取的基本原理、准则和主要的提取方法进行了介绍和分析,指出了当前关键帧提取技术的主要研究方向。     

深度学习视角下视频关键帧提取与视频检索研究

随着互联网技术的高速发展,互联网中的视频数据已经成为其中的重要数据类型,且在安全监控及视频网站当中得到了十分广泛的应用。随着互联网的逐渐普及,视频搜索也有了更大的意义,因此对视频检索技术的研究则是非常重要的。视频关键帧提取则主要体现视频中各个镜头的显著特征,通过视频关键帧提取能够有效减少视频检索所需要花费的时间,并能够增强视频检索的精确度。因此,对于视频关键帧提取与视频检索进行研究是非常有意义的。     

基于帧数据量波动特性的压缩域视频快速检索方法

为实现压缩域视频快速检索,提出基于帧数据量波动特性的检索方法。该方法首先计算压缩域各图像帧的数据量,得出查询片段和目标视频等长内的数据量曲线,然后在I帧对齐的基础上将查询片段在目标视频上进行滑动,滑动窗长为单个图组长度。再在每次滑动后计算查询片段与目标视频数据量曲线波动的差异程度,同时每次滑动后要更新目标视频的数据量曲线。最后结合设定门限进行相似判决并返回结果。该方法不需要为每一帧抽取高维特征向量,用一个向量而不是一组高维向量来表述一段视频。实验结果表明,相比现有快速检索算法,该方法使检索速度得到提高,同时也能达到较高的准确率。 另外,该方法既可用于基于压缩域视频库的快速检索,也可用于在线的视频片段匹配,实时发现与设定目标相似的视频。     

一种改进的视频检索最优匹配算法

基于内容检索技术的出现为信息检索领域的发展指明了方向,分析了最大匹配和最优匹配的特征,前者仅从视觉的角度反映了两个镜头的相似性,后者则在最大匹配的基础上从客观全面的角度反映了镜头内容的相似特征,但是最优匹配算法忽视了视频内容时间顺序性。提出了一种改进的最优匹配算法,实验结果表明,算法在查全率和查准率方面均能够获得较为理想的结果。     

基于关键帧的动画视频检索研究

在分析了动画视频层次化结构的基础上,针对动画视频的特点,重点介绍了基于关键帧的颜色特征提取方法,并将基于关键帧的检索方法应用于动画视频中,实验验证了该检索方法的有效性。     

基于DSMI算法和GPU加速的大规模视频检索系统*

本视频检索系统围绕如何处理大规模数据和在线实时检索来展开研究。基于互信息量的镜头边界检测算法检索性能较好,但计算量较大,针对此问题,提出了一种基于动态滑动窗口算法与互信息量相结合的分割算法（DSMI算法）,系统运用GPU的并行计算能力来实现加速检索。实验结果表明,DSMI算法能够加快系统中镜头边界检测的运行效率;同时GPU加速使用户在线检索时间成功达到20倍加速比,满足了项目的实时性要求,具有较高的可扩展性。     

视频监控中人的运动检测方法研究与实现

为了提高视频监控的实时性、准确性和可靠性,引入运动目标检测非常必要,而在此基础上的人运动检测更是后续各种高级处理的基础。根据视频监控的特点,采用一种基于自适应背景图像估计与当前多帧图像的混合差的算法来实现快速精确地检测和提取运动目标区域,并充分利用视频图像的时域连续特性和人脸肤色信息,实现快速可靠的人脸定位,从而准确定位人运动区域。实验表明,该算法对人的运动检测在光线、姿势变化等情况下具有良好的鲁棒性,适于实时监控系统的应用。     

基于不等长序列相似度挖掘的数据关联算法

针对不等长序列数据的关联问题,提出基于滑动窗口的最优匹配增权法不等长序列相似度度量算法。以较短序列作为滑动窗口遍历较长序列得到一组滑动相似度,利用这组相似度形成最优权重,加权得到不等长序列的相似度,并根据相似度大小对序列数据进行关联判决,以解决截断法相似度度量仅能反映截断序列局部相似度的问题。仿真实验验证了所提出算法对不等长序列数据关联的有效性,并对序列长度和量测误差等因素对相似度度量和关联效果的影响进行了讨论。     

Non-invasive embedded system hardware/firmware anomaly detection based on the electric current signature

Quality control is a critical aspect of the modern electronic circuit industry. In addition to being a pre-requisite to proper functioning, circuit quality is closely related to safety, security, and economic issues. Quality control has been reached through system testing. Meanwhile, device miniaturization and multilayer Printed Circuit Boards have increased the electronic circuit test complexity considerably. Hence, traditional test processes based on manual inspections have become outdated and inefficient. More recently, the concept of Advanced Manufacturing or Industry 4.0 has enabled the manufacturing of customized products, tailored to the changing customers’ demands. This scenario points out additional requirements for electronic system testing: it demands a high degree of flexibility in production processes, short design and manufacturing cycles, and cost control. Thus, there is a demand for circuit testing systems that present effectiveness and accessibility without placing numerous test points. This work is focused on automated test solutions based on machine learning, which are becoming popular with advances in computational tools. We present a new testing approach that uses autoencoders to detect firmware or hardware anomalies based on the electric current signature. We built a test set-up using an embedded system development board to evaluate the proposed approach. We implemented six firmware versions that can run independently on the test board – one of them is considered anomaly-free. In order to obtain a reference frame to our results, two other classification techniques (a computer vision algorithm and a random forest classification model) were employed to detect anomalies on the same development board. The outcomes of the experiments demonstrated that the proposed test method is highly effective. For several test scenarios, the correct detection rate was above 99%. Test results showed that autoencoder and random forest approaches are effective. However, random forests require all data classes to be trained. Training an autoencoder, on the other hand, only requires the reference (anomaly-free) class.