基于双阈值滑动窗口子镜头分割和完全连通图的关键帧提取方法

随着多媒体技术的发展,当今工作和生活中的多媒体信息日渐丰富。如何通过分析海量视频快速有效地检索出有用信息成为一个日益严重的问题。为了解决上述问题,提出了一种基于双阈值滑动窗口 子镜头分割和完全连通图的关键帧提取方法。该方法采用基于双阈值的镜头分割算法,通过设置双阈值滑动窗口来判断镜头的突变边界和渐变边界,从而划分镜头;并采用基于滑动窗口的子镜头分割算法,通过给视频帧序列加一个滑动窗口,在窗口的范围内利用帧差来对镜头进行再划分,得到子镜头;此外,利用基于子镜头分割的关键帧提取算法,通过处理顶点为帧、边为帧差的完全连通图的方法来提取关键帧。实验结果表明,与其他方法相比,提出的方法平均精确率较高,并且平均关键帧数目较低,可以很好地提取视频的关键帧。     

时序数据库中快速相似搜索的算法研究

针对时间序列,本文提出了一种新的数据表示方法.该方法通过将时间序列分成若干段,并从每个分段中提取一个特征向量,从而用一个特征向量集作为该时间序列的逻辑表示.在此基础上,采用时间弯曲距离作为相似模型,提出了一种改进的KMP算法作为检索方法.此算法能够快速挖掘出时序数据库中与给定查询序列相似的所有(子)序列.该算法具有较高的效率.     

基于不变矩和Mean Shift聚类的视频关键帧提取

随着通信和多媒体技术的迅速发展,检索和浏览海量多媒体数据成为日益迫切的问题.关键帧提取技术在基于内容的视频检索中扮演了重要角色.提取的关键帧有两个主要作用:一是用它来静态表示视频的主题;其二是希望从关键帧中提取特征数据,作为多媒体数据库的数据源.以视频场景中运动目标的不变矩为特征提出了一种基于非监督聚类的关键帧提取算法.首先在视频序列中分离出运动目标,然后计算运动目标区域的各阶不变矩,并以不变矩向量作为特征,运用Mean Shift算法聚类有相似特征的视频帧,进而在每类中选取有代表性的视频帧作为关键帧.不同场景下的实验结果证实了本算法的可行性.     

基于关键帧特征库统计特征的双人交互行为识别

针对双人交互行为识别算法中普遍存在的算法计算复杂度高、识别准确性低的问题,提出一种新的基于关键帧特征库统计特征的双人交互行为识别方法。首先,对预处理后的交互视频分别提取全局GIST和分区域方向梯度直方图（HOG）特征。然后,采用k-means聚类算法对每类动作训练视频的所有帧的特征表示进行聚类,得到若干个近似描述同类动作视频的关键帧特征,构造出训练动作类别对应的关键帧特征库;同时,根据相似性度量统计出特征库中各个关键帧在交互视频中出现的频率,得到一个动作视频的统计直方图特征表示。最后,利用训练后的直方图相交核支持向量机（SVM）,对待识别视频采用决策级加权融合的方法得到交互行为的识别结果。在标准数据库测试的结果表明,该方法简单有效,对交互行为的正确识别率达到了85%。     

基于可变步长关键帧提取的网络视频拷贝检索

为快速有效地检测网络中的拷贝视频,针对现有关键帧提取算法时间复杂度高、关键帧不具有代表性的缺点,提出一种可变步长提取关键帧提取方法。根据视频变化连续性特点,用相似的两近邻帧代表它们之间的视频片段;该方法首先选取关键帧中的核心区域与受影响较小的边缘区域,对不同的区域取权值并通过转换距离度量分块灰度顺序特征(OM)来判断两帧间相似度;然后利用滑动窗口来查找最大相似匹配,从而检测出查询视频中的拷贝片段。在网络数据和MUSCLE-VCD-2007数据上的实验结果表明,该方法相对于现有的基于OM特征拷贝检测法而言,其鲁棒性更强,检测效率更高。     

基于关键帧和骨骼信息的人体动作识别方法

提出了一种基于关键帧和骨骼信息的动作识别新方法。通过深度传感器Kinect v2实时获取人体各骨骼点信息,通过采用加权K-means算法提取动作视频中的关键帧。通过每个关键帧中25个骨骼点的三维坐标值,计算出关节角度和向量模比值两种特征量,通过优化后的动态时间规整(DTW)算法计算关键帧序列与模板库中动作模板的相似度,从而识别人体的实时动作。通过对6种常见动作的识别实验对比,结果表明:所提方法在识别速度和准确率上较高,具有实际推广性。     

一种压缩域中基于镜头的关键帧提取改进算法*

关键帧提取技术是基于内容视频检索的基础。针对压缩视频序列提出一种基于镜头的关键帧提取改进算法。其核心是根据压缩视频序列的编码特点,只需要对其进行部分解码,利用I帧信息的直流分量信息构造DC缩微图,并结合图像帧不同区域DC信息的重要程度差异进行相似性度量,进而实现关键帧提取。实验证明,该算法较之传统算法,在查全率和检索时间两项指标上均有显著改善,尤其适用于新闻纪录片、电影片等局部运动较为剧烈的视频序列。     

基于光流的快速人体姿态估计

针对目前深度学习领域人体姿态估计算法计算复杂度高的问题,提出了一种基于光流的快速人体姿态估计算法.在原算法的基础上,首先利用视频帧之间的时间相关性,将原始视频序列分为关键帧和非关键帧分别处理（相邻两关键帧之间的图像和前向关键帧组成一个视频帧组,同一视频帧组内的视频帧相似）,仅在关键帧上运用人体姿态估计算法,并通过轻量级光流场将关键帧识别结果传播到其他非关键帧.其次针对视频中运动场的动态特性,提出一种基于局部光流场的自适应关键帧检测算法,以根据视频的局部时域特性确定视频关键帧的位置.在OutdoorPose和HumanEvaI数据集上的实验结果表明,对于存在背景复杂、部件遮挡等问题的视频序列中,所提算法较原算法检测性能略有提升,检测速度平均可提升89.6%.     

融合多路特征和注意力机制的强化学习关键帧提取算法

针对现有视频关键帧提取算法对运动类视频中运动特征提取不准导致的漏检和误检问题,提出一种融合多路特征和注意力机制的强化学习关键帧提取算法。该算法首先通过人体姿态识别算法对视频序列进行人体骨骼关节点提取;然后使用S-GCN和ResNet50网络分别提取视频序列中的运动特征和静态特征,并将两者进行加权融合;最后应用注意力机制对特征序列进行视频帧重要性计算,并利用强化学习进行关键帧的提取和优化。实验结果表明,该算法能较好地解决运动类视频在关键帧提取中出现的漏误检问题,在检测含有关键性动作的视频帧时表现较好,算法准确率高、稳定性强。     

基于点对相似度的深度非松弛哈希算法

哈希学习能够在保持数据之间语义相似性的同时,将高维数据投影到低维的二值空间中以降低数据维度实现快速检索.传统的监督型哈希学习算法主要是将手工设计特征作为模型输入,通过分类和量化生成哈希码.手工设计特征缺乏自适应性且独立于量化过程使得检索的准确率不高.本文提出了一种基于点对相似度的深度非松弛哈希算法,在卷积神经网络的输出...     

结合注意力模型与双峰高斯分布的深度哈希检索算法

哈希检索因为具有存储空间小、检索速度快的特点而受到广泛关注.目前深度哈希算法存在2个主要问题:深度哈希编码本质上是二值化特征,并且编码长度较短,存在特征表达能力有限的问题;已有的深度哈希算法无法直接通过反向传播学习离散哈希编码,通常将离散值松弛为连续值来优化学习,存在量化误差的问题.针对以上问题,提出一种结合注意力模型和双峰高斯分布的深度哈希检索算法.该算法设计嵌入空间和通道注意力模型的网络结构,关注重要特征并抑制不必要特征,增强了哈希编码的特征表达能力;同时为了解决量化误差问题,将均值为+1/-1的双峰高斯分布作为先验分布,并借鉴变分自编码机的思想,提出通过KL散度约束哈希编码分布服从先验分布,以减少量化误差.在3个基准数据集CIFAR-10,ImageNet,NUS-WIDE上,在不同码位下计算MAP结果显示,其MAP值优于对比的其他算法,取得了良好的检索效果,验证了文中算法的有效性.     

基于内容的视频关键帧提取技术研究

本文使用灰度直方图和颜色直方图两种方法设计了对视频进行由粗到精提取关键帧的程序,并将提取的关键帧放入库中作为特征库,当用户查找视频时,提供的图片将与其进行特征相似度匹配,直到最后一个I帧。采用的算法主要有绝对值距离法和相关系数法。通过系统测试,本文分析了关键帧提取的查全率与查准率,验证了系统的正确性、算法的合理性。     

融合自适应图卷积与Transformer序列模型的中文手语翻译方法

针对手语翻译方法所存在的动作特征提取以及时序翻译方面存在的问题,提出一种融合自适应图卷积AGCN 与Transformer时序模型的AGCN-T手语翻译网络。自适应图卷积网络用于学习手语动作中骨骼节点的交互空间依赖信息;Transformer时序模块捕捉手语动作序列的时间关系特征信息并将其翻译成可理解的手语内容。此外,在预处理部分,提出了一种移动窗口的关键帧提取算法,并用MediaPipe姿态估计算法对关键帧图像序列进行骨架提取。实验表明,该方法在大型中文连续手语数据集CCSL的词错率达到了3.75%,精度为97.87%,优于其他先进的手语翻译方法。     

编码选择哈希算法解决大规模图像检索问题

哈希算法已被广泛应用于解决大规模图像检索的问题. 在已有的哈希算法中, 无监督哈希算法因为不需要数据库中图片的语义信息而被广泛应用. 平移不变核局部敏感哈希(SKLSH)算法就是一种较为代表性的无监督哈希算法.该算法随机的产生哈希函数, 并没有考虑所产生的哈希函数的具体检索效果. 因此, SKLSH算法可能产生一些检索效果表现较差的哈希函数. 在本文中, 提出了编码选择哈希算法(BSH). BSH算法根据SKLSH算法产生的哈希函数的具体检索效果来进行挑选. 挑选的标准主要根据哈希函数在3个方面的表现: 相似性符合度, 信息包含量, 和编码独立性. 然后,BSH算法还使用了一种基于贪心的选择方法来找到哈希函数的最优组合. BSH算法和其他代表性的哈希算法在两个真实图像库上进行了检索效果的对比实验. 实验结果表明, 相比于最初的SKLSH算法和其他哈希算法, BSH算法在检索准确度上有着明显的提高.     

编码选择哈希算法解决大规模图像检索问题（英文）

哈希算法已被广泛应用于解决大规模图像检索的问题.在已有的哈希算法中,无监督哈希算法因为不需要数据库中图片的语义信息而被广泛应用.平移不变核局部敏感哈希(SKLSH)算法就是一种较为代表性的无监督哈希算法.该算法随机的产生哈希函数,并没有考虑所产生的哈希函数的具体检索效果.因此,SKLSH算法可能产生一些检索效果表现较差的哈希函数.在本文中,提出了编码选择哈希算法(BSH).BSH算法根据SKLSH算法产生的哈希函数的具体检索效果来进行挑选.挑选的标准主要根据哈希函数在3个方面的表现:相似性符合度,信息包含量,和编码独立性.然后,BSH算法还使用了一种基于贪心的选择方法来找到哈希函数的最优组合.BSH算法和其他代表性的哈希算法在两个真实图像库上进行了检索效果的对比实验.实验结果表明,相比于最初的SKLSH算法和其他哈希算法,BSH算法在检索准确度上有着明显的提高.     

一种改进的针对中文编码的Wu-Manber多模式匹配算法

Wu-Manber算法是多模式匹配领域性能优越的算法之一.针对Wu-Manber算法不能很好的用于中文环境,以及滑动距离受限和冗余匹配的问题,提出一种改进的针对中文编码的WM_CH多模式匹配算法.WM_CH针对中文编码修改了哈希函数,优化了建立哈希表的过程;修改并优化了算法匹配过程,在执行精确匹配时消除了冗余匹配,增大了单次精确匹配后的滑动距离.实际测试表明,该算法性能优异,保持与原算法匹配精确度一致,针对中文编码能快速过滤非中文字符.在特征串集规模大于50 000时,匹配速度比原算法提升40%以上,同时滑动窗口的跳转次数显著下降.     

基于插值小波关键帧提取的动作评价算法

人体运动的行为特征具有多样性和复杂性,在运动的不同阶段有些动作的剧烈程度差异较大,但现有方法在进行动作相似度评价时未充分考虑该因素,使得评价结果存在一定偏差。针对该问题,基于多尺度FaberSchauder插值小波对参考动作序列中运动最剧烈关节的四元数分量时间序列分别提取关键帧。通过合并4组关键帧,设置阈值剔除相似度较高的关键帧。采用动态时间规整方法对参考动作和对比动作进行匹配,得到对比动作序列的关键帧,将2组关键帧的平均距离归一化后作为动作相似度评分。实验结果表明,提出的算法能够较好地实现动作评价,且对于较相似的动作,也能获得较好的评价结果。     

基于视频聚类的关键帧提取算法

关键帧可以有效减少视频索引的数据量,是分析和检索视频的关键。在提取关键帧过程中,为了解决传统聚类算法对初始参数敏感的问题,提出了一种改进的基于视频聚类的关键帧提取算法。首先,提取视频帧的特征,依据帧间相似度,对视频帧进行层次聚类,并得到初始聚类结果;接着使用K-means算法对初始聚类结果进行优化,最后提取聚类的中心作为视频的关键帧。实验结果表明该方法可以大幅提高关键帧的准确率和查全率,能较好地表达视频的主要内容。     

基于SURF算法的全景图拼接技术研究与实现

针对云台网络摄像机监控系统,提出一种基于摄像机视频流的全景图生成算法,以构建更大的监控场景。根据帧间重叠区域的大小选取关键帧,进行柱面投影,利用计算性能优越的SURF(Speeded Up Robust Features,加速鲁棒性特征)算法对所选取的关键帧进行特征点提取,使用基于哈希映射的特征点匹配算法加快特征点的匹配,并结合RANSAC(RANdom SAmple Consensus,随机抽样一致)算法剔除误匹配,估计关键帧之间的变换关系。实验结果表明,该方法能较好实现视频序列的快速拼接,鲁棒性强,具有较高的实用价值。     

一种基于主成分的多表图像哈希检索方法

大数据时代的到来,快速而准确的索引算法对信息检索至关重要。针对基于随机投影构成的单表哈希检索方法导致搜索性能低的问题,提出一种基于主成分的多表图像哈希检索方法。为了得到高效的哈希编码保证不同语义样本特征的区分性,首先通过主元分析方法保留训练集具有区分性图像特征,此外利用特征聚类作为学习哈希投影的指引构建多个索引表;其次采用正交旋转矩阵对哈希投影进行优化,保证了相同语义的样本具有相似的哈希码。最后分别在CIFAR-10和Caltech-256数据集上与相关方法进行比较,实验结果表明提出的方法提高了检索性能。