首页 | 本学科首页   官方微博 | 高级检索  
相似文献
 共查询到19条相似文献,搜索用时 156 毫秒
1.
基于统计学理论,提出了一种视频多粒度语义分析的通用方法,使得多层次语义分析与多模式信息融合得到统一.为了对时域内容进行表示,首先提出一种具有时间语义语境约束的关键帧选取策略和注意力选择模型;在基本视觉语义识别后,采用一种多层视觉语义分析框架来抽取视觉语义;然后应用隐马尔可夫模型(HMM)和贝叶斯决策进行音频语义理解;最后用一种具有两层结构的仿生多模式融合方案进行语义信息融合.实验结果表明,该方法能有效融合多模式特征,并提取不同粒度的视频语义.  相似文献   

2.
为了解决复杂课堂场景下学生表情识别的遮挡的问题,同时发挥深度学习在智能教学评估应用上的优势,提出了一种基于深度注意力网络的课堂教学视频中学生表情识别模型与智能教学评估算法。构建了课堂教学视频库、表情库和行为库,利用裁剪和遮挡策略生成多路人脸图像,在此基础上构建了多路深度注意力网络,并通过自注意力机制为多路网络分配不同权重。通过约束损失函数限制各路权重的分配,将人脸图像的全局特征表示为每个支路的特征乘上注意力权重的和除以所有支路的注意力权重之和,并基于学习到的人脸全局特征进行学生课堂表情分类,实现遮挡情况下学生人脸表情识别。提出了融合课堂学生表情和行为状态的智能教学评估算法,实现了课堂教学视频中学生表情识别与智能教学评估。在公开数据集FERplus与自建课堂教学视频数据集上进行实验对比与分析,验证了提出的课堂教学视频中学生表情识别模型能够达到87.34%的准确率,且提出的融合课堂学生表情和行为状态的智能教学评估算法在课堂教学视频数据集上也取得优秀的性能。  相似文献   

3.
视频层次结构挖掘   总被引:3,自引:0,他引:3  
视频处理的关键是视频信息的结构化,视频基本结构是由帧、镜头、场景和视频节目构成的层次结构。视频层次结构挖掘的一个简单框架是对视频进行镜头分割、抽取镜头特征和视频场景构造。论文在镜头分割的基础上提出了基于多特征的镜头聚类分析和基于镜头的场景边界检测两种视频场景构造方法,从而实现视频层次结构挖掘。实验表明,基于镜头的场景边界检测性能优于基于多特征的镜头聚类分析。  相似文献   

4.
视频行为识别是智能视频分析的重要组成部分。传统人体行为识别基于人工设计特征方法涉及的环节多,具有时间开销大,算法难以整体调优的缺点。针对two-stream系列的深度卷积网络,时间网络的输入是直接以相邻两帧的光流场作为输入,其中也包含了镜头移动、背景运动等无关的运动特征的问题,在视频时序上仅通过分块取样固定长度的帧,其中有效的运动信息可能不完整或包含过多的冗余信息等问题。这篇文章提出了时空自注意力运动特征提取的方法,以RGB图像及其相邻帧的灰度图的视频帧块分别作为场景网络和运动网络的输入,采用多尺度视频划分的方式一定程度上避免了因视频过长导致采样运动信息不完整或冗余。然后在多尺度上对场景网络与运动网络通过自注意力机制融合编码,最终输出检测结果。对UCF101与HMDB51数据集的测试准确率分别为94.78%和71.47%。实验表明对于视频行为分析问题,场景与运动特征通过自注意力融合能够有效提升检测精度。  相似文献   

5.
群体行为识别是指给定一个包含多人场景的视频,模型需要识别出视频中多个人物正在共同完成的群体行为.群体行为识别是视频理解中的一个重要问题,可以被应用在运动比赛视频分析、监控视频识别、社交行为理解等现实场景中.多人场景视频较为复杂,时间和空间上的信息十分丰富,对模型提取关键信息的能力要求更高.模型只有高效地建模场景中的层次化关系,并为人物群体提取有区分性的时空特征,才能准确地识别出群体行为.由于其广泛的应用需求,群体行为识别问题受到了研究人员的广泛关注.对近几年来群体行为识别问题上的大量研究工作进行了深入分析,总结出了群体行为识别研究所面临的主要挑战,系统地归纳出了6种类型的群体行为识别方法,包含传统非深度学习识别方法以及基于深度学习技术的识别方法,并对未来研究的可能方向进行了展望.  相似文献   

6.
目的 随着移动互联网和人工智能的蓬勃发展,海量的视频数据不断产生,如何对这些视频数据进行处理分析是研究人员面临的一个挑战性问题。视频中的物体由于拍摄角度、快速运动和部分遮挡等原因常常表现得模糊和多样,与普通图像数据集的质量存在不小差距,这使得对视频数据的实例分割难度较大。目前的视频实例分割框架大多依靠图像检测方法直接处理单帧图像,通过关联匹配组成同一目标的掩膜序列,缺少对视频困难场景的特定处理,忽略对视频时序信息的利用。方法 本文设计了一种基于时序特征融合的多任务学习视频实例分割模型。针对普通视频图像质量较差的问题,本模型结合特征金字塔和缩放点积注意力机制,在时间上把其他帧检测到的目标特征加权聚合到当前图像特征上,强化了候选目标的特征响应,抑制背景信息,然后通过融合多尺度特征丰富了图像的空间语义信息。同时,在分割网络模块增加点预测网络,提升了分割准确度,通过多任务学习的方式实现端到端的视频物体同时检测、分割和关联跟踪。结果 在YouTube-VIS验证集上的实验表明,与现有方法比较,本文方法在视频实例分割任务上平均精度均值提高了2%左右。对比实验结果证明提出的时序特征融合模块改善了视频分割的效果。结论 针对当前视频实例分割工作存在的忽略对视频时序上下文信息的利用,缺少对视频困难场景进行处理的问题,本文提出融合时序特征的多任务学习视频实例分割模型,提升对视频中物体的分割效果。  相似文献   

7.
面向在无纸化考试中的视频行为识别应用需求,提出了基于深度学习的可疑行为识别方法。首先,分析考试视频,提取事件信息。其次,结合深度学习模型,将事件信息作为输入进行训练,以识别可疑行为。最后,基于考试视频数据集进行对比实验,评估所提出方法的准确率。实验结果表明,文章提出的卷积神经网络-长短期记忆网络(Convolutional Neural Networks-Long Short Term Memory,CNN-LSTM)组合模型适用于视频较长的应用场景,CNN-BiGRU适用于视频较短的场景。  相似文献   

8.
针对视频预测中空间结构信息细节和时序运动依赖关系难以准确预测的问题,受人类视觉过程的启发,提出一种基于差分注意力机制的时空小波分析视频预测算法.首先利用时空小波分析模块对视频内容进行多频分解,增强模型对于高频细节信息以及过程性运动的理解能力;然后利用差分注意力机制指导模型更高效、合理地分配注意力资源,提升对瞬时运动特征的表达能力.在KTH, Cityscapes, BAIR, KITTI, Caltech Pedestrian数据集上的实验结果表明,所提算法在PSNR, SSIM, LPIPS评价指标上取得了比已有算法更优异的效果;同时,可视化的对比也表明所提算法的预测结果更加清晰.  相似文献   

9.
目的 跨摄像头跨场景的视频行人再识别问题是目前计算机视觉领域的一项重要任务。在现实场景中,光照变化、遮挡、观察点变化以及杂乱的背景等造成行人外观的剧烈变化,增加了行人再识别的难度。为提高视频行人再识别系统在复杂应用场景中的鲁棒性,提出了一种结合双向长短时记忆循环神经网络(BiLSTM)和注意力机制的视频行人再识别算法。方法 首先基于残差网络结构,训练卷积神经网络(CNN)学习空间外观特征,然后使用BiLSTM提取双向时间运动信息,最后通过注意力机制融合学习到的空间外观特征和时间运动信息,以形成一个有判别力的视频层次表征。结果 在两个公开的大规模数据集上与现有的其他方法进行了实验比较。在iLIDS-VID数据集中,与性能第2的方法相比,首位命中率Rank1指标提升了4.5%;在PRID2011数据集中,相比于性能第2的方法,首位命中率Rank1指标提升了3.9%。同时分别在两个数据集中进行了消融实验,实验结果验证了所提出算法的有效性。结论 提出的结合BiLSTM和注意力机制的视频行人再识别算法,能够充分利用视频序列中的信息,学习到更鲁棒的序列特征。实验结果表明,对于不同数据集,均能显著提升识别性能。  相似文献   

10.
视频人物关系抽取是信息抽取问题中的重要任务,在视频描述、视频检索,以及人物搜索、公安监察等方面具有重要价值。由于视频数据的底层像素与高层关系语义之间存在巨大的鸿沟,现有方法很难准确地抽取人物关系。现有研究大多通过粗粒度地分析人物共现等因素来抽取人物关系,忽略了具有丰富语义的视频中的细粒度信息。为解决现有算法难以准确、完整地抽取视频人物关系的问题,文中提出了一种基于多特征融合的细粒度视频人物关系抽取方法。首先,为了准确识别视频人物实体,提出了一种基于多特征融合的人物实体识别模型;然后,提出了一种基于细粒度特征的人物关系识别模型,该模型不仅融合了视频中人物的时空特征,而且考虑了与人物相关的细粒度物体信息特征,从而建立更好的映射关系来准确识别人物关系。以电影视频数据和SRIV人物关系识别数据集为实验数据,实验结果验证了该模型的有效性和准确性,与现有同类模型相比,所提模型的人物实体识别F 1值提高了约14.4%,人物关系识别的准确率提高了约10.1%。  相似文献   

11.
Recognizing scene information in images or has attracted much attention in computer vision or videos, such as locating the objects and answering "Where am research field. Many existing scene recognition methods focus on static images, and cannot achieve satisfactory results on videos which contain more complex scenes features than images. In this paper, we propose a robust movie scene recognition approach based on panoramic frame and representative feature patch. More specifically, the movie is first efficiently segmented into video shots and scenes. Secondly, we introduce a novel key-frame extraction method using panoramic frame and also a local feature extraction process is applied to get the representative feature patches (RFPs) in each video shot. Thirdly, a Latent Dirichlet Allocation (LDA) based recognition model is trained to recognize the scene within each individual video scene clip. The correlations between video clips are considered to enhance the recognition performance. When our proposed approach is implemented to recognize the scene in realistic movies, the experimental results shows that it can achieve satisfactory performance.  相似文献   

12.
Sun  Yanjing  Huang  Han  Yun  Xiao  Yang  Bin  Dong  Kaiwen 《Applied Intelligence》2022,52(1):113-126

Skeleton-based action recognition has recently attracted widespread attention in the field of computer vision. Previous studies on skeleton-based action recognition are susceptible to interferences from redundant video frames in judging complex actions but ignore the fact that the spatial-temporal features of different actions are extremely different. To solve these problems, we propose a triplet attention multiple spacetime-semantic graph convolutional network for skeleton-based action recognition (AM-GCN), which can not only capture the multiple spacetime-semantic feature from the video images to avoid limited information diversity from single-layer feature representation but can also improve the generalization ability of the network. We also present the triplet attention mechanism to apply an attention mechanism to different key points, key channels, and key frames of the actions, improving the accuracy and interpretability of the judgement of complex actions. In addition, different kinds of spacetime-semantic feature information are combined through the proposed fusion decision for comprehensive prediction in order to improve the robustness of the algorithm. We validate AM-GCN with two standard datasets, NTU-RGBD and Kinetics, and compare it with other mainstream models. The results show that the proposed model achieves tremendous improvement.

  相似文献   

13.
针对单模态特征条件下监控视频的场景识别精度与鲁棒性不高的问题,提出一种基于特征融合的半监督学习场景识别系统。系统模型首先通过卷积神经网络预训练模型分别提取视频帧与音频的场景描述特征;然后针对场景识别的特点进行视频级特征融合;接着通过深度信念网络进行无监督训练,并通过加入相对熵正则化项代价函数进行有监督调优;最后对模型分类效果进行了仿真分析。仿真结果表明,上述模型可有效提升监控场景分类精度,满足针对海量监控视频进行自动化结构化分析等公安业务需求。  相似文献   

14.
人像智能分析指的是对视频或录像中的人像进行结构化和可视化分析,对目标人物进行性别、年龄、发型等特征的智能识别,这项技术在视频侦查中有极高的应用价值。人像识别早期的算法是通过人工提取特征,通过学习低级视觉特征来针对不同属性进行分类学习,这种基于传统方法的模型表现常常不尽如人意。在计算机视觉领域,通过海量图像数据学习的神经网络比传统方法有更丰富的信息量和特征可以被提取。文章尝试通过深度学习技术训练神经网络模型对行人进行检测和识别,对于衣着不同的行人进行智能识别,具有更好的鲁棒性,提升了视频人像识别的准确率,拓展了人工智能技术在身份识别领域的应用。  相似文献   

15.
目的 相比于静态人脸表情图像识别,视频序列中的各帧人脸表情强度差异较大,并且含有中性表情的帧数较多,然而现有模型无法为视频序列中每帧图像分配合适的权重。为了充分利用视频序列中的时空维度信息和不同帧图像对视频表情识别的作用力差异特点,本文提出一种基于Transformer的视频序列表情识别方法。方法 首先,将一个视频序列分成含有固定帧数的短视频片段,并采用深度残差网络对视频片段中的每帧图像学习出高层次的人脸表情特征,从而生成一个固定维度的视频片段空间特征。然后,通过设计合适的长短时记忆网络(long short-term memory network,LSTM)和Transformer模型分别从该视频片段空间特征序列中进一步学习出高层次的时间维度特征和注意力特征,并进行级联输入到全连接层,从而输出该视频片段的表情分类分数值。最后,将一个视频所有片段的表情分类分数值进行最大池化,实现该视频的最终表情分类任务。结果 在公开的BAUM-1s (Bahcesehir University multimodal)和RML (Ryerson Multimedia Lab)视频情感数据集上的试验结果表明,该方法分别取得了60.72%和75.44%的正确识别率,优于其他对比方法的性能。结论 该方法采用端到端的学习方式,能够有效提升视频序列表情识别性能。  相似文献   

16.
经济全球化赋予了logo巨大的商业价值,随着计算机视觉领域的发展,为logo分类与识别提供了更广阔的应用领域.本文针对logo图像的分类识别,为了提高模型对logo图像分类的能力,基于logo图像整体特征不显著且数量众多的特点,提出了用细粒度图像分类的方法渐进式多粒度拼图训练(progressive multi-granularity training of jigsaw patches, PMG-Net)对logo图像数据集进行分类.通过拼图生成器生成包含不同粒度信息的输入图像,再引入渐进式多粒度训练模块融合不同粒度的特征,融合后的特征更注重图像之间的细微差别,使logo图像分类的效果有显著提高.在提取输入图像特征时采用LeakyReLU (leaky rectified linear unit)激活函数保留图像中的负值特征信息,并引入通道注意力机制,调整特征通道的权重,增强特征信息指导能力以改进模型的分类效果.实验结果表明,本文在logo图像数据集上的分类精确率优于传统的分类方法.本文通过融合多粒度特征的渐进训练策略以及随机拼图生成器的方法实现了对logo图像的高效分类,为解决lo...  相似文献   

17.
李群  肖甫  张子屹  张锋  李延超 《软件学报》2022,33(9):3195-3209
视频摘要生成是计算机视觉领域必不可少的关键任务,这一任务的目标是通过选择视频内容中信息最丰富的部分来生成一段简洁又完整的视频摘要,从而对视频内容进行总结.所生成的视频摘要通常为一组有代表性的视频帧(如视频关键帧)或按时间顺序将关键视频片段缝合所形成的一个较短的视频.虽然视频摘要生成方法的研究已经取得了相当大的进展,但现有的方法存在缺乏时序信息和特征表示不完备的问题,很容易影响视频摘要的正确性和完整性.为了解决视频摘要生成问题,本文提出一种空时变换网络模型,该模型包括三大模块,分别为:嵌入层、特征变换与融合层、输出层.其中,嵌入层可同时嵌入空间特征和时序特征,特征变换与融合层可实现多模态特征的变换和融合,最后输出层通过分段预测和关键镜头选择完成视频摘要的生成.通过空间特征和时序特征的分别嵌入,以弥补现有模型对时序信息表示的不足;通过多模态特征的变换和融合,以解决特征表示不完备的问题.我们在两个基准数据集上做了充分的实验和分析,验证了我们模型的有效性.  相似文献   

18.
长短期记忆网络(LSTM)广泛应用于视频序列的人脸表情识别,针对单层LSTM表达能力有限,在解决复杂问题时其泛化能力易受制约的不足,提出一种层级注意力模型:使用堆叠LSTM学习时间序列数据的分层表示,利用自注意力机制构建差异化的层级关系,并通过构造惩罚项,进一步结合损失函数优化网络结构,提升网络性能.在CK+和MMI数据集上的实验结果表明,由于构建了良好的层次级别特征,时间序列上的每一步都从更感兴趣的特征层级上挑选信息,相较于普通的单层LSTM,层级注意力模型能够更加有效地表达视频序列的情感信息.  相似文献   

19.
视频图像理解在客流统计中的应用   总被引:2,自引:0,他引:2  
视频图像理解侧重于对时间序列进行分析,既涉及到图像的空间特性,也涉及到视频序列的时间特性,是目前计算机视觉领域的一个研究热点,而客流统计是视频图像理解的一个重要应用.提出了视频图像理解的层次结构,即视频图像分割、目标识别、场景和行为理解,同时对每个层次的操作对象、任务和技术领域进行描述,然后总结了客流统计方法的一些研究成果,将客流统计分成行人计数和人群密度估计两种问题,并利用该层次结构解决这个实际应用.  相似文献   

设为首页 | 免责声明 | 关于勤云 | 加入收藏

Copyright©北京勤云科技发展有限公司  京ICP备09084417号