弱监督与少样本学习场景下视频行为识别综述

近年来各类人体行为识别算法利用大量标记数据进行训练,取得了良好的识别精度。但在实际应用中,数据的获取以及标注过程都是非常耗时耗力的,这限制了算法的实际落地。针对弱监督及少样本场景下的视频行为识别深度学习方法进行综述。首先,在弱监督情况下,分类总结了半监督行为识别方法和无监督领域自适应下的视频行为识别方法;然后,对少样本场景下的视频行为识别算法进行详细综述;接着,总结了当前相关的人体行为识别数据集,并在该数据集上对各相关视频行为识别算法性能进行分析比较;最后,进行概括总结,并展望人体行为识别的未来发展方向。     

基于YUV颜色空间和多特征融合的视频烟雾检测

针对基于视频的烟雾检测方法在复杂环境中存在高误报、高漏报问题,提出了一种基于YUV颜色空间和多特征融 合的视频烟雾检测算法。首先通过高斯混合模型检测运动区域,然后应用YUV颜色空间烟雾像素过滤方法确定疑似烟雾区域,进一步将疑似区域块分割后使用离散小波变换和均匀局部二值模式提取烟雾纹理特征,最后多特征融合并通过Real AdaBoost分类器进行火灾识别分类。实验结果表明,高斯混合模型能够有效检测运动区域,运动区域YUV颜色空间过滤可以滤除大量非烟雾像素区域,选取的烟雾特征及分类方法具有更高的识别精度,多个场景视频测试表明所提出的视频烟雾检测算法相比同类算法具有识别准确度更高、误报率更低,从而更符合不同的应用场景。     

融合表情和BVP生理信号的双模态视频情感识别

目的 针对当前视频情感判别方法大多仅依赖面部表情、而忽略了面部视频中潜藏的生理信号所包含的情感信息,本文提出一种基于面部表情和血容量脉冲（BVP）生理信号的双模态视频情感识别方法。方法 首先对视频进行预处理获取面部视频;然后对面部视频分别提取LBP-TOP和HOG-TOP两种时空表情特征,并利用视频颜色放大技术获取BVP生理信号,进而提取生理信号情感特征;接着将两种特征分别送入BP分类器训练分类模型;最后利用模糊积分进行决策层融合,得出情感识别结果。结果 在实验室自建面部视频情感库上进行实验,表情单模态和生理信号单模态的平均识别率分别为80%和63.75%,而融合后的情感识别结果为83.33%,高于融合前单一模态的情感识别精度,说明了本文融合双模态进行情感识别的有效性。结论 本文提出的双模态时空特征融合的情感识别方法更能充分地利用视频中的情感信息,有效增强了视频情感的分类性能,与类似的视频情感识别算法对比实验验证了本文方法的优越性。另外,基于模糊积分的决策层融合算法有效地降低了不可靠决策信息对融合的干扰,最终获得更优的识别精度。     

基于多特征的视频场景分类*

针对视频检测效率低下问题,提出了一种基于多特征融合及特征阈值的视频场景分类方法—阈值判定分类法。首先,提取场景视频的平均关键帧。然后,根据其结构化特征以及不同空间结构对场景识别的贡献度对平均关键帧进行划分与重组,得到感兴趣区域及次感兴趣区域;接着,分别提取这两个区域的场景特征,并利用多特征融合技术分别得到两者的综合特征。最后,根据综合特征并利用特征阈值,进行场景动态分类。实验结果表明,该方法充分利用了视频的结构化特征,实验准确率达到80%,在一定程度上证明了该分类方法的有效性。     

基于手势特征融合的操作动作识别

针对动态复杂场景下的操作动作识别,提出一种基于手势特征融合的动作识别框架,该框架主要包含RGB视频特征提取模块、手势特征提取模块与动作分类模块。其中RGB视频特征提取模块主要使用I3D网络提取RGB视频的时间和空间特征;手势特征提取模块利用Mask R-CNN网络提取操作者手势特征;动作分类模块融合上述特征,并输入到分类器中进行分类。在EPIC-Kitchens数据集上,提出的方法识别抓取手势的准确性高达89.63%,识别综合动作的准确度达到了74.67%。     

视频监控系统中小运动目标分类算法

给出了视频监控中的一个小目标分类算法．首先，利用最大互信息获得一组可靠、独立且具辨认力的目标特征集．然后，用有向无环图的多类支持向量机进行分类．分类器的训练分为两步，首先使用场景无关的特征量训练得到基准分类器；然后再利用与场景相关和无关的特征量，进一步训练分类器，以便提高分类器的精度．实验结果证明该算法不仅能满足一定的分类精度，而且对新场景具有很好的适应能力．     

基于轻量级迁移学习的无人机航拍视频图像天气场景分类

针对传统航拍视频图像CNN模型天气分类效果差、无法满足移动设备应用以及现有天气图像数据集匮乏且场景单一的问题, 构建了晴天、雨天、雪天、雾天4类面向多场景的无人机航拍天气图像数据集, 并提出了基于轻量级迁移学习的无人机航拍视频图像天气场景分类模型. 该模型采用迁移学习的方法, 在ImageNet数据集上训练好两种轻量级CNN, 并设计3个轻量级CNN分支进行特征提取. 特征提取首先采用ECANet注意力机制改进的EfficientNet-b0作为主分支提取整幅图像特征, 并使用两个MobileNetv2分支分别对天空和非天空局部独有的深层特征进行提取. 其次, 通过Concatenate将这3个区域进行特征融合. 最后, 使用Softmax层对4类天气场景实现分类. 实验结果表明, 该方法应用于移动等计算受限设备时对于天气场景分类的识别准确率达到了97.3%, 有着较好的分类效果.     

一种基于HOG与SVM的监控视频车辆识别方法

针对基于监控视频的车辆检测识别问题,给出了一种基于视频监控的面包车识别算法。该方法对监控视频中已跟踪的车辆,提取车辆的方向梯度直方图（HOG）特征作为支持向量机（SVM）分类检测的输入,分类识别该车辆是否为面包车;通过车辆大小的检测,增强了分类识别算法的准确性与鲁棒性。实验证明,该方法能准确进行面包车的分类识别,基于实际的标清监控视频,面包车的分类准确率达到90％左右。     

基于多通路融合网络的高速公路雾天能见度等级识别

雾天是影响高速公路交通安全的重要因素。研究从监控图像进行高速公路雾天能见度的自动识别方法可以为交通管理部门的智能管理和决策提供技术支持。根据大气散射模型分析出与雾浓度相关的多个物理因素,提出了综合这些物理因素的多通路融合识别网络。该网络使用三个通路联合学习深度视觉特征、传输矩阵特征和场景深度特征,并设计注意力融合模块来自适应地融合这三类特征以进行能见度等级识别。同时构建了一个合成数据集和一个真实的高速公路场景数据集,用于网络参数学习和性能评估。实景数据集中的图像是从中国多条高速公路的监控视频中收集的。在这两个数据集上的实验表明,所提方法可以适应不同的监控拍摄场景,能够比现有方法更准确地识别能见度等级,有效提升了识别精度。     

可见光-近红外HSV图像融合的场景类字典稀疏识别方法

针对典型自然场景智能观测的需求,为提高稀疏分类器在小样本数据库上的识别精度,提出一种可见光和近红外（NIR）HSV图像融合的场景类字典稀疏识别方法。首先,利用一直应用在计算机视觉显示领域中的图像HSV伪彩色处理技术将近红外图像与可见光图像融合;然后,对融合图像进行通用搜索树（GiST）特征和分层梯度方向直方图（PHOG）特征的提取与融合;最后,结合提出的类字典稀疏识别方法得到场景分类结果。所提方法在RGB-NIR数据库上的实验识别精度达到了74.75%。实验结果表明,融合近红外信息的场景图像的识别精度高于未融合时的识别精度,所提方法能够有效增加稀疏识别框架下场景目标的信息表征质量。     

融合自适应感受野与多支路特征的鞋型识别算法

随着监控摄像头的普及和图侦技术的快速发展，“鞋印+监控”技战法成为公安机关侦破案件的重要手段。该技战法根据现场嫌疑鞋印推断出嫌疑鞋型，进而在犯罪现场周围监控视频中查找对应鞋型，锁定犯罪嫌疑人。然而现有鞋型识别算法无法充分提取嫌疑鞋印的重要特征，导致识别准确率降低。针对该问题，提出一种融合自适应感受野模块与多支路特征的鞋型识别算法。通过设计一种自适应感受野模块，使网络自适应选择合适大小的感受野特征，增强网络的特征提取能力，同时构建多支路特征融合模型，融合网络的深层和浅层特征，以充分利用有效特征进行鞋型识别，从而提高识别精度。在此基础上，采用中心损失函数和标签平滑损失函数联合训练的方法，在增大类间差距的同时缩小类内差距，增强模型的泛化能力。在多背景鞋型数据集上进行实验，结果表明，该算法Rank-1和mAP精度分别为79.77%和62.18%，具有较优的识别效果，为公安刑侦实战提供了一种可行方案。     

Abnormal visual event detection based on multi-instance learning and autoregressive integrated moving average model in edge-based Smart City surveillance

The abnormal visual event detection is an important subject in Smart City surveillance where a lot of data can be processed locally in edge computing environment. Real-time and detection effectiveness are critical in such an edge environment. In this paper, we propose an abnormal event detection approach based on multi-instance learning and autoregressive integrated moving average model for video surveillance of crowded scenes in urban public places, focusing on real-time and detection effectiveness. We propose an unsupervised method for abnormal event detection by combining multi-instance visual feature selection and the autoregressive integrated moving average model. In the proposed method, each video clip is modeled as a visual feature bag containing several subvideo clips, each of which is regarded as an instance. The time-transform characteristics of the optical flow characteristics within each subvideo clip are considered as a visual feature instance, and time-series modeling is carried out for multiple visual feature instances related to all subvideo clips in a surveillance video clip. The abnormal events in each surveillance video clip are detected using the multi-instance fusion method. This approach is verified on publically available urban surveillance video datasets and compared with state-of-the-art alternatives. Experimental results demonstrate that the proposed method has better abnormal event detection performance for crowded scene of urban public places with an edge environment.     

Morphable model space based face super-resolution reconstruction and recognition

Super-resolution image reconstruction is the process of producing a high-resolution image from a set of low-resolution images of the same scene. For the applications of performing face evaluation and/or recognition from low-resolution video surveillance, in the past, super-resolution image reconstruction was mainly used as a separate preprocessing step to obtain a high-resolution image in the pixel domain that is later passed to a face feature extraction and recognition algorithm. Such three-stage approach suffers a high degree of computational complexity. A low-dimensional morphable model space based face super-resolution reconstruction and recognition algorithm is proposed in this paper. The approach tries to construct the high-resolution information both required by reconstruction and recognition directly in the low dimensional feature space. We show that comparing with generic pixel domain algorithms, the proposed approach is more robust and more computationally efficient.     

视频群体行为识别综述

群体行为识别是指给定一个包含多人场景的视频,模型需要识别出视频中多个人物正在共同完成的群体行为.群体行为识别是视频理解中的一个重要问题,可以被应用在运动比赛视频分析、监控视频识别、社交行为理解等现实场景中.多人场景视频较为复杂,时间和空间上的信息十分丰富,对模型提取关键信息的能力要求更高.模型只有高效地建模场景中的层次化关系,并为人物群体提取有区分性的时空特征,才能准确地识别出群体行为.由于其广泛的应用需求,群体行为识别问题受到了研究人员的广泛关注.对近几年来群体行为识别问题上的大量研究工作进行了深入分析,总结出了群体行为识别研究所面临的主要挑战,系统地归纳出了6种类型的群体行为识别方法,包含传统非深度学习识别方法以及基于深度学习技术的识别方法,并对未来研究的可能方向进行了展望.     

融合视觉感知特性的场景分类算法

目的 目前对于场景分类问题,由于其内部结构的多样性和复杂性,以及光照和拍摄角度的影响,现有算法大多通过单纯提取特征进行建模,并没有考虑场景图像中事物之间的相互关联,因此,仍然不能达到一个理想的分类效果。本文针对场景分类中存在的重点和难点问题,充分考虑人眼的视觉感知特性,利用显著性检测,并结合传统的视觉词袋模型,提出了一种融合视觉感知特性的场景分类算法。方法 首先,对图像进行多尺度分解,并提取各尺度下的图像特征,接着,检测各尺度下图像的视觉显著区域,最后,将显著区域信息与多尺度特征进行有机融合,构成多尺度融合窗选加权SIFT特征（WSSIFT）,对场景进行分类。结果 为了验证本文算法的有效性,该算法在3个标准数据集SE、LS以及IS上进行测试,并与不同方法进行比较,分类准确率提高了约3%~17%。结论 本文提出的融合视觉感知特性的场景分类算法,有效地改善了单纯特征描述的局限性,并提高了图像的整体表达。实验结果表明,该算法对于多个数据集都具有较好的分类效果,适用于场景分析、理解、分类等机器视觉领域。     

Movie Scene Recognition Using Panoramic Frame and Representative Feature Patches简

Recognizing scene information in images or has attracted much attention in computer vision or videos, such as locating the objects and answering ＂Where am research field. Many existing scene recognition methods focus on static images, and cannot achieve satisfactory results on videos which contain more complex scenes features than images. In this paper, we propose a robust movie scene recognition approach based on panoramic frame and representative feature patch. More specifically, the movie is first efficiently segmented into video shots and scenes. Secondly, we introduce a novel key-frame extraction method using panoramic frame and also a local feature extraction process is applied to get the representative feature patches （RFPs） in each video shot. Thirdly, a Latent Dirichlet Allocation （LDA） based recognition model is trained to recognize the scene within each individual video scene clip. The correlations between video clips are considered to enhance the recognition performance. When our proposed approach is implemented to recognize the scene in realistic movies, the experimental results shows that it can achieve satisfactory performance.