多模态特征融合的长视频行为识别方法

行为识别技术在视频检索具有重要的应用价值;针对基于卷积神经网络的行为识别方法存在的长时序行为识别能力不足、尺度特征提取困难、光照变化及复杂背景干扰等问题,提出一种多模态特征融合的长视频行为识别方法;首先,考虑到长时序行为帧间差距较小,易造成视频帧的冗余,基于此,通过均匀稀疏采样策略完成全视频段的时域建模,在降低视频帧冗余度的前提下实现长时序信息的充分保留;其次,通过多列卷积获取多尺度时空特征,弱化视角变化对视频图像带来的干扰;后引入光流数据信息,通过空间注意力机制引导的特征提取网络获取光流数据的深层次特征,进而利用不同数据模式之间的优势互补,提高网络在不同场景下的准确性和鲁棒性;最后,将获取的多尺度时空特征和光流信息在网络的全连接层进行融合,实现了端到端的长视频行为识别;实验结果表明,所提方法在UCF101和HMDB51数据集上平均精度分别为97.2％和72.8％,优于其他对比方法,实验结果证明了该方法的有效性.     

基于张量的KFLD-SIFT与RVM模糊积分融合的人体行为识别方法

针对人体行为识别领域中视频序列的大样本及多特征问题,提出一种基于张量的核Fisher非线性鉴别(KFLD)-尺度不变特征变换(SIFT)与相关向量机(RVM)模糊积分融合的人体行为识别方法.该方法首先通过预处理视频序列得到二值视频,并采用三阶张量表示.然后针对大样本特征提出KFLD-SIFT局部特征提取算法,对不同初始尺度下的关键点周围的多特征降维,同时提出RVM模糊积分融合算法进行行为分类.最后应用4种经典评价指标及计算得到的平均识别率对比分析文中方法与其他相关方法的识别效果,数据采用KTH人体行为数据库中的视频,并采用三重交叉方法验证和测试.实验表明文中方法对多种行为取得较好的识别效果,平均识别率比其他主流方法至少提高2.3%.     

基于多特征融合的小样本视频行为识别算法

现有基于小样本学习的视频行为识别方法,在解决小样本学习中信息量稀缺问题时存在信息重复度高以及类间相似性大等不足,而且鲜有关注小样本学习中的域偏移与枢纽点问题,从而导致动作类表达能力弱和行为识别中错误分类的问题,此外,复杂的网络结构导致参数量与计算量成倍增加.针对以上问题,本文提出一种基于多特征融合的小样本视频行为识别算法,具体来说,该方法提出深度特征与流形特征的融合策略.首先,针对特征形式之一的流形特征,提出使用表征传播对流形结构进行平滑操作,更好地缓解了小样本学习中的域偏移与枢纽点问题.其次,通过同时使用对视频特征表达能力不同的深度特征与流形特征,获得更多的样本有效信息,进而缓解小样本学习中样本稀缺的问题.最后,为减小模型的参数量与计算量,选择基于2D方法构建模型.在HMDB51、UCF101以及Kinetics三个数据集上进行实验,结果表明,本文方法在“5-way 1-shot”任务下表现突出,识别率优于现有的小样本视频行为识别方法,在HMDB51上提高了8.5%,在UCF101上提高了9.5%,在Kinetics上提高了1.0%.     

基于显著性检测和稠密轨迹的人体行为识别

稠密轨迹的人体行为识别对每一帧全图像密集采样导致特征维数高、计算量大且包含了无关的背景信息。提出基于显著性检测和稠密轨迹的人体行为识别方法。首先对视频帧进行多尺度静态显著性检测获取动作主体位置,并与对视频动态显著性检测的结果线性融合获取主体动作区域,通过仅在主体动作区域内提取稠密轨迹来改进原算法;然后采用Fisher Vector取代词袋模型对特征编码增强特征表达充分性;最后利用支持向量机实现人体行为识别。在KTH数据集和UCF Sports数据集上进行仿真实验,结果表明改进的算法相比于原算法识别准确率有所提升。     

面向群体行为识别的注意力池化机制

视频行为识别近年来逐渐成为计算机视觉领域学者的研究热点,按照识别对象进行划分,视频行为识别任务可分为个体行为识别与群体行为识别.本文聚焦于群体行为识别,识别与分析视频场景中整体人群的行为,已有的群体行为识别方法大多采用多层时序网络模型,学习得到表征时序变化的个体行为特征并对其进行聚合形成群体行为特征,但是,在个体特征聚...     

基于Softmax回归的通信辐射源特征分类识别方法

当前通信辐射源的特征识别方法不仅需要较高的样本数,而且存在识别效率低、识别率下降的问题。为此,提出一种应用Softmax回归对通信信号循环谱进行多分类识别的方法。以通信信号的循环谱密度特征为样本集,通过主成分分析降维算法筛选特征样本,使用Softmax回归多分类识别器对特征样本进行分类。实验结果表明,与传统神经网络方法相比,该方法可以实现对通信辐射源个体的有效识别,并且识别时间较短。     

基于双流非局部残差网络的行为识别方法

针对传统卷积神经网络（CNN）对人体行为动作仅能提取局部特征易导致相似行为动作识别准确率不高的问题,提出了一种基于双流非局部残差网络（NL-ResNet）的行为识别方法。首先提取视频的RGB帧和密集光流图,分别作为空间流和时间流网络的输入,并通过角落裁剪和多尺度相结合的预处理方法进行数据增强;其次分别利用残差网络的残差块提取视频的局部表观特征和运动特征,再通过在残差块之后接入的非局部CNN模块提取视频的全局信息,实现网络局部特征和全局特征的交叉提取;最后将两个分支网络分别通过A-softmax损失函数进行更精细的分类,并输出加权融合后的识别结果。该方法能充分利用局部和全局特征提高模型的表征能力。在UCF101数据集上,NL-ResNet取得了93.5%的识别精度,与原始双流网络相比提高了5.5个百分点。实验结果表明,所提模型能更好地提取行为特征,有效提高行为识别的准确率。     

视频群体行为识别综述

群体行为识别是指给定一个包含多人场景的视频,模型需要识别出视频中多个人物正在共同完成的群体行为.群体行为识别是视频理解中的一个重要问题,可以被应用在运动比赛视频分析、监控视频识别、社交行为理解等现实场景中.多人场景视频较为复杂,时间和空间上的信息十分丰富,对模型提取关键信息的能力要求更高.模型只有高效地建模场景中的层次化关系,并为人物群体提取有区分性的时空特征,才能准确地识别出群体行为.由于其广泛的应用需求,群体行为识别问题受到了研究人员的广泛关注.对近几年来群体行为识别问题上的大量研究工作进行了深入分析,总结出了群体行为识别研究所面临的主要挑战,系统地归纳出了6种类型的群体行为识别方法,包含传统非深度学习识别方法以及基于深度学习技术的识别方法,并对未来研究的可能方向进行了展望.     

单目视频中的多视角行为识别方法

针对多视角人体行为识别中,因选取单一特征所造成的识别困难,提出了一种基于分类特征提取的多视角行为识别方法。该方法通过有效利用视频的二维图像序列所包含的三维信息、实现对人体朝向的聚类,解决因观察角度不同造成的行为特征难以选取的问题。实验证明,该方法对单目视频中不同角度的行为动作有较高的识别率。     

多尺度局部二值模式傅里叶直方图特征的表情识别

针对表情识别的简便快捷问题,提出一种多尺度局部二值模式傅里叶直方图(LBP-HF)和主动形状模型(ASM)相结合的人脸表情识别方法。该方法首先利用ASM检测并分割人脸区域,减少不相关区域的影响; 然后提取多尺度LBP-HF特征形成识别向量; 最后采用最近邻分类方法进行表情识别。通过提取不同尺度的LBP-HF特征,研究各个尺度LBP-HF特征对表情识别的影响,最终结合多尺度LBP-HF特征实现表情识别,获得更有效的表情特征。通过与Gabor特征的实验结果进行对比,验证该方法的简便可行性,最高平均识别率达到93.5%。实验结果表明,该方法可以用于人机交互中。     

基于双向长短记忆网络的异常驾驶行为检测

异常驾驶行为的识别对交通安全起着至关重要的作用,准确识别异常驾驶行为能够显著提高驾驶安全。目前,针对车辆行驶过程中的异常驾驶行为,如急加速、急减速、突然左转或右转等的检测识别,主要采用视频监控或聚类的方法完成。在这两种方法中,前者的实际效果受到应用场景的制约,而后者则不能针对具体的单个车辆进行驾驶行为识别。针对以上问题,使用一种基于双向长短记忆网络(Bi-LSTM)及全连接神经网络(FC)的拓展神经网络检测模型,该模型能有效利用行车数据在时间序列上发生突变时的特征,提高异常驾驶行识别准确率。将车辆行车数据处理后制作数据集并对模型进行训练,训练完成后的神经网络模型能够有效利用行车数据的时间序列特征,准确识别车辆的异常驾驶行为,准确率可达到98.08%。     

基于多属性层次识别的车辆视频 检索系统设计研究

交通监控视频中车辆的有效检测和实时跟踪,是车辆行为分析和识别的前提,也是智能交通系统（ITS） 的核心内容和关键技术。本文在深入分析当前车辆属性识别方法以及车辆视频检索关键技术的基础上,结合交通监控 视频的自身特点,从应用的角度出发,设计一款融合车牌、车身颜色、车型等多个车辆外观属性进行层次识别的机动车辆 检索系统。该系统可为用户提供多种查询方式,从而实现交通监控视频中相关机动车辆的准确检索。     

(2+1)D多时空信息融合模型及在行为识别的应用

针对常规的卷积神经网络时空感受野尺度单一,难以提取视频中多变的时空信息的问题,利用（2+1）D模型将时间信息和空间信息在一定程度上解耦的特性,提出了（2+1）D多时空信息融合的卷积残差神经网络,并用于人体行为识别.该模型以3×3空间感受野为主,1×1空间感受野为辅,与3种不同时域感受野交叉组合构建了6种不同尺度的时空感受野.提出的多时空感受野融合模型能够同时获取不同尺度的时空信息,提取更丰富的人体行为特征,因此能够更有效识别不同时间周期、不同动作幅度的人体行为.另外提出了一种视频时序扩充方法,该方法能够同时在空间信息和时间序列扩充视频数据集,丰富训练样本.提出的方法在公共视频人体行为数据集UCF101和HMDB51上子视频的识别率超过或接近最新的视频行为识别方法.     

基于多尺度卷积的船舶行为识别方法

针对复杂海洋环境下人工监管船舶行为效率低的问题,提出了一种基于多尺度卷积神经网络的船舶行为识别方法。首先,从船舶自动识别系统（AIS）中获取海量船舶行驶数据,并提取出具有判别力的船舶行为轨迹;然后,根据轨迹数据的特性,利用多尺度卷积设计并实现了针对船舶轨迹数据的行为识别网络,并且使用特征通道加权以及长短时记忆网络（LSTM）来提高算法的准确率。在船舶行为数据集上的实验结果表明,对于指定长度的船舶轨迹,所提识别网络能够达到92.1%的识别准确率,相较于传统的卷积神经网络提高了5.9个百分点,并且在稳定性以及收敛速度上都有明显提升。该方法能够有效地提高船舶行为的识别精度,为海洋监管部门提供高效的技术支持。     

基于车载传感信息融合的电动汽车驾驶行为辨识

本文的主要目的是基于信息融合的方法设计出一套能准确辨识出驾驶行为的系统.本系统使用六轴加速度计采集加速度信息,通过多尺度多重分形(MMA)算法(首次将该算法用作特征提取的方法)从加速度信号中提取出可反映不同驾驶行为的波动特征.并采集电动汽车的OBD接口获取的包括速度、功率、电流等车载OBD信息并提取特征.分别通过随机森林(RF)算法对驾驶员的驾驶行为进行辨识.提出一种新的信息融合的方法,采用该方法对加速度信息和OBD信息进行融合,发现信息融合的方法可以更有效的辨识出电动汽车的驾驶行为.     

基于空间结构统计建模的图像分类方法

提出一种基于图像空间结构统计建模的复杂纹理图像模式识别方法。从理论上分析了复杂纹理图像空间结构的韦伯分布过程,通过构造多尺度全向高斯导数滤波器,获得复杂纹理图像在不同观测尺度上的全方向空间结构统计建模表征结果。基于偏最小二乘-判决分析原理构建分类器,实现了复杂纹理图像的分类识别。实验结果表明,所提出的图像空间结构统计建模方法能获得复杂纹理图像关键性的视觉感知特性,基于该方法的图像分类准确率高且性能稳定。     

Performance analysis for automated gait extraction and recognition in multi-camera surveillance

Many studies have confirmed that gait analysis can be used as a new biometrics. In this research, gait analysis is deployed for people identification in multi-camera surveillance scenarios. We present a new method for viewpoint independent markerless gait analysis that does not require camera calibration and works with a wide range of walking directions. These properties make the proposed method particularly suitable for gait identification in real surveillance scenarios where people and their behaviour need to be tracked across a set of cameras. Tests on 300 synthetic and real video sequences, with subjects walking freely along different walking directions, have been performed. Since the choice of the cameras’ characteristics is a key-point for the development of a smart surveillance system, the performance of the proposed approach is measured with respect to different video properties: spatial resolution, frame-rate, data compression and image quality. The obtained results show that markerless gait analysis can be achieved without any knowledge of camera’s position and subject’s pose. The extracted gait parameters allow recognition of people walking from different views with a mean recognition rate of 92.2% and confirm that gait can be effectively used for subjects’ identification in a multi-camera surveillance scenario.     

视频下的正面人体身份自动识别

为了能够实现视频下正面人体身份的自动识别,设计的系统包括Adaboost行人检测、Adaboost人脸检测、肤色验证、步态预处理、周期检测、特征提取以及决策级融合识别等模块.通过行人检测模块可以自动开启人脸检测模块和步态周期检测模块.实验结果表明,提出的根据下臂摇摆区域确定步态周期的方法对正面步态周期检测准确,计算量小,适用于实时的步态识别.采用人脸特征辅助步态特征在决策级的融合方法是解决视频下身份识别的新思路,在单样本的步态识别中,融合人脸特征可以提高识别精度.     

基于尺度自适应局部时空特征的足球比赛视频中的多运动员行为表示

为提高足球比赛视频中的多运动员行为识别的准确率,提出一种基于尺度自适应局部时空特征的足球比赛视频中的多运动员行为表示方法,利用时空兴趣点来表示足球比赛视频中的多运动员行为。首先将足球比赛视频序列中的多运动员行为看作是三维空间中的时空兴趣点的集合,然后采用直方图量化技术将时空兴趣点集合量化为维数固定的直方图（即时空单词）,最后采用K-means聚类算法生成时空码本。在聚类生成码本之前,对每个时空兴趣点都进行了归一化,以保证其缩放和平移不变性。实验结果表明,该方法能够大大减少足球比赛视频中的多运动员行为识别算法的计算量,显著提高识别的准确率。     

基于语音和视频图像的多模态情感识别研究

情感识别依靠分析生理信号、行为特征等分析情感类别,是人工智能重要研究领域之一。为提高情感识别的准确性和实时性,提出基于语音与视频图像的多模态情感识别方法。视频图像模态基于局部二值直方图法（LBPH）+稀疏自动编码器（SAE）+改进卷积神经网络（CNN）实现;语音模态基于改进深度受限波尔兹曼机（DBM）和改进长短时间记忆网络（LSTM）实现;使用SAE获得更多图像的细节特征,用DBM获得声音特征的深层表达;使用反向传播算法（BP）优化DBM和LSTM的非线性映射能力,使用全局均值池化（GAP）提升CNN和LSTM的响应速度并防止过拟合。单模态识别后,两个模态的识别结果基于权值准则在决策层融合,给出所属情感分类及概率。实验结果表明,融合识别策略提升了识别准确率,在中文自然视听情感数据库（cheavd）2.0的测试集达到74.9%的识别率,且可以对使用者的情感进行实时分析。