基于改进时空兴趣点特征的双人交互行为识别

针对实际监控视频下双人交互行为的兴趣点特征选取不理想,且聚类词典中冗余单词导致识别率不高的问题,提出一种基于改进时空兴趣点（STIP）特征的交互行为识别方法。首先,引入基于信息熵的不可跟踪性检测方法,对序列图像进行跟踪得到交互动作的前景运动区域,仅在此区域内提取时空兴趣点以提高兴趣点检测的准确性。其次采用3维尺度不变特性转换（3D-SIFT）描述子对检测得到的兴趣点进行表述,利用改进的模糊C均值聚类方法得到视觉词典,以提升词典的分布特性;在此基础上建立词袋模型,即将训练集样本向词典进行投影得到每帧图像的直方图统计特征表示。最后,采用帧帧最近邻分类方法进行双人交互动作识别。在UT-interaction数据库上进行测试,该算法得到了91.7%的正确识别率。实验结果表明,通过不可跟踪性检测得到的时空兴趣点的改进词袋算法可以较大程度提高交互行为识别的准确率,并且适用于动态背景下的双人交互行为识别。     

基于RGB和关节点数据融合模型的双人交互行为识别

基于RGB视频序列的双人交互行为识别已经取得了重大进展,但因缺乏深度信息,对于复杂的交互动作识别不够准确。深度传感器（如微软Kinect）能够有效提高全身各关节点的跟踪精度,得到准确的人体运动及变化的三维关节点数据。依据RGB视频和关节点数据的各自特性,提出一种基于RGB和关节点数据双流信息融合的卷积神经网络（CNN）结构模型。首先,利用Vibe算法获得RGB视频在时间域的感兴趣区域,之后提取关键帧映射到RGB空间,以得到表示视频信息的时空图,并把图送入CNN提取特征;然后,在每帧关节点序列中构建矢量,以提取余弦距离（CD）和归一化幅值（NM）特征,将单帧中的余弦距离和关节点特征按照关节点序列的时间顺序连接,馈送入CNN学习更高级的时序特征;最后,将两种信息源的softmax识别概率矩阵进行融合,得到最终的识别结果。实验结果表明,将RGB视频信息和关节点信息结合可以有效地提高双人交互行为识别结果,在国际公开的SBU Kinect interaction数据库和NTU RGB+D数据库中分别达到92.55%和80.09%的识别率,证明了提出的模型对双人交互行为识别的有效性。     

基于尺度自适应局部时空特征的足球比赛视频中的多运动员行为表示

为提高足球比赛视频中的多运动员行为识别的准确率,提出一种基于尺度自适应局部时空特征的足球比赛视频中的多运动员行为表示方法,利用时空兴趣点来表示足球比赛视频中的多运动员行为。首先将足球比赛视频序列中的多运动员行为看作是三维空间中的时空兴趣点的集合,然后采用直方图量化技术将时空兴趣点集合量化为维数固定的直方图（即时空单词）,最后采用K-means聚类算法生成时空码本。在聚类生成码本之前,对每个时空兴趣点都进行了归一化,以保证其缩放和平移不变性。实验结果表明,该方法能够大大减少足球比赛视频中的多运动员行为识别算法的计算量,显著提高识别的准确率。     

基于内容的视频关键帧提取技术研究

本文使用灰度直方图和颜色直方图两种方法设计了对视频进行由粗到精提取关键帧的程序,并将提取的关键帧放入库中作为特征库,当用户查找视频时,提供的图片将与其进行特征相似度匹配,直到最后一个I帧。采用的算法主要有绝对值距离法和相关系数法。通过系统测试,本文分析了关键帧提取的查全率与查准率,验证了系统的正确性、算法的合理性。     

基于关键姿势的双人交互行为识别

针对双人交互行为识别应用领域广但效率低的问题,提出一种基于关键姿势的双人交互行为识别方法。首先,利用帧间差异比较来提取关键帧;然后,利用骨骼点角度变化的方差和空间关系来确定关键帧中的关键姿势;接着,利用关节距离、角度和关节运动等特征表示关键姿势,每一个关键姿势表示为一个特征矩阵;最后,利用不同的降维和分类组合,选取识别率最优的组合。在SBU交互数据集和自建的交互数据集上评估所提出的识别方法,该方法的识别率分别达到92.47%和94.14%。实验结果表明,通过提取关键姿势的特征形成特征矩阵来表示动作的方法可以有效地提高双人交互行为识别结果。     

基于三维时空直方图特征的人体行为识别

提出一种基于三维时空直方图特征的人体行为识别方法。通过引入时间维度构建三维时空概念,探索时空中梯度方向信息,由梯度方向经过空间中不同的区域形成梯度直方图,获取时空特征矩阵,结合K均值聚类提取时空直方图特征来描述人体行为;采用图像显著性检测算法,获取人体行为轮廓,从轮廓图中提取二维轮廓特征;将获得的特征输入支持向量机进行训练以及人体行为识别。实验结果表明,相比其它特征描述的方法,该方案对人体行为的特征描述更丰富,识别准确率更高。     

时空特征局部保持的运动视频关键帧提取

为提高运动视频关键帧的运动表达能力和压缩率,提出柔性姿态估计和时空特征嵌入结合的运动视频关键帧提取技术。首先,利用人体动作的时间连续性保持建立具有时间约束限制的柔性部件铰接人体（ST-FMP）模型,通过非确定性人体部位动作连续性约束,采用N-best算法估计单帧图像中的人体姿态参数;接着,采用人体部位的相对位置和运动方向描述人体运动特征,通过拉普拉斯分值法实施数据降维,获得局部拓扑结构表达能力强的判别性人体运动特征向量;最后,采用迭代自组织数据分析技术（ISODATA）算法动态地确定关键帧。在健美操动作视频关键帧提取实验中,ST-FMP模型将柔性混合铰接人体模型（FMP）的非确定性人体部位的识别准确率提高约15个百分点,取得了81%的关键帧提取准确率,优于KFE和运动块的关键帧算法。所提算法对人体运动特征和人体姿态敏感,适用于运动视频批注审阅。     

多特征的双人交互动作识别算法研究

运动特征的选择直接影响基于整体的双人交互动作识别算法的识别效果。单一的特征因其适应范围不同,受到人体的外观、环境、摄像机设置等因素的影响,识别效果往往不太理想。在研究双人交互动作的表征与识别的基础上,充分考虑不同特征的优缺点,提出了一种结合局部的光流特征、局部的剪影特征以及HOG(histogram of oriented gradient)特征的混合特征,使用帧帧最近邻分类器获得3个特征的识别概率,最终通过加权融合3个特征的识别概率实现交互行为的识别。实验结果表明,对于UT-interaction数据库,该算法得到了较为理想的识别结果,混合特征可将识别率提高到91.7%。     

基于K均值聚类的视频关键帧提取技术研究

文章提出了一种基于k均值聚类的视频关键帧提取算法.该算法在视频的镜头分割算法之上,通过层次聚类对视频内容进行初步划分,之后结合k均值聚类算法对初步提取的关键帧进行直方图特征对比去掉冗余帧,最终确定视频的关键帧序列.经过大量的实验数据证明,该算法能够提取出冗余度较低、代表性较强的关键帧,一定程度上为视频关键帧提取提供了有...     

基于Gabor直方图特征和MVBoost的人脸表情识别

提出采用Gabor变换与分级直方图统计相结合的方法来提取表情特征,以分层次反映局部区域内纹理变化的信息.这比仅用一维的Gabor系数具有更强的特征表示能力.借助直方图特征,还设计了向量输入、多类连续输出的弱分类器,并嵌入到多类连续AdaBoost的算法框架中,得到了向量输入、多类输出的MVBoost方法.该方法直接对特征进行多类的判决以满足多类时分类的需求,而不必训练多个二分类的AdaBoost分类器,从而使训练过程和分类过程都得到简化.     

基于灰度直方图的运动目标特征检测算法

为提高运动目标的检测效果和指导性，提出一种基于灰度直方图分析的运动目标特征检测算法。采用视觉成像技术进行运动目标图像采集和视觉特征分析，提取运动目标的动态视觉特征量。根据运动目标边缘差分变换和空间位置关系进行运动图像的特征分离，提取运动目标图像的边缘轮廓特征量。采用统计形状模型进行运动目标图像的二值化分离，构建运动目标图像的灰度直方图。根据灰度直方图中的统计信息进行目标特征检测和动态特征提取，实现运动目标图像的视觉检测和动态识别，有效提取运动目标的关键特征，实现目标特征检测。仿真结果表明，采用该方法进行运动目标图像的特征检测性能较好，对运动目标的动态识别能力较强。     

动作识别中局部时空特征的运动表示方法研究

近年来,基于局部时空特征的运动表征方法已被越来越多地运用于视频中的动作识别问题,相关研究人员已经提出了多种特征检测和描述方法,并取得了良好的效果。但上述方法在适应摄像头移动、光照以及穿着变化等方面还存在明显不足。为此,提出了基于时空兴趣点局部时空特征的运动表示方法,实现了基于时空单词的动作识别。首先采用基于Gabor滤波器和Gaussian滤波器相结合的检测算法从视频中提取时空兴趣点,然后抽取兴趣点的静态特征、运动特征和时空特征,并分别对运动进行表征,最后利用基于时空码本的动作分类器对动作进行分类识别。在Weizmann和KTH两个行为数据集进行了测试,实验结果表明：基于时空特征的运动表示能够更好地适应摄像头移动、光照变化以及施动者的穿着和动作差异等环境因素的影响,取得更好的识别效果。     

基于彩色-深度视频和CLDS的手语识别

提出一种基于彩色-深度视频和复线性动态系统(Complex linear dynamic system, CLDS)的手语识别方法,可以保证时序建模数据与原始数据严格对应,准确刻画手语特征,从而显著提高分类精度。利用深度视频补偿RGB视频中的缺失信息,提取手语视频运动边界直方图（Motion boundary histogram, MBH）特征,得到每种行为的特征矩阵。对特征矩阵进行CLDS时序建模,输出能唯一表示该类手语视频的描述符M=(A,C),然后利用子空间角度计算各模型之间的相似度;通过改进的K最近邻（K-nearest neighbors, KNN）算法得到最终分类结果。在中国手语数据集（Chinese sign language, CSL）上的实验表明,本文方法与现有的手语识别方法相比,具有更高的识别率。     

改进的MSF-VQ人脸特征提取方法

MSF-VQ是一种用于人脸识别的图像特征.它先使用预先确定的码书计算出图片的向量量化直方图特征,再通过马尔科夫稳态特征对直方图进行扩展,从而得到MSF-VQ特征.MSF-VQ特征在人脸识别中表现出较高的识别准确率.但是它在码书的确定和空间信息表达上仍有一些不足之处.针对这两个方面,本文提出了一种改进的方法.首先根据人脸数据集来计算码书,从而提高向量量化直方图对人脸的分辨能力,然后通过结合多个方向上采样的MSF特征,增加MSF-VQ特征包含的空间位置信息.实验结果表明,改进的MSF-VQ方法具有更高的人脸识别准确率.     

基于SVM的离线图像目标分类算法

目标分类是计算机视觉与模式识别领域的关键环节. SVM(支持向量机)是在统计学习理论基础上提出的一种新的机器学习方法.提出一种支持向量机结合梯度直方图特征的离线图像目标分类算法.首先对训练集进行预处理,然后对处理后的图片进行梯度直方图特征提取,最后通过训练得到可以检测图像目标的分类器.利用得到的分类器对测试图片进行测试,测试结果表明,对目标分类检测有良好的效果.     

基于视觉感知模型的行人再识别

行人再识别是多摄像机协同监控系统中需要解决的关键问题之一。针对行人再识别问题的影响因素,根据人类视觉系统对行人进行识别的过程,提出一种基于视觉感知模型的行人再识别方法。该方法根据行人的局部对称性将行人分为头部、躯干和腿部,分别以行人的躯干和腿部的垂直对称轴为中心建立基于感知均匀颜色空间CIELAB的局部加权空间直方图,结合贝叶斯框架下基于局部统计特征的显著区域检测方法描述行人外观特征。两种特征分别采用不同的距离测度计算相似度,并通过自适应选取权值的方法进行线性融合。基于VIPeR数据库的实验比较和分析验证了该方法的行人再识别性能。     

基于视频分段的空时双通道卷积神经网络的行为识别

针对原始空时双通道卷积神经网络（CNN）模型对长时段复杂视频中行为识别率低的问题，提出了一种基于视频分段的空时双通道卷积神经网络的行为识别方法。首先将视频分成多个等长不重叠的分段，对每个分段随机采样得到代表视频静态特征的帧图像和代表运动特征的堆叠光流图像；然后将这两种图像分别输入到空域和时域卷积神经网络进行特征提取，再在两个通道分别融合各视频分段特征得到空域和时域的类别预测特征；最后集成双通道的预测特征得到视频行为识别结果。通过实验讨论了多种数据增强方法和迁移学习方案以解决训练样本不足导致的过拟合问题，分析了不同分段数、预训练网络、分段特征融合方案和双通道集成策略对行为识别性能的影响。实验结果显示所提模型在UCF101数据集上的行为识别准确率达到91.80%，比原始的双通道模型提高了3.8个百分点；同时在HMDB51数据集上的行为识别准确率也比原模型提高，达到61.39%，这表明所提模型能够更好地学习和表达长时段复杂视频中人体行为特征。     

基于词向量和条件随机场的领域术语识别方法

针对基于统计特征的领域术语识别方法忽略了术语的语义和领域特性,从而影响识别结果这一问题,提出一种基于词向量和条件随机场（CRF）的领域术语识别方法。该方法利用词向量具有较强的语义表达能力、词语与领域术语之间的相似度具有较强的领域表达能力这一特点,在统计特征的基础上,增加了词语的词向量与领域术语的词向量之间的相似度特征,构成基于词向量的特征向量,并采用CRF方法综合这些特征实现了领域术语识别。最后在领域语料库和SogouCA语料库上进行实验,识别结果的准确率、召回率和F测度分别达到了0.9855、0.9439和0.9643,表明所提的领域术语识别方法取得了较好的效果。     

采用多特征融合的镜头边界检测方法

提出了一种特征融合的镜头边界检测方法。HSV色彩直方图进行镜头边界检测是一种常用、有效的方法,该文融合了视频帧的HSV直方图特征、边缘特征和纹理特征,计算出不连续帧。最后,采用Kohonen网络自组织网络对不连续帧值进行聚类得到镜头边界。实验结果表明该方法不仅是可行和有效的,也解决了需要阈值的问题。     

特征采样运动信息增强的动作识别方法

基于深度模型的视频动作识别通常先对输入视频进行采样,然后对获得的视频帧进行特征表达,输出动作类别,因此视频帧采样方法对动作识别的效果有直接的影响。为了在采样到关键有效的特征同时,并增强视频运动信息,提出了一种基于特征级采样策略的局部—全局运动信息增强的动作识别网络（local-global motion enhancement network,LGMeNet）。首先,利用特征级采样模块对输入数据进行相同运动信息间隔均匀取帧;其次,局部运动特征提取模块使用相似性函数计算单帧短期运动特征;最后,全局运动特征提取模块利用LSTM网络计算多尺度长期运动特征。通过实验评估,LGMeNet在UCF101和Something-SomethingV1数据集上分别取得了97.7%和56.9%的精确度。结果表明,采用LGMeNet能够有效提升动作识别的效果,对进一步改进相关领域的研究具有重要意义。