基于词袋模型的人体动作识别方法

传统词袋模型构建的词典不稳定，且忽略词向量先后顺序，在用其进行人体动作识别时，识别效果不稳定，尤其对倒序动作识别效果不佳。针对这些问题，提出一种基于时空联合频率直方图实现动作分类的方法。提取肢体关键角度信息，把关键角度的帧间差值作为时间特征描述子；构建稳定的时间词袋与空间词袋，利用其联合频率直方图表示动作序列，增强动作时间特性；利用支持向量机(SVM)实现动作分类。在一个具有挑战性的数据集-UTKinect数据集上进行实验，结果表明，相比于传统词袋模型与一些已有方法，该方法能够有效提高动作识别的准确率。     

基于复合时空特征的人体行为识别方法

为了有效地表征人体行为中的姿势信息和运动信息,提高行为识别算法的准确率,提出一种融合三维方向梯度直方图特征与光流直方图特征的复合时空特征,并利用其进行人体行为识别.首先采用复合时空特征综合描述三维时空局部区域的像素分布和像素变化;然后构建复合时空特征词典,并根据该特征词典完成对人体行为序列特征集合的描述;最后采用主题模型构建人体行为识别算法,对行为序列中提取的复合时空特征进行分类,实现人体行为的识别.实验结果表明:该方法能有效地提高人体行为识别准确率.     

基于局部时空特征的人体行为软分类识别

针对全局运动特征难以准确提取的问题,本文采用局部时空特征对人体行为进行表征。针对传统词袋中硬分类的方法量化误差大的不足,本文借鉴模糊聚类的思想,提出软分类的方法。根据兴趣点检测算法从视频中提取出视觉词汇,用K means算法对其进行聚类,建立码本。在计算分类特征时,首先计算待分类视觉词汇到码本中各个码字的距离,根据距离计算这个视觉词汇隶属于各个码字的概率,最后统计得到每个视频中各码字出现的频率。在Weizmann和KTH数据库对本文提出的人体行为识别算法进行验证,Weizmann库的识别率比传统的词袋算法提高8%,KTH库的识别率比传统的词袋算法提高9%,因此本文提出的算法能更有效地对人体行为进行识别。     

一种基于优化“词袋”模型的物体识别方法*

针对传统基于“词袋”模型物体识别现有方法的不足,对现特征表达、视觉词典和图像表示方法进行优化,以提高物体识别正确率。采用HUE直方图与SIFT特征描述符分别描述兴趣点周围的颜色和形状特征,实现“词袋”模型下两种特征的特征级和图像级融合,引入K-means++聚类算法生成视觉词典,并利用软权重思想将特征向量映射到视觉单词形成图像直方图。实验结果表明,所述方法会产生较高的物体识别正确率,且识别结果不受两种特征融合权重的影响。     

一种结合显著性检测与词袋模型的目标识别方法

针对词袋模型易受到无关的背景视觉噪音干扰的问题,提出了一种结合显著性检测与词袋模型的目标识别方法。首先,联合基于图论的视觉显著性算法与一种全分辨率视觉显著性算法,自适应地从原始图像中获取感兴趣区域。两种视觉显著性算法的联合可以提高获取的前景目标的完整性。然后,使用尺度不变特征变换描述子从感兴趣区域中提取特征向量,并通过密度峰值聚类算法对特征向量进行聚类,生成视觉字典直方图。最后,利用支持向量机对目标进行识别。在PASCAL VOC 2007和MSRC-21数据库上的实验结果表明,该方法相比同类方法可以有效地提高目标识别性能。     

基于改进信息增益的人体动作识别视觉词典建立

针对词袋（BoW）模型方法基于信息增益的视觉词典建立方法未考虑词频对动作识别的影响,为提高动作识别准确率,提出了基于改进信息增益建立视觉词典的方法。首先,基于3D Harris提取人体动作视频时空兴趣点并利用K均值聚类建立初始视觉词典;然后引入类内词频集中度和类间词频分散度改进信息增益,计算初始词典中词汇的改进信息增益,选择改进信息增益大的视觉词汇建立新的视觉词典;最后基于支持向量机（SVM）采用改进信息增益建立的视觉词典进行人体动作识别。采用KTH和Weizmann人体动作数据库进行实验验证。相比传统信息增益,两个数据库利用改进信息增益建立的视觉词典动作识别准确率分别提高了1.67%和3.45%。实验结果表明,提出的基于改进信息增益的视觉词典建立方法能够选择动作识别能力强的视觉词汇,提高动作识别准确率。     

低层次和高层次特征相结合的人体动作识别

为了准确提取人体动作特征,提出了一种新的基于二维Gabor滤波器的时空兴趣点检测器,该检测器对遮挡,光照变化以及镜头缩放等具有较强的鲁棒性。基于80面体模型在一定大小的时空邻域内提取精细的时空梯度信息进一步刻画人体动作在时空上的视觉特征。采用最大似然估计得到对每段动作视频的权重直方图估计,使算法更有效率且权重直方图描述特征更具区分度。将低层次的权重直方图特征和高层次的动作语义属性融合,采用隐支持向量机求解最终动作识别模型的局部最优解。在几种典型的数据库上对算法进行了验证,与现有方法相比较,识别率有了较大的提高。     

基于改进时空兴趣点特征的双人交互行为识别

针对实际监控视频下双人交互行为的兴趣点特征选取不理想,且聚类词典中冗余单词导致识别率不高的问题,提出一种基于改进时空兴趣点（STIP）特征的交互行为识别方法。首先,引入基于信息熵的不可跟踪性检测方法,对序列图像进行跟踪得到交互动作的前景运动区域,仅在此区域内提取时空兴趣点以提高兴趣点检测的准确性。其次采用3维尺度不变特性转换（3D-SIFT）描述子对检测得到的兴趣点进行表述,利用改进的模糊C均值聚类方法得到视觉词典,以提升词典的分布特性;在此基础上建立词袋模型,即将训练集样本向词典进行投影得到每帧图像的直方图统计特征表示。最后,采用帧帧最近邻分类方法进行双人交互动作识别。在UT-interaction数据库上进行测试,该算法得到了91.7%的正确识别率。实验结果表明,通过不可跟踪性检测得到的时空兴趣点的改进词袋算法可以较大程度提高交互行为识别的准确率,并且适用于动态背景下的双人交互行为识别。     

基于三维时空直方图特征的人体行为识别

提出一种基于三维时空直方图特征的人体行为识别方法。通过引入时间维度构建三维时空概念,探索时空中梯度方向信息,由梯度方向经过空间中不同的区域形成梯度直方图,获取时空特征矩阵,结合K均值聚类提取时空直方图特征来描述人体行为;采用图像显著性检测算法,获取人体行为轮廓,从轮廓图中提取二维轮廓特征;将获得的特征输入支持向量机进行训练以及人体行为识别。实验结果表明,相比其它特征描述的方法,该方案对人体行为的特征描述更丰富,识别准确率更高。     

基于时空深度特征的人体行为识别算法

针对底层局部时空特征数量少以及中层特征表达能力弱的问题,结合时空深度特征,提出一种人体行为识别算法。依据运动剧烈区域在行为识别中提供更多判别信息的思想,利用视频图像的深度信息确定人体运动显著性区域,通过计算区域内光流特征作为度量区域活跃度的能量函数,依据能量函数对运动显著性区域进行高斯取样,使样本点分布于运动剧烈区域。将采集到的样本点作为动作底层特征描述人体行为,结合词袋模型,采用支持向量机分类器对行为进行识别。实验结果表明,在SwustDepth数据集中,基于时空深度特征的人体行为识别算法的平均行为识别准确率达到92%,且具有较高的鲁棒性。     

基于上下文特征融合的行为识别算法

针对LSTM网络无法充分提取短时信息导致人体行为识别率不高的问题,提出一种基于上下文特征融合的卷积长短时记忆网络联合优化架构,用于仅具有RGB数据的行为识别网络。使用3D卷积核对输入的动作序列提取其空间特征和短时时间特征,并将多通道信息进行融合,将融合后的特征送入下一级卷积神经网络和LSTM层中进行长期时间的特征学习,获取上下文的长期时空信息,最后用Softmax分类器进行人体行为的分类。实验结果表明,在人体行为识别公开数据集UCF-101上,提出的基于上下文特征融合的卷积长短时记忆网络的平均识别准确率达93.62%,相比于未进行特征融合的卷积长短时记忆网络提高了1.28%,且平均检测时间降低了37.1%。     

融合RGB-D多模特征和半径边缘约束超限学习的动作识别

针对单模态特征鉴别行为动作类别的能力有限问题,提出基于RGB-D视频中多模态视觉特征融合和实例化多重核超限学习(Exemplars-MKL-ELM)的动作分类方法.首先,利用骨架表面拟合和密集轨迹提取稳健的密集运动姿态特征,以稠密点云法平面感知人体3维几何的稀疏化有向主成分直方图特征,提取外观纹理嵌入身体节点空-时邻域的三维梯度直方图特征.然后,采用半径边缘约束多重核超限学习机融合多模态视觉特征,并利用对比数据法挖掘每个行为类别的代表性实例集合.最后,每个样本结合融合视觉特征和即得实例集合,采用Exemplars-MKL-ELM模型和贪婪预测思想分层分类识别行为.实验表明,文中方法在分类准确度和计算效率上都较优.     

基于人体部件的视频行为识别方法研究

现有人体行为识别算法主要依赖于粗粒度的视频特征,但这些特征不足以有效描述人体行为 的动作构成,从而降低了深度学习模型对易混淆行为的识别能力。该研究提出了一种基于人体部件的 视频行为识别方法,通过学习人体细粒度部件的动作表示,自底向上地学习人体行为视频表征。该方 法主要包含：(1)部件特征增强模块,用于增强基于图像的人体部件特征;(2)部件特征融合模块,用 于融合人体各部件特征以形成人体特征;(3)人体特征增强模块,用于增强视频帧中所有人的人体特 征。该方法在国际标准数据库 UCF101 和 HMDB51 上进行的实验验证结果显示,基于人体部件的视频 行为识别方法与已有方法具有良好的互补性,可以有效提高人体行为识别精度。     

改进的MSF-VQ人脸特征提取方法

MSF-VQ是一种用于人脸识别的图像特征.它先使用预先确定的码书计算出图片的向量量化直方图特征,再通过马尔科夫稳态特征对直方图进行扩展,从而得到MSF-VQ特征.MSF-VQ特征在人脸识别中表现出较高的识别准确率.但是它在码书的确定和空间信息表达上仍有一些不足之处.针对这两个方面,本文提出了一种改进的方法.首先根据人脸数据集来计算码书,从而提高向量量化直方图对人脸的分辨能力,然后通过结合多个方向上采样的MSF特征,增加MSF-VQ特征包含的空间位置信息.实验结果表明,改进的MSF-VQ方法具有更高的人脸识别准确率.     

基于概率距离及融合时空特征的镜头相似性度量*

提出一种基于概率距离及融合镜头时空特征的镜头相似性度量方法。横向方面,构造镜头加权颜色直方图来表示时间信息并使用直方图交计算镜头时间相似性;纵向方面,通过非线性映射将空间特征向量映射到高维空间进行高斯分布建模,计算两镜头空间特征高斯分布间的概率距离来度量两镜头空间相似性;最后,对时、空相似性加权融合计算两镜头总相似性。实验结果证明了该方法的有效性。     

动作识别中局部时空特征的运动表示方法研究

近年来,基于局部时空特征的运动表征方法已被越来越多地运用于视频中的动作识别问题,相关研究人员已经提出了多种特征检测和描述方法,并取得了良好的效果。但上述方法在适应摄像头移动、光照以及穿着变化等方面还存在明显不足。为此,提出了基于时空兴趣点局部时空特征的运动表示方法,实现了基于时空单词的动作识别。首先采用基于Gabor滤波器和Gaussian滤波器相结合的检测算法从视频中提取时空兴趣点,然后抽取兴趣点的静态特征、运动特征和时空特征,并分别对运动进行表征,最后利用基于时空码本的动作分类器对动作进行分类识别。在Weizmann和KTH两个行为数据集进行了测试,实验结果表明：基于时空特征的运动表示能够更好地适应摄像头移动、光照变化以及施动者的穿着和动作差异等环境因素的影响,取得更好的识别效果。     

基于尺度自适应局部时空特征的足球比赛视频中的多运动员行为表示

为提高足球比赛视频中的多运动员行为识别的准确率,提出一种基于尺度自适应局部时空特征的足球比赛视频中的多运动员行为表示方法,利用时空兴趣点来表示足球比赛视频中的多运动员行为。首先将足球比赛视频序列中的多运动员行为看作是三维空间中的时空兴趣点的集合,然后采用直方图量化技术将时空兴趣点集合量化为维数固定的直方图（即时空单词）,最后采用K-means聚类算法生成时空码本。在聚类生成码本之前,对每个时空兴趣点都进行了归一化,以保证其缩放和平移不变性。实验结果表明,该方法能够大大减少足球比赛视频中的多运动员行为识别算法的计算量,显著提高识别的准确率。     

基于词包和特征融合的目标识别算法

针对现有词包模型对目标识别性能的不足,对特征提取、图像表示等方面进行改进以提高目标识别的准确率。首先,以密集提取关键点的方式取代SIFT关键点提取,减少了计算时间并最大程度地描述了图像底层信息。然后采用尺度不变特征变换(Scale-invariant feature transform, SIFT)描述符和统一模式的局部二值模式(Local binary pattern,LBP)描述符描述关键点周围的形状特征和纹理特征,引入K-Means聚类算法分别生成视觉词典,然后将局部描述符进行近似局部约束线性编码,并进行最大值特征汇聚。分别采用空间金字塔匹配生成具有空间信息的直方图,最后将金字塔直方图相串联,形成特征的图像级融合,并送入SVM进行分类识别。在公共数据库中进行实验,实验结果表明,本文所提方法能取得较高的目标识别准确率。