动作识别中局部时空特征的运动表示方法研究

近年来,基于局部时空特征的运动表征方法已被越来越多地运用于视频中的动作识别问题,相关研究人员已经提出了多种特征检测和描述方法,并取得了良好的效果。但上述方法在适应摄像头移动、光照以及穿着变化等方面还存在明显不足。为此,提出了基于时空兴趣点局部时空特征的运动表示方法,实现了基于时空单词的动作识别。首先采用基于Gabor滤波器和Gaussian滤波器相结合的检测算法从视频中提取时空兴趣点,然后抽取兴趣点的静态特征、运动特征和时空特征,并分别对运动进行表征,最后利用基于时空码本的动作分类器对动作进行分类识别。在Weizmann和KTH两个行为数据集进行了测试,实验结果表明：基于时空特征的运动表示能够更好地适应摄像头移动、光照变化以及施动者的穿着和动作差异等环境因素的影响,取得更好的识别效果。     

基于局部描述子的人体行为识别

提出一种新的局部时空特征描述方法对视频序列进行识别和分类。结合SURF和光流检测图像中的时空兴趣点,并利用相应的描述子表示兴趣点。用词袋模型表示视频数据,结合SVM对包含不同行为的视频进行训练和分类。为了检测这种时空特征的有效性,通过UCF YouTube数据集进行了测试。实验结果表明,提出的算法能够有效识别各种场景下的人体行为。     

基于关键帧特征库统计特征的双人交互行为识别

针对双人交互行为识别算法中普遍存在的算法计算复杂度高、识别准确性低的问题,提出一种新的基于关键帧特征库统计特征的双人交互行为识别方法。首先,对预处理后的交互视频分别提取全局GIST和分区域方向梯度直方图（HOG）特征。然后,采用k-means聚类算法对每类动作训练视频的所有帧的特征表示进行聚类,得到若干个近似描述同类动作视频的关键帧特征,构造出训练动作类别对应的关键帧特征库;同时,根据相似性度量统计出特征库中各个关键帧在交互视频中出现的频率,得到一个动作视频的统计直方图特征表示。最后,利用训练后的直方图相交核支持向量机（SVM）,对待识别视频采用决策级加权融合的方法得到交互行为的识别结果。在标准数据库测试的结果表明,该方法简单有效,对交互行为的正确识别率达到了85%。     

类别敏感的全局时序关联视频动作检测

目的 视频动作检测是视频理解领域的重要问题,该任务旨在定位视频中动作片段的起止时刻并预测动作类别。动作检测的关键环节包括动作模式的识别和视频内部时序关联的建立。目前主流方法往往试图设计一种普适的检测算法以定位所有类别的动作,忽略了不同类别间动作模式的巨大差异,限制了检测精度。此外,视频内部时序关联的建立对于检测精度至关重要,图卷积常用于全局时序建模,但其计算量较大。针对当前方法的不足,本文提出动作片段的逐类检测方法,并借助门控循环单元以较低的计算代价有效建立了视频内部的全局时序关联。方法 动作模式识别方面,首先对视频动作进行粗略分类,然后借助多分支的逐类检测机制对每类动作进行针对性检测,通过识别视频局部特征的边界模式来定位动作边界,通过识别动作模式来评估锚框包含完整动作的概率;时序建模方面,构建了一个简洁有效的时序关联模块,利用门控循环单元建立了当前时刻与过去、未来时刻间的全局时序关联。上述创新点整合为类别敏感的全局时序关联视频动作检测方法。结果 为验证本文方法的有效性,使用多种视频特征在两个公开数据集上进行实验,并与其他先进方法进行比较。在ActivityNet-1.3数据集中,该方...     

基于深度神经网络和投影树的高效率动作识别算法

为了提高视频中动作识别的准确率和速度,提出一种基于深度神经网络和投影树的高效率动作识别算法。采用三维Harris角点检测时空域中发生显著变化的局部结构,划分动作识别的主要区域和次要区域;设计两种Siamese神经网络以及相应的损失函数,考虑连续帧间的局部一致性,学习视频的主要区域特征;为兴趣点的特征建立投影树,提高查询的匹配速度。基于公开数据集的仿真实验结果表明,该算法实现了较好的无监督学习效果,并且具有较高的效率。     

关联模态补偿的视频动作识别算法

随着深度摄像机的发展,不同模态的视频数据更易获得.基于多模态数据的视频动作识别也受到越来越广泛的关注.不同模态的数据能够从多个角度对视频动作进行描述,如何有效地利用多模态数据并形成优势互补是视频动作识别中的重要方向.提出了一种基于关联模态补偿的视频动作识别算法.该方法以RGB和光流场视频数据为源模态,以3D骨架数据为辅助模态,利用源模态和辅助模态高层特征空间的关联性,补偿源模态的特征提取.该算法基于卷积神经网络和长短期记忆网络,对源模态数据和辅助模态数据进行时空域特征建模.在此基础上,提出了基于残差子网络的模态适应模块,通过统一源模态特征和辅助模态特征的数据分布,实现辅助模态对源模态的特征补偿.考虑到源模态数据和辅助模态数据在动作类别或动作样本等方面存在不同程度的对齐情况,设计了多层次模态适应算法,以适应不同的训练数据.所提算法仅在训练过程中需要辅助模态的帮助,在测试过程中可以仅根据源模态数据进行动作的识别,极大地拓展了该算法的实用性.在通用公共数据集上的实验结果表明,相比于现有动作识别算法,该算法取得了更加优越的性能.     

基于动作图的视角无关动作识别

针对视角无关的动作识别,提出加权字典向量描述方法和动作图识别模型.将视频中的局部兴趣点特征和全局形状描述有机结合,形成加权字典向量的描述方法,该方法既具有兴趣点抗噪声强的优点,又可克服兴趣点无法识别静态动作的缺点.根据运动捕获、点云等三维运动数据构建能量曲线,提取关键姿势,生成基本运动单元,并通过自连接、向前连接和向后连接3种连接方式构成有向图,称为本质图.本质图向各个方向投影,根据节点近邻规则建立的有向图称为动作图.通过Na?ve Bayes训练动作图模型,采用Viterbi算法计算视频与动作图的匹配度,根据最大匹配度标定视频序列.动作图具有多角度投影和投影平滑过渡等特点,因此可识别任意角度、任意运动方向的视频序列.实验结果表明,该算法具有较好的识别效果,可识别单目视频、多目视频和多动作视频.     

基于时空关联度的视频车祸识别算法

为了从一大段车祸视频中快速获取车祸发生时的那一小段视频,从中准确识别车祸视频中车辆碰撞的局部信息,从而尽快通知相关部门采取营救措施,避免二次事故的发生,实现快速辅助救援,提出了时空结合的车祸识别方法。通过对车祸视频进行局部特征点的提取和描述,以及对车祸视频进行局部特征时空角点检测,从而实现对车祸视频进行时空特征的提取。经特征提取后可以获得车祸视频的3DSIFT、STIP和3DHOG三种特征,对这三种特征分别进行不同组合的串联融合,融合后可以得到5种串联结果,对其串联特征进行K-MEANS聚类和KNN识别,从而实现车祸视频的识别。实验结果表明,利用时空关联的算法进行识别,能够准确找到车祸发生的片段,可以提高车祸识别精度。对比传统算法所得到的33%识别率,基于时空关联度的视频车祸识别算法可提高车祸识别精度至62%。     

动作切分和流形度量学习的视频动作识别

目的 为了提高视频中动作识别的准确度,提出基于动作切分和流形度量学习的视频动作识别算法。方法 首先利用基于人物肢体伸展程度分析的动作切分方法对视频中的动作进行切分,将动作识别的对象具体化;然后从动作片段中提取归一化之后的全局时域特征和空域特征、光流特征、帧内的局部旋度特征和散度特征,构造一种7×7的协方差矩阵描述子对提取出的多种特征进行融合;最后结合流形度量学习方法有监督式地寻找更优的距离度量算法提高动作的识别分类效果。结果 对Weizmann公共视频集的切分实验统计结果表明本文提出的视频切分方法具有很好的切分能力,能够作好动作识别前的预处理;在Weizmann公共视频数据集上进行了流形度量学习前后的识别效果对比,结果表明利用流形度量学习方法对动作识别效果提升2.8%;在Weizmann和KTH两个公共视频数据集上的平均识别率分别为95.6%和92.3%,与现有方法的比较表明,本文提出的动作识别方法有更好的识别效果。结论 多次实验结果表明本文算法在预处理过程中动作切分效果理想,描述动作所构造协方差矩阵对动作的表达有良好的多特征融合能力,而且光流信息和旋度、散度信息的加入使得人体各部位的运动方向信息具有了更多细节的描述,有效提高了协方差矩阵的描述能力,结合流形度量学习方法对动作识别的准确性有明显提高。     

基于改进时空兴趣点特征的双人交互行为识别

针对实际监控视频下双人交互行为的兴趣点特征选取不理想,且聚类词典中冗余单词导致识别率不高的问题,提出一种基于改进时空兴趣点（STIP）特征的交互行为识别方法。首先,引入基于信息熵的不可跟踪性检测方法,对序列图像进行跟踪得到交互动作的前景运动区域,仅在此区域内提取时空兴趣点以提高兴趣点检测的准确性。其次采用3维尺度不变特性转换（3D-SIFT）描述子对检测得到的兴趣点进行表述,利用改进的模糊C均值聚类方法得到视觉词典,以提升词典的分布特性;在此基础上建立词袋模型,即将训练集样本向词典进行投影得到每帧图像的直方图统计特征表示。最后,采用帧帧最近邻分类方法进行双人交互动作识别。在UT-interaction数据库上进行测试,该算法得到了91.7%的正确识别率。实验结果表明,通过不可跟踪性检测得到的时空兴趣点的改进词袋算法可以较大程度提高交互行为识别的准确率,并且适用于动态背景下的双人交互行为识别。     

Robots learn to dance through interaction with humans

In this paper, we investigated an approach for robots to learn to adapt dance actions to human’s preferences through interaction and feedback. Human’s preferences were extracted by analysing the common action patterns with positive or negative feedback from the human during robot dancing. By using a buffering technique to store the dance actions before a feedback, each individual’s preferences can be extracted even when a reward is received late. The extracted preferred dance actions from different people were then combined to generate improved dance sequences, i.e. performing more of what was preferred and less of that was not preferred. Together with Softmax action-selection method, the Sarsa reinforcement learning algorithm was used as the underlining learning algorithm and to effectively control the trade-off between exploitation of the learnt dance skills and exploration of new dance actions. The results showed that the robot learnt, using interactive reinforcement learning, the preferences of human partners, and the dance improved with the extracted preferences from more human partners.     

基于混合特征的人体动作识别改进算法

运动特征的选择直接影响人体动作识别方法的识别效果.单一特征往往受到人体外观、环境、摄像机设置等因素的影响不同,其适用范围不同,识别效果也是有限的.在研究人体动作的表征与识别的基础上,充分考虑不同特征的优缺点,提出一种结合全局的剪影特征和局部的光流特征的混合特征,并用于人体动作识别.实验结果表明,该算法得到了理想的识别结果,对于Weizmann数据库中的动作可以达到100％的正确识别率.     

Real-time human detection based on gentle MILBoost with variable granularity HOG-CSLBP

Sample misalignment exerts an important influence on training a rapid and accurate human detector, and it is a difficult problem to tackle with due to human articulation or manual annotation errors. Multiple instances learning method is an effective tool to deal with this difficulty without manual correction. In this paper, firstly, we propose a variable granularity HOG-CSLBP feature, which combines the human shape information with local texture information, and encodes spatial relationship in different granularity to improve its discriminative ability. Our new feature takes an advantage of the mutual complementarities of histogram of gradient and center-symmetric local binary patterns feature, which is adept at modeling human. Secondly, we present a Gentle MILBoost algorithm which utilizes the Newton update technique to get an optimal weak classifier that is able to discriminate complex distribution and is more stable in numerical computation. Experimental results based on INRIA, MIT-CBCL and TUD-Brussels datasets have showed superior performance of our method. Moreover, our method can achieve real-time speed in real application.     

一种基于单演相位局部差分二值模式的人脸识别方法

提出一种融合单演方向和尺度间互补信息的单演相位局部差分二值模式的人脸识别方法。该方法首先提取图像的单演相位,对单演相位进行局部差分,求绝对值,并进行二值编码;接着对单演方向和相位尺度间对应的相位点进行二值编码;然后将单演方向编码、相位尺度间编码、同一尺度的单演相位差分二值编码按顺序排列形成单演相位差分模式;最后采用统计学的方法形成单演相位差分二值模式映射表,并将单演相位编码进行映射,从而达到保留主要特征模式、降低特征维度的目的。在ORL和CAS PEAL人脸库上的实验表明,该方法具有很好的识别性能。     

人体动作的超兴趣点特征表述及识别

提出一种基于超兴趣点的动作特征描述方法,用于人体动作的识别。兴趣点特征描述了人体动作时变化显著的局部点信息,但其最大的缺陷在于离散的兴趣点间缺乏时间和空间上的结构关联。提出根据兴趣点间的时空距离,使用广度优先搜索邻居算法,将时空距离相近的兴趣点聚合成超兴趣点,该结构作为一个整体,反映人肢体在一定时空范围内的动作变化特征。与现有的基于局部兴趣点的动作识别算法相比,本文算法增加了兴趣点间的整体时空结构关系,提高了特征的区分度。实验采用两层分类方法对超兴趣点特征分类,实验结果表明该算法具有较好的识别率。     

基于隐马尔可夫模型的兴趣迁移模式发现

Web挖掘的一个重要研究方向是发现用户的迁移模式。一般来说,用户的迁移具有某种目的性。这种目的性表现为用户对某种概念的兴趣。文中提出基于隐马尔可夫模型的兴趣迁移模式发现方法,用于发现这种带有某种兴趣的用户迁移模式,这种模式实质上是一种特殊的关联规则。在这种方法中,作者首先根据用户的访问记录定义一个隐马尔可夫模型,然后提出一种新的增量发现算法Increase_R用于发现兴趣迁移模式,同时给出了证明以说明该算法可以发现所有的兴趣迁移模式。     

基于分类体数据的四面体网格剖分算法

虚拟内窥手术是以真实病人的CT或者MRI扫描数据为基础，首先通过组织分割，在计算机内部建立起三维模型，然后通过虚拟现实技术来模拟窥镜手术全过程的一项技术。其中，人体器官的三维网格建模是该技术中一个十分重要的部分，为了准确地进行了人体器官三维网格建模，在对三维体数据进行组织分割的基础上，提出了一种由分类体数据直接建立三维四面体网格的方法，由于Delaunay三角剖分所产生的网格质量比较高，所以该方法沿用逐点插入算法的思想，以特征点的提取和Steiner布点为基础来生成四面体网格，并通过组织边界的判定准则和利用flip操作来恢复组织边界，实践证明，该方法所生成的网格具有自适应的网格密度。     

一种基于粗糙k均值的双聚类算法

双聚类算法是为了发现基因表达数据矩阵中局部相似性而提出的新聚类方法。本文根据Cheng和Church的打分理论采用自底向上的策略,首先用粗糙k均值算法生成初始的基因数据块,再对这些数据块添加行和列,生成初始的双聚类。然后,删除初始的双聚类中一致性波动不好的行和列,从而得到最终的双聚类。实验表明,该算法能够高效地生成具有共表达水平的双聚类,更能找到一致波动水平很高的双聚类。     

基于蚁群算法的PID控制器参数优化研究

蚁群算法是一种新型的优化算法,具有收敛速度快、鲁棒性强的优点。在介绍蚁群算法基本原理的基础上,分析了蚁群的自组织行为,给出该行为的数学模型一蚂蚁群体优化（Ant Colony Optimization,ACO）。提出一种基于蚁群算法优化PID控制器参数的方法,并给出了新算法的具体实现步骤。仿真结果表明了该方法的可行性和有效性。     

基于信道状态信息的非接触式人员动作识别方法

传感器与摄像头等设备的传统动作识别存在受环境影响大及侵犯用户隐私等问题,以京剧动作为研究对象,提出一种非接触式人员动作识别方法Wi-Opera。在离线阶段采集Wi-Fi路由设备上人体动作的信道状态信息（CSI）数据,利用巴特沃斯低通滤波器和小波变换方法对CSI数据分别进行去噪和平滑处理,通过主成分分析算法提取动作的特征值构建每个京剧动作的决策树,最终形成随机森林模型。在在线阶段实时采集的动作数据经过处理后,将京剧动作的特征值输入随机森林模型中进行识别,从而输出识别结果。实验结果表明,Wi-Opera方法的综合识别精度为94.6%,具有较高的识别精度和较强的鲁棒性。