局部证据RBF人体行为高层特征自相似融合识别研究

针对传统人体动作识别算法,往往重点解决某一类行为识别,不具有通用性的问题,提出一种局部证据RBF人体行为高层特征自相似融合识别算法。首先,借用随时间变化的广义自相似性概念,利用时空兴趣点光流场局部特征提取方法,构建基于自相似矩阵的人体行为局部特征描述;其次,在使用SVM算法进行独立个体行为识别后,利用所提出的证据理论RBF（Radial Basis Function）高层特征融合,实现分类结构优化,从而提高分类准确度;仿真实验表明,所提方案能够明显提高人体行为识别算法效率和识别准确率。     

基于局部描述子的人体行为识别

提出一种新的局部时空特征描述方法对视频序列进行识别和分类。结合SURF和光流检测图像中的时空兴趣点,并利用相应的描述子表示兴趣点。用词袋模型表示视频数据,结合SVM对包含不同行为的视频进行训练和分类。为了检测这种时空特征的有效性,通过UCF YouTube数据集进行了测试。实验结果表明,提出的算法能够有效识别各种场景下的人体行为。     

动作识别中局部时空特征的运动表示方法研究

近年来,基于局部时空特征的运动表征方法已被越来越多地运用于视频中的动作识别问题,相关研究人员已经提出了多种特征检测和描述方法,并取得了良好的效果。但上述方法在适应摄像头移动、光照以及穿着变化等方面还存在明显不足。为此,提出了基于时空兴趣点局部时空特征的运动表示方法,实现了基于时空单词的动作识别。首先采用基于Gabor滤波器和Gaussian滤波器相结合的检测算法从视频中提取时空兴趣点,然后抽取兴趣点的静态特征、运动特征和时空特征,并分别对运动进行表征,最后利用基于时空码本的动作分类器对动作进行分类识别。在Weizmann和KTH两个行为数据集进行了测试,实验结果表明：基于时空特征的运动表示能够更好地适应摄像头移动、光照变化以及施动者的穿着和动作差异等环境因素的影响,取得更好的识别效果。     

基于深度神经网络和投影树的高效率动作识别算法

为了提高视频中动作识别的准确率和速度,提出一种基于深度神经网络和投影树的高效率动作识别算法。采用三维Harris角点检测时空域中发生显著变化的局部结构,划分动作识别的主要区域和次要区域;设计两种Siamese神经网络以及相应的损失函数,考虑连续帧间的局部一致性,学习视频的主要区域特征;为兴趣点的特征建立投影树,提高查询的匹配速度。基于公开数据集的仿真实验结果表明,该算法实现了较好的无监督学习效果,并且具有较高的效率。     

基于能量模型的LS-TSVM在人体动作识别中的应用

针对传统的人体动作识别分类器忽略时空特征存在的固有噪声和动作类的异常值而导致严重类失衡和类内差异的问题,提出一种基于能量的最小二乘双分界面支持向量机(ELS-TSVM)的人体动作识别算法。首先对于输入的视频使用梯度方向直方图特征和光流直方图特征识别人体动作;然后,检测可能的兴趣点,生成时空特征后提取时空视觉词袋特征,通过构建一组视觉词袋来完成特征提取;最后,利用ELS-TSVM完成分类。解决了SVM的类失衡和计算量高的问题。在Weizmann和Hollywood数据库上的实验验证了本文算法的有效性及可靠性,实验结果表明,相比其他几种较新的方法,本文算法更加高效精确,且大大减少了算法执行时间。     

低层次和高层次特征相结合的人体动作识别

为了准确提取人体动作特征,提出了一种新的基于二维Gabor滤波器的时空兴趣点检测器,该检测器对遮挡,光照变化以及镜头缩放等具有较强的鲁棒性。基于80面体模型在一定大小的时空邻域内提取精细的时空梯度信息进一步刻画人体动作在时空上的视觉特征。采用最大似然估计得到对每段动作视频的权重直方图估计,使算法更有效率且权重直方图描述特征更具区分度。将低层次的权重直方图特征和高层次的动作语义属性融合,采用隐支持向量机求解最终动作识别模型的局部最优解。在几种典型的数据库上对算法进行了验证,与现有方法相比较,识别率有了较大的提高。     

基于级联结构的人体动作识别方法

基于视频的人体动作识别是近年来计算机视觉领域备受关注且十分具有挑战性的研究方向,可以应用于人的行为分析,视频监控和人机交互等方面。本文提出了一种基于级联结构的人体动作识别方法:针对Dollar时空兴趣点检测器易受图像噪声、摄像机运动与缩放等因素影响产生伪兴趣点的问题,提出了一种基于轨迹差异度的兴趣点筛选方法,有效避免了引入背景中的伪兴趣点,提高了人体运动特征提取的准确度;采用规范切与mRMR准则对词袋模型生成的特征向量进行自动特征选择,同时建立一个用于分类的级联结构,在识别各类不同动作时选择不同的特征子集,使得分类器使用的特征更具区分性。在KTH人体运动测试集上实验,验证了文中方法能提高动作识别的准确度。     

基于前景置信的人体行为识别

为减少背景特征对行为识别的影响,提出一种基于前景置信的人体行为识别方法。该方法在基于稠密时空兴趣点的行为识别基础上,结合像素前景置信估计对特征描述器进行加权分类,再利用词袋模型判别行为。融合运动、外观及视觉显著性的像素前景置信的引入,提高了算法处理复杂背景视频的能力。该方法在UCF50和HMDB51视频库中进行训练和测试,平均识别率为66.4%。     

基于时空深度特征的人体行为识别算法

针对底层局部时空特征数量少以及中层特征表达能力弱的问题,结合时空深度特征,提出一种人体行为识别算法。依据运动剧烈区域在行为识别中提供更多判别信息的思想,利用视频图像的深度信息确定人体运动显著性区域,通过计算区域内光流特征作为度量区域活跃度的能量函数,依据能量函数对运动显著性区域进行高斯取样,使样本点分布于运动剧烈区域。将采集到的样本点作为动作底层特征描述人体行为,结合词袋模型,采用支持向量机分类器对行为进行识别。实验结果表明,在SwustDepth数据集中,基于时空深度特征的人体行为识别算法的平均行为识别准确率达到92%,且具有较高的鲁棒性。     

基于大间隔最近邻的人体动作识别

为实现日常生活中动作的识别,以提高家庭服务机器人的服务质量,为人类提供安全舒适的环境,提出了一种基于马氏距离的度量学习方法进行人体动作的识别．首先,利用Kinect获取人体动作的关节点数据．然后,基于关节点数据构建动作敏感特征集合,即由人体的关节点坐标构造人体的结构向量以及相应的角度,并对每一样本的长度进行归一化处理．采用大间隔最近邻（LMNN）分类算法进行马氏距离学习得到变换矩阵L,将归一化之后的原始数据映射到更优特征空间．最后,采用k近邻算法进行动作识别．在自建的数据集上,得到97%的识别率．实验结果表明,LMNN算法能够改善数据的分布,即缩小类内距离,扩大类间距离,较好地完成人体动作识别的任务．     

基于时空约束密度聚类的停留点识别方法

轨迹停留点的识别是轨迹分析、出行活动语义挖掘的关键。针对基于密度聚类的停留点识别方法对时空信息的表达缺陷,提出新的时空约束停留点识别方法,在密度聚类中引入轨迹的间接时空特征表示,将具有时空相似性的轨迹点进行聚合;采用与聚类过程相统一的时空特征约束对轨迹簇进行细粒度识别。算法在进行约束的时候再次利用到聚类时候所用的输入数据特征,特征的充分利用提高了识别的准确率。实验结果验证了本文方法的有效性。     

基于骨骼特征Hough变换的行为识别研究

为有效地表征人体行为的时空特征,将骨骼特征通过Hough变换后建立人体的动作表示.具体来说,采用OpenPose获取视频帧人体骨骼关键点,之后构建骨骼关节并映射到Hough空间,将骨骼关节轨迹转换为点迹,然后角度和轨迹特征的FV(Fisher vector)编码融合作为线性SVM分类器的输入.在经典公共数据集KTH、Weizmann、KARD和Drone-Action上,实验结果表明Hough变换提升了特征的鲁棒性,提高了人体行为识别的性能.     

基于兴趣点的图像检索

在基于内容的图像检索中,往往使用颜色、纹理以及形状的全局特征来描述图像,然而全局特征不能描述图像的细节,丢失了图像的空间信息。文章利用兴趣点来灵活描述图像的局部信息,提取兴趣点周围的颜色矩作为局部特征,通过兴趣点的匹配和带权投票来进行相似度量,几何哈希技术的使用增强了兴趣点间的正确匹配。实验证明了这种方法的有效性,具有旋转、平移和部分的尺度不变性。     

基于时空信息融合的人体行为识别研究

在视频理解任务中,人体行为识别是一个重要的研究内容,但视频序列中存在时空信息融合困难、准确率低等问题。针对这些问题,提出一种基于时空信息融合的双流时空残差卷积网络模型。将视频分段采样提取RGB图像和光流图像,并将其输入到双流时空残差网络,通过设计的时空残差模块提取视频的深度时空特征,将每个视频片段的类别结果加权融合得到行为类别。提出的双流时空残差模块引入了少量的三维卷积和混合注意力机制,能够同时获取不同尺度的时空信息并且抑制无效信息,可以有效平衡时空信息的捕捉和计算量问题,并且提升了精度。实验基于TSN网络模型,在UCF101数据集上进行验证,实验结果表明提出的模型比原TSN网络模型的精准度提高了0.9个百分点,有效地提高了网络的时空信息捕获效率。     

基于三维残差稠密网络的人体行为识别算法

针对现有的人体行为识别算法不能充分利用网络多层次时空信息的问题,提出了一种基于三维残差稠密网络的人体行为识别算法。首先,所提算法使用三维残差稠密块作为网络的基础模块,模块通过稠密连接的卷积层提取人体行为的层级特征;其次,经过局部特征聚合自适应方法来学习人体行为的局部稠密特征;然后,应用残差连接模块来促进特征信息流动以及减轻训练的难度;最后,通过级联多个三维残差稠密块实现网络多层局部特征提取,并使用全局特征聚合自适应方法学习所有网络层的特征用以实现人体行为识别。设计的网络算法在结构上增强了对网络多层次时空特征的提取,充分利用局部和全局特征聚合学习到更具辨识力的特征,增强了模型的表达能力。在基准数据集KTH和UCF-101上的大量实验结果表明,所提算法的识别率（top-1精度）分别达到了93.52％和57.35％,与三维卷积神经网络（C3D）算法相比分别提升了3.93和13.91个百分点。所提算法框架有较好的鲁棒性和迁移学习能力,能够有效地处理多种视频行为识别任务。