基于多视图半监督学习的人体行为识别

由于人的行为在本质上的复杂性,单一行为特征视图缺乏全面分析人类行为的能力.文中提出基于多视图半监督学习的人体行为识别方法.首先,提出3种不同模态视图数据,用于表征人体动作,即基于RGB模态数据的傅立叶描述子特征视图、基于深度模态数据的时空兴趣点特征视图和基于关节模态数据的关节点投影分布特征视图.然后,使用多视图半监督学习框架建模,充分利用不同视图提供的互补信息,确保基于少量标记和大量未标记数据半监督学习取得更好的分类精度.最后,利用分类器级融合技术并结合3种视图的预测能力,同时有效解决未标记样本置信度评估问题.在公开的人体行为识别数据集上实验表明,采用多个动作特征视图融合的特征表示方法的判别力优于单个动作特征视图,取得有效的人体行为识别性能.     

基于深度学习的人体行为识别方法综述

人体行为识别作为计算机视觉领域的重要研究热点,在智能监控、智能家居、虚拟现实等诸多领域中具有重要的研究意义和广泛的应用前景,备受国内外学者的关注。基于传统手工特征的方法难以处理复杂场景下的人体行为识别。随着深度学习在图像分类方面取得巨大成功,将深度学习用于人体行为识别方法中已逐渐成为一种发展趋势,但其仍然存在一些困难与挑战。首先,根据特征提取方法的不同,简单回顾了早期基于传统手工特征的行为识别方法;然后,从网络结构的角度着重对近年来一些基于深度学习的人体行为识别方法进行论述和分析,其中包括目前常用的双流网络架构和三维卷积网络架构等;另外,还介绍了目前用于评价方法性能的人体行为识别数据集,同时总结了部分典型方法在UCF-101和HMDB51两个著名的公开数据集上的性能;最后,从性能和应用两个方面对基于深度学习的人体行为识别方法的未来发展方向进行了展望,并指出了当前方法存在的不足之处。     

基于强化学习协同训练的命名实体识别方法

命名实体识别是一项从非结构化大数据集中抽取有意义的实体的技术。命名实体识别技术有着非常广泛的应用,例如从轨道交通列车产生的海量运行控制日志中抽取日期、列车、站台等实体信息进行进阶数据分析。近年来,基于学习的方法成为主流,然而这些算法严重依赖人工标注,训练集较小时会出现过拟合现象,无法达到预期的泛化效果。针对以上问题,本文提出了一种基于强化学习的协同训练框架,在少量标注数据的情况下,无须人工参与,利用大量无标注数据自动提升模型性能。在两种不同领域的语料上进行实验,模型F1值均提升10%,证明了本文方法的有效性和通用性。同时,与传统的协同训练方法进行对比,本文方法F1值高于其他方法5%,实验结果表明本文方法更加智能。     

基于人体部件的视频行为识别方法研究

现有人体行为识别算法主要依赖于粗粒度的视频特征,但这些特征不足以有效描述人体行为的动作构成,从而降低了深度学习模型对易混淆行为的识别能力.该研究提出了一种基于人体部件的视频行为识别方法,通过学习人体细粒度部件的动作表示,自底向上地学习人体行为视频表征.该方法主要包含:(1)部件特征增强模块,用于增强基于图像的人体部件特...     

基于混合式协同训练的人体动作识别算法研究

人体动作识别是计算机视觉研究中备受关注的课题。现有的动作识别方法大多属于监督学习,需要大量的有标记数据来训练识别模型。然而,在现实应用中有标记的数据成本较高,而无标记数据很容易获取。提出一种基于混合式协同训练的新型人体动作识别算法——Co-KNN-SVM,该算法利用动作识别领域不同类型的方法来构建基分类器,并进行迭代的相互训练以提高泛化性能,可以降低标注成本,并实现不同识别方法的优势互补。此外,还改进了协同训练中对伪标记数据的选择方法和迭代训练策略,有效控制了伪标记数据的噪声影响,提高了协同训练的识别效果。实验结果表明,所提算法可以有效地识别视频中的人体动作。     

基于半监督协同训练的多标签文本分类模型

为降低数据标注的成本并提高投诉文本分类的准确率,本文提出基于半监督协同训练的多标签文本分类模型。该模型通过构建多个基分类器组的方式进行训练,其中每个基分类器组都由随机森林和支持向量机组成,并通过打伪标签的方式扩充有标签数据集进行循环训练至模型收敛,最终整合分类结果,充分发挥各学习器在不同特征上的分类优势,并在实验中验证该模型的有效性。     

基于软迁移和渐进式学习的人体行为识别方法

基于"学习者-监督者"的间接学习机制,提出多阶段监督的软迁移学习方法来实现跨网络结构学习,使神经网络对人体行为的建模能力能在不同结构的网络中传递和重用.根据数据特征在不同网络层级上的不同特性,引入两种有效的特征差异度量函数,降低不同网络结构提取的特征之间的差异.在UCF101和HMDB51数据集上进行实验,其结果表明,...     

基于协同训练的半监督学习研究

半监督学习,与传统的监督学习不同,能同时在少量的已标记数据和大量的未标记数据上进行学习,从而提高性能。协同训练是一种流行的半监督学习算法,已成为目前机器学习和模式识别领域中的一个研究热点。综述半监督学习协同训练的基本思想、研究现状、常用算法,分析目前存在的主要困难,并指出需进一步研究的几个问题。     

基于动态行为学习的空中目标识别方法

针对空中移动目标识别问题,提出了一种基于动态行为学习的识别方法。首先,从数据源中提取目标要素,经过标注形成目标数据特征集;其次,基于应用场景进行特征组合,形成特征模型要素;然后,基于深度学习算法进行模型训练,得到评估最优的模型参数;最后,利用训练后的模型进行目标识别处理。通过数值仿真验证,该方法能够有效地识别无业务规则的目标身份。     

静止背景下的人体行为识别方法

在实际工程中多数监控摄像头是固定的,为了使计算能力有限的智能摄像头实时地进行人体行为识别,提出一种将无迭代双边二维主成分分析方法(NIB2DPCA)与高斯混合模型(GMM)相结合的行为识别方法。提取视频帧序列中运动前景的稠密光流,绘制运动矢量时空(MVFI)模板,利用NIB2DPCA对MVFI模板作特征抽取,通过GMM对特征数据建模从而实现行为分类。测试结果表明,与轨迹云比较法相比,该方法对视频中的行为信息进行了有效地压缩,使得计算耗时缩短了90%以上,同时保持了较高的识别率。     

一种基于教学模型的协同训练方法

在很多实际问题中,很容易得到大量未标记数据而较难获取数据的标记;所以半监督学习在过去的10多年中得到了很大的关注.基于不一致性的半监督学习是其中一种十分重要的风范,协同训练是其代表方法.至今为止,大部分协同训练方法在选择未标记示例进行标记时只考虑预测学习器的置信度,而忽视了学习器的需求.受到真实教学系统的启发,提出了一种针对协同训练的教学模型TaLe,其中预测学习器是“教”者,而另一方则为“学”者.进而基于该模型给出了一种新的协同训练方法CoSnT,同时考虑了“教”的置信度和“学”的需求度.实验结果表明CoSnT在收敛效率和泛化性能上都优于标准的协同训练算法.     

多尺度方法结合卷积神经网络的行为识别

为了同时计算行为序列样本在时间和空间的特征,提出了一种基于包含多尺度卷积算子的卷积神经网络识别模型。首先通过叠加的方式将序列样本中的骨骼向量信息整合为一个行为矩阵,然后将矩阵输入识别模型。为了挖掘具有不同邻接关系的骨骼点在描述人体行为时的作用,将卷积神经网络各层中的卷积算子拓展为多尺度卷积算子,并使用该网络得到的特征进行分类。实验在MSR-Action3D数据集和HDM05数据集获得较好的识别率。     

基于双语协同训练的最大名词短语识别研究

针对传统方法对双语最大名词短语识别一致性差以及跨领域识别能力弱的缺点,提出一种基于半监督学习的双语最大名词短语识别算法.利用汉英最大名词短语的互译性和识别的互补性,把平行的汉语句子和英语句子这两个数据集看作一个数据集的两个不同的视图进行双语协同训练.在协同训练中,把双语对齐标注一致率作为标记置信度估计依据,进行增量标记数据的选择.实验结果表明:该算法显著提高了双语最大名词短语的识别能力,在跨领域测试和同领域测试中,F值分别比目前最好的最大名词短语识别模型提高了4.52%和3.08%.     

人体检测部分响应特征映射的人体动作识别

在计算机视觉和多媒体领域,利用视觉信息进行语义层面人体运动分析非常重要且具有挑战性.提出一种利用检测信息的底层响应来描述人体动作的语义信息方法.在特定的人体动作下,可变形部分模型的检测结果隐含人体部分的关键信息,可以形成人体动作识别的特征.利用检测器的滤波器响应生成人体描述特征,对人体整体和部分的位置以及表观信息进行编码,由于该特征利用了人体部分相对于整体位置的统计信息,对检测过程中的误检部分具有较强的鲁棒性,基于该特征可将人体检测和动作识别融合成统一框架.在3个数据库上的实验结果显示了方法的有效性,取得了与其他方法相近或者更优的效果.     

基于双流卷积神经网络的人体行为识别方法

时序行为检测是指在一段未分割的长视频中,检测出其中包含的若干行为片段的起止时间和类别.针对该项任务,提出基于双流卷积神经网络的行为检测模型.首先使用双流卷积神经网络提取视频的特征序列,然后使用TAG （Temporal Actionness Grouping）生成行为提议,为了构建高质量的行为提议,将行为提议送入边界回归网络中修正边界,使之更为贴近真实数据,再将行为提议扩展为含有上下文信息的三段式特征设计,最后使用多层感知机对行为进行识别.实验结果表明,本算法在THUMOS 2014数据集和ActivityNet v1.3数据集获得较好的识别率.     

View Invariance for Human Action Recognition

This paper presents an approach for viewpoint invariant human action recognition, an area that has received scant attention so far, relative to the overall body of work in human action recognition. It has been established previously that there exist no invariants for 3D to 2D projection. However, there exist a wealth of techniques in 2D invariance that can be used to advantage in 3D to 2D projection. We exploit these techniques and model actions in terms of view-invariant canonical body poses and trajectories in 2D invariance space, leading to a simple and effective way to represent and recognize human actions from a general viewpoint. We first evaluate the approach theoretically and show why a straightforward application of the 2D invariance idea will not work. We describe strategies designed to overcome inherent problems in the straightforward approach and outline the recognition algorithm. We then present results on 2D projections of publicly available human motion capture data as well on manually segmented real image sequences. In addition to robustness to viewpoint change, the approach is robust enough to handle different people, minor variabilities in a given action, and the speed of aciton (and hence, frame-rate) while encoding sufficient distinction among actions. This work was done when the author was a graduate student in the Department of Computer Science and was partially supported by the NSF Grant ECS-02-5475. The author is curently with Siemens Corporate Research, Princeton, NJ. Dr. Chellappa is with the Department of Electrical and Computer Engineering.     

传感器人体运动行为特征识别研究进展

人体运动行为特征识别在医疗健康、人机接口、体育竞技等诸多领域都有广泛应用。介绍了常见的用于运动数据采集的传感器和相应方法,简述了运动数据预处理的一般手段;介绍了运动数据特征提取的过程,重点描述了常见运动行为特征识别方法的研究现状,并简述其应用现状。最后,指出了目前运动行为特征识别中所面临的问题,并给出了未来的发展方向。     

Co-Training by Committee: A Generalized Framework for Semi-Supervised Learning with Committees

Many data mining applications have a large amount of data but labeling data is often di cult, expensive, or time consuming, as it requires human experts for annotation.Semi-supervised learning addresses this problem by using unlabeled data together with labeled data to improve the performance. Co-Training is a popular semi-supervised learning algorithm that has the assumptions that each example is represented by two or more redundantly su cient sets of features (views) and additionally these views are independent given the class. However, these assumptions are not satis ed in many real-world application domains. In this paper, a framework called Co-Training by Committee (CoBC) is proposed, in which an ensemble of diverse classi ers is used for semi-supervised learning that requires neither redundant and independent views nor di erent base learning algorithms. The framework is a general single-view semi-supervised learner that can be applied on any ensemble learner to build diverse committees. Experimental results of CoBC using Bagging, AdaBoost and the Random Subspace Method (RSM) as ensemble learners demonstrate that error diversity among classi ers leads to an e ective Co-Training style algorithm that maintains the diversity of the underlying ensemble.     

邻域粗糙协同分类模型

Pawlak粗糙集理论是一种有监督学习模型,只适合处理离散型数据.但在一些现实问题中存在着大量的连续型数据,并且有标记数据很有限,更多的是无标记数据.结合邻域粗糙集和协同学习理论,提出了适合处理连续型数据并可有效利用无标记数据提升分类性能的邻域粗糙协同分类模型.该模型首先构建了邻域粗糙半监督约简算法,并利用该算法提取两个差异性较大的约简构造基分类器,然后迭代地在无标记数据上交互协同学习.UCI数据集实验对比分析表明,与其他同类模型相比,该模型有较好的性能.