视频中人体行为识别的时序建模算法的分析

目前人体行为识别是视频分析领域的研究热点,准确有效的人体行为识别的关键是动作时序建模和特征表示。该文归纳了人体行为识别常用的数据集,对人体行为识别表示方法进行了全面的回顾,并介绍了人体行为识别研究的最新方法,包括RGB和深度数据中手工设计的动作特征的进展,基于深度学习的时序表示方法的最新进展及当前研究的热点。最后总结了目前待解决的问题,对未来行为识别可能的发展方向进行了论述。     

姿态特征与深度特征在图像动作识别中的混合应用

人体姿态是动作识别的重要语义线索,而CNN能够从图像中提取有很强判别能力的深度特征,本文从图像局部区域提取姿态特征,从整体图像中提取深度特征,探索两者在动作识别中的互补作用.首先介绍了一种姿态表示方法,每个肢体部件的姿态由描述该部件姿态的一组Poselet检测得分表示.为了抑制检测错误,设计了基于部件的模型作为检测上下文.为了从数量有限的数据集中训练CNN网络,本文使用了预训练和精细调节的方法.在两个数据集中的实验表明,本文介绍的姿态特征与深度特征混合使用,动作识别性能得到了极大提升.     

多层分类器模型的相似人体活动识别

针对基于单传感器活动识别中相似活动易混淆的问题,本文提出了一种基于广义判别分析的多层分类器融合的相似人体活动识别算法.首先提取基于单加速度计的多类活动数据的时域特征、频域特征以及时频特征,对不同特征进行特征分析与重要性评估以确定有效的特征维度.使用随机森林(RF,Random forest)算法对活动特征进行第1层分类,然后根据分类混淆矩阵分析相似活动,由广义判别分析算法提取相似人体活动的映射特征,使用支持向量机(SVM,Support vector machine)算法对相似活动进行第2层分类,最后将相似活动的双层分类器识别概率加权融合得到最终识别结果.为了验证该识别算法,在公开的数据集SCUT-NAA上执行,识别算法对相似活动识别的正确率达到97.2%,提高了基于该数据集研究的正确率.     

面向人机交互的通道注意力位移图神经网络

在人机交互动作识别领域中,基于深度学习的动作识别方法比传统的手工特征提取方法准确率更高.为了解决基于深度学习的动作识别方法在实时人机交互的实际应用问题,本文设计并创建了交互动作数据集(IA RGB-D),用于深度学习方法的人体动作识别研究.将IA RGB-D用于多种神经网络的训练和测试,测试结果准确率均在95％以上,验...     

基于深度信念网络的视觉人体动作识别

为实现互联网上大量背景复杂、视点变化的视频中人体动作的识别,提出了一种使用无监督的深度信念网络(DBNs)进行人体动作识别的创新方法.该方法采用深度信念网络(DBNs)和受限玻耳兹曼机进行无约束视频的动作识别,利用无监督深度学习模型自动提取合适的特征表示,不需要任何先验知识.在一个具有挑战性的UCF体育数据集上进行实验,证明了该方法准确有效.同时该方法也适用于其他视觉识别任务,并在未来可扩展到非结构化的人体活动识别.     

基于半马尔可夫和Large-margin的动作识别

如果一个人做了一系列连续动作,并被拍摄成一段视频,那么如何通过这段视频对动作进行分割和识别是人们要考虑的问题.为了对视频中的人的动作进行有效识别,基于半马尔可夫模型框架,提出了一个对人的动作进行识别的方法,该方法通过输入-输出空间的一组特征值来抓住与2个动作相邻的帧的特征,以及相邻的2个动作段之间的特征.为了提高算法的效率,提出了一个类似于Viterbi的算法,该算法被用来解决优化问题.不同数据集上的实验结果表明,该方法是有效的.     

基于多分类和ResNet的不良图片识别框架

针对实际应用中色情图片的复杂多样性问题,提出一种基于多分类和深度残差网络（ResNet）的不良图片识别框架.不同于已有的方法将色情图片识别作为二分类问题,该方法基于多样性特征将色情图片分为7个更细粒度的类别,并将正常图片分为是否包含人物2个类别,通过50层ResNet模型进行分类,再按照阈值计算是否属于不良图片.为了减少训练时间和挖掘优质特征,采用一种反馈修正的训练策略.提出一种单边滑动窗口的预处理方法以解决图片不同尺度的影响问题.测试结果表明,该方法在时间效率和识别准确率上效果良好.     

利用惯性传感器和AdaBoost算法的步态识别方法

针对现有方法在步态识别方面存在的动作信号分割、传感器方向不一致和相似动作识别精度不高等缺点,提出一种基于惯性传感器和AdaBoost算法的步态动作识别方法。首先,基于尺度空间技术,提出了一种鲁棒的步态检测方法将信号分为动作样本,以此来应对动作速度或强度的剧烈变化;然后,应用定位补偿匹配算法纠正传感器的倾斜,从而解决了传感器方向不一致的问题;最后,为了提高识别精度,基于AdaBoost算法自适应选取动作特征,再进行判别分析完成识别。对5个相似步态动作类进行识别实验,结果表明提出的算法具有较高的准确性。     

基于新投影策略的人体行为识别方法研究

为解决微小动作识别率低的问题,提出一种结合新投影策略和能量均匀化视频分割的多层深度运动图的人体行为识别方法。首先,提出一种新的投影策略,将深度图像投影到三个正交笛卡尔平面,以保留更多的行为信息;其次,基于整个视频的多层深度运动图图像虽然可反映整体运动信息,但却忽略了很多细节,采用基于能量均匀化的视频分割方法,将视频划分为多个子视频序列,可以更加全面地刻画动作细节信息;最后,为描述多层深度运动图图像纹理细节,采用局部二值模式作为动作特征描述子,结合核极端学习机分类器进行动作识别。实验结果表明：在公开动作识别库MSRAction3D和手势识别库MSRGesture3D上,本文算法准确率分别达94.55%和95.67%,与现存许多算法相比,有更高的识别率。     

基于 ResNeXt 的人体动作识别

人体动作识别是计算机视觉领域的核心研究方向之一,在很多场合都有应用。深 度卷积神经网络在静态图像识别方面已取得了巨大成功,并逐渐扩展到视频内容识别领域,但 应用依然面临很大挑战。为此提出一种基于 ResNeXt 深度神经网络模型用于视频中的人体动作 识别,主要包括：①使用新型 ResNeXt 网络结构代替原有的各种卷积神经网络结构,并使用 RGB 和光流 2 种模态的数据,使模型可充分地利用视频中动作外观及时序信息;②将端到端的 视频时间分割策略应用于 ResNeXt 网络模型,同时将视频分为 K 段实现对视频序列的长范围时 间结构进行建模,并通过测试得到最优视频分段值 K,使模型能更好地区分存在子动作共享现 象的相似动作,解决某些由于子动作相似而易发生的误判问题。通过在动作识别数据集 UCF101 和 HMDB51 上进行的测试表明,该模型和方法的动作识别准确率性能优于目前文献中的一些模 型和方法的性能。     

一种基于自相关函数特征的行为识别方法

为了增强特征敏感度,提高人体日常行为识别准确率,提出一种基于自相关函数的人体行为识别方法。首先对预先采集的人体行为数据进行预处理,然后从时域和频域提取特征后计算得到自相关函数特征,同时采取互相关函数的步进式方法在自相关函数上进行降噪操作。分别使用C4.5决策树、K最邻近(KNN)、支持向量机(SVM)、朴素贝叶斯(Naive Bayesian)四种分类器进行分类。实验结果表明,与选取纯粹的时、频域特征集进行识别分类的模型相比,选用了包含自相关函数特征的特征集构造出来的模型对行为的识别准确率有较大提高。     

融合显著性图像语义特征的人体相似动作识别

目的 基于骨骼的动作识别技术由于在光照变化、动态视角和复杂背景等情况下具有更强的鲁棒性而成为研究热点。利用骨骼/关节数据识别人体相似动作时,因动作间关节特征差异小,且缺少其他图像语义信息,易导致识别混乱。针对该问题,提出一种基于显著性图像特征强化的中心连接图卷积网络（saliency image feature enhancement based center-connected graph convolutional network,SIFE-CGCN）模型。方法 首先,设计一种骨架中心连接拓扑结构,建立所有关节点到骨架中心的连接,以捕获相似动作中关节运动的细微差异;其次,利用高斯混合背景建模算法将每一帧图像与实时更新的背景模型对比,分割出动态图像区域并消除背景干扰作为显著性图像,通过预训练的VGG-Net(Visual Geometry Group network)提取特征图,并进行动作语义特征匹配分类;最后,设计一种融合算法利用分类结果对中心连接图卷积网络的识别结果强化修正,提高对相似动作的识别能力。此外,提出了一种基于骨架的动作相似度的计算方法,并建立一个相似动作数据集。结果 ...     

融合多模态数据的人体动作识别方法研究

基于多模态融合的人体动作识别技术被广泛研究与应用,其中基于特征级或决策级的融合是在单一级别阶段下进行的,无法将真正的语义信息从数据映射到分类器。提出一种多级多模态融合的人体动作识别方法,使其更适应实际的应用场景。在输入端将深度数据转换为深度运动投影图,并将惯性数据转换成信号图像,通过局部三值模式分别对深度运动图和信号图像进行处理,使每个输入模态进一步转化为多模态。将所有的模态通过卷积神经网络训练进行提取特征,并把提取到的特征通过判别相关分析进行特征级融合。利用判别相关分析最大限度地提高两个特征集中对应特征的相关性,同时消除每个特征集中不同类之间的特征相关性,将融合后的特征作为多类支持向量机的输入进行人体动作识别。在UTD-MHAD和UTD Kinect V2 MHAD两个多模态数据集上的实验结果表明,多级多模态融合框架在两个数据集上的识别精度分别达到99.8%和99.9%,具有较高的识别准确率。     

基于关键帧特征库统计特征的双人交互行为识别

针对双人交互行为识别算法中普遍存在的算法计算复杂度高、识别准确性低的问题,提出一种新的基于关键帧特征库统计特征的双人交互行为识别方法。首先,对预处理后的交互视频分别提取全局GIST和分区域方向梯度直方图（HOG）特征。然后,采用k-means聚类算法对每类动作训练视频的所有帧的特征表示进行聚类,得到若干个近似描述同类动作视频的关键帧特征,构造出训练动作类别对应的关键帧特征库;同时,根据相似性度量统计出特征库中各个关键帧在交互视频中出现的频率,得到一个动作视频的统计直方图特征表示。最后,利用训练后的直方图相交核支持向量机（SVM）,对待识别视频采用决策级加权融合的方法得到交互行为的识别结果。在标准数据库测试的结果表明,该方法简单有效,对交互行为的正确识别率达到了85%。     

特定领域的命名实体识别方法的研究

在特定领域的命名实体识别技术中,针对不同领域有各种不同的识别方法。不同领域文本具有其独特的文本特征,这导致已有领域的识别方法难以适应新的特定领域。针对该问题,提出一种基于条件随机场、半监督学习和主动学习相结合的方法,将其形成一个统一的技术框架来适应各个特定领域的命名实体识别。该方法首先选取特定文本的基本通用特征构建特征集合,训练条件随机场对特定领域进行命名实体的初步识别,再通过主动选取置信度低于选定阈值的样本进行人工标注,并迭代扩展训练样本来达到高识别效果。为验证所提方法,针对轨道交通领域文本进行了实验,实验结果表明该方法行之有效,在轨道交通领域取得了较好的识别效果。     

基于图卷积网络的运动想象识别

运动想象识别将大脑的神经活动信号转为编码输出以实现意念控制,是脑机接口的一个重要研究方向.近年来深度学习算法的应用进一步提高了运动想象识别的准确率,但是当前基于深度学习的运动想象分析都将多路脑电信号作为二维矩阵信号,忽视了不同节点的空间关联信息.为了解决这个问题,将图卷积网络算法应用到运动想象分类中,通过多个节点脑电信...     

基于耦合多隐马尔可夫模型和深度图像数据的人体动作识别

为解决使用RGB图像进行特征提取时容易受外界因素干扰,且计算复杂度高等问题,采用一种更加有效的解决方案,即使用深度数据进行人体动作识别。利用Kinect采集的关节点数据,首先将人体关节划分成五个区域,对每个区域的向量夹角离散化从而描述不同的状态,再通过Baum-Welch算法学习出各区域的多隐马尔可夫模型（multi-HMM）,并使用前向算法建立生成区域与动作类别概率矩阵。在此基础上,对区域及动作类别进行内耦合和间耦合分析,从而表达各关节点之间的交互关系。最后使用基于耦合的K最邻近（KNN）算法完成整体的动作识别。通过实验测试对五种动作的识别率均达到90%以上,并与3D Trajectories等方法进行对比,实验得到的综合识别率高于对比方法,具有明显的优势。     

Feature representation for facial expression recognition based on FACS and LBP

In expression recognition, feature representation is critical for successful recognition since it contains distinctive information of expressions. In this paper, a new approach for representing facial expression features is proposed with its objective to describe features in an effective and efficient way in order to improve the recognition performance. The method combines the facial action coding system(FACS) and "uniform" local binary patterns(LBP) to represent facial expression features from coarse to fine. The facial feature regions are extracted by active shape models(ASM) based on FACS to obtain the gray-level texture. Then, LBP is used to represent expression features for enhancing the discriminant. A facial expression recognition system is developed based on this feature extraction method by using K nearest neighborhood(K-NN) classifier to recognize facial expressions. Finally, experiments are carried out to evaluate this feature extraction method. The significance of removing the unrelated facial regions and enhancing the discrimination ability of expression features in the recognition process is indicated by the results, in addition to its convenience.     

基于FCA-ReliefF的融合生理信号情绪识别研究

针对当前情绪识别研究中特征维数多、识别率不高的问题,提出了基于多生理信号(心电、肌电、呼吸、皮肤电)融合及FCA-ReliefF特征选择的情绪识别方法。通过将从时域和频域两个维度提取的生理信号特征进行融合,作为分类器的输入进行情绪分类。为了降低特征维度,首先进行特征相关性分析(FCA)删除相关性较大的特征;再通过ReliefF剔除分类贡献弱的特征,达到降低特征维度的目的。在公开的数据集上进行验证,并与相关研究进行对比。结果表明,提出的方法在特征维度及识别率两个方面均有优势。提出的FCA-ReliefF降维策略有效地将特征从108维减少到60维,并且将识别精度提高到98.40%,验证了方法的有效性。