基于特征交互和聚类的行为识别方法

针对现有行为识别方法缺乏对时空特征关系建模的问题,提出一种基于特征交互和聚类的行为识别方法.首先设计一种混合多尺度特征提取网络提取连续帧的时间和空间特征;然后基于Non-local操作设计一种特征交互模块实现时空特征的交互;最后基于三元组损失函数设计一种难样本选择策略来训练识别网络,实现时空特征的聚类,提高特征的鲁棒性和判别性.实验结果表明,与基线方法 TSN相比,所提方法的准确度在UCF101数据集上提高了23.25个百分点,达到94.82%;在HMDB51数据集上提高了20.27个百分点,达到44.03%.     

基于时空兴趣点和概率潜动态条件随机场模型的 在线行为识别方法

针对在线行为连续序列的识别问题以及行为识别模型的稳定性问题,提出一种监控视频中基于概率潜动态条件随机场（PLDCRF）的在线行为识别方法。首先,应用时空兴趣点（STIP）对行为特征进行提取;再利用PLDCRF模型识别室内人体的活动状态。PLDCRF模型融合了隐含状态变量,能够构建姿态序列子结构,可以选取姿态之间的动态特征,并且直接标记出未分割序列;同时也可以正确地标记出行为间的转换过程,从而明显改善了行为识别的效果。隐含条件随机场（HCRF）、潜动态条件随机场（LDCRF）、潜动态条件神经场（LDCNF）以及PLDCRF模型对10种不同动作的识别率比较结果表明,所提PLDCRF模型对连续的行为序列的综合识别能力更强,并且有更好的稳定性。     

基于Kinect传感器的人体行为分析算法

人体行为分析一直是计算机视觉领域中具有挑战性的研究方向,近年来深度传感器的引入为解决人体行为分析问题提供了新的研究方法.采用微软Kinect传感器获取深度图像,首先对深度图进行局部梯度特征提取,再结合条件随机场(CRF)模型,提出一种新的人体行为分析方法.实现了对简单人体行为的有效识别,通过在2个流行人体行为数据库上实验,证明了该方法具有较好的识别结果和该方法的优越性能.     

基于CRF和HMM混合模型的手势识别方法

针对训练数据较少的小样本情况下,使用隐马尔可夫模型(HMM)的建模准确性较低的问题,提出一种基于条件随机场(CRF)和HMM混合模型的手势识别方法.用一个区分局部观测值的判别模型来提供与序列中的每个局部观测相关联的局部后验.将CRF用于执行这种判别层.通过区分局部观察值来为HMM层提供局部类后验.在HMM解码阶段将这些局部后验组合在一起提供更多的全局信息.通过实际手势识别实验验证了融合HMM建模能力和CRF判别能力的混合模型方法的有效性与准确性,并对不同的可变性来源具有鲁棒性.     

基于星形距离和LDCRF模型的在线行为识别方法

提出一种基于星形距离轮廓特征和LDCRF模型的在线行为识别方法。对视频中已分割出的人物姿态提取轮廓,求取人体轮廓质心及其到轮廓采样点的星形距离向量,以该向量参数化人体运动姿态特征,对原始姿态特征向量进行小波变换,降维的同时获得姿态的多分辨细节信息。利用潜动态条件随机场模型（latent‐dynamic conditional random , LDCRF）对人体行为特征建模,进行在线识别。比对CRF、HCRF、LDCRF模型对10种不同行为的识别结果,对比结果表明,相比CRF和HCRF ,该模型对连续行为序列有较强的识别能力,具有更好的稳定性。     

基于时空Markov随机场的人体异常行为识别算法

针对多人之间的突发暴力异常行为进行研究,提出一种能较准确地辨识该异常行为与其他多人间正常行为的算法。该算法在传统的图像分割技术基础上,根据马尔可夫随机场仅邻域相关的特性,加入了连续帧的动态特征,并重新构造Gibbs能量函数。这种方法不仅考虑到了每个像素点和邻域点的空间信息,而且加入了连续帧的时间信息,对整幅图像中所有像素点的能量值进行累加并用能量曲线进行数据分析。最后与传统光流方法的比较表明了该算法的优越性。     

基于分层分数条件随机场的行为识别

针对隐条件随机场(HCRF)的实时性问题和隐动态条件随机场（LDCRF）行为转换时的标记偏差问题,提出了一种基于分层分数条件随机场(SFCRF)模型的行为识别算法。该算法改进了LDCRF,并提出分数标记的概念,将人体行为的完整性和有向性具体化。实验结果表明,该算法取得了比条件随机场(CRF)、HCRF和LDCRF更好的识别效果。     

基于视频时空特征的行为识别方法

针对双流网络提取运动信息需要预先计算光流图,从而无法实现端到端的识别以及三维卷积网络参数量巨大的问题,提出了一种基于视频时空特征的行为识别方法。该方法能够高效提取视频中的时空信息,且无需添加任何光流计算和三维卷积操作。首先,利用基于注意力机制的运动信息提取模块捕获相邻两帧之间的运动位移信息,从而模拟双流网络中光流图的作用;其次,提出了一种解耦的时空信息提取模块代替三维卷积,从而实现时空信息的编码;最后,在将两个模块嵌入二维的残差网络中后,完成端到端的行为识别。将所提方法在几个主流的行为识别数据集上进行实验,结果表明在仅使用RGB视频帧作为输入的情况下,在UCF101、HMDB51、Something-Something-V1数据集上的识别准确率分别为96.5%、73.1%和46.6%,与使用双流结构的时间分段网络（TSN）方法相比,在UCF101数据集上的识别准确率提高了2.5个百分点。可见,所提方法能够高效提取视频中的时空特征。     

基于关键姿态的快递场景人-物交互行为识别方法

开箱验视是邮局快递场景中的一个重要环节,为了防止包裹内存在易燃易爆等危险品,快递打包前工作人员需按照行业要求实施危险品开箱验视。在人体行为识别框架中引入目标检测和关键姿态估计算法,提出了基于深度学习的快递场景人-物交互行为识别算法。首先,通过改进高斯混合(GMM, Gaussian Mixture Model)背景建模方法检测运动目标,提取行为关键帧,采用OpenPose算法进行姿态估计,识别初始行为类别;其次,针对常规行为识别方法丢失物品语义信息的问题,使用YOLOv5算法检测感兴趣物体类别和位置,提出基于拍卖算法(Auction)的多人-多物最优分配算法,构建人-物交互关系特征描述子;最后,将初始行为标签和人-物交互关系描述子进行决策融合得到最终识别结果。以实际快递场景数据对所提方法进行验证分析,实验结果表明,该方法可以对相似目标和多人干扰的复杂环境中的开箱验视行为进行准确识别。     

基于复合时空特征的人体行为识别方法

为了有效地表征人体行为中的姿势信息和运动信息,提高行为识别算法的准确率,提出一种融合三维方向梯度直方图特征与光流直方图特征的复合时空特征,并利用其进行人体行为识别.首先采用复合时空特征综合描述三维时空局部区域的像素分布和像素变化;然后构建复合时空特征词典,并根据该特征词典完成对人体行为序列特征集合的描述;最后采用主题模型构建人体行为识别算法,对行为序列中提取的复合时空特征进行分类,实现人体行为的识别.实验结果表明:该方法能有效地提高人体行为识别准确率.     

基于流形学习与隐条件随机场的人体动作识别

提出了一种基于流形学习与隐条件随机场(hidden conditional random fields,简称HCRF)的动作识别方法.算法提取人体剪影作为输入特征,采用有监督的保持邻域嵌入(neighborhood preserving embedding,简称NPE)的子空间学习算法获得高维运动特征的低维流形表示,基于HCRF建模运动特征与动作语义之间的映射关系.在降维过程中,通过保持数据的局部邻接关系,NPE可以获取动作特征在低维流形空间上的本质分布特性.与HMM(hidden Markov model)等产生式模型相比,HCRF侧重从样本数据中抽取共有特征以获取正确的分类边界,不需要假定观测过程条件独立,可以更加自然地对动作的时空邻域关系进行建模.实验结果表明,即便对于特征差异较大或存在噪声干扰的动作序列,算法也能取得较好的识别效果.     

基于轮廓特征的人体行为识别

提出了一种以人的动作序列图像的轮廓为特征、基于隐条件随机场的行为识别方法。首先,利用背景差分法 和阴影消除技术提取运动人体轮廓。星型骨架方法只采用单一质心一边界距离来描述人体轮廓,因此对轮廓的局部特 征描述能力较弱。定义一种新的基于距离组的轮廓描述方法,它将时变的2D轮廓形状转换为对应的1D距离向量。 最后利用判别隐条件随机场对行为进行训练和识别。实验结果表明,本方法的正确识别率达到91. 4%以上,识别结 果较为理想。     

多尺度方法结合卷积神经网络的行为识别

为了同时计算行为序列样本在时间和空间的特征,提出了一种基于包含多尺度卷积算子的卷积神经网络识别模型。首先通过叠加的方式将序列样本中的骨骼向量信息整合为一个行为矩阵,然后将矩阵输入识别模型。为了挖掘具有不同邻接关系的骨骼点在描述人体行为时的作用,将卷积神经网络各层中的卷积算子拓展为多尺度卷积算子,并使用该网络得到的特征进行分类。实验在MSR-Action3D数据集和HDM05数据集获得较好的识别率。     

基于时空权重姿态运动特征的人体骨架行为识别研究

人体行为识别在视觉领域的广泛应用使得它在过去的几十年里一直都是备受关注的研究热点.近些年来,深度传感器的普及以及基于深度图像实时骨架估测算法的提出,使得基于骨架序列的人体行为识别研究越来越吸引人们的注意.已有的研究工作大部分提取帧内骨架不同关节点的空间域信息和帧间骨架关节点的时间域信息来表征行为序列,但没有考虑到不同关节点和姿态对判定行为类别所起作用是不同的.因此本文提出了一种基于时空权重姿态运动特征的行为识别方法,采用双线性分类器迭代计算得到关节点和静止姿态相对于该类别动作的权重,确定那些信息量大的关节点和姿态;同时,为了对行为特征进行更好的时序分析,本文引入了动态时间规整和傅里叶时间金字塔算法进行时序建模,最后采用支持向量机完成行为分类.在多个数据集上的实验结果表明,该方法与其它一些方法相比,表现出了相当大的竞争力,甚至更好的识别效果.     

基于MRF模型的飞机飞行动作识别划分算法

军用飞机飞行动作具有较强的随机性和模糊性,为实现针对军用飞机飞行动作的识别和划分,提出了一种基于马尔可夫随机场M RF模型的飞行动作识别划分算法,可以在没有标定的情况下,将飞行数据段分割聚类,实现飞行动作的识别和划分.仿真实验表明,相比于传统的飞行动作识别算法,基于M RF模型的飞行动作识别划分算法且有更高的识别率.     

Partially Occluded Object Recognition Using Statistical Models

In this paper, we present a new Bayesian framework for partially occluded object recognition based on matching extracted local features on a one-to-one basis with object features. We introduce two different statistical models for occlusion: one model assumes that each feature in the model can be occluded independent of whether any other features are occluded, whereas the second model uses spatially correlated occlusion to represent the extent of occlusion. Using these models, the object recognition problem reduces to finding the object hypothesis with largest generalized likelihood. We develop fast algorithms for finding the optimal one-to-one correspondence between scene features and object features to compute the generalized likelihoods under both models. We conduct experiments illustrating the differences between the two occlusion models using different quantitative metrics. We also evaluate the recognition performance of our algorithms using examples extracted from object silhouettes and synthetic aperture radar imagery, and illustrate the performance advantages of our approach over alternative algorithms.     

传感器人体运动行为特征识别研究进展

人体运动行为特征识别在医疗健康、人机接口、体育竞技等诸多领域都有广泛应用。介绍了常见的用于运动数据采集的传感器和相应方法,简述了运动数据预处理的一般手段;介绍了运动数据特征提取的过程,重点描述了常见运动行为特征识别方法的研究现状,并简述其应用现状。最后,指出了目前运动行为特征识别中所面临的问题,并给出了未来的发展方向。     

面向人机交互的手势识别系统设计

在人机交互领域(Human-Computer Interaction,HCI)中,基于视觉的手势识别因其直观、高效的特点拥有广阔的应用前景。为了改善传统手势识别算法识别率低、鲁棒性差的缺点,基于OpenCV和Keras深度学习框架提出一种简单、快速的手势识别方法作为人机交互的接口。手势图像经过3个处理阶段:预处理、特征提取和分类。对输入图像进行预处理,使用YCbCr肤色模型提取出手部肤色区域,将其转化为灰度图像。使用卷积神经网络对手势图像进行特征提取和分类。实验结果表明:提出的手势识别方法识别率很高,达到99.43%,且具有较好的鲁棒性。与传统的人工选取特征相比,卷积神经网络能够有效地进行特征学习。     

基于字符卷积神经网络的生物医学变异实体识别方法

从海量生物医学文献中挖掘变异信息对生物医学复杂疾病研究具有重要意义。在当前的变异实体识别方法中,基于条件随机场模型的方法取得了不错效果并成为主流方法,但存在需要大量特征工程来提升模型性能的缺点。针对此问题,该文提出一种基于字符卷积神经网络的变异实体识别方法CharCNN-CNN-CRF。该方法首先利用一个多窗口大小的卷积神经网络获取字符级别的词表示,然后使用多层卷积神经网络编码上下文信息,最后通过CRF层解码得到整个句子的标签序列。实验结果表明,该方法仅使用随机初始化的字符向量作为输入就能快速、有效地识别变异实体,无需复杂的特征工程。同时也在tmVar和MutationFinder两个数据集上都取得了目前最好的结果(F值分别为88.34%和93.57%)。     

基于时序深度置信网络的在线人体动作识别

在线人体动作识别是人体动作识别的最终目标,但由于如何分割动作序列是一个待解决的难点问题,因此目前大多数人体动作识别方法仅关注在分割好的动作序列中进行动作识别,未关注在线人体动作识别问题.本文针对这一问题,提出了一种可以完成在线人体动作识别的时序深度置信网络（Temporal deep belief network, TDBN）模型.该模型充分利用动作序列前后帧提供的上下文信息,解决了目前深度置信网络模型仅能识别静态图像的问题,不仅大大提高了动作识别的准确率,而且由于该模型不需要人为对动作序列进行分割,可以从动作进行中的任意时刻开始识别,实现了真正意义上的在线动作识别,为实际应用打下了较好的理论基础.