基于多特征融合的小样本视频行为识别算法

现有基于小样本学习的视频行为识别方法,在解决小样本学习中信息量稀缺问题时存在信息重复度高以及类间相似性大等不足,而且鲜有关注小样本学习中的域偏移与枢纽点问题,从而导致动作类表达能力弱和行为识别中错误分类的问题,此外,复杂的网络结构导致参数量与计算量成倍增加.针对以上问题,本文提出一种基于多特征融合的小样本视频行为识别算法,具体来说,该方法提出深度特征与流形特征的融合策略.首先,针对特征形式之一的流形特征,提出使用表征传播对流形结构进行平滑操作,更好地缓解了小样本学习中的域偏移与枢纽点问题.其次,通过同时使用对视频特征表达能力不同的深度特征与流形特征,获得更多的样本有效信息,进而缓解小样本学习中样本稀缺的问题.最后,为减小模型的参数量与计算量,选择基于2D方法构建模型.在HMDB51、UCF101以及Kinetics三个数据集上进行实验,结果表明,本文方法在“5-way 1-shot”任务下表现突出,识别率优于现有的小样本视频行为识别方法,在HMDB51上提高了8.5%,在UCF101上提高了9.5%,在Kinetics上提高了1.0%.     

融合多特征的行为识别方法研究

基于时空特征的方法是行为识别的主流方法,已经有许多研究学者提出了多种局部时空特征。然而,不同的局部特征所反映的行为信息的侧重点并不一样。通过引入集成学习的方法,对多种特征在分类器层次上进行融合,使得多种特征能够优势互补,从而增强了特征的描述能力,为构建出高效、稳定的行为识别分类器提供了保证。经仿真实验验证,所提出的方法是鲁棒和有效的。     

基于多特征融合的用户窃电行为快速识别研究

不同的用电行为会产生不同的特征数据,因此可以根据用电特征来识别用户窃电行为,提出基于多特征融合的用户窃电行为快速识别方法。将额定电压偏离度、电压不平衡系数及电流不平衡系数作为用电行为特征进行提取,利用多特征融合技术,建立用电行为模型,对重点嫌疑用户窃电异常行为的快速识别。通过实验证明,所提出的识别方法无论是识别精度还是识别效率均具备显著优势。由于在窃电行为识别过程中对异常数据的分析粒度较粗,导致识别结果的可靠性较低,为此提出了基于决策树的远程窃电行为识别系统设计研究。将Z-turnBoard嵌入式单板作为系统的核心构件,结合线路电量平衡关系,计算出以单位窗口期线损率为基准的窃电行为特征参量,将计算结果作为决策树的根节点,将各分线线损率作为决策树的分支,通过迭代的方式细化分析粒度,得到最终的窃电行为位置。测试结果表明,设计系统对窃电行为的识别准确率和召回率均值分别达到了91.26%和93.59%。     

特征加权融合的在线多示例学习跟踪算法

为了能更加准确鲁棒地跟踪目标,提出了特征加权融合的在线多示例学习跟踪算法（WFMIL）。WFMIL在多示例学习框架下分别训练两种特征（Hog和Haar）分类器。在跟踪过程中,通过线性运算融合成一个强分类器,同时在学习过程中对正包中的示例引入权重。实验结果统计表明WFMIL能很好地解决目标漂移问题,并且对目标遮挡、运动突变、光照变化以及运动模糊等具有较好的鲁棒性。     

基于多特征融合的运动人体行为识别

提出了一种基于特征级融合的运动人体行为识别方法。应用背景差分法和阴影消除技术获得运动人体区域和人体轮廓;采用R变换提取人体区域特征,采用小波描述子提取人体轮廓特征;然后将这两种具有一定互补性的特征采用K-L变换进行融合,得到一个分类能力更强的特征;最后,在传统支持向量机的基础上,结合模糊聚类技术和决策树构建多级二叉树分类器,从而实现行为多类分类。该方法在Weizmann行为数据库上进行了实验,实验结果表明所提出的识别方法具有较高的识别性能。     

一种多特征分类识别算法融合的网络钓鱼识别技术

针对页面特征提取实时性差的问题进行了研究,提出将特征分类,并行提取、检测、再融合结果的方法。首先提取三个类别的主要特征,包括文本、视觉和网络链接;然后,分别利用了贝叶斯算法、EMD算法以及网络爬虫来进行分类;并且基于后验概率来确定权值的最终选取。最后,把这三个分类结果进行融合。通过对贝叶斯、加权和加权贝叶斯的比较,从正确率、漏报率和误报率对算法进行评估,实验表明采用加权贝叶斯的方法来进行融合计算效果最佳,能够提供较高的准确率和较低的误报和漏报,提高检测的精度和实时性。     

一种基于多分类器融合的人体运动行为识别模型

为了提高基于智能设备的人体日常行为识别的准确率,针对不同智能设备内置加速度传感器获取的三轴加速度信息,提出了一种基于多分类器融合的行为识别MCF(Multiple Classifier Fusion)模型。针对5种日常行为(静止、散步、跑步、上楼及下楼),优选出与每种行为相关度高的特征集,用于训练对每种行为识别效果最佳的5个基分类器,并采用一个融合器对5个基分类器的输出进行融合处理,得到最终行为识别结果。该模型对这5种行为的平均识别准确率和可信度分别达到96.84%和97.41%,能有效进行用户行为识别。     

一种基于RGB-D特征融合的人体行为识别框架

人体行为识别是计算机视觉和模式识别领域内一个重要的研究方向。人体行为的复杂性和不同人执行同一动作的差异性,使得行为识别仍然是一个具有挑战性的课题。采用新一代传感技术的RGB-D相机能够同时记录RGB图像和深度图像,并能够实时提取骨骼点信息。充分利用以上信息,成为行为识别领域的研究热点和突破点。文中提出了一种新的基于高斯加权金字塔式梯度方向直方图的RGB图像特征提取方法,并构建了一种多模特征融合的行为识别框架。在UTKinect-Action3D,MSR-Action 3D和Florence 3D Actions 3个数据库上对本研究所提特征和框架进行实验,结果表明,所提框架在3个行为数据库上的识别正确率分别达到了97.5%,93.1%,91.7%,从而证明了该行为识别框架的有效性。     

一种特征融合算法的表情识别

对人脸表情图像进行分割得到眉区、眼区和嘴部区域,再对分割出来的表情区域利用高维局部自相关(HLAC)计算特征并得到加权的特征向量,其中加权系数根据心理学中的FACS表情测量理论选取,最后利用近邻中心距离分类器进行表情识别.实验基于CMU-PITTSBURGH表情图像库,在没有增大计算量的前提下相比PCA方法,特征融合(HLAC+WPCA)的方法显著地提高了表情的识别率.     

多特征融合的行为识别模型

目的 视频行为识别和理解是智能监控、人机交互和虚拟现实等诸多应用中的一项基础技术,由于视频时空结构的复杂性,以及视频内容的多样性,当前行为识别仍面临如何高效提取视频的时域表示、如何高效提取视频特征并在时间轴上建模的难点问题。针对这些难点,提出了一种多特征融合的行为识别模型。方法 首先,提取视频中高频信息和低频信息,采用本文提出的两帧融合算法和三帧融合算法压缩原始数据,保留原始视频绝大多数信息,增强原始数据集,更好地表达原始行为信息。其次,设计双路特征提取网络,一路将融合数据正向输入网络提取细节特征,另一路将融合数据逆向输入网络提取整体特征,接着将两路特征加权融合,每一路特征提取网络均使用通用视频描述符——3D ConvNets （3D convolutional neural networks）结构。然后,采用BiConvLSTM （bidirectional convolutional long short-term memory network）网络对融合特征进一步提取局部信息并在时间轴上建模,解决视频序列中某些行为间隔相对较长的问题。最后,利用Softmax最大化似然函数分类行为动作。结果 为了验证本文算法的有效性,在公开的行为识别数据集UCF101和HMDB51上,采用5折交叉验证的方式进行整体测试与分析,然后针对每类行为动作进行比较统计。结果表明,本文算法在两个验证集上的平均准确率分别为96.47%和80.03%。结论 通过与目前主流行为识别模型比较,本文提出的多特征模型获得了最高的识别精度,具有通用、紧凑、简单和高效的特点。     

一种端到端的考场多目标行为识别算法

人工监考存在监考人员容易疲惫、监考行为缺乏客观的执行准则、违规行为证据无法留存等问题,因此越来越多的高校建设了智能化教室,并在教室开始实施利用行为识别进行自动化的监考任务,以期在监考工作中解放人工劳动的同时提供公平公正客观的监考程序。在实际考场监控的边缘设备中利用TSN双流、3DCNN等结合时空特征的网络很难实现实时的、相对准确的监控任务。提出一种端到端的考场多目标行为识别算法。相对于以提取空间、时序特征并进行融合为主流思想的行为识别算法,利用视频帧以多目标检测和多目标行为识别相结合的行为识别算法在考场环境中更加快速准确。算法借助了多标签学习、注意力机制和特征金字塔等策略来改进任务,同时利用迁移学习对本地采集的考场行为视频数据集进行再训练,得到最终的考场行为识别模型,结果表明达到了主流数据集中上水平,并在考场环境中具有良好的高效性与准确性。     

基于上下文特征融合的行为识别算法

针对LSTM网络无法充分提取短时信息导致人体行为识别率不高的问题,提出一种基于上下文特征融合的卷积长短时记忆网络联合优化架构,用于仅具有RGB数据的行为识别网络。使用3D卷积核对输入的动作序列提取其空间特征和短时时间特征,并将多通道信息进行融合,将融合后的特征送入下一级卷积神经网络和LSTM层中进行长期时间的特征学习,获取上下文的长期时空信息,最后用Softmax分类器进行人体行为的分类。实验结果表明,在人体行为识别公开数据集UCF-101上,提出的基于上下文特征融合的卷积长短时记忆网络的平均识别准确率达93.62%,相比于未进行特征融合的卷积长短时记忆网络提高了1.28%,且平均检测时间降低了37.1%。     

基于关节空时特征融合的人体行为识别

针对现有人体行为识别技术存在的准确率不高和易受环境干扰等缺点,提出一种基于空时特征融合的人体行为识别方法。通过OpenPose提取人体骨骼关节的位置信息用于构造空时融合特征,该特征综合各类行为的空域和时域信息,使得特征表示更具区分度。利用核化主成分分析算法进行特征维度缩减,利用XGBoost算法进行特征分类,获得识别结果。该方法在Multiview Action 3D数据集上进行测试,得到了94.52%的识别率,较现有的其它许多人体行为识别方法表现更好。     

基于匹配分数的多生物特征识别融合综述

受数据噪音和识别系统本身的限制,基于单一生物特征的身份认证系统所能达到的准确率是有限的。通过多生物特征识别来提高识别的准确率成为当前生物特征识别领域的研究热点之一。首先介绍了多生物特征识别的必要性、多生物特征识别的分类,然后重点介绍了基于匹配分数的多生物特征识别融合的研究现状,最后总结了多生物特征识别研究中的问题和未来的研究方向。     

融合多特征与时间序列的人群行为识别模型

人群行为识别在公共安全等领域具有重要的应用价值.现有研究分别考虑了人群情绪、人群类型、人群密度以及人群社会文化环境等因素对于人群行为的影响,但少有综合考虑这些因素的模型,导致模型性能受限.本文综合考虑人群的物理特征、社交特征、情绪人格特征和文化背景特征之间的相关性,以及相结合之后对人群行为的影响,提出一种融合多特征与时间序列的人群行为识别模型.模型采用两个并行的网络层分别处理多特征相关性和时间序列依赖性对于人群行为的影响,同时为提高模型可解释性,网络层采用融合结构因果模型(SCM)与图神经网络(GNN)的因果图网络(CGN).通过在运动情感数据集(MED)上进行实验并与其他方法模型进行对比,证明了本文方法能够成功识别人群行为,并且优于目前最先进的方法.     

基于时空权重姿态运动特征的人体骨架行为识别研究

人体行为识别在视觉领域的广泛应用使得它在过去的几十年里一直都是备受关注的研究热点.近些年来,深度传感器的普及以及基于深度图像实时骨架估测算法的提出,使得基于骨架序列的人体行为识别研究越来越吸引人们的注意.已有的研究工作大部分提取帧内骨架不同关节点的空间域信息和帧间骨架关节点的时间域信息来表征行为序列,但没有考虑到不同关节点和姿态对判定行为类别所起作用是不同的.因此本文提出了一种基于时空权重姿态运动特征的行为识别方法,采用双线性分类器迭代计算得到关节点和静止姿态相对于该类别动作的权重,确定那些信息量大的关节点和姿态;同时,为了对行为特征进行更好的时序分析,本文引入了动态时间规整和傅里叶时间金字塔算法进行时序建模,最后采用支持向量机完成行为分类.在多个数据集上的实验结果表明,该方法与其它一些方法相比,表现出了相当大的竞争力,甚至更好的识别效果.     

基于多特征融合的人体行为识别

为了提高视频序列中人体行为的识别率和增强在复杂环境下的适用性,通过选取人体行为区分度较高的运动方向特征、形状特征和光流变化特征进行行为描述,提出一种基于运动方向直方图(MOH)特征、2D-SIFT特征和光流方向直方图(HOOF)特征相结合的人体行为识别方法。改进运动方向直方图特征,使其在有符号梯度空间下对人体全局运动方向具有更为鲁棒的表示。使用视觉词袋模型既解决了不同动作提取的兴趣点点数不同的问题,又实现了局部特征的有效融合。实验在Weizmann数据库和KTH数据库上识别率分别高达97.83%和91.38%,并具有较好的鲁棒性。     

基于特征融合的步态识别算法

步态运动中包含人体形状信息和运动信息,目前步态识别算法多数基于单一信息,不能取得满意的识别结果。利用特征融合的思想,提出一种融合人体轮廓特征和下肢角度特征的步态识别算法。采用傅立叶描述子描述人体轮廓特征;区别于基于模型的运动特征提取方法,依据人体解剖学的知识获取下肢角度,计算代价较小;采用加权融合规则实现两类特征的融合。仿真结果表明,本算法的性能较基于单个特征的算法有明显的提高。     

基于特征分组的多核融合在线自适应识别算法

为提高C-SVM的泛化性能,提出一种基于特征分组的多核融合在线自适应识别算法.此算法首先把特征按照待识别样本集的特性分为若干组,然后根据各组特征的特性采用不同的核函数训练C-SVM模型,并分别把各个模型支持向量间的相似度作为其权重系数,通过自适应样本不断调整权重系数和模型参数,使得C-SVM模型的参数能够随着待识别样本特性的变化而自适应地变化.将此算法应用于非特定人语音情感识别系统,与RBF核、多项式核和Sigmoid核的对比证明了多核融合在线自适应识别算法的优越性,通过与中性语句归一化方法相比证明了本文算法的有效性和稳定性.