基于深度信息和SURF-BoW的中国手语识别算法

为实现视频中手语的准确识别,提出一种基于深度图连续自适应均值漂移(DI_CamShift)和加速强健特征词包(SURF-BoW)的中国手语识别算法.该算法将Kinect作为手语视频采集设备,在获取彩色视频的同时得到其深度信息.算法首先计算深度图像中手语手势的主轴方向角和质心位置,通过调整搜索窗口对手势准确跟踪;然后使用基于深度积分图像的OTSU算法分割手势并提取其加速强健特征(SURF),进而构建SURF-BoW作为手语特征并使用SVM识别.通过实验验证该算法在单个手语字母上的最好识别率为99.37%,平均识别率为96.24%.     

基于人体动静态特征融合的步态识别算法研究

提出一种融合步态运动中人体的静态特征和动态特征的步态识别算法:利用背景减除法得到人体轮廓,通过轮廓图像分段距离来表示静态特征;采用步态图像两脚的步幅和步频来表示动态特征;然后对两种特征进行加法融合、最小值融合、最大值融合和Choquet模糊积分融合。实验表明,两种特征融合后的性能优于基于单个特征步态识别算法,融合后识别率提高了5%到10%。     

(2+1)D多时空信息融合模型及在行为识别的应用

针对常规的卷积神经网络时空感受野尺度单一,难以提取视频中多变的时空信息的问题,利用（2+1）D模型将时间信息和空间信息在一定程度上解耦的特性,提出了（2+1）D多时空信息融合的卷积残差神经网络,并用于人体行为识别.该模型以3×3空间感受野为主,1×1空间感受野为辅,与3种不同时域感受野交叉组合构建了6种不同尺度的时空感受野.提出的多时空感受野融合模型能够同时获取不同尺度的时空信息,提取更丰富的人体行为特征,因此能够更有效识别不同时间周期、不同动作幅度的人体行为.另外提出了一种视频时序扩充方法,该方法能够同时在空间信息和时间序列扩充视频数据集,丰富训练样本.提出的方法在公共视频人体行为数据集UCF101和HMDB51上子视频的识别率超过或接近最新的视频行为识别方法.     

多聚点子空间下的时空信息融合及其在行为识别中的应用

基于深度序列的人体行为识别, 一般通过提取特征图来提高识别精度, 但这类特征图通常存在时序信息缺失的问题. 针对上述问题, 本文提出了一种新的深度图序列表示方式, 即深度时空图(Depth space time maps, DSTM). DSTM降低了特征图的冗余度, 弥补了时序信息缺失的问题. 本文通过融合空间信息占优的深度运动图(Depth motion maps, DMM) 与时序信息占优的DSTM, 进行高精度的人体行为研究, 并提出了多聚点子空间学习(Multi-center subspace learning, MCSL)的多模态数据融合算法. 该算法为各类数据构建多个投影聚点, 以此增大样本的类间距离, 降低了投影目标区域维度. 本文在MSR-Action3D数据集和UTD-MHAD数据集上进行人体行为识别. 最后实验结果表明, 本文方法相较于现有人体行为识别方法有着较高的识别率.     

Choquet模糊积分特征融合的步态识别

研究一种利用Choquet模糊积分对小波矩特征和人体宽度特征进行融合的步态识别算法。该算法对每个步态序列采用背景减除法提取人的二值化的运动轮廓图像序列,利用人体步态周期图像的小波矩特征和宽度特征对提取出的步态轮廓进行描述,得出的小波矩特征和宽度特征根据重要性作为总体特征输入,运用Choquet模糊积分融合选取SVM分类器进行识别,识别结果与最新的线性加权融合识别方法进行比较,结果表明Choquet模糊积分方法有较好的识别效果。     

基于局部时空特征的人体行为软分类识别

针对全局运动特征难以准确提取的问题,本文采用局部时空特征对人体行为进行表征。针对传统词袋中硬分类的方法量化误差大的不足,本文借鉴模糊聚类的思想,提出软分类的方法。根据兴趣点检测算法从视频中提取出视觉词汇,用K means算法对其进行聚类,建立码本。在计算分类特征时,首先计算待分类视觉词汇到码本中各个码字的距离,根据距离计算这个视觉词汇隶属于各个码字的概率,最后统计得到每个视频中各码字出现的频率。在Weizmann和KTH数据库对本文提出的人体行为识别算法进行验证,Weizmann库的识别率比传统的词袋算法提高8%,KTH库的识别率比传统的词袋算法提高9%,因此本文提出的算法能更有效地对人体行为进行识别。     

基于傅里叶-隐马尔科夫模型的人体行为识别

研究人行为识别的正确性,针对提高对人体行为序列图像进行识别的能力,隐马尔科夫模型(HMM)是一种统计分析模型,具有时序模式分析能力.为了增加图像信息的有效性,提出了一种傅里叶与隐马尔科夫模型相结合的方法人体行为识别方法.通过获得各种人体行为的二值图像序列,对待识别的序列图像提取具有旋转、平移和尺度不变性的傅立叶特征,采用了一种基于中心距的傅里叶描述子,利用改进的隐马尔科夫模型对提取的特征向量进行分类,得到人体行为的识别结果.试验结果表明,系统的识别率与HMM的状态数和观察值数有关,方法是有效且可行的,设计适当的HMM分类器能使系统的识别率达到90%以上,实际应用效果满足要求.     

基于深度图像信息的手语识别算法

为了实现手语视频中手语字母的准确识别,提出了一种基于DI_CamShift和手语视觉单词（SLVW）的手语识别算法。首先采用Kinect获取手语字母手势视频及其深度信息;然后通过计算获得深度图像中手语手势的主轴方向角和质心位置,计算搜索窗口对手势跟踪;进而使用基于深度积分图像的Ostu算法分割手势并提取其尺度不变特征转换(SIFT)特征;最后构建SLVW词包并用支持向量机(SVM)进行识别。单个手语字母最好识别率为99.67%,平均识别率96.47%     

基于选择性集成旋转森林的人体行为识别算法*

人体行为识别中的一个关键问题是如何表示高维的人体动作和构建精确稳定的人体分类模型.文中提出有效的基于混合特征的人体行为识别算法.该算法融合基于外观结构的人体重要关节点极坐标特征和基于光流的运动特征,可更有效获取视频序列中的运动信息,提高识别即时性.同时提出基于帧的选择性集成旋转森林分类模型(SERF),有效地将选择性集成策略融入到旋转森林基分类器的选择中,从而增加基分类器之间的差异性.实验表明SERF模型具有较高的分类精度和较强的鲁棒性.     

基于复合时空特征的人体行为识别方法

为了有效地表征人体行为中的姿势信息和运动信息,提高行为识别算法的准确率,提出一种融合三维方向梯度直方图特征与光流直方图特征的复合时空特征,并利用其进行人体行为识别.首先采用复合时空特征综合描述三维时空局部区域的像素分布和像素变化;然后构建复合时空特征词典,并根据该特征词典完成对人体行为序列特征集合的描述;最后采用主题模型构建人体行为识别算法,对行为序列中提取的复合时空特征进行分类,实现人体行为的识别.实验结果表明:该方法能有效地提高人体行为识别准确率.     

人体运动视频关键帧优化及行为识别

在行为识别过程中,提取视频关键帧可以有效减少视频索引的数据量,从而提高 动作识别的准确性和实时性。为提高关键帧的代表性,提出一种关键帧序列优化方法,并在此 基础上进行行为识别。首先根据3D 人体骨架特征利用K-均值聚类算法提取人体运动视频序列 中的关键帧,然后根据关键帧所在序列中的位置进行二次优化以提取最优关键帧,解决了传统 方法中关键帧序列冗余等问题。最后根据最优关键帧利用卷积神经网络(CNN)分类器对行为视 频进行识别。在Florence3D-Action 数据库上的实验结果表明,该方法具有较高的识别率,并且 与传统方法相比大幅度缩短了识别时间。     

时序行为提名的上下文信息融合方法

在针对视频的人体活动定位和识别领域中,现有的时序行为提名方法无法很好地解决行为特征长期依赖性而导致提名召回率较低.针对此问题,提出了一种上下文信息融合的时序行为提名方法.该方法首先采用三维卷积网络提取视频单元的时空特征,然后采用双向门控循环网络构建上下文关系预测出时序行为区间.针对门控循环单元(GRU)存在参数较多和梯...     

基于前景置信的人体行为识别

为减少背景特征对行为识别的影响,提出一种基于前景置信的人体行为识别方法。该方法在基于稠密时空兴趣点的行为识别基础上,结合像素前景置信估计对特征描述器进行加权分类,再利用词袋模型判别行为。融合运动、外观及视觉显著性的像素前景置信的引入,提高了算法处理复杂背景视频的能力。该方法在UCF50和HMDB51视频库中进行训练和测试,平均识别率为66.4%。     

基于步态子空间的无监督双足步行状态辨识

在利用足压信息对人体步行状态的辨识中,由多传感器阵列采集获得的双足压力信号存在冗余度高、关联性弱、噪声干扰强等问题.为了辨识人体下肢运动状态,文中提出基于奇异值分解与模糊C均值聚类的步行状态辨识.首先采用奇异值分解的方法,融合足压多源观测数据,提取关于步态的特征信号.然后再将特征信号以向量形式张成步态信息子空间,并基于模糊C均值聚类算法对特征点进行聚类处理.因为特征点与信号采样序列一一映射,故聚类结果在时域上形成对步态运动过程的阶段划分.实验表明,文中方法可以有效辨识人体下肢的5种典型运动状态.     

基于光流特征与序列比对的实时行为识别

提出一种基于光流特征与序列比对的行为识别算法.首先利用分层光流提取视频序列中的运动信息;然后用光流场的方向直方图构造相应行为的模板库和索引序列库;最后用序列比对方法实现行为识别.实验结果表明,该算法可在线进行人的典型行为识别,对目标尺度变化、小角度倾斜和旋转具有一定程度的鲁棒性.目前以该算法为核心的行为识别实验系统对图像尺寸为320×240的序列平均处理速度达到10 fps.     

基于梯度方向直方图与高斯金字塔的车牌模糊汉字识别方法

针对现有车牌识别方法中对模糊车牌识别率不高的问题,提出一种结合高斯金字塔与梯度方向直方图(HOG)特征的车牌识别算法。利用金字塔模型多尺度表达的方法,首先对车牌模糊汉字图像建立两层高斯金字塔模型,第一层描述了模糊汉字的细节特征,通过对第一层作平滑处理并向下采样得到第二层,在描述模糊图像细节特征的基础上突出主体特征;然后对两层高斯金字塔模型提取HOG特征,拓展图像的特征维数,提高特征对模糊汉字的识别能力;最后采用BP神经网络分类器进行模糊且互为形近字间的汉字分类识别。仿真结果显示,在相同的样本空间下,与HOG特征法、K-L变换法相比,所提算法在识别率方面均有提高,能提高视频监控中对模糊汉字的有效识别率。     

基于函数型数据时间序列建模的单传感器日常行为识别

在基于惯性传感器的人体行为识别中,传统算法常忽略行为的周期性与时序性,对提取特征的滑动窗口大小也有相应要求.文中基于单个腰部传感器分析人体日常行为,提出面向周期行为的函数型数据分析方法和隐马尔可夫模型结合的行为识别算法.首先,使用函数型数据分析方法,拟合周期性日常行为的动作捕捉数据,提取拟合后的单个周期数据.然后基于此周期时间序列数据建立描述各个日常行为过程的隐马尔可夫模型.最后,使用最大似然估计判别行为,得到识别结果.该算法通过单个腰部传感器即可快速有效地识别8种日常行为,在基于用户依赖策略和用户独立策略时识别率较高.     

脱机手写体满文文本识别系统的设计与实现

通过研究手写体圈点满文文字特征,提出采用基于笔画序列的脱机手写满文识别方法.首先使用数字图像处理方法对识别目标实现单词提取和预处理操作.然后将处理后的单词分解为笔画基元,采用统计模式识别方法进行识别,得到笔画序列.再把笔画序列转换为字根序列,使用模糊串匹配算法实现满文罗马转写的输出.最后再采用基于隐马尔可夫模型方法对单词识别结果进行后处理,进一步提高系统识别率.实验表明,在单一字体笔画学习和大语料双词同现概率统计的基础上,系统的识别率和自适应能力都较好.     

基于多尺度特征的双层隐马尔可夫模型及其在行为识别中的应用

借鉴人类视觉感知所具有的多尺度、多分辨性的特性,针对智能视频监控系统的人体运动行为识别,提出了一种基于多尺度特征的双层隐马尔可夫模型.根据人体行为关键姿态数确定HMM的状态数目,发掘人体运动行为隐藏的多尺度结构间的关系,将运动轨迹和人体姿态边缘小波矩2个不同尺度特征应用于2层HMM,提供更为丰富的行为尺度间的相关信息.分别用Weizmann人体行为数据库和自行拍摄的室内视频,对人体运动行为识别进行仿真实验,结果表明,五状态HMM模型更符合人体运动行为特点,基于多尺度特征的五状态双层隐马尔可夫模型具有较高的识别率.     

基于改进时空兴趣点特征的双人交互行为识别

针对实际监控视频下双人交互行为的兴趣点特征选取不理想,且聚类词典中冗余单词导致识别率不高的问题,提出一种基于改进时空兴趣点（STIP）特征的交互行为识别方法。首先,引入基于信息熵的不可跟踪性检测方法,对序列图像进行跟踪得到交互动作的前景运动区域,仅在此区域内提取时空兴趣点以提高兴趣点检测的准确性。其次采用3维尺度不变特性转换（3D-SIFT）描述子对检测得到的兴趣点进行表述,利用改进的模糊C均值聚类方法得到视觉词典,以提升词典的分布特性;在此基础上建立词袋模型,即将训练集样本向词典进行投影得到每帧图像的直方图统计特征表示。最后,采用帧帧最近邻分类方法进行双人交互动作识别。在UT-interaction数据库上进行测试,该算法得到了91.7%的正确识别率。实验结果表明,通过不可跟踪性检测得到的时空兴趣点的改进词袋算法可以较大程度提高交互行为识别的准确率,并且适用于动态背景下的双人交互行为识别。