稀疏表示的局部模式特征提取与识别

针对人脸图像在复杂光照环境下提取的特征不够丰富,导致识别率低的问题,提出一种稀疏表示的局部模式特征提取与识别算法.首先将图像进行分块,依次对每个子区域的像素进行阈值化处理,并将其与中心像素值比较的结果编码到中心对称局部二值模式算法中来实现特征提取;然后在此基础上采用中心对称局部方向模式算法提取二阶特征,得到最终的纹理特...     

基于深度图像的人体行为识别综述

深度图像降低了人体三维运动信息在视觉获取过程中的维度损失,使得与传统彩色图像相比,基于深度图像的人体行为识别研究在特征提取、表示及识别精度等方面体现出技术优势,受到广泛关注,因此,全面、深入地综述了基于深度图像的人体行为识别的研究现状.首先,对近年来提出的基于深度图像的人体行为识别的各种方法进行整理、分类;然后,对多个常用的人体行为公开数据库进行介绍,并在3个数据库上对不同方法的识别率进行对比分析;最后,阐述了人体行为识别技术未来可能的发展趋势.     

基于时空局部二值模式的火灾视频识别

为了获得较高识别率,引入时空局部二值模式,用以识别火灾视频。先以时空局部二值模式提取视频中的表观特征和运动特征后,再利用支持向量机对多种场景的火灾视频进行分类识别。针对白天火灾、夜晚火灾、室内火灾、室外火灾、森林火灾五种场景进行测试实验,结果显示,对夜晚火灾视频和室外火灾视频识别率可达到100%,对白天火灾、室内火灾、森林火灾视频的识别率分别为94.117 6%、95.238 1%、94.444 4%,这表明所提方法有效,其识别率不易受场景光照条件或复杂背景影响,具有鲁棒性。     

基于传感器人体行为识别深度学习模型的研究

随着智能手机的发展和普及,通过手机传感器收集数据,进行人体行为识别已经成为研究的 热点．采用深度学习中卷积神经网络作为分类模型,并对卷积神经网络进行参数和模型的修改,并 加入Ｄｒｏｐｏｕｔ用于解决过拟合问题,用智能手机收集到的数据对模型进行训练,以对人体行为进行 识别．通过和其他的算法进行对比实验,深度学习模型的测试结果良好,在精确度上有了较大的提 升．为基于加速度的行为识别提出了新的方法和思路,为复杂行为研究提供基础．实验所使用的数 据都是来自实验室收集,当采用真实数据时,可能效果会受一定的影响．     

基于稀疏表示的特定目标识别

针对轮廓检测系统输出采样信号的特点,结合稀疏表示及主成分分析理论,提出了一种基于稀疏表示的特定目标识别方法。该方法首先通过主成分分析提取采样信号的主要成分以消除冗余信息,同时将信号转换为相同维数的特征向量,然后将特征向量投影到低维空间构造出字典,通过该字典对测试信号进行稀疏表示、识别。数值仿真与现场实验结果表明:该方法在低维空间下具有很好的识别效果;并结合实际情况,对有损坏传感器的系统进行测试,结果表明本文方法具有较好的鲁棒性。     

基于深度学习的行为识别算法综述

人体行为识别一直是计算机视觉研究中的热点.随着近几年人体行为识别在虚拟现实、短视频等方面的广泛应用,以及深度学习算法的快速发展,基于深度学习的行为识别算法层出不穷.相较于传统方法,基于深度学习的行为识别算法具有鲁棒性强、准确率高的优点.基于此,本文对近年来提出的基于深度学习的行为识别算法进行了梳理,并对由双流卷积网络和...     

基于深度学习的行为识别算法综述

人体行为识别一直是计算机视觉研究中的热点.随着近几年人体行为识别在虚拟现实、短视频等方面的广泛应用, 以及深度学习算法的快速发展, 基于深度学习的行为识别算法层出不穷.相较于传统方法, 基于深度学习的行为识别算法具有鲁棒性强、准确率高的优点.基于此, 本文对近年来提出的基于深度学习的行为识别算法进行了梳理, 并对由双流卷积网络和3D卷积网络结构发展而来的行为识别的系列算法进行了重点介绍, 并总结了各种算法的性能和成果, 最后对该领域进行了展望.     

基于深度学习的人体跟踪与异常行为识别联合算法

基于深度学习的人体跟踪与异常行为识别算法在实现的过程中,都需要对人体目标进行特征提取。为了优化两次重复的特征提取过程,提高网络工作效率,提出了人体跟踪与异常行为识别联合算法。通过实时多域卷积神经网络(RT-MDNet)实现人体目标的跟踪,以不同的异常行为作为人体跟踪的不同操作域,提取人体目标的共性特征,实现人体的实时跟踪。同时,抽取RT-MDNet网络卷积层输出的高维特征图谱,将特征图谱与长短时记忆网络(LSTM)相结合,通过把握特征间的时序信息,实现异常行为的分类。在中科院提供的CASIA行为分析数据集中选取了6种异常行为对网络模型进行训练和测试。实验结果表明,该模型能够准确实时地跟踪人体目标,同时也能将跟踪目标的行为进行分类,识别率达到89.7%。基于深度学习的人体跟踪与异常行为识别联合算法,将人体目标的特征共享于跟踪与识别,实现了跟踪与识别的有效结合。     

面向人体动作识别的局部特征时空编码方法

为克服BoF特征袋模型在视频人体动作识别中忽视局部特征间时空位置关系的问题,本文提出局部特征时空编码方法。将局部特征时空位置坐标引入特征编码中,直接对它们的时空位置关系建模。首先,将局部特征投影到人体运动子时空域,获得局部特征的时空位置坐标;然后,在特征编码阶段同时对局部特征的出现信息和时空位置坐标进行编码;最后,采用特征池提取该时空域内局部特征的统计信息用于动作分类。为进一步提高性能,多尺度时空编码和局部约束时空编码方法也一并被提出,并在分类阶段采用局部约束块稀疏表示分类方法提高动作识别精度。在KTH, Weizmann, UCF sports等标准测试集的实验表明,本文算法能够有效表示局部特征间时空位置关系、提高动作识别精度。     

基于多级图像序列和卷积神经网络的人体行为识别

首先,构造出能获得更丰富人体行为信息的四级图像序列结构,并分别用卷积神经网络进行处理,从而得到包含表观、运动、前景和背景信息的特征。然后,提出了一种对视频中行为进行分解的方法,将完整行为分解为由粗略到细致的子行为,从而得到更细致的人体行为描述,获取到更具代表性的行为特征。最后,通过两个行为数据集上的验证及对比实验证明了该方法可有效提高行为识别的准确度。     

基于动作轮廓特征的人体动作识别

提出了一种人工挑选关键帧的人体动作识别方法.先从标准视频中提取出能代表姿势的关键动作,然后对待测视频中每一帧图像中人体动作和关键动作比较分类来确定动作时间的相关度和相似度.实验结果表明人工挑选关键帧具有数量少和动作代表性强的特性,基于动作轮廓特征的人体动作识别方法在识别速度上比传统的方法快,识别率也较高.     

基于二维、三维信息融合的人脸识别

为解决光照、姿态等因素发生变化时二维人脸识别算法识别率骤然下降的问题,提出了基于二维、三维信息融合的人脸识别方法.与其他算法不同,该算法输入为一幅二维灰度图像,通过重建相应的三维模型提供三维信息.对于二维图像,选择局部二值模式(LBP)特征进行人脸表示.对于三维模型,定义了54个特征点,将鼻尖点与特征点之间的测地线距离作为三维特征.对2种特征识别结果采用加权融合的方式,权值的确定依据Fisher判别准则.通过CAS-PEAL-R1人脸库对提出的算法进行了测试,并与其他方法进行了比较.     

Combining Multi-scale Directed Depth Motion Maps and Log-Gabor Filters for Human Action Recognition

结合多尺度有向深度运动图和Log-Gabor滤波器的人体行为识别

赵晓叶，吉训生，李元祥，彭力

（江南大学 物联网工程学院物联网应用技术教育部工程中心，江苏 无锡214122）

创新点说明：

1）考虑到动作执行速度的不同，本文提出了一种新的基于能量均分的视频分割方法，传统方法对第n层金字塔进行了 等分，其中，第n-1层金字塔的细节信息完全可以在第n层金字塔中体现出来。因此，为了在金字塔的不同层更大限度的包含细节信息，本文在第n层金字塔进行了 等分，构建多尺度深度运动图。

2）在行为识别中，除了身体形状和运动信息外，运动方向也至关重要。考虑到动作执行时，时间顺序的不同，本文提出了有向深度运动图。有向DMM分为正向DMM（Positive DMM，PDMM）、反向DMM（Negative DMM，NDMM），前者反映的是当前帧图像的深度值比前一帧图像的深度值大的形状和运动信息，后者反映的是当前帧图像的深度值比前一帧图像的深度值小的形状和运动信息，相似但时间排序相反的两个动作的PDMM和NDMM正好是相反的，因此基于PDMM和NDMM表示可以区别两个动作。最后综合得到基于能量的多尺度有向深度运动图。

3）为描述多尺度有向深度运动图纹理细节，本文采用在纹理表征方面具有优势同时符合人眼视觉特性的Log-Gabor作为特征表示。

针对上述新的算法进行了实验验证，且对参数设置进行了大量对比实验，得到对应的最佳参数。结果表明, 本文算法准确率分别达95.79%和96.43%，与现存许多算法相比，有更高的识别率、鲁棒性。

研究目的：

DMM是基于整个深度序列得到的，丢失了人体行为本身的时间信息，对于动作相似但时间顺序不同的两个人体动作，是很难区分的，比如“坐下”和“站起”。另外，DMMs并没有考虑到动作执行速度差异造成的类内误差，从而降低识别率。本文的目的就是在尽量满足实时性的前提下，提高动作的识别率。

研究方法：

研究方法：主要是使用MATLAB进行仿真实验。在公开动作识别库MSRAction3D和手势识别库MSRGesture3D上进行实验验证。最后将本文识别率与其他现有算法识别率进行对比，结果表明本文具有更高的识别率，分别达到95.79%和96.43%。另外混淆矩阵也显示了在两个数据库中各个动作识别的情况，从而进一步显示本文方法有效地减少了相似动作的误判率。另外，针对参数选择，本文也进行了对比试验。

实验设置：动作识别库MSRAction3D：一个包含20种动作，由10个表演者对每个动作重复2~3次得到的人体行为公共数据库，共557个视频序列。该数据库许多动作高度相似，具有很大挑战性。为了便于性能比较，本文将20个动作作为一个集合，在10个表演者中选择第奇数个的数据作为训练集，第偶数个的数据作为测试集。在实验中，正面、侧面、顶面的MsdDMM尺寸分别归一化为102*54，102*75和75*54，Log-Gabor滤波器尺寸设置为10*11，CRC中的正则化参数λ设置为0.001。

手势识别库MSRGesture3D：是一个包含12个由美国标准手语定义的动态手势，由10个表演者对每个动作重复2~3次得到的人体手势测试评价数据库，共333个视频序列，该数据库存在很多自遮挡问题。本文采用Leave one-subject-out交叉验证方法，总共进行10次实验。第n次实验使用第n个表演者的所有数据作为测试集，其余表演者的数据作为训练集，最终取10次实验结果的平均值作为最终识别率。

结果：

1）在公开动作识别库MSRAction3D和手势识别库MSRGesture3D上，识别率可分别达到95.79%和96.43%，与现存许多算法相比，有更高识别率。

2）在公开动作识别库MSRAction3D上， =0.001，特征子为Log-Gabor时，取得最高识别率95.79%。

3）在手势识别库MSRGesture3D上， =0.01，特征子为Log-Gabor时，取得最高识别率96.43%。

结论：

MSRAction3D数据集：

取不同值时的识别率

稀疏表示人脸识别的关键问题分析

稀疏表示是一种高效的图像表示方法,且稀疏系数具有很好的稀疏性和可扩展性。基于稀疏表示的人脸识别能够提高识别率,增强鲁棒性。针对人脸识别在实际应用中遇到的问题,对稀疏表示人脸识别的方法、识别中遇到的关键问题及其解决办法进行综述。结果表明:稀疏表示人脸识别中,光照变化,可以通过增加不同光照的人脸图像训练样本解决;遮挡腐蚀,可以通过用加入误差字典来扩展过完备字典解决;姿势变化或未对准,可以通过对输入图像进行线性结构迭代变换解决;利用稀疏集中指数可以实现图像是否有效的判断。指出采用稀疏表示同时处理对准和连续遮挡的人脸图像识别,及识别准确性与实时性的提高是需进一步研究的方向。     

基于局部特征的图像模式识别算法研究

本文对基于局部特征的图像模式识别的SIFT/SURF算法进行了详细描述及分析,对比两种算法的不同特点,即运算速度、收敛性、抗噪性等,并对两种算法进行了实验.实验结果对于算法改进具有显著的借鉴意义.     

改进的基于局部块模型的行为识别算法（研究生论坛）

针对基于局部时空特征与特征词袋模型相结合的算法中计算效率低、识别率不高的问题,提出了一种基于局部块模型与特征数据预处理结合的行为识别算法。该算法基于特征词袋模型,采用局部块模型提取特征,针对局部块模型算法中处理数据维度高,相关性强导致的识别率低的问题,将多变量的复杂问题简化为低维空间的简单问题,对其数据处理过程进行了改进,同时优化了局部块模型中的帧采样过程。与原算法相比计算效率与识别率都有较大提升,较其他同类算法也具有一定优势。两个通用视频库上的实验证明了算法的有效性。     

基于改进LBP的人脸表情识别

局部二元模式即LBP(local binary patterns),是一种有效的纹理描述算子,能够很好地提取人脸表情特征信息.针对原始LBP算子仅考虑中心像素点与邻域像素点的灰度差异的问题,对其进行了改进,提出了多重中心化二值模式MLBP(multiple local binary patterns),并将改进后的MLBP算子进行人脸表情识别,通过改进前后在JAFFE人脸库的实验比较,该方法在识别率上取得了较好的效果.     

基于边缘检测的深度图与单视图配准算法

为解决由单视点图像和相关深度数据所创建的立体图像部分存在的重影问题,提出基于边缘检测的深度图与单视图配准算法。对单视图和深度图进行边缘检测得到各自的边界后,以单视图的边界为基准,配准深度图的边界及其邻域的深度数据。实验结果表明,该算法与已有的算法相比,匹配质量明显提高,使在立体图像中的重影现象得到了缓解。     

基于判别性区域提取的视频人体动作识别方法

针对全局特征描述过分依赖精确定位、背景减除和跟踪技术等问题,同时也为了解决视角变化、噪声和遮挡等干扰带来的影响,对基于局部特征描述的视频人体动作识别方法进行了研究,提出了一种基于判别性区域提取的视频人体动作识别方法.首先通过迭代训练和筛选过程对视频的内容进行分析和学习,自动提取视频中有代表性和区分性的判别性区域,然后使用词袋模型对提取到的判别性区域进行统计和描述,最后采用支持向量机方法确定人体运动的类型.在KTH和Youtube数据集上分别对提出的方法进行了论证,结果表明:该方法具有较高的识别准确率,同时对复杂背景等干扰不敏感.