基于深度信息和RGB图像的行为识别算法

人体行为识别是计算机视觉领域的一个热点问题, 然而目前大部分算法都是仅使用RGB或深度视频序列, 很少将它们结合起来进行行为识别。由于它们都有各自的优点且信息是互补的, 因此文中研究深度图像和RGB图像的特性, 不仅提出两种鲁棒的深度图和RGB图像上的行为描述算法, 而且将它们有效融合, 进一步结合多个不同核函数的SVM分类器在具有挑战性的DHA数据集上对它们进行评估。大规模实验结果表明, 文中提出的行为描述算法性能比一些最具代表性算法的性能更好。同时, 深度数据和RGB图像融合后算法性能得到进一步提高, 比单独使用深度数据或RGB图像的性能更好, 且具有较好的区分性和鲁棒性。     

基于代价敏感深度决策树的公交车环境人脸检测

针对公交车环境下的人脸检测具有光照变化、模糊、遮挡、低分辨率和姿势变化等问题,提出了基于代价敏感深度决策树的人脸检测算法。首先,基于归一化的像素差异（NPD）特征构建单个深度二次树（DQT）;接着,根据当前决策树的分类结果,利用代价敏感Gentle Adaboost方法对样本权重进行更新,依次训练出多棵深度决策树;最后,将所有决策树通过Soft-Cascade级联得到最终的检测算法。在人脸检测数据集（FDDB）和公交车视频上的实验结果表明,所提算法与现有的深度决策树算法相比,在检测率和检测速度上均有提升。     

Semantic image segmentation with fused CNN features

Semantic image segmentation is a task to predict a category label for every image pixel. The key challenge of it is to design a strong feature representation. In this paper, we fuse the hierarchical convolutional neural network (CNN) features and the region-based features as the feature representation. The hierarchical features contain more global information, while the region-based features contain more local information. The combination of these two kinds of features significantly enhances the feature representation. Then the fused features are used to train a softmax classifier to produce per-pixel label assignment probability. And a fully connected conditional random field (CRF) is used as a post-processing method to improve the labeling consistency. We conduct experiments on SIFT flow dataset. The pixel accuracy and class accuracy are 84.4% and 34.86%, respectively.     

一种鲁棒的基于深度数据的行为识别算法

人体行为识别在视频监控和人机交互中具有重要应 用,利用深度数据进行行为识别是近年兴起的技术,并取得了一定的进展,但还没有一个公 认的、鲁棒性好的行为描述方法,且性能有待提高。针对以上问题,本文提出了3种鲁棒的、深度数据上的行为描述方法,并结合支持向量机(SVM)分类器在两个公开的且具 有挑战性的深度数据集上对 它们进行评估。实验结果表明,本文提出的行为描述方法具有较好的区分性和鲁棒性,其性 能比一些先进的且具有代表性的算法性能更好。     

基于多级子网络和排序性Dropout机制的人脸属性识别

如何提高自然环境下或非受限环境下人脸属性识别的准确率是应用人脸属性的一个重要问题。在日常生活中,人脸姿势和光照等不可控制的因素对识别人脸属性产生了较大影响,如何在上述因素影响下提高识别的精度是我们研究人脸属性识别的关键问题。目前卷积神经网络（Convolutional neural network,CNN）在图像分类中已经取得显著性成果,本文通过采用多级子网络和排序性Dropout机制算法重新构建一个网络结构,该结构对处理人脸姿势变化等具有较强的鲁棒性,在CelebA数据集和LFWA数据集中取得较好的效果,且大大降低了网络体积。     

结合均值漂移与最小生成树的图像分割算法

为了提高均值漂移(MS)分割算法的运行效率,提出了一种结合MS与最小生成树(MST)的图像分割方法,简称MS-MST方法。首先选取较小的空间带宽参数,以较快的速度对图像进行MS分割,得到过分割图像;然后,以过分割区域作为后续处理的基本单元,构造加权区域邻接图,运用MST算法对其进行合并,得到最终的分割结果。实验结果表明,本文算法在保证图像分割质量的前提下,大幅提高了经典MS算法的分割速度。     

基于多时空特征的人体动作识别算法

针对基于单时空特征的人体动作识算法的不足,提 出了一种基于多时空特征的人体动 作识别算法。通过在KTH与YouTube action公共动作数据集上的实验表明,本文提出的多时空特征的动作识别算法在较小码书的 情况下,具有 较好的区分性、鲁棒性以及实时性,且比一些且具有代表性的算法性能更好。     

基于Kinect和金字塔特征的行为识别算法

提出了一种基于Kinect和金字塔特征的行为识别算法。在算法中,Kinect不仅能够获得RGB信息,还能获得与RGB信息对应的深度信息;而金字塔特征不仅描述了人体行为的全局形状和局部细节信息,而且还描述了人体行为的空间信息。通过不同核函数的支持向量机(SVM)分类器在具有挑战性的DHA数据集的试验结果表明,金字塔特征在RGB和深度图上都能获得令人满意的性能,且当深度特征和RGB特征融合时,其性能获得了进一步的提高,识别率达到96.2%,远高于一些具有代表性的行为描述子。     

基于深度运动轨迹信息的人体动作描述算法

受到dense轨迹特征的启发,本文提出了基于深度运动轨迹信息的动作描述算法, 首先,利用稠密光流场对L帧深度视频提取稠密(dense)兴趣点并 形成稠密轨迹,其次,利用轨迹前后兴趣 点的深度信息计算深度变化值,并将它加入到稠密轨迹和HOG描述算子的计算中;再次,在 整个数据集上, 计算所有动作的平均深度变化值并利用它判断每类动作的深度信息变化情况;最后,根据深 度信息变化剧 烈程度选择不同的码书,对视频样本进行投影并分类。在两个公开深度动作数据集DHA -17和UTkinect 上进行了实验,实验结果表明基于深度运动轨迹信息的动作描述算法具有较好的区分性和鲁 棒性,其性能与一些先进的且具有代表性的算法具有可比性。