结合Gabor特征和自适应加权Fisher准则的人脸识别

在基于Fisher准则的字典学习算法中,初始字典的选取和目标函数的构建,严重影响字典学习的效果。为了减少初始字典的影响,提高算法的表达和判别能力。提出了一种结合Gabor特征和自适应加权Fisher准则的人脸识别算法。该算法首先采用Gabor滤波器提取人脸特征,将提取到的Gabor人脸特征作为人脸训练集;通过添加遗忘函数和根据样本间的距离对训练样本自适应加权,改进Fisher准则字典学习算法;利用测试样本编码系数的误差进行识别。在人脸库上的实验表明,算法不仅能很好地提取图像的特征信息,而且可以有效地提高人脸识别率。     

基于KIOFD算法的特征抽取及其在人脸识别中的应用

提出了一种基于核技术的融合了反转Fisher鉴别准则和正交化技术的KIOFD（Kernel Inverse Orthogonalized Fisher Discriminant）算法,并把这一算法应用于人脸识别中。线性人脸识别中存在两个突出问题:（1）在光照、表情、姿态变化较大时,人脸图像分类是复杂的、非线性的;（2）小样本问题,即当训练样本数量小于样本特征空间维数时,导致类内散布矩阵奇异。对于第1个问题,可以采用核技术提取人脸图像样本的非线性特征,对于第2个问题,采用了反转Fisher鉴别准则和正交化结合的算法。通过对ORL、Yale Group B以及UMIST3个人脸库的实验表明,提出的算法是可行的、高效的。     

基于超分辨率重建的低质量视频人脸识别方法

随着深度神经网络的兴起,人脸识别技术得到了飞速发展.但在光照条件差、低分辨率等情况下的低质量视频S2V(Still to Video)人脸识别由于存在低质量测试视频与样本库高清图像的异质匹配问题,仍然没有达到预期的效果.针对这个问题,提出一种基于超分辨率重建的低质量视频人脸识别方法.首先根据人脸姿态对低质量视频帧采用聚类算法和随机算法选取关键帧,然后建立一个面向低质量视频S2 V人脸识别的超分辨率重建模型S2 V-SR,对关键帧进行超分辨率重建,从而获得高分辨率且更多身份特征的超分辨率关键帧,最后使用视频人脸识别网络提取深度特征进行分类投票,得到最终的人脸识别结果.所提方法在COX视频人脸数据集上进行实验测试,在相对较高质量的cam1和cam3视频中获得了最好的识别准确率,即55.91％和70.85％,而在相对较低质量的cam2视频中获得了仅次于最好方法的识别准确率.实验结果证明,所提方法能够在一定程度上解决S2 V人脸识别中异质匹配的问题,并且能够获得较高的识别准确性和稳定性.     

基于Fisher准则字典学习的压缩感知人脸识别算法

稀疏表示人脸识别算法在字典构造时易丢失大量分类信息且L1范数最小化计算量较大.针对此问题,提出一种基于Fisher准则字典学习和最小二乘法的压缩感知人脸识别算法.该算法首先由Fisher判别准则对训练样本训练得到字典;然后通过最小二乘法解L2范数最小化问题,得到人脸在该字典上的编码系数;最后结合各类别重构误差和编码系数对人脸分类.在公共人脸库上的测试结果表明,文中算法有较高的识别率,并有效提高识别速度.     

基于深度学习的轻量级和多姿态人脸识别方法

目前基于深度学习的人脸识别方法存在识别模型参数量大、特征提取速度慢的问题,而且现有人脸数据集姿态单一,在实际人脸识别任务中无法取得好的识别效果。针对这一问题建立了一种多姿态人脸数据集,并提出了一种轻量级的多姿态人脸识别方法。首先,使用多任务级联卷积神经网络（MTCNN）算法进行人脸检测,并且使用MTCNN最后包含的高层特征做人脸跟踪;然后,根据检测到的人脸关键点位置来判断人脸姿态,通过损失函数为ArcFace的神经网络提取当前人脸特征,并将当前人脸特征与相应姿态的人脸数据库中的人脸特征比对得到人脸识别结果。实验结果表明,提出方法在多姿态人脸数据集上准确率为96.25%,相较于单一姿态的人脸数据集,准确率提升了2.67%,所提方法能够有效提高识别准确率。     

LBP特征和改进Fisher准则的人脸识别

为了进一步提高人脸识别系统的性能,在LDRC算法的基础上进行改进,并将改进LDRC算法的准则函数应用到Fisher分类器中,提出了一种新的基于LBP特征和改进Fisher准则的人脸识别算法。该算法提取每幅人脸图像的标准LBP直方图特征：把提取到的LBP特征输入到改进后的Fisher分类器中,得到最佳投影矩阵和投票结果矩阵;求解出投票结果矩阵的最大值所对应的类别号,将其作为最终的识别结果;分别在FERET和AR人脸库中进行实验检测,结果表明与传统的特征提取方法相比,给出的方案可以使人脸识别率得到显著提高。     

基于Kinect的实时人脸识别系统

实现一个基于Kinect体感器的实时人脸识别系统。利用先进的Kinect传感器跟踪视频序列中的人脸特征参数,并可自动分割。通过Gabor滤波器提取特征,运用PCA、LDA特征降维和最近邻准则等实现最终人脸识别和分类。测试结果表明该系统对于视频中多姿态低分辨率的人脸有较好识别效果。这对于实时人脸识别系统的设计,尤其是对现今新兴的基于体感器的人机交互应用,有重要借鉴意义。     

融合多种几何特征的三维人脸识别算法

由于对光照、姿态变化的不敏感, 三维人脸识别算法已经受到人们的极大关注, 其中三维人脸特征的表示、获取以及多种表示特征的有效融合仍然是三维人脸识别的核心问题. 本文提出一种三维人脸识别方法, 该方法针对归一化的三维人脸数据, 选取人脸的曲面特征和描述人脸特征相互关系矩阵的主分量特征作为人脸表示特征, 给出了各特征的提取方法及同类特征的相似性度量, 进而提出了一种对各类特征进行加权融合的方法, 即通过分析不同特征的分类识别能力, 根据Fisher的线性判别准则, 以类内和类间特征相似度的均值差与类内和类间的散度平方和之比的大小作为该类特征权重, 在决策层为不同的特征赋予不同的权重. 最后, 基于公开发布的BJUT-3D三维人脸数据库进行了识别性能实验. 实验结果证明, 本文的特征融合方法比一般的加权策略有更好的识别性能．     

基于关键帧标识的视频人脸识别技术研究

针对人脸检测与跟踪问题提出在监控视频中面向复杂背景、多姿态的快速人脸检测。使用了基于Haar特征,并结合有效的预处理手段跟搜索策略,另外在检测算法的基础上,考虑到监控视频的序列的特点,结合背景差、肤色、前帧参考等因素,提出一套基于帧间差分法来识别视频中人脸内容变动并标识此关键帧的方法,并以视频日志的形式记录下来。实验证明,此方法可以在针对检测特定目标提高监控视频人脸识别的正确率和检测速度。     

视觉单词优化仿射尺度不变特征变换的视频人脸识别

针对视频人脸识别中由于光照、表情、姿态等变化而影响识别性能的问题,提出一种基于视觉单词优化仿射尺度不变特征变换的视频人脸识别算法。首先从兴趣点提取仿射尺度不变特征变换的图像描述符,将其作为人脸图像表示法;然后,由高斯差分检测,使用视觉单词的索引取代这些描述符;最后,计算视觉单词之间的巴氏距离,并利用最大相似性原则完成识别。在两大通用视频人脸数据库Honda及Mo Bo上的实验验证了该算法的有效性。实验结果表明,相比其他几种较为先进的视频人脸识别算法,该算法明显提高了识别率,并且大大降低了计算复杂度,有望应用于实时视频人脸识别系统。     

Visual object tracking based on discriminant DCT features

In this paper, a visual object tracking method is proposed based on sparse 2-dimensional discrete cosine transform (2D DCT) coefficients as discriminative features. To select the discriminative DCT coefficients, we give two propositions. The propositions select the features based on estimated mean of feature distributions in each frame. Some intermediate tracking instances are obtained by (a) computing feature similarity using kernel, (b) finding the maximum classifier score computed using ratio classifier, and (c) combinations of both. Another intermediate tracking instance is obtained using incremental subspace learning method. The final tracked instance amongst the intermediate instances are selected by using a discriminative linear classifier learned in each frame. The linear classifier is updated in each frame using some of the intermediate tracked instances. The proposed method has a better tracking performance as compared to state-of-the-art video trackers in a dataset of 50 challenging video sequences.     

融合多路特征和注意力机制的强化学习关键帧提取算法

针对现有视频关键帧提取算法对运动类视频中运动特征提取不准导致的漏检和误检问题,提出一种融合多路特征和注意力机制的强化学习关键帧提取算法。该算法首先通过人体姿态识别算法对视频序列进行人体骨骼关节点提取;然后使用S-GCN和ResNet50网络分别提取视频序列中的运动特征和静态特征,并将两者进行加权融合;最后应用注意力机制对特征序列进行视频帧重要性计算,并利用强化学习进行关键帧的提取和优化。实验结果表明,该算法能较好地解决运动类视频在关键帧提取中出现的漏误检问题,在检测含有关键性动作的视频帧时表现较好,算法准确率高、稳定性强。     

人脸样貌独立判别的协作表情识别算法

为了降低样貌、姿态、眼镜以及表情定义不统一等因素对人脸表情识别的影响,提出一种人脸样貌独立判别的协作表情识别算法。首先,采用自动的人脸检测算法定位、对齐视频每帧的人脸区域,并从人脸视频序列中选择峰值表情的人脸;然后,采用峰值人脸与某个表情类内的所有人脸产生表情类内差异人脸信息,并通过计算峰值表情人脸与表情类内差异人脸的差异信息获得协作的表情表示;最终,采用基于稀疏的分类器与表情表示决定每个人脸表情的标签。采用欧美与亚洲人脸的数据库进行仿真实验,结果表明本算法获得了较好的表情识别准确率,对不同样貌、佩戴眼镜的人脸样本也具有较好的识别效果。     

基于关键帧特征库统计特征的双人交互行为识别

针对双人交互行为识别算法中普遍存在的算法计算复杂度高、识别准确性低的问题,提出一种新的基于关键帧特征库统计特征的双人交互行为识别方法。首先,对预处理后的交互视频分别提取全局GIST和分区域方向梯度直方图（HOG）特征。然后,采用k-means聚类算法对每类动作训练视频的所有帧的特征表示进行聚类,得到若干个近似描述同类动作视频的关键帧特征,构造出训练动作类别对应的关键帧特征库;同时,根据相似性度量统计出特征库中各个关键帧在交互视频中出现的频率,得到一个动作视频的统计直方图特征表示。最后,利用训练后的直方图相交核支持向量机（SVM）,对待识别视频采用决策级加权融合的方法得到交互行为的识别结果。在标准数据库测试的结果表明,该方法简单有效,对交互行为的正确识别率达到了85%。     

基于样本扩张和双子空间决策融合的单样本人脸识别算法

对基于滑动窗口进行样本扩充的单样本人脸识别方法进行了改进,改进后算法一方面在识别阶段采用了比原算法更少的特征,提高了识别的时间效率;另一方面在训练阶段获得原始样本的镜像样本作为附加的训练、注册集合,通过学习训练形成双子空间,识别结果由双子空间通过决策融合得到,提高了对测试样本变化的鲁棒性。在ORL人脸库和Feret子集人脸库上的实验表明,该算法在识别率上优于同类算法。     

动作切分和流形度量学习的视频动作识别

目的 为了提高视频中动作识别的准确度,提出基于动作切分和流形度量学习的视频动作识别算法。方法 首先利用基于人物肢体伸展程度分析的动作切分方法对视频中的动作进行切分,将动作识别的对象具体化;然后从动作片段中提取归一化之后的全局时域特征和空域特征、光流特征、帧内的局部旋度特征和散度特征,构造一种7×7的协方差矩阵描述子对提取出的多种特征进行融合;最后结合流形度量学习方法有监督式地寻找更优的距离度量算法提高动作的识别分类效果。结果 对Weizmann公共视频集的切分实验统计结果表明本文提出的视频切分方法具有很好的切分能力,能够作好动作识别前的预处理;在Weizmann公共视频数据集上进行了流形度量学习前后的识别效果对比,结果表明利用流形度量学习方法对动作识别效果提升2.8%;在Weizmann和KTH两个公共视频数据集上的平均识别率分别为95.6%和92.3%,与现有方法的比较表明,本文提出的动作识别方法有更好的识别效果。结论 多次实验结果表明本文算法在预处理过程中动作切分效果理想,描述动作所构造协方差矩阵对动作的表达有良好的多特征融合能力,而且光流信息和旋度、散度信息的加入使得人体各部位的运动方向信息具有了更多细节的描述,有效提高了协方差矩阵的描述能力,结合流形度量学习方法对动作识别的准确性有明显提高。     

SEGMENTATION OF MULTIPLE HUMAN OBJECTS IN VIDEO SEQUENCES

This article presents a method for segmentation of multiple human objects in a video stream. Given the base frame of a video stream, a fuzzy self-clustering technique is used to group similar pixels of the frame into a set of segments. Combinations of segments are checked if candidate face regions can be formed using chrominance values and the face shape feature. The existence of a face within each candidate face region is investigated by searching for possible constellations of eyes-mouth triangles and verifying each eyes-mouth combination based on the predefined template and a set of criteria. By referring to the position and orientation of a face, the corresponding body is found. Then rough foreground and background are formed. Finally, human objects in the base frame and the remaining frames of the video stream are located by a fuzzy neural network, which is trained by a SVD-based hybrid learning algorithm. From experimental results, we have found that our system can locate human objects more accurately and efficiently than other systems.     

基于光流的快速人体姿态估计

针对目前深度学习领域人体姿态估计算法计算复杂度高的问题,提出了一种基于光流的快速人体姿态估计算法.在原算法的基础上,首先利用视频帧之间的时间相关性,将原始视频序列分为关键帧和非关键帧分别处理（相邻两关键帧之间的图像和前向关键帧组成一个视频帧组,同一视频帧组内的视频帧相似）,仅在关键帧上运用人体姿态估计算法,并通过轻量级光流场将关键帧识别结果传播到其他非关键帧.其次针对视频中运动场的动态特性,提出一种基于局部光流场的自适应关键帧检测算法,以根据视频的局部时域特性确定视频关键帧的位置.在OutdoorPose和HumanEvaI数据集上的实验结果表明,对于存在背景复杂、部件遮挡等问题的视频序列中,所提算法较原算法检测性能略有提升,检测速度平均可提升89.6%.     

基于人眼状态的瞌睡识别算法

已有瞌睡识别算法多数基于机器学习或深度学习,没有考虑到人眼闭合状态序列与瞌睡之间的关系。针对上述问题,提出了一种基于人眼状态的瞌睡识别算法。首先,提出了人眼分割和面积计算模型,基于人脸68个特征点,根据人眼特征点构成的极大多边形分割出眼睛区域,并利用眼睛像素点的总数代表眼睛面积大小;其次,计算极大状态下的人眼面积,并利用关键帧挑选算法挑选出最能代表睁眼程度的4帧,根据这4帧的人眼面积与极大状态下的人眼面积计算睁眼阈值,从而构建眼睛闭合度得分模型来确定人眼闭合状态;最后,根据输入视频的人眼闭合得分序列,构建了基于连续多帧序列分析的瞌睡识别模型。在两个国际常用的打哈欠检测数据集（YawDD）和NTHU-DDD数据集上进行瞌睡状态识别,实验结果表明,所提算法在两个数据集上的识别准确率均在80%以上,尤其是在YawDD数据集上,识别准确率达到94%以上。该算法可应用于驾驶员驾驶状态检测、学习者课中状态分析等。     

Continuous human action recognition in real time

This paper discusses the task of continuous human action recognition. By continuous, it refers to videos that contain multiple actions which are connected together. This task is important to applications like video surveillance and content based video retrieval. It aims to identify the action category and detect the start and end key frame of each action. It is a challenging task due to the frequent changes of human actions and the ambiguity of action boundaries. In this paper, a novel and efficient continuous action recognition framework is proposed. Our approach is based on the bag of words representation. A visual local pattern is regarded as a word and the action is modeled by the distribution of words. A generative translation and scale invariant probabilistic Latent Semantic Analysis model is presented. The continuous action recognition result is obtained frame by frame and updated from time to time. Experimental results show that this approach is effective and efficient to recognize both isolated actions and continuous actions.