自适应骨骼中心的人体行为识别算法

目的 基于3维骨架的行为识别研究在计算机视觉领域一直是非常活跃的主题,在监控、视频游戏、机器人、人机交互、医疗保健等领域已取得了非常多的成果。现今的行为识别算法大多选择固定关节点作为坐标中心,导致动作识别率较低,为解决动作行为识别中识别精度低的问题,提出一种自适应骨骼中心的人体行为识别的算法。方法 该算法首先从骨骼数据集中获取三维骨架序列,并对其进行预处理,得到动作的原始坐标矩阵;再根据原始坐标矩阵提取特征,依据特征值的变化自适应地选择坐标中心,重新对原始坐标矩阵进行归一化;最后通过动态时间规划方法对动作坐标矩阵进行降噪处理,借助傅里叶时间金字塔表示的方法减少动作坐标矩阵时间错位和噪声问题,再使用支持向量机对动作坐标矩阵进行分类。论文使用国际上通用的数据集UTKinect-Action和MSRAction3D对算法进行验证。结果 结果表明,在UTKinect-Action数据集上,该算法的行为识别率比HO3D J2算法高4.28%,比CRF算法高3.48%。在MSRAction3D数据集上,该算法比HOJ3D算法高9.57%,比Profile HMM算法高2.07%,比Eigenjoints算法高6.17%。结论 本文针对现今行为识别算法的识别率低问题,探究出问题的原因是采用了固定关节坐标中心,提出了自适应骨骼中心的行为识别算法。经仿真验证,该算法能有效提高人体行为识别的精度。     

实时视觉目标跟踪与视频对象分割多任务框架

目的 针对视觉目标跟踪（video object tracking,VOT）和视频对象分割（video object segmentation,VOS）问题,研究人员提出了多个多任务处理框架,但是该类框架的精确度和鲁棒性较差。针对此问题,本文提出一个融合多尺度上下文信息和视频帧间信息的实时视觉目标跟踪与视频对象分割多任务的端到端框架。方法 文中提出的架构使用了由空洞深度可分离卷积组成的更加多尺度的空洞空间金字塔池化模块,以及具备帧间信息的帧间掩模传播模块,使得网络对多尺度目标对象分割能力更强,同时具备更好的鲁棒性。结果 本文方法在视觉目标跟踪VOT-2016和VOT-2018数据集上的期望平均重叠率（expected average overlap,EAO）分别达到了0.462和0.408,分别比SiamMask高了0.029和0.028,达到了最先进的结果,并且表现出更好的鲁棒性。在视频对象分割DAVIS（densely annotated video segmentation）-2016和DAVIS-2017数据集上也取得了有竞争力的结果。其中,在多目标对象分割DAVIS-2017数据集上,本文方法比SiamMask有更好的性能表现,区域相似度的杰卡德系数的平均值J_M和轮廓精确度的F度量的平均值F_M分别达到了56.0和59.0,并且区域和轮廓的衰变值J_D和F_D都比SiamMask中的低,分别为17.9和19.8。同时运行速度为45帧/s,达到了实时的运行速度。结论 文中提出的融合多尺度上下文信息和视频帧间信息的实时视觉目标跟踪与视频对象分割多任务的端到端框架,充分捕捉了多尺度上下文信息并且利用了视频帧间的信息,使得网络对多尺度目标对象分割能力更强的同时具备更好的鲁棒性。     

Fq上具有极大1-error线性复杂度的周期序列

线性复杂度是衡量序列密码学强度的重要指标,设计具有大的线性复杂度和k-error线性复杂度的序列是密码学和通信中的热点问题.Niederreiter首次发现了F_q上许多满足这个要求的周期序列.通过序列的广义离散傅立叶变换构造了一些F_q上具有极大1-error线性复杂度的周期序列,这些结果远远优于已知的结果.     

基于流形学习的人体动作识别

目的 提出了一个基于流形学习的动作识别框架,用来识别深度图像序列中的人体行为。方法 从Kinect设备获得的深度信息中评估出人体的关节点信息,并用相对关节点位置差作为人体特征表达。在训练阶段,利用LE（Lalpacian eigenmaps）流形学习对高维空间下的训练集进行降维,得到低维隐空间下的运动模型。在识别阶段,用最近邻差值方法将测试序列映射到低维流形空间中去,然后进行匹配计算。在匹配过程中,通过使用改进的Hausdorff距离对低维空间下测试序列和训练运动集的吻合度和相似度进行度量。结果 用Kinect设备捕获的数据进行了实验,取得了良好的效果;同时也在MSR Action3D数据库上进行了测试,结果表明在训练样本较多情况下,本文方法识别效果优于以往方法。结论 实验结果表明本文方法适用于基于深度图像序列的人体动作识别。     

矩阵条件数及高斯算法平滑分析的进一步研究

算法的复杂度平滑分析是对许多算法在实际应用中很有效但其最坏情况复杂度却很糟这一矛盾给出的更合理的解释.高性能计算机被广泛用于求解大规模线性系统及大规模矩阵的分解.求解线性系统的最简单且容易实现的算法是高斯消元算法(高斯算法).用高斯算法求解n个方程n个变量的线性系统所需要的算术运算次数为O(n³).如果这些方程中的系数用m位表示,则最坏情况下需要机器位数mn位来运行高斯算法.这是因为在消元过程中可能产生异常大的中间项.但大量的数值实验表明,在实际应用中,需要如此高的精度是罕见的.异常大的矩阵条件数和增长因子是导致矩阵A病态,继而导致解的误差偏大的主要根源.设-A为任意矩阵,A是-A受到微小幅度的高斯随机扰动所得到的随机矩阵,方差σ²≤1.Sankar等人对矩阵A的条件数及增长因子进行平滑分析,证明了Pr[K(A)≥α]≤(3.64n(1+4√log(α)))/ασ.在此基础上证明了运行高斯算法输出具有m位精度的解所需机器位数的平滑复杂度为m+71og₂(n)+3log₂(1/σ)+log₂log₂n+7.在上述结果的证明过程中存在错误,将其纠正后得到以下结果:m+71og₂n+3log₂(1/σ)+4√2+log₂n+log₂(1/σ)+7.367.通过构造两个分别关于矩阵范数和随机变量乘积的不等式,将关于矩阵条件数的平滑分析结果简化到Pr[K(A)≥α]≤(6√2n²)/α·σ.部分地解决了Sankar等人提出的猜想:Pr[K(A)≥α]≤O(n/α·σ).并将运行高斯算法输出具有m位精度的解所需机器位数的平滑复杂度降低到m+81og₂n+3log₂(1/σ)+7.实验结果表明,所得到的平滑复杂度更好.     

Trace 演算

文章定义了基于踪迹(trace)的逻辑语言L_Trace,它是一阶线性时序逻辑语言的扩充,同时也是“对象演算”研究工作的基础.Trace演算所述的“对象”用来刻画具有内部状态和外部行为的动态实体,语法上由对象标记表示.对象标记Ω=(S,F,A,E)包含4个部分:数据类型S、函数F、属性A和动作E.Σ=(S,F)构成通常代数规范意义下的标记,可将动作看成一广义数据类型,从而得到标记Σ的动作扩充ΣE.对象标记的语义解释结构由关于标记ΣE的代数、映射和动作与踪迹的关系定义.ΣE-代数给出关于数据参数的解释;映射给出属性在动作踪迹中所取的值;而动作与踪迹的关系则给出执行一有限踪迹以后该动作是否允许执行.在定义了Trace演算的语法和语义之后,文章给出了Trace演算的公理系统及其可靠性证明.     

矩阵方程AX-EXF=BY的通解及其应用

给出矩阵方程 AX-EXY=BY的一个完全解析的、具有显式表达式和完全自由度的参数解 (X,Y) .这里假设矩阵束 (E,A,B) 为R-能控的, F为任意的方阵.相比于现有结论,求解算法不要求矩阵A和F具有特殊的形式,且对它们的特征值没有任何的限制.此外,本文给出的通解还具有结构简洁的特点.作为一个应用,给出了广义系统正常Luenberger函数观测器的一种参数化的设计方法.算例证明了方法的有效性.     

多视角深度运动图的人体行为识别

目的 使用运动历史点云（MHPC）进行人体行为识别的方法,由于点云数据量大,在提取特征时运算复杂度很高。而使用深度运动图（DMM）进行人体行为识别的方法,提取特征简单,但是包含的动作信息不全面,限制了人体行为识别精度的上限。针对上述问题,提出了一种多视角深度运动图的人体行为识别算法。方法 首先采用深度图序列生成MHPC对动作进行表示,接着将MHPC旋转特定角度补充更多视角下的动作信息;然后将原始和旋转后MHPC投影到笛卡儿坐标平面,生成多视角深度运动图,并对其提取方向梯度直方图,采用串联融合生成特征向量;最后使用支持向量机对特征向量进行分类识别,在MSR Action3D和自建数据库上对算法进行验证。结果 MSR Action3D数据库有2种实验设置,采用实验设置1时,算法识别率为96.8%,比APS_PHOG（axonometric projections and PHOG feature）算法高2.5%,比DMM算法高1.9%,比DMM_CRC（depth motion maps and collaborative representation classifier）算法高1.1%。采用实验设置2时,算法识别率为93.82%,比DMM算法高5.09%,比HON4D（histogram of oriented 4D surface normal）算法高4.93%。在自建数据库上该算法识别率达到97.98%,比MHPC算法高3.98%。结论 实验结果表明,多视角深度运动图不但解决了MHPC提取特征复杂的问题,而且使DMM包含了更多视角下的动作信息,有效提高了人体行为识别的精度。     

动作切分和流形度量学习的视频动作识别

目的 为了提高视频中动作识别的准确度,提出基于动作切分和流形度量学习的视频动作识别算法。方法 首先利用基于人物肢体伸展程度分析的动作切分方法对视频中的动作进行切分,将动作识别的对象具体化;然后从动作片段中提取归一化之后的全局时域特征和空域特征、光流特征、帧内的局部旋度特征和散度特征,构造一种7×7的协方差矩阵描述子对提取出的多种特征进行融合;最后结合流形度量学习方法有监督式地寻找更优的距离度量算法提高动作的识别分类效果。结果 对Weizmann公共视频集的切分实验统计结果表明本文提出的视频切分方法具有很好的切分能力,能够作好动作识别前的预处理;在Weizmann公共视频数据集上进行了流形度量学习前后的识别效果对比,结果表明利用流形度量学习方法对动作识别效果提升2.8%;在Weizmann和KTH两个公共视频数据集上的平均识别率分别为95.6%和92.3%,与现有方法的比较表明,本文提出的动作识别方法有更好的识别效果。结论 多次实验结果表明本文算法在预处理过程中动作切分效果理想,描述动作所构造协方差矩阵对动作的表达有良好的多特征融合能力,而且光流信息和旋度、散度信息的加入使得人体各部位的运动方向信息具有了更多细节的描述,有效提高了协方差矩阵的描述能力,结合流形度量学习方法对动作识别的准确性有明显提高。     

半张量积压缩感知模型的l0-范数解

目的 半张量积压缩感知模型是一种可以有效降低压缩感知过程中随机观测矩阵所占存储空间的新方法,利用该模型可以成倍降低观测矩阵所需的存储空间。为寻求基于该模型新的重构方法,同时提升降维后观测矩阵的重构性能,提出一种采用光滑高斯函数拟合l₀-范数方法进行重构。方法 构建降维随机观测矩阵,对原始信号进行采样;构建可微且期望值为零的光滑高斯函数来拟合不连续的l₀-范数,采用最速下降法进行重构,最终得到稀疏信号的估计值。结果 实验分别采用1维稀疏信号和2维图像信号进行测试,并从重构概率、收敛速度、重构信号的峰值信噪比等角度进行了测试和比较。验证结果表明,本文所述算法的重构概率、收敛速度较该模型的l_q-范数（0 <q <1）方法有一定的提升,且当观测矩阵大小降低为通常的1/64,甚至1/256时,仍能保持较高的重构性能。结论 本文所述的重构算法,能在更大程度上降低观测矩阵的大小,同时基本保持重构的精度。     

Model-Driven Domain Adaptation on Product Manifolds for Unconstrained Face Recognition

Many classification algorithms see a reduction in performance when tested on data with properties different from that used for training. This problem arises very naturally in face recognition where images corresponding to the source domain (gallery, training data) and the target domain (probe, testing data) are acquired under varying degree of factors such as illumination, expression, blur and alignment. In this paper, we account for the domain shift by deriving a latent subspace or domain, which jointly characterizes the multifactor variations using appropriate image formation models for each factor. We formulate the latent domain as a product of Grassmann manifolds based on the underlying geometry of the tensor space, and perform recognition across domain shift using statistics consistent with the tensor geometry. More specifically, given a face image from the source or target domain, we first synthesize multiple images of that subject under different illuminations, blur conditions and 2D perturbations to form a tensor representation of the face. The orthogonal matrices obtained from the decomposition of this tensor, where each matrix corresponds to a factor variation, are used to characterize the subject as a point on a product of Grassmann manifolds. For cases with only one image per subject in the source domain, the identity of target domain faces is estimated using the geodesic distance on product manifolds. When multiple images per subject are available, an extension of kernel discriminant analysis is developed using a novel kernel based on the projection metric on product spaces. Furthermore, a probabilistic approach to the problem of classifying image sets on product manifolds is introduced. We demonstrate the effectiveness of our approach through comprehensive evaluations on constrained and unconstrained face datasets, including still images and videos.     

3D-based Deep Convolutional Neural Network for action recognition with depth sequences

Traditional algorithms to design hand-crafted features for action recognition have been a hot research area in the last decade. Compared to RGB video, depth sequence is more insensitive to lighting changes and more discriminative due to its capability to catch geometric information of object. Unlike many existing methods for action recognition which depend on well-designed features, this paper studies deep learning-based action recognition using depth sequences and the corresponding skeleton joint information. Firstly, we construct a 3D-based Deep Convolutional Neural Network (3D²CNN) to directly learn spatio-temporal features from raw depth sequences, then compute a joint based feature vector named JointVector for each sequence by taking into account the simple position and angle information between skeleton joints. Finally, support vector machine (SVM) classification results from 3D²CNN learned features and JointVector are fused to take action recognition. Experimental results demonstrate that our method can learn feature representation which is time-invariant and viewpoint-invariant from depth sequences. The proposed method achieves comparable results to the state-of-the-art methods on the UTKinect-Action3D dataset and achieves superior performance in comparison to baseline methods on the MSR-Action3D dataset. We further investigate the generalization of the trained model by transferring the learned features from one dataset (MSR-Action3D) to another dataset (UTKinect-Action3D) without retraining and obtain very promising classification accuracy.     

多聚点子空间下的时空信息融合及其在行为识别中的应用

基于深度序列的人体行为识别,一般通过提取特征图来提高识别精度,但这类特征图通常存在时序信息缺失的问题.针对上述问题,本文提出了一种新的深度图序列表示方式,即深度时空图(Depth space time maps, DSTM). DSTM降低了特征图的冗余度,弥补了时序信息缺失的问题.本文通过融合空间信息占优的深度运动图(Depth motion maps,DMM)与时序信息占优的DSTM,进行高精度的人体行为研究,并提出了多聚点子空间学习(Multi-center subspace learning, MCSL)的多模态数据融合算法.该算法为各类数据构建多个投影聚点,以此增大样本的类间距离,降低了投影目标区域维度.本文在MSR-Action3D数据集和UTD-MHAD数据集上进行人体行为识别.最后实验结果表明,本文方法相较于现有人体行为识别方法有着较高的识别率.     

基于张量子空间学习的人行为识别方法

提出了一种基于张量子空间学习降维人体高维侧影数据的人行为识别方法。给定一个动作的人侧影图像序列,首先用张量子空间学习方法将目标高维侧影图像投影到低维子空间来描述人运动的时空特性,并同时尽可能地保持目标侧影图像中像素之间的空间几何信息,然后用Hausdorff距离度量动作之间的相似性,并在最近邻距离框架下对动作进行分类识别。为验证本文算法的有效性,设计了动作识别和鲁棒性测试2个实验。实验结果表明提出的算法不仅能够有效地对人行为进行识别,且具有较强的鲁棒性。     

Conjugate gradient on Grassmann manifolds for robust subspace estimation

Most geometric computer vision problems involve orthogonality constraints. An important subclass of these problems is subspace estimation, which can be equivalently formulated into an optimization problem on Grassmann manifolds. In this paper, we propose to use the conjugate gradient algorithm on Grassmann manifolds for robust subspace estimation in conjunction with the recently introduced generalized projection based M-Estimator (gpbM). The gpbM method is an elemental subset-based robust estimation algorithm that can process heteroscedastic data without any user intervention. We show that by optimizing the orthogonal parameter matrix on Grassmann manifolds, the performance of the gpbM algorithm improves significantly. Results on synthetic and real data are presented.     

多尺度方法结合卷积神经网络的行为识别

为了同时计算行为序列样本在时间和空间的特征,提出了一种基于包含多尺度卷积算子的卷积神经网络识别模型。首先通过叠加的方式将序列样本中的骨骼向量信息整合为一个行为矩阵,然后将矩阵输入识别模型。为了挖掘具有不同邻接关系的骨骼点在描述人体行为时的作用,将卷积神经网络各层中的卷积算子拓展为多尺度卷积算子,并使用该网络得到的特征进行分类。实验在MSR-Action3D数据集和HDM05数据集获得较好的识别率。     

A spatial-temporal iterative tensor decomposition technique for action and gesture recognition

Classification of video sequences is an important task with many applications in video search and action recognition. As opposed to some traditional approaches that transform original video sequences into forms of visual feature vectors, tensor-based methods have been proposed for classifying video sequences with natural representation of original data. However, one obvious limitation of tensor-based methods is that the input video sequences are often required to be preprocessed with a unified length of time. In this paper, we propose a technique for handling classification of video sequences in unequal length of time, namely Spatial-Temporal Iterative Tensor Decomposition (S-TITD) for uniform length. The proposed framework contains two primary steps. We first represent original video sequences as a third-order tensor and perform Tucker-2 decomposition to obtain the reduced-dimension core tensor. Then we encode the third order of core tensor to a uniform length by adaptively selecting the most informative slices. Notably, the above two steps are embedded into a dynamic learning framework to guarantee the proposed method has the ability of updating results over time. We conduct a series of experiments on three public datasets in gesture and action recognition, and the experimental results show that the proposed S-TITD approach achieves better performances than the state-of-the-art algorithms.     

基于稀疏编码的动态纹理识别

目的 线性动态系统有效地捕捉了动态纹理在时间和空间的转移信息。然而,线性动态系统属于非欧氏空间模型,无法直接应用传统的稀疏编码进行分类识别,为此提出一种基于稀疏编码线性动态系统的求解方法并应用于动态纹理识别。方法 基于约束凸优化公式,将稀疏编码和控制论中相似性变换结合,优化学习模型参数,解决应用稀疏编码进行分类识别的问题,实现有效的动态纹理识别。结果 在公开的动态纹理图像数据库UCLA上进行实验并与其他方法进行比较,实验结果表明,本文方法具有更好的性能,识别率可达97%,且对遮挡具有更好的鲁棒性。结论 本文方法对动态纹理及遮挡情况具有更好的识别率。