SVD Algorithms: APEX-like versus Subspace Methods

We compare several new SVD learning algorithms which are based on the subspace method in principal component analysis with the APEX-like algorithm proposed by Diamantaras. It is shown experimentally that the convergence of these algorithms is as fast as the convergence of the APEX-like algorithm.     

基于加权多尺度张量子空间的人脸图像特征提取方法

为了不破坏原始数据固有的高阶结构和数据之间的相关性,减少光照对图像特征的影响,并优化多尺度特征的权重,提出了基于加权多尺度张量子空间的图像特征提取方法。采用多尺度小波变换表征图像各个 部位特征,使用不确定度权衡每个尺度对图像分类的作用,并组建成多尺度张量子空间,结合多线性主成分分析与线性判别分析算法,降低了图像在处理过程中的成本,保存了高维数据固有结构和相关性,完成对图像特征提取。使用CAS-PEAL-R1东方人脸库进行评测,实 验结果表明,该图像特征提取算法用于图像识别过程中具有较好的效果,具有一定的可行性。     

基于局部保持投影的鲁棒稀疏子空间学习

传统的子空间学习算法包含投影学习和分类两个过程,但是这两个过程分离,且对离群点较敏感,可能导致算法无法获得整体最优解。为此,提出了一种基于局部保持投影的鲁棒稀疏子空间学习算法。该算法将特征学习和分类模型相结合,使学习得到的子空间特征更具有判别性;利用L2,1范数的行稀疏性质,剔除冗余特征,同时在算法模型中考虑数据样本的局部关系来提高对离群点的鲁棒性;最后采用交替迭代方法来求解该模型。在不同数据集上的实验结果表明该算法具有较好的识别效果。     

Adaptive multiple minor directions extraction in parallel using a PCA neural network

A principal component analysis (PCA) neural network is developed for online extraction of the multiple minor directions of an input signal. The neural network can extract the multiple minor directions in parallel by computing the principal directions of the transformed input signal so that the stability-speed problem of directly computing the minor directions can be avoided to a certain extent. On the other hand, the learning algorithms for updating the net weights use constant learning rates. This overcomes the shortcoming of the learning rates approaching zero. In addition, the proposed algorithms are globally convergent so that it is very simple to choose the initial values of the learning parameters. This paper presents the convergence analysis of the proposed algorithms by studying the corresponding deterministic discrete time (DDT) equations. Rigorous mathematical proof is given to prove the global convergence. The theoretical results are further confirmed via simulations.     

连续时间模型的闭环子空间辨识

本文对直接使用采样数据进行连续系统的闭环子空间辨识问题进行了研究．将线性滤波方法与基于主 元分析的子空间辨识相结合,利用参考输入或者外部激励信号的高阶滤波变换的正交投影变量作为辅助变量,提出 了一种新的连续时间系统闭环子空间辨识算法．数值仿真表明了与其他算法相比,本文提出的算法具有很好的辨识 效果．     

基于子空间分析的人脸识别算法

本文以人脸识别为目标,重点分析基于子空间分析的人脸特征提取技术.首先介绍人脸识别系统的构成,其次分析人脸识别的关键技术,如人脸检测、特征提取和图像预处理等,重点分析人脸识别的各种算法,根据小波在对图像数据矩阵的处理的高效性,以及LDA训练样本维数少的缺陷,PCA不能利用数据的高阶统计特性,本文将这三种算法进行融合,并用MATLAB进行仿真实验,实验证明该方法的有效性.     

综述人脸识别中的子空间方法

如何描述每个个体人脸的特征,使之区别于其他个体,是人脸识别研究中的关键问题 之一.近年来提出了大量的方法,其中随着主元分析在人脸识别中的成功应用之后,子空间分析 因其具有描述性强、计算代价小、易实现及可分性好的特点,受到了广泛的关注.文中结合近年 来已发表的文献,按照线性和非线性的划分,对子空间分析在人脸识别中的应用作一回顾、比较 和总结,以供其他人参考.     

基于改进的自适应主元提取算法的人脸识别

论文提出了一种基于改进的自适应主元提取算法的人脸识别方法。采用改进的自适应主元提取算法将人脸图像由高维观测空间投影到低维特征空间,通过改进前馈网络权值更新方程,降低算法的复杂度和计算量。基于三维人脸形变模型,采用区域填充和曲面消隐算法根据一幅人脸图像生成多个虚拟样本,克服人脸识别中的小样本问题。在ORL和UMIST数据库上的实验结果表明,该文提出的算法在识别性能上明显高于传统的Eigenface和Fisherface方法。     

多线性子空间可伸缩视频编码方法

针对DCT方法用单一变换核处理所有图像块而忽略图像信号的复杂统计分布的问题,通过论证视频中的图像数据和运动预测残差存在的多线性子空间分布特性,提出一种可伸缩性视频编码方法.该方法用广义主成分分析(GPCA)取代传统视频编码中所采用的DCT来对I帧和预测残差图像编码,通过对编码结果进行适当排序,使得码流可以在任意点被截断,实现精细粒度的质量可伸缩性;并借助多线性子空间的分割,实现依据人类视觉注意特性的差错保护及更好的错误隐藏.对文中方法和基于DCT的可伸缩性编码效果进行比较的结果表明,在同等压缩比的情况下,采用该方法普遍可获得比DCT更好的图像质量.     

Subspace decomposition approach of fault deviations and its application to fault reconstruction

In the present work, a new subspace decomposition approach of fault deviations is developed in the context of principal component analysis (PCA) based monitoring system for fault diagnosis via reconstruction. The fault effects are decomposed in different monitoring subspaces, principal subspace (PCS) and residual subspace (RS), and the significant fault deviations that are responsible for the concerned alarming monitoring statistic are calculated. This is achieved by designing a two-step feature decomposition procedure in each monitoring subspace. In the first step, the relative fault deviations are sorted by comparing the fault variations with the normal variations. All possible fault deviations that may contribute to the out-of-control monitoring statistics are collected. In the second step, PCA is performed on the chosen fault information where the largest fault deviation directions are decomposed in order. By the two-step decomposition, in each monitoring subspace, two different parts are separated for the purpose of fault reconstruction. One is composed of the concerned fault deviations that contribute to alarming monitoring statistics which are thus significant to remove the out-of-control signals. The other is composed of general variations that are deemed to follow normal rules and thus insignificant to remove alarming monitoring statistics. Theoretical support is framed and the related statistical characteristics are analyzed. Its feasibility and performance are illustrated with data from the three-tank system and the Tennessee Eastman (TE) benchmark process.     

基于主元分析的子空间辨识算法

子空间辨识算法作为一种优良的多变量系统辨识算法,最近在国内发展很快.但是现在国内介绍的大多数子空间辨识算法在变量有误差(errors-in-variable)时和闭环辨识时辨识结果却是有偏的,这是因为大多数子空间辨识算法都假设输入变量是没有噪声及辨识算法中存在的一个投影过程.文中介绍了一种新的子空间辨识算法,这种算法利用主元分析(PCA)来获取系统矩阵,避免了其他算法中的投影过程,因此该算法在闭环辨识和变量有误差(errors-in-variable)的情况下,辨识结果也是无偏的.最后给出一个仿真例子说明这种辨识算法的辨识效果良好.     

分布阶次系统时域子空间辨识

研究线性时不变分布阶次系统的时域辨识问题,提出一种基于主元分析的子空间辨识算法.该算法采用分数阶滤波器重构基本输入输出方程,利用主元分析辨识分布阶次系统的各项系数矩阵,通过代价函数将系统的各项分数阶微分阶次辨识问题转化为多变量参数优化问题,设计了辅助变量消除辨识过程中随机噪声的不利影响.数值仿真实例表明了算法的有效性.     

基于总体变化子空间自适应的i-vector说话人识别系统研究

在说话人识别研究中,基于身份认证矢量（identity vector,i-vector） 的子空间建模被证明是目前最前沿最有效的说话人建模技术,其中如何有效准确地估计总体变化子空间矩阵T 成为影响系统性能好坏的关键问题. 本文针对i-vector 技术如何在新的应用环境下进行总体变化子空间矩阵T 的自适应估计问题进行了研究,并提出了两种行之有效的自适应估计算法. 在由美国国家标准技术局（American NationalInstitute of Standard and Technology,NIST） 组织的2008 年说话人识别核心评测数据库以及自行采集的测试数据库上的实验结果显示,不论采用测试集数据本身还是与测试集较匹配的开发集数据,通过本文所提的自适应算法来更新总体变化子空间矩阵均可以使更新后的子空间更有利于新测试数据下的低维子空间描述,在新的测试环境下都更有利于说话人分类. 此外实验结果还表明基于多子空间拼接的子空间自适应方法性能明显优于迭代自适应方法,而且两者的结合可达到最优的识别性能,且此时利用开发集数据进行自适应可以接近其利用测试集数据进行自适应得到的最优性能.     

一种快速的多个主成分并行提取算法

主成分分析是信号处理和数据统计领域内非常重要的分析工具.针对现有多个主成分提取算法收敛速度慢的问题,提出了具有快速收敛速度的神经网络算法.该算法能够并行提取信号中的多个主成分,而不需要其他额外的操作.分别采用平稳点分析法和随机离散时间分析法对所提算法的收敛性和自稳定性进行了证明.仿真实验表明,相比现有算法,所提算法不仅具有较快的收敛速度,而且具有较高的收敛精度.     

Random Sampling for Subspace Face Recognition

Subspace face recognition often suffers from two problems: (1) the training sample set is small compared with the high dimensional feature vector; (2) the performance is sensitive to the subspace dimension. Instead of pursuing a single optimal subspace, we develop an ensemble learning framework based on random sampling on all three key components of a classification system: the feature space, training samples, and subspace parameters. Fisherface and Null Space LDA (N-LDA) are two conventional approaches to address the small sample size problem. But in many cases, these LDA classifiers are overfitted to the training set and discard some useful discriminative information. By analyzing different overfitting problems for the two kinds of LDA classifiers, we use random subspace and bagging to improve them respectively. By random sampling on feature vectors and training samples, multiple stabilized Fisherface and N-LDA classifiers are constructed and the two groups of complementary classifiers are integrated using a fusion rule, so nearly all the discriminative information is preserved. In addition, we further apply random sampling on parameter selection in order to overcome the difficulty of selecting optimal parameters in our algorithms. Then, we use the developed random sampling framework for the integration of multiple features. A robust random sampling face recognition system integrating shape, texture, and Gabor responses is finally constructed.     

k-means型软子空间聚类算法

软子空间聚类是聚类研究领域的一个重要分支和研究热点。高维空间聚类以数据分布稀疏和"维度效应"现象等问题而成为难点。在分析现有软子空间聚类算法不足的基础上,引入子空间差异的概念;在此基础上,结合簇内紧凑度的信息来设计新的目标优化函数;提出了一种新的k-means型软子空间聚类算法,该算法在聚类过程中无需设置额外的参数。理论分析与实验结果表明,相对于其他的软子空间算法,该算法具有更好的聚类精度。     

多代表点的子空间分类算法

多代表点近邻分类克服了传统近邻分类算法的缺点,使用以代表点为中心的模型簇构造分类模型并自动确定近邻数目.此类算法在不同类别的样本存在大量重叠时将导致模型簇数量增大,造成预测精度下降.提出了一种多代表点的子空间分类算法,将不同类别的训练样本投影到多个不同的子空间,使用子空间模型簇构造分类模型,有效分隔了不同类别样本在全空...     

基于熵的平衡子空间K-means算法

在许多数据挖掘的实际应用中要求每一个类别的实例数量相对平衡.而独立子空间聚类的熵加权K-means算法(EWKM)会产生不均衡的划分,聚类质量很差.本文定义了一种兼顾平衡划分与特征分布的多目标熵,然后应用该熵改进了EWKM算法的目标函数,同利用迭代方法和交替方向乘子法设计其求解流程,并提出基于熵的平衡子空间K-means算法(EBSKM).最后,在UCI、UCR等公开数据集进行聚类实验,结果表明所提算法在准确率和平衡性方面都优于同类算法.     

一种全局收敛的PCA神经网络学习算法

主元分析(PCA)也称为K-L变换是进行特征提取的一种重要方法。近年来，为了处理海量数据，许多基于Hebbian学习算法的PCA神经网络被提出来。传统的算法，通常不能保证其收敛性或者收敛速度较慢。基于CRLS神经网络，本文提出了一种新的确保权向量收敛的学习算法，本算法无须在计算中规格化权向量。同时也证明了该学习算法使得权向量收敛到最大特征值所对应的特征向量。实验表明，与传统的CRLS神经网络比较，本文算法准确性得到极大提高。     

过完备ICA 算法在语音信号提取中的应用

在语音信号处理中常用麦克风采集语音,然后用算法进行提取和分离,目前常用的有独立分量分析（Independent component Analysis,ICA）算法。但是当麦克风个数少于说话人的个数时,即欠定情形,此时语音信号的提取需采用过完备ICA算法。提出了一种基于过完备ICA算法的两步算法：估计混合矩阵的几何算法和估计源矩阵的最短路径法。该算法能在欠定情形下对语音信号的提取有很好的作用,仿真实验验证了这一结果。