融合互信息与线性变换的非线性特征提取

由于线性变换无法较好保留数据的非线性结构而非线性变换往往需要进行大量的复杂运算,提出一种快速、高效的非线性特征提取方法。该方法通过研究互信息梯度在核空间中的线性不变性,采用互信息二次熵快速算法及梯度上升寻优策略,在有效降低计算量的同时能够提取有判别力的非线性高阶统计量。详细的数据投影和分类实验表明该方法在分类性能和算法时间复杂度上都优于传统算法。     

一种基于反向文本频率互信息的文本挖掘算法研究

针对传统的文本分类算法存在着各特征词对分类结果的影响相同,分类准确率较低,同时造成了算法时间复杂度的增加,在分析了文本分类系统的一般模型,以及在应用了互信息量的特征提取方法提取特征项的基础上,提出一种基于反向文本频率互信息熵文本分类算法。该算法首先采用基于向量空间模型(vector spacemodel,VSM)对文本样本向量进行特征提取;然后对文本信息提取关键词集,筛选文本中的关键词,采用互信息来表示并计算词汇与文档分类相关度;最后计算关键词在文档中的权重。实验结果表明了提出的改进算法与传统的分类算法相比,具有较高的运算速度和较强的非线性映射能力,在收敛速度和准确程度上也有更好的分类效果。     

基于核方法与流形学习的运动想象脑电信号特征提取算法

针对脑电信号的非线性特点及传统的特征提取方法存在忽略特征信号空间和邻域结构信息的问题,本文提出一种核-双向二维判别局部保留投影特征提取算法。首先采用滤波器组共空间模式算法获得频-空特征集,再使用核-双向二维判别局部保留投影算法进行特征提取,最后使用支持向量机进行分类。实验通过k折交叉验证评估算法的性能。在两个四分类运动想象竞赛数据集上分别获得了平均76.11%、74.54%和最高88.33%、87.14%的准确率。实验结果表明该方法打破了线性方法的局限性,有效地克服了传统提取方法空间信息描述不足的问题,更好地获取了非线性特征空间的补充信息,提供了更高精度的样本近似特征。     

基于核正交半监督鉴别分析的人脸识别算法

针对人脸识别中的非线性特征提取和有标记样本不足问题,提出了在核空间具有正交性半监督鉴别矢量的计算方法。算法利用核函数将人脸数据映射到高维非线性空间,在该空间采用边界Fisher判别分析（Marginal Fisher Analysis,MFA）算法将少量有类别标签样本进行降维,同时采用无监督鉴别投影（Unsupervised Discriminant Projection,UDP）对大量无标签样本进行学习,以半监督的方法构造算法的目标函数,在特征值求解时以正交方式找出最优投影向量,进行人脸识别。通过实验,在ORL和YALE人脸数据库上验证了该算法的有效性。     

核正交UDP及其在人脸识别中的应用

针对人脸识别中的特征提取问题,对原始的非监督判别映射(UDP)算法进行了改进,提出一种基于核正交UDP的人脸识别算法.利用核的方法提取人脸图像中的非线性信息,并将其投影在一个高维非线性空间;在加入基向量正交的约束后,通过能够保持人脸图像局部几何结构的UDP算法作一个线性映射,以求取算法的正交基向量.该算法中,采用核方法可以更好地提取人脸非线性结构特征,正交基向量则可以更好地保留非线性子流形空间与度量结构有关的信息,增强了算法的识别性能.最后,通过在ORL和PIE人脸库上的人脸识别实验验证了文中算法的有效性.     

一种改进的Fisher判别方法在人脸识别中的应用

对核Fisher鉴别分析进行了深入分析,发现了一种等价的但更为简单的非线性特征抽取方法.该方法利用一个映射将原始输入空间变换到一个更低维的空间RN中,然后在该空间上利用线性Fisher鉴别分析进行最优特征抽取.讨论了特征提取的一般模型,并提出了一种基于矩阵相似度的特征提取算法.通过ORL人脸数据库的数值实验,表明该算法比传统Fisher算法有更好的性能.     

核零空间线性鉴别分析及其在人脸识别中的应用

零空间线性鉴别分析NLDA充分利用样本总类内离散度矩阵的零空间信息,能有效克服线性鉴别分析LDA的小样本问题.核方法通过非线性映射,将输入空间样本映射到高维特征空间,再在高维特征空间利用线性特征提取算法.因此,核方法属于非线性特征提取算法.文中结合LDA、NLDA和核方法的优点,引入了核零空间线性鉴别分析KNLDA,导出了KNLDA算法.该算法通过引入核函数,得到低维矩阵,有效避免了直接计算复杂的非线性映射函数,解决了高维类内离散度矩阵的维数灾难问题.同时,将KNLDA算法应用于人脸识别.基于ORL人脸数据库以及ORL与Yale混合人脸数据库的实验结果表明了KNLDA算法的有效性.     

基于核估计的超定混合共轭盲信号分离方法

当混合信号的个数多于源信号时,盲源分离模型中的混合矩阵被描述为一个超定矩阵,因此不能直接通过估计逆矩阵的方法来得到分离矩阵。针对该线性超定混合情况提出了一种基于共轭梯度的盲源分离方法。该方法基于最小互信息准则,通过对行满秩分离矩阵的奇异值分解而引入了超定盲源分离的代价函数。利用共轭梯度优化算法推导出了迭代计算分离矩阵的更新公式。在每次迭代计算中,利用随机变量概率密度估计的核函数法在线估计分离信号的评价函数。避免了诸多传统盲分离算法中只能凭经验选取特定的非线性函数来代替评价函数的问题。仿真结果验证了所提算法的有效性。     

基于核的类别非局保留投影

提出一种线性特征提取方法--类别非局保留投影.并进行核扩张,称为基于核的类别非局保留投影.基于非局保留投影特征提取方法,类别非局保留投影采用类间信息指导特征提取,同时考虑样本的关系信息和类别信息,并通过核技巧实现原输入空间的非线性判别.通过对yeast和NCI基因表达数据进行特征提取,对文中方法进行测试和评价.实验结果表明,该方法能获得较高的识别率.     

基于灰度互信息和梯度相似性的医学图像配准及其加速处理

研究基于归一化互信息的医学图像刚性配准算法,提出改进配准速度和改善配准精度的相应措施．配准处理包含3项主要计算处理,即空间变换、互信息计算以及优化搜索．针对不同计算处理分别研究了相应加速策略,提高其计算速度,实现三维体数据的快速配准．并且,针对传统基于互信息测度配准方法未利用图像灰度空间分布信息,提出将灰度变化梯度相似性与互信息相结合的配准方法,从而进一步提高了配准算法的精度和鲁棒性．实验结果表明了算法的有效性．     

新的采用球面杂交的克隆选择算法*

针对传统克隆选择算法的不足,提出了一个基于球面杂交的新型克隆选择算法。在该算法的每次迭代过程中,动态地计算出每个抗体的变异概率,根据抗体的亲和度将抗体种群动态分为记忆单元和一般抗体单元,并以球面杂交方式对种群进行调整,从而加快了算法的全局搜索速度。实例验证了所提算法的有效性、可行性。     

Maximization of mutual information for supervised linear feature extraction.

In this paper, we present a novel scheme for linear feature extraction in classification. The method is based on the maximization of the mutual information (MI) between the features extracted and the classes. The sum of the MI corresponding to each of the features is taken as an heuristic that approximates the MI of the whole output vector. Then, a component-by-component gradient-ascent method is proposed for the maximization of the MI, similar to the gradient-based entropy optimization used in independent component analysis (ICA). The simulation results show that not only is the method competitive when compared to existing supervised feature extraction methods in all cases studied, but it also remarkably outperform them when the data are characterized by strongly nonlinear boundaries between classes.     

基于定量递归联合熵特征重构的缓冲区流量预测算法

对网络基站缓冲区的短时网络流量的准确预测是缓解和控制拥堵的关键.基站缓冲区的短时网络流量时间序列具有非线性混沌特征,其自相关特性较弱,而传统方法采用线性时间序列分析方法没能有效挖掘流量序列的非线性特征信息,流量序列预测性能不好.提出了一种基于非线性时间序列分析的定量递归联合熵特征重构网络基站缓冲区的短时网络流量预测算法,该算法提取流量序列的定量递归联合熵特征,并对特征序列进行相空间重构;把网络流量信号模型进行高维映射,在高维相空间对短时网络流量序列进行定量递归分析;采用自相关特征奇异分解对流量序列进行聚合后的线性叠加,采用平均互信息算法和虚假最近邻点算法计算最佳时延参数和最小嵌入维;进行插值拟合形成时频分析特征分流控制,实现对网络流量的预测.仿真结果表明,该算法预测精度较高,稳定性较好,预测偏差较传统方法低,具有较好的应用价值.     

一种考虑类别信息的音频特征提取方法

提出了一种利用训练数据的类别信息改善分类效果的音频特征提取方法．与传统的利用独立分量分析进行特征提取的方法相比，在计算训练向量空间的基函数组时，特征向量各分量之间的互信息不是直接在全体训练向量上计算的，而是分别在各个不同类的训练向量上计算，然后求其统计平均值．实验结果表明，用这种方法得到的基函数组，能够进一步减小同一类音频的特征向量各分量之间的互信息．从而提高分类的成功率．     

Human facial expression recognition using curvelet feature extraction and normalized mutual information feature selection

To recognize expressions accurately, facial expression systems require robust feature extraction and feature selection methods. In this paper, a normalized mutual information based feature selection technique is proposed for FER systems. The technique is derived from an existing method, that is, the max-relevance and min-redundancy (mRMR) method. We, however, propose to normalize the mutual information used in this method so that the domination of the relevance or of the redundancy can be eliminated. For feature extraction, curvelet transform is used. After the feature extraction and selection the feature space is reduced by employing linear discriminant analysis (LDA). Finally, hidden Markov model (HMM) is used to recognize the expressions. The proposed FER system (CNF-FER) is validated using four publicly available standard datasets. For each dataset, 10-fold cross validation scheme is utilized. CNF-FER outperformed the existing well-known statistical and state-of-the-art methods by achieving a weighted average recognition rate of 99 % across all the datasets.     

基于核对称散布矩阵空间的特征抽取方法

为解决传统Fisher鉴别分析方法中非线性小样本的特征抽取问题,从核线性子空间角度出发,构造一种矩阵变换,得到核空间中类内散布矩阵的另一个对称核子空间,通过对2个核子空间分别求解,从而得到样本的有效鉴别信息。在NUST603和ORL人脸数据库上的实验结果验证了该算法的有效性。     

Two-dimensional linear prediction model-based decorrelation method

A unified feature extraction scheme, the two-dimensional (2-D) linear prediction model-based decorrelation method, is presented. By applying 2-D causal linear prediction model to decorrelate a textured image, the very heavy computation load required when using a whitening operator to decorrelate the image, or the significant information loss when using the gradient operator to approximately whiten the image is avoided. The texture model-based decorrelation provides three sets of features to perform texture classification: the coefficients of the 2-D linear prediction, the moments of error residuals and the autocorrelation values. An optimum feature-selection scheme using modified branch-and-bound method was introduced to reduce information redundancy. After feature selection, 100% classification accuracy was achieved for a 20-class texture problem. Experiments show that this feature extraction scheme is truly information lossless, effective, and fast     

基于最小联合互信息亏损的最优特征选择算法

提出了一种基于最小联合互信息亏损的最优特征选择算法。该算法首先通过一种动态渐增策略搜索一个特征全集的无差异特征子集,并基于最小条件互信息原则在保证每一步中联合互信息量亏损都最小的情况下筛选其中的冗余特征,从而得到一个近似最优特征子集。针对现有基于条件互信息的条件独立性测试方法在高维特征域上所面临的效率瓶颈问题,给出了一种用于估计条件互信息的快速实现方法,并将其用于所提算法的实现。分类实验结果表明,所提算法优于经典的特征选择算法。此外,执行效率实验结果表明,所提条件互信息的快速实现方法在执行效率上有着显著的优势。