基于概率密度距离的监督特征选择

为了降低特征维数,提高分类效率,提出了一种新的基于概率密度距离的有监督的特征排序方法.首先依次对所有样本的某一维特征进行加权变换,然后对变换后的各类别样本进行概率密度估计,计算由该特征加权变换后所引起的各类别样本的类间概率密度距离,距离越大,则该特征对于区分各类别样本的作用越大,以此来对特征进行排序.实验结果表明,该方法是有效的,而且表现出了比经典的Relief-F特征排序方法更好的性能.     

基于概率密度逼近的无监督特征排序

依据概率密度逼近提出了一种新的无监督特征排序,应用于特征选择降维.实验证明,这种方法与一些现有的方法相比,更为有效.     

基于局部特征概率密度估计的三维模型特征提取方法

特征提取是三维模型检索中的关键.给出了基于局部特征概率密度估计的三维模型特征提取体系框架.针对三维表面局部几何特征集,利用核密度估计方法估计选定目标点的特定局部特征密度构成特征向量,用以描述三维模型.抽取三维网格模型的单元特征及多个单元特征组合而成的多元特征支持实现三维模型检索.实验验证了其检索性能优于基于统计的直方图特征提取方法.     

基于中心距离比值准则的无监督特征选择算法

特征选择是模式识别中的一个重要组成部分。针对未知类标号的样本集,提出基于中心距离比值准则的无监督特征选择算法。该算法利用爬山法确定聚类数目范围和估计初始聚类中心,再通过K-均值聚类算法确定特征子集的最佳分类数,然后用中心距离比值准则来评价特征子集的分类性能,并通过特征间的相关性分析,从中选择出分类效果好,相关程度低的特征组成特征子集。     

数据降维中特征选择方法研究

特征选择是常用的数据降维方法之一。特征选择可以有效地降维,消除不相关的数据,提高学习精度,提高结果的可理解性。数据的维数增加给许多特征选择算法带来了严重的挑战,有效地降低数据的维度,并去除冗余特征是当今研究的热点和难点。选取了4种经典的特征选择算法对3类不同数据进行处理,并分析了这几种算法的优缺点。     

基于EK-medoids聚类和邻域距离的特征选择方法

针对传统聚类算法中只注重数据间的距离关系,而忽视数据全局性分布结构的问题,提出一种基于EK-medoids聚类和邻域距离的特征选择方法。首先,用稀疏重构的方法计算数据样本之间的有效距离,构建基于有效距离的相似性矩阵;然后,将相似性矩阵应用到K-medoids聚类算法中,获取新的聚类中心,进而提出EK-medoids聚类算法,可有效对原始数据集进行聚类;最后,根据划分结果所构成簇的邻域距离给出确定数据集中的属性重要度定义,应用启发式搜索方法设计一种EK-medoids聚类和邻域距离的特征选择算法,降低了聚类算法的时间复杂度。实验结果表明,该算法不仅有效地提高了聚类结果的精度,而且也可选择出分类精度较高的特征子集。     

基于最小分类错误率和Parzen窗的降维方法

提出了一种基于最小分类错误率和Parzen窗的降维方法,利用Parzen窗估计数据的概率密度分布;通过计算各特征维度下的分类错误率,判断该特征维度对目标分类的贡献度;依据贡献度大小进行特征维度选择从而达到降维的目的。     

基于特征正则稀疏关联的无监督特征选择方法

针对高维无标签数据中的特征冗余问题,提出一种基于特征正则稀疏关联的无监督特征选择方法 （FRSA）。建立特征选择模型:利用Frobenius范数建立损失函数项表示特征之间的关联关系,对特征权重矩阵施加L₁稀疏正则化约束。设计一种分治-收缩阈值迭代算法对目标函数进行优化。根据特征权重评估每个特征的重要性,选择出具有代表性的特征。在6个不同类型的标准数据集上与目前常用的无监督特征选择方法进行对比实验,实验结果表明,所提方法的性能优于其它无监督特征选择方法。     

新的基于Laplacian的特征选择方法

在各种特征选择方法中,Lasso的方法取得了广泛的研究和应用。然而,利用Lasso进行特征选择的一个主要缺点是只考虑了样本和类标签之间的相关性,却忽略了样本自身的内在关联信息,而这些信息有助于诱导出更具有判别力的特征。为了解决这个问题,提出了一种新的基于Laplacian的特征选择方法,称之为Lap-Lasso。提出的Lap-Lasso方法首先包含一个稀疏正则化项,用于保证只有少数量特征能被选择。另外,引入了一个新的基于Laplacian的正则化项,用于保留同类样本之间的几何分布信息,从而帮助诱导出更具判别力的特征。在UCI数据集的实验结果验证了Lap-Lasso方法的有效性。     

基于F范数群组效应和谱聚类的无监督特征选择

基于谱聚类的无监督特征选择主要涉及相关系数矩阵和聚类指示矩阵, 在以往的研究中, 学者们主要关注于相关系数矩阵, 并为此设计了一系列约束和改进, 但仅关注相关系数矩阵并不能充分学习到数据内在结构. 考虑群组效应, 本文向聚类指示矩阵施加$F$范数, 并结合谱聚类以使相关系数矩阵学习更为准确的聚类指示信息, 通过交替迭代法求解两个矩阵. 不同类型的真实数据集实验表明文中方法的有效性, 此外, 实验表明$F$范数还可以使方法更加鲁棒.     

基于谱分析的无监督特征选择算法

为提高无监督状态下特征选择的准确度,基于图谱理论证明了标准化Laplacian矩阵前K个最小特征值分布表现了簇结构的可识别性,使用谱分析方法指导无监督特征选择,提出了特征重要度排序算法。对大容量数据集特征选择,应用Nystrm方法降低时间复杂度。实验结果表明,使用该算法与使用主流无监督特征选择方法及全部特征相比能得到更高的聚类性能评分。     

一种面向标签排序数据集的特征选择方法

针对标签排序问题的特点,提出一种面向标签排序数据集的特征选择算法（Label Ranking Based Feature Selection, LRFS）。该算法首先基于邻域粗糙集定义了新的邻域信息测度,能直接度量连续型、离散型以及排序型特征间的相关性、冗余性和关联性。然后,在此基础上提出基于邻域关联权重因子的标签排序特征选择算法。实验结果表明,LRFS算法能够在不降低排序准确率的前提下,有效剔除标签排序数据集中的无关特征或冗余特征。     

面向排序学习的层次聚类特征选择算法

大型搜索系统对用户查询的快速响应尤为必要,同时在计算候选文档的特征相关性时,必须遵守严格的后端延迟约束。通过特征选择,提高了机器学习的效率。针对排序学习中快速特征选择的起点多为单一排序效果最好的特征的特点,首先提出了一种用层次聚类法生成特征选择起点的算法,并将该算法应用于已有的2种快速特征选择中。除此之外,还提出了一种充分利用聚类特征的新方法来处理特征选择。在2个标准数据集上的实验表明,该算法既可以在不影响精度的情况下获得较小的特征子集,也可以在中等子集上获得最佳的排序精度。     

Listwise approaches based on feature ranking discovery

Listwise approaches are an important class of learning to rank, which utilizes automatic learning techniques to discover useful information. Most previous research on listwise approaches has focused on optimizing ranking models using weights and has used imprecisely labeled training data; optimizing ranking models using features was largely ignored thus the continuous performance improvement of these approaches was hindered. To address the limitations of previous listwise work, we propose a quasi-KNN model to discover the ranking of features and employ rank addition rule to calculate the weight of combination. On the basis of this, we propose three listwise algorithms, FeatureRank, BLFeatureRank, and DiffRank. The experimental results show that our proposed algorithms can be applied to a strict ordered ranking training set and gain better performance than state-of-the-art listwise algorithms.     

基于局部重构的无监督特征选择方法

利用局部线性嵌入(LLE)算法中获得局部邻域之间的重构关系与使用最小角回归方法解决L1归一化问题都使用回归方法,针对在通过映射获得低维嵌入空间与通过特征选择获得低维空间上有着一致的思想,提出一种能保持局部重构关系的无监督谱特征选择方法.该方法利用最小二乘法计算样本的邻域重构系数,并用这些系数表示样本之间的关系,通过解决稀疏特征值问题获得能够保持样本间关系的低维嵌入空间,最后通过解决L1归一化问题实现自动特征选择.通过在四个不同数据集上的聚类实验结果证明,该方法能更准确地评价每个特征的重要性,能自动适应不同的数据集,受参数影响更小,可以明显提升聚类效果.     

Using zero-norm constraint for sparse probability density function estimation

A new sparse kernel probability density function (pdf) estimator based on zero-norm constraint is constructed using the classical Parzen window (PW) estimate as the target function. The so-called zero-norm of the parameters is used in order to achieve enhanced model sparsity, and it is suggested to minimize an approximate function of the zero-norm. It is shown that under certain condition, the kernel weights of the proposed pdf estimator based on the zero-norm approximation can be updated using the multiplicative nonnegative quadratic programming algorithm. Numerical examples are employed to demonstrate the efficacy of the proposed approach.     

Feature ranking and best feature subset using mutual information

A new algorithm for ranking the input features and obtaining the best feature subset is developed and illustrated in this paper. The asymptotic formula for mutual information and the expectation maximisation (EM) algorithm are used to developing the feature selection algorithm in this paper. We not only consider the dependence between the features and the class, but also measure the dependence among the features. Even for noisy data, this algorithm still works well. An empirical study is carried out in order to compare the proposed algorithm with the current existing algorithms. The proposed algorithm is illustrated by application to a variety of problems.