基于粗糙集与蚁群优化算法的特征选择方法研究*

已有的基于蚁群优化算法的特征选择方法是从随机点出发,寻找最优的特征组合。讨论和分析了粗糙集理论中的特征核思想,结合蚁群优化算法的全局寻优特点,以特征重要度作为启发式搜索信息,提出从特征核出发基于粗糙集理论与蚁群优化的特征选择算法,简化蚁群完全图搜索的规模。在标准UCI数据集上进行测试,实验验证了新算法对于特征选择的有效性。     

基于随机特征映射的四层多核学习方法

针对单核网络模型的核函数选择无理论依据以及基于随机特征映射的四层神经网络(FRMFNN)节点规模过大的问题,提出了一种基于随机特征映射的四层多核学习神经网络(MK-FRMFNN)算法.首先,把原始输入特征通过特定的随机映射算法转化为随机映射特征;然后,经过不同的随机核映射生成多个基本核矩阵;最后,将基本核矩阵组成合成核...     

融合分类信息的随机森林特征选择算法及应用

针对传统随机森林随特征数增加计算消耗高的问题,提出了一种随机森林多特征置换算法。该算法对数据特征进行聚类,保持其他特征簇不变,逐一对同簇特征同时随机置换,得到全部特征簇的重要性得分及簇间排序。簇内特征按与分类信息的相关程度排序,引入相关性阈值选出重要特征,对剩余特征按先簇间、再簇内的规则进行排序。为了进一步比较该方法的有效性,基于[K]均值聚类、层次聚类、模糊[C]均值聚类算法,设计了三种随机森林多特征置换的特征选择算法。实验结果表明,与传统随机森林方法相比,新算法可选择较少特征时仍取得较高分类精度,且时间效率更高。     

基于核空间类间平均距的径向基函数—支持向量机特征选择算法

SVM-RFE特征选择算法的算法复杂度高,特征选择消耗时间过长,为了缩短特征选择的时间,针对径向基函数—支持向量机分类器提出了依据核空间类间平均距进行特征选择的算法。首先分析了径向基函数核参数与数据集核空间类间平均距之间的关系,然后提出了依据单个特征对数据集的核空间类间平均距的贡献大小进行特征重要性排序的算法,最后用该算法和SVM-RFE算法分别对8个UCI数据集进行了特征选择实验。实验结果证明了该算法的正确性、有效性,而且特征选择的时间与SVM-RFE算法相比大大减小。     

基于地形信息的Landsat与Radarsat-2遥感数据协同分类研究

针对不同成像机理的光学与雷达遥感数据协同应用于地表信息提取瓶颈问题,提出了一种基于地形信息的光学与雷达数据协同分类方法。首先利用InSAR测量技术从Radarsat-2数据中提取DEM地形信息,然后构建基于地形信息的Landsat光学数据和Radarsat-2雷达数据的不同特征集输入模型,最后通过随机样本选取构建随机森林(Random Forest,RF)、支持向量机(Support Vector Machine,SVM)和决策树(Decision Tree,DT)分类算法模型提取地表信息。结果表明:①针对不同特征协同策略,在随机选取10%训练样本时,Radarsat-2干涉提取DEM与Landsat数据集提取精度优于ASTER GDEM与光学影像协同策略;②针对不同地表信息提取算法模型,通过50次随机选取训练样本构建模型评价分类精度,验证RF算法的鲁棒性和提取精度都要优于DT算法和SVM算法。研究充分利用光学和雷达遥感的优势信息,为光学和雷达遥感协同地表信息提取提供新的思路。     

基于成对约束的动态加权半监督模糊核聚类

针对样本间的不均衡性,提出一种基于成对约束的动态加权半监督模糊核聚类算法。在传统模糊聚类算法中加入半监督学习机制,通过Mercer核将原数据空间映射到特征空间,为特征空间中的每个向量分配一个动态权值,由此得到新的目标函数,并结合一种简单的核参数选择方法实现数据分类。理论分析和实验结果表明,与模糊核聚类算法及成对约束的竞争群算法相比,该算法具有更好的聚类效果。     

基于粗糙集的GMDH神经网络的时间序列预测

针对随机时间序列的强不确定性和非线性特征,结合粗糙集理论和成组数据处理的神经网络技术建立了基于粗集的GMDH神经网络预测模型.同时就自然界大多数的随机时间序列数据维数较大的问题,为提高约简效率,提出了基于快速求核和集合近似质量的约简算法,并进行了仿真验证.结果表明,基于粗集的GMDH神经网络预测模型合理可行,约简算法快速有效.     

一种改进的模糊核聚类算法

为解决经典模糊聚类算法对噪声数据敏感、样本分布不平衡和高维数据集聚类效果不理想的问题。针对此不足,可以通过Mercer核把原来的数据空间映射到特征空间,并为特征空间的每个向量分配一个动态权值,从而在经典模糊聚类算法的基础上得到特征空间内的全新的目标函数。在基于核函数的模糊聚类算法中,核参数的选择是至关重要的。因此,提出了一个简单有效地决定核参数的方法。理论分析和实验结果表明,相对于其它经典模糊聚类算法,新算法具有更好的健壮性和聚类效果。     

核协同表示下的多特征融合场景识别

针对复杂场景识别中单一特征提供信息不充分这一问题情况,提出一种多尺度远距离点差值统计变换特征。通过Gabor滤波获得图像的多尺度特征信息,在像素图和滤波图上分别提取改进的远距离点差值统计变换特征,从而生成多尺度描述子,最后将多尺度统计变换特征和视觉词袋模型特征通过核协同表示融合后进行场景分类。该方法充分考虑了尺度信息和远距离点信息,解决了单一特征区分度低的问题。算法在两个标准数据集上进行对比实验,结果表明所提算法取得了较好的识别效果。     

基于PSO-混合核函数的SOM网络流量分类研究

针对基于核函数的自组织特征映射SOM(Self-organizing feature Map)算法中核函数的单一性选取和核函数参数的不确定性,提出一种基于PSO-混合核函数的SOM算法。用两种核函数混合构造新的核函数,采用改进的粒子群算法PSO对核函数中的参数以及两种核函数的混合参数进行优化确定,并应用于网络流量数据。实验结果表明,基于PSO-混合核函数的SOM算法,相对于传统的SOM算法以及单一核函数SOM算法,分类的可靠性和稳定性有明显的提高。     

基于排序融合的特征选择

针对模式分类中的特征选择问题,分别依据ReliefF算法、类间可分性及特征相关性等多个评价准则对待约简特征进行评价与排序,基于排序融合方法实现对多个特征选择评价准则的综合利用.基于多个数据集的实验结果表明,该方法在有效降低特征维度的同时,具有比单准则特征选择方法更高的分类性能.     

Unsupervised feature selection based on decision graph

In applications of algorithms, feature selection has got much attention of researchers, due to its ability to overcome the curse of dimensionality, reduce computational costs, increase the performance of the subsequent classification algorithm and output the results with better interpretability. To remove the redundant and noisy features from original feature set, we define local density and discriminant distance for each feature vector, wherein local density is used for measuring the representative ability of each feature vector, and discriminant distance is used for measuring the redundancy and similarity between features. Based on the above two quantities, the decision graph score is proposed as the evaluation criterion of unsupervised feature selection. The method is intuitive and simple, and its performances are evaluated in the data classification experiments. From statistical tests on the averaged classification accuracies over 16 real-life dataset, it is observed that the proposed method obtains better or comparable ability of discriminant feature selection in 98% of the cases, compared with the state-of-the-art methods.

     

Feature clustering and ranking for selecting stable features from high dimensional remotely sensed data

ABSTRACT

High dimensional remote sensing data sets typically contain redundancy amongst the features. Traditional approaches to feature selection are prone to instability and selection of sub-optimal features in these circumstances. They can also be computationally expensive, especially when dealing with very large remote sensing data sets. This article presents an efficient, deterministic feature ranking method that is robust to redundancy. Affinity propagation is used to group correlated features into clusters. A relevance criterion is evaluated for each feature. Clusters are then ranked based on the median of the relevance values of their constituent features. The most relevant individual features can then be selected automatically from the best clusters. Other criteria, such as computation time or measurement cost, can optionally be considered interactively when making this selection. The proposed feature selection method is compared to competing filter approach methods on a number of remote sensing data sets containing feature redundancy. Mutual information and naive Bayes relevance criteria were evaluated in conjunction with the feature selection methods. Using the proposed method it was shown that the stability of selected features improved under different data samplings, while similar or better classification accuracies were achieved compared to competing methods.     

基于分类性能的掌纹特征有机融合

为了克服利用单一特征进行掌纹识别的局限性,提出一种基于分类性能的掌纹多特征有机融合方法。该特征融合方法通过三步来实现:特征选择、加权处理和降维处理。在分析单一特征分量聚类性能的基础上,通过构造判别准则并设定相应阈值对特征进行取舍;通过构造类内距离与类间距离之比这一函数计算得到每个特征分量的权值,然后进行加权处理;最后利用主分量分析法对特征进行降维处理。以改进的LBP算法和离散小波变换提取掌纹的两种特征,将提取的特征进行融合实验,结果表明了该方法的有效性。     

基于流形鉴别信息的特征选择及其结构化稀疏表示

针对启发式特征选择策略忽略了特征间相关信息导致子最优的问题, 提出一种基于流形鉴别信息的特征选择(MDFS) 算法. 该算法根据近邻信息和标签信息刻画高维数据类内和类间流形结构, 以最小化流形散度差为准则构建目标函数, 并增加结构化稀疏正则项降低特征间冗余. 通过统一框架下的特征权重迭代优化获得最优特征子集. 在ORL 库、COIL20 库、Isolet1 库上的聚类实验表明, MDFS算法选取的特征子集相比传统算法具有更高的识别准确率和归一化互信息, 验证了所提出算法的有效性.

     

基于随机矩阵理论的高维数据特征选择方法

传统特征选择方法多是通过相关度量来去除冗余特征,并没有考虑到高维相关矩阵中会存在大量的噪声,严重地影响特征选择结果。为解决此问题,提出基于随机矩阵理论（RMT）的特征选择方法。首先,将相关矩阵中符合随机矩阵预测的奇异值去除,从而得到去噪后的相关矩阵和选择特征的数量;然后,对去噪后的相关矩阵进行奇异值分解,通过分解矩阵获得特征与类的相关性;最后,根据特征与类的相关性和特征之间冗余性完成特征选择。此外,还提出一种特征选择优化方法,通过依次将每一个特征设为随机变量,比较其奇异值向量与原始奇异值向量的差异来进一步优化结果。分类实验结果表明所提方法能够有效提高分类准确率,减小训练数据规模。     

区间序信息系统的无监督特征选择*

目前已有很多针对单值信息系统的无监督特征选择方法,但针对区间值信息系统的无监督特征选择方法却很少.针对区间序信息系统,文中提出模糊优势关系,并基于此关系扩展模糊排序信息熵和模糊排序互信息,用于评价特征的重要性.再结合一种综合考虑信息量和冗余度的无监督最大信息最小冗余(UmIMR)准则,构造无监督特征选择方法.最后通过实验证明文中方法的有效性.