基于邻域粗糙集的大规模层次分类在线流特征选择

在分类学习任务中,数据的类标记空间存在层次化结构,特征空间伴随着未知性和演化性.因此,文中提出面向大规模层次分类学习的在线流特征选择框架.定义面向层次化结构数据的邻域粗糙模型,基于特征相关性进行重要特征动态选择.最后,基于特征冗余性进行鉴别冗余动态特征.实验验证文中算法的有效性.     

基于ReliefF和蚁群算法的特征基因选择方法

针对高维小样本的DNA微阵列数据多分类问题,提出一种基于ReliefF和蚁群算法的特征基因选择方法(ReliefF and Ant Colony Optimization, ReFACO)。该方法首先采用ReliefF算法评估特征权重,根据阈值筛选出无关基因;然后引入改进的蚁群算法,在迭代改进的过程中寻找最优基因子集;最后利用经典分类算法对维数约简后的数据分类识别。经实验证明,该方法可以有效地剔除无关和冗余基因,并利用较少特征基因达到较高多分类效果。     

基于冗余性分析的改进ReliefF特征选择算法

为了解决ReliefF算法随机抽样会抽取到不具代表性的样本且未考虑特征间相关性的问题,提出基于冗余性分析的ReliefF特征选择算法。首先改进ReliefF的抽样策略,其次将特征权重序列划分为几个子集,分别利用最大信息系数及Pearson系数共同衡量特征相关性,设置相应采样比例剔除冗余特征。将改进算法与其他特征选择算法进行对比,结果表明相较于传统ReliefF,在LightGBM(Light Gradient Boosting Machine,轻量级梯度提升机器学习)上的分类准确率可提升0.63%～12.10%,在SVM(Support Vector Machine,支持向量机)上的分类准确率可提升0.92%～9.06%,改进算法的分类准确率明显优于其他几种特征选择算法,在考虑特征与标签相关性的同时,能有效剔除冗余信息。     

基于多标签ReliefF的特征选择算法

针对传统特征选择算法局限于单标签数据问题,提出一种多标签数据特征选择算法——多标签ReliefF算法。该算法依据多标签数据类别的共现性,假设样本各类标签的贡献值是相等的,结合三种贡献值计算方法,改进特征权值更新公式,最终获得有效的分类特征。分类实验结果表明,在特征维数相同的情况下,多标签ReliefF算法的分类正确率明显高于传统特征选择算法。     

基于改进的ReliefF算法的神经网络集成分类模型

为进一步提高集成学习中各个神经网络的差异性,该文采用了一种改进的特征选择方法-基于概率抽样的ReliefF算法,并将其引入到集成所用的Bagging方法中。实验结果表明,该文提出的基于改进的ReliefF算法的神经网络集成分类模型的泛化能力优于Bagging方法。     

扩展ReliefF的两种多标签特征选择算法

针对Relief F算法局限于单标签数据问题,提出两种多标签特征选择算法Mult-Relief F和M-A算法。Mult-Relief F算法重新定义了类内最近邻和类外最近邻的查找方法,并加入标签的贡献值更新特征权重公式。MA算法在Mult-Relief F算法的基础下,利用邻域能去除冗余的特性,更多地去除冗余特征达到更好的降维效果。采用ML-KNN分类算法进行实验。在多个数据集上测试表明,Mult-Relief F算法能提高分类效果,M-A算法能获得最小的特征子集。     

基于抗噪声邻域粗糙集的在线流特征选择算法

在开放动态环境当中,特征是动态生成的,特征在不同时间戳内流入特征空间称为流特征.然而,在一些基于传统的邻域粗糙集流特征选择算法中,噪声点会对特征的依赖度计算造成影响.基于此,本文提出了基于抗噪声邻域粗糙集的在线流特征选择算法.首先,充分考虑噪声点的影响,定义一种抗噪声的邻域关系,并设计基于抗噪声邻域的依赖度计算公式.进一步,考虑到特征对不同类别所提供的信息不同,结合类别正域,提出了一种新的在线相关性分析方法和冗余分析方法.在8个数据集上的实验研究表明,所提算法得到的特征子集优于一些在线流特征选择算法.     

一种改进的多阶段ReliefF特征选择算法

ReliefF算法通过多次迭代采样样本与同类近邻样本和反类近邻样本,计算出差异系数作为样本属性权值的方式,挑选出权值高的特征,从而完成特征选择任务。但是ReliefF算法从算法本身角度无法去除冗余特征,权值大于分类阈值的特征将会被保留下来。笔者提出一种分阶段的特征提取方法,从横向和纵向两个维度对特征进行选择。仿真结果表明,与ReliefF算法相比,在不影响分类准确率的前提下,去除冗余特征,进一步提高了特征选择的有效性。     

基于自适应密度邻域关系的多标签在线流特征选择

流特征选择指从以流形式到来的特征数据中选出最优特征子集,现有方法大多在模型训练中需要事先学习领域信息并预设给定参数值。实际应用中,由于不同的数据集数据结构和来源不同,在模型学习过程中研究人员无法提前获取相关领域知识且针对不同类型数据集指定一个统一参数存在巨大挑战。基于此,提出一种基于自适应密度邻域关系的多标签在线流特征选择方法(multi-label online stream feature selection based on adaptive density neighborhood relation, ML-OFS-ADNR),基于邻域粗糙集理论,所提方法在特征依赖计算时无需任何先验领域信息。此外,提出了一种新的自适应密度邻域关系,使用周围实例的密度信息,可以在流特征选择过程中自动选择适当数量的邻域,不需要事先指定任何参数。通过模糊等价约束,ML-OFS-ADNR可以选择高依赖低冗余度的特征。实验表明在10种不同类型的数据集上,所提方法在特征数量相同的情况下优于传统特征选择方法和先进的在线流特征选择方法。     

A survey on online feature selection with streaming features

In the era of big data, the dimensionality of data is increasing dramatically in many domains. To deal with high dimensionality, online feature selection becomes critical in big data mining. Recently, online selection of dynamic features has received much attention. In situations where features arrive sequentially over time, we need to perform online feature selection upon feature arrivals. Meanwhile, considering grouped features, it is necessary to deal with features arriving by groups. To handle these challenges, some state-of-the-art methods for online feature selection have been proposed. In this paper, we first give a brief review of traditional feature selection approaches. Then we discuss specific problems of online feature selection with feature streams in detail. A comprehensive review of existing online feature selection methods is presented by comparing with each other. Finally, we discuss several open issues in online feature selection.     

基于特征聚类集成技术的在线特征选择

针对既有历史数据又有流特征的全新应用场景,提出了一种基于组特征选择和流特征的在线特征选择算法。在对历史数据的组特征选择阶段,为了弥补单一聚类算法的不足,引入聚类集成的思想。先利用k-means方法通过多次聚类得到一个聚类集体,在集成阶段再利用层次聚类算法对聚类集体进行集成得到最终的结果。在对流特征数据的在线特征选择阶段,对组构造产生的特征组通过探讨特征间的相关性来更新特征组,最终通过组变换获得特征子集。实验结果表明,所提算法能有效应对全新场景下的在线特征选择问题,并且有很好的分类性能。     

基于最大信息系数的ReliefF和支持向量机交互的自动特征选择算法

为解决特征选择ReliefF算法在利用欧氏距离选取近邻样本过程中,算法稳定性差以及选取的特征子集分类准确率低的问题,提出了一种利用最大信息系数（MIC）作为近邻样本选择标准的MICReliefF算法;同时,以支持向量机（SVM）模型的分类准确率作为评价指标,并多次寻优,以自动确定其最优特征子集,从而实现MICReliefF算法与分类模型的交互优化,即MICReliefF-SVM自动特征选择算法。在多个UCI公开数据集上对MICReliefF-SVM算法的性能进行了验证。实验结果表明,MICReliefF-SVM自动特征选择算法不仅可以筛除更多的冗余特征,而且可以选择出具有良好稳定性和泛化能力的特征子集。与随机森林（RF）、最大相关最小冗余（mRMR）、相关性特征选择（CFS）等经典的特征选择算法相比,MICReliefF-SVM算法具有更高的分类准确率。     

Text feature selection for sentiment classification of Chinese online reviews

In order to meet the requirement of customised services for online communities, sentiment classification of online reviews has been applied to study the unstructured reviews so as to identify users’ opinions on certain products. The purpose of this article is to select features for sentiment classification of Chinese online reviews with techniques well performed in traditional text classification. First, adjectives, adverbs and verbs are identified as the potential text features containing sentiment information. Then, four statistical feature selection methods, such as document frequency (DF), information gain (IG), chi-squared statistic (CHI) and mutual information (MI), are adopted to select features. After that, the Boolean weighting method is applied to set feature weights and construct a vector space model. Finally, a support vector machine (SVM) classifier is employed to predict the sentiment polarity of online reviews. Comparative experiments are conducted based on hotel online reviews in Chinese. The results indicate that the highest accuracy of the sentiment classification of Chinese online reviews is achieved by taking adjectives, adverbs and verbs together as the feature. Besides that, different feature selection methods make distinct performances on sentiment classification, as DF performs the best, CHI follows and IG ranks the last, whereas MI is not suitable for sentiment classification of Chinese online reviews. This conclusion will be helpful to improve the accuracy of sentiment classification and be useful for further research.     

基于拉普拉斯评分的多标记特征选择算法

针对传统的拉普拉斯评分特征选择算法只适应单标记学习,无法直接应用于多标记学习的问题,提出一种应用于多标记任务的拉普拉斯评分特征选择算法。首先,考虑样本在整体标记空间中共同关联和共同不关联的相关性,重新构建样本相似度矩阵;然后,将特征之间的相关性及冗余性判定引入拉普拉斯评分算法中,采用前向贪心搜索策略依次评价候选特征与已选特征的联合作用能力,用于评价特征的重要性;最后,在5个不同评价指标和6个多标记数据集上实验。实验结果表明：相比基于最大依赖的多标记维数约简方法（MDDM）、基于贝叶斯分类器的多标记特征选择算法（MLNB）及基于多元互信息的多标记分类特征选择算法（PMU）,所提算法不仅分类性能最优,且存在显著性优异达65%。     

面向宏观地表分类的特征选择算法比较研究

为了成功将土地覆盖进行分类,选择合适的特征是至关重要的。针对利用MODIS数据进行宏观土地覆盖的分类问题,对三种典型的特征选择方法进行了比较研究。研究结果表明：分支定界法（BB）最适合于该土地覆盖分类问题,与此同时,ReliefF和mRMR方法在目标应用中的精度非常接近。研究结果同样表明进行特征选择是非常必要的,它不仅能够大大地降低计算复杂度,而且分类精度能够保持不变,甚至更高。     

基于Q-relief的图像特征选择算法

针对特征选择算法——relief在训练个别属性权值时的盲目性缺点,提出了一种基于自适应划分实例集的新算法——Q-relief,该算法改正了原算法属性选择时的盲目性缺点,选择出表达图像信息最优的特征子集来进行模式识别。将该算法应用于列车运行故障动态图像监测系统（TFDS）的故障识别,经实验验证,与其他算法相比,Q-relief算法明显提高了故障图像识别的准确率。     

基于互信息最大化的特征选择算法及应用

该文以互信息最大化原则为指导,经过推导和分析后提出了一种基于信息论模型的新的特征选择算法,称之为基于互信息最大化的特征选择算法（MaxMI）。基本思想就是特征选择后,应当尽可能多地保留关于类别的信息。该算法与传统的信息增益、互信息和交叉熵在表达形式上具有一定的相似性,但是并不完全相同。从实验上验证了基于互信息最大化的特征选择算法优于其它三种算法。     

基于改进ReliefF算法的主成分特征提取方法

计算信息特征(属性)的权重问题在信息分类及模式匹配中是一个研究热点。该文提出一种基于改进ReliefF算法的主成分特征提取方法,利用此算法删除原始特征中与分类不相关的特征,并对数据进行归一化处理和主成分提取。实验将34个特征变量降维成10个主成分,大大减轻后续的分类器工作量,提高分类器的分类精度。