改进的无监督同时正交基聚类特征选择

提出了一种改进的同时正交基聚类特征选择(Improved Unsupervised Simultaneous Orthogonal Basis Clustering Feature Selection,ISOCFS)方法。为有效地对无标签数据进行特征选择,利用目标矩阵来设计正则化的回归模型。目标矩阵通过正交基聚类,获取投影数据点的潜在聚类中心,引导投影矩阵选择判别性的特征。与先前的无监督特征选择方法不同,ISOCFS并不使用数据点预先计算局部结构信息描述目标函数,而是利用目标矩阵进行正交基聚类直接计算潜在的聚类信息。其次,为了减少噪声信息对估计目标矩阵和投影矩阵的干扰,在先前方法基础上,该方法增加了噪声项。另外,该方法利用简单的优化算法即可求解。最后,通过四个常见的微阵列基因表达数据集及五种最近的无监督特征选择方法进行对比实验,证明了ISOCFS方法可以获得更好的聚类效果。     

联合图嵌入与特征加权的无监督特征选择

在特征选择领域,现有的大多数方法不能同时捕获不同特征有差异的权重,?不能对投影子空间施加正交约束来提高特征的判别力.为此,?本文提出联合图嵌入与特征加权的无监督特征选择方法(Joint?Graph?Embedding?and?Feature Weighting,?JGEFW).首先,?通过图嵌入局部结构学习获得相似度矩...     

一种基于Laplacian的半监督特征选择模型

针对LASSO算法及有关扩展模型忽略样本数据间关联信息的问题,以及有标签样本难以获取的实际情况,提出了一种半监督学习的特征选择模型。引入LASSO稀疏项,去除冗余特征,选择有效特征;引入Laplacian正则项,用于保留同类有标签和无标签样本内在的几何分布信息,帮助模型选出更具有判别能力的特征集;通过相似矩阵来重构半监督特征选择模型。在UCI数据集上的分类试验结果表明,这种方法能有效提高分类性能,同时也说明样本的几何分布信息是不应被忽略的。     

基于特征聚类和等距映射的无监督特征选择算法

为了提高无标签场景下特征选择的准确率和稳定性,提出一种基于特征聚类和等距映射的无监督特征选择算法。特征聚类将相似性较高的特征聚成一类,然后结合等距映射和稀疏系数矩阵定义新的特征得分计量函数。该函数对各特征簇中的特征进行打分,选择出每个类簇中得分最高的代表特征,构成特征子集。在14个广泛应用的数据集上的实验结果表明：本文所提算法能够选择出具有强分类能力的特征,且算法具有很强的泛化性。     

基于SVM的网络数据无监督特征选择算法

面向线性不可分的未知格式网络数据,提出了一种基于支持向量机的无监督特征选择算法。该算法通过非线性映射函数将不可分的网络数据映射到高维空间中,然后在高维空间中进行无监督的特征选择。该算法在特征选择之前不需要人工构造候选特征集合,直接从原始网络数据中自动地选择关键特征。利用人工数据集和网络数据集进行的实验结果表明:本文算法在特征选择可行性和有效性方面都有良好的表现。     

联合低秩表示与图嵌入的无监督特征选择

大数据应用带来高维数据急剧增加,数据降维已成为重要问题.特征选择降维方法已广泛应用于模式识别领域,近年来提出了许多基于流形学习的特征选择方法,然而这类方法往往容易受到各种噪声影响.对此,本文提出一种联合低秩表示和图嵌入的高效无监督特征选择方法（JLRRGE）.通过低秩表示寻找数据在低秩子空间下的表示,降低噪声的影响从而提高算法的鲁棒性,并通过自适应图嵌入方法,使选择特征保持原有的局部关系.实验结果表明,本文提出算法的分类准确率优于其他对比算法.     

基于CSA无监督模糊聚类算法的异常检测方法

为解决模糊k 均值算法对初始化敏感及易陷入局部极值的不足,提出了基于克隆选择算法(CSA)的无监督模糊聚类异常入侵检测方法. 应用结合了具有进化搜索、全局搜索、随 机搜索和局部搜索特点的克隆算子快速得到了全局最优聚类,并应用模糊检测算法检测网络中的异常行为模式. 该方法的优点是不需要人工对训练集分类,并且可以检测出未知的攻击. 仿真试验表明,该方法不但能检测出未知的攻击,而且具有较低的误报率和较高的检测率.     

一种基于多层感知机的无监督异常检测方法

为了解决入侵检测系统应用过程中需要大量有导师数据进行训练的问题,提出了一种采用多层感知机进行无监督异常检测的方法,网络能够实现编码和还原的功能,从而在最小均方误差原则下学习样本的主要特征,给出了具体的学习算法.依据这些算法构建的系统经过仿真实验取得了较好的结果,验证了基于多层感知机的无监督异常检测方法能够在无需大量有导师信号的情况下检测出入侵,有利于入侵检测系统的推广和应用.     

基于内积正则化的自表示无监督特征选择算法

为了更好地挖掘样本之间的相关性以及更精确地进行特征选择,结合内积正则项与自表示的l2,1范数对无监督特征选择模型进行重构,其中内积正则项可看作l1范数与l2范数的线性组合.使用内积正则项可以同时实现数值结果的稀疏性和低冗余性.传统的特征选择模型假设特征之间是独立的,而自表示模型假设特征之间是线性相关的,从而能够更好地挖...     

基于Catboost的特征选择算法

应用Catboost构建树模型的分割指标作为特征选择度量标准,在原始前向搜索策略的基础上,结合两种度量标准计算综合加权值进行特征搜索.在UCI数据库中选择7个不同维度的标准数据集进行了测试,并与其他6种算法进行了对比分析.     

基于特征筛选和集成学习的轴承故障诊断

为了提高不同工况下的轴承故障诊断准确率,提出了一种基于特征筛选和集成学习的轴承故障诊断方法。考虑到特征向量复杂冗余的问题,结合特征有效性和最大均值差异提出了新的特征评分函数,并在此基础上进一步考虑特征关联度和特征维度,筛选出有利于变工况故障诊断的特征子集。针对单一机器学习模型故障诊断准确率不高的问题,将AdaBoost和Stacking算法相结合构造集成学习故障诊断模型。实验结果表明:筛选出的特征子集在相同分类器下拥有更高的故障诊断准确率;集成学习模型相较于单一模型有更高的故障诊断准确率和鲁棒性。     

Unsupervised Feature Selection Using Structured Self-Representation

基于结构化自表达的无监督特征选择方法

刘彦北1, 刘开华1 ,王啸² ,张长青³ ,唐先超³

（1．天津大学 电子与信息工程学院,天津 300072;

2. 清华大学 计算机科学与技术系, 北京 100084;

3. 天津大学 计算机科学与技术学院,天津 300072）

创新点说明：

1） 将数据特征的局部结构信息引入到特征自表达模型中,使得选取的特征更具有代表性;

2） 提出一种简单而有效的算法以优化所提目标函数。

摘 要：

在机器学习中,面对大量的高维的无标记数据,无监督特征选择已经成为一个重要且具有挑战性的问题。同时考虑数据特征的自表达属性和局部结构信息,提出一种新颖的结构化自表达的无监督特征选择方法。具体地讲,采用数据特征的固有自表达属性,可以选择代表性的特征。同时,为了提高选取的准确性,探索了局部结构信息约束,使得特征相近则特征之间的表达系数也相近。此外,提出一个有效的算法以优化所提目标函数。最后,一个合成数据集和六个实际数据集（包括生物医学数据,数字字母识别数据和图像数据）上的实验结果表明,相比于目前的主流算法,本文所提算法具有优越性。

关键词：无监督特征选择;局部结构;自表达属性;高维数据

     

基于主成份分析的异常检测方法研究

针对现有的无监督异常检测技术的不足之处，提出了一种基于样本分布异常数据实例度量方法。针对数据对象是高维数据的问题，将主成份分析方法应用到异常检测中解决数据集的降维问题。在此基础上，提出了一种新的无监督异常检测算法μ-UAD，并对该算法进行了性能评估。     

基于差分响应图的无监督特征点检测网络

为了突破基于人工设计的特征点检测器的性能限制,提出了一种新的数据驱动的基于差分特征响应图的无监督特征点检测网络。该网络使用不同尺度的卷积核计算差分输出,利用差分响应图的绝对值大小筛选出大量特征点,并评判这些特征点重要性程度。同时采用旋转、光照、模糊等多种图像变换训练检测器,获得相应特征不变性,使得该网络更适用于小规模数据集训练。通过在3个常用数据集上进行实验,并与现有经典算法进行定性与定量的对比分析,结果表明,基于差分响应图的无监督特征点检测网络能较好地完成特征点检测任务,所需训练时间更短、边缘定位更准确、数据集规模依赖性更低,优化特征点检测性能。     

基于无监督学习的P2P流量识别

该文以应用层流量分类为重点,分析了流量分类中的一些关键问题;为了适应现代网络管理,实现对应用层流量的实时监控,针对现有方法存在的问题,提出了一种分层次的应用层流量识别方法.为了具有对新应用的发现能力,结合基于深层包检测和基于数据流特征的方法,并同时使用基于无监督学习技术,发现P2P等新的网络应用.通过对校园网流量的跟踪...     

面向不平衡问题的集成特征选择

传统的特征选择方法基本上是以精度为优化目标,没有充分考虑数据样本类别分布倾斜性,在数据分布不平衡的数据集上性能表现不理想。在不平衡数据集上通过有放回的抽样方法独立地从数据集大类样本集中随机抽取多个样本子集,使每次随机抽取的样本数量与小类样本数量一致,然后将各抽取的样本子集分别与小类样本集组合成多个新的训练样本集。对多个新样本集的特征子集以集成学习的方式采用投票机制进行投票,数据集的最终特征子集以得票数目超过半数的特征共同组合而成。在UCI不平衡数据集上的实验结果显示,提出的方法表现出了较好的性能,是一种能够处理不平衡问题的有效特征选择方法。