基于特征选择和标签相关性的多标签分类算法

多标签分类在现实世界中有着广泛的应用,是当今机器学习领域的热点问题之一.多标签分类的代表性算法BR(Binary Relevance)虽有较多的改进工作,但大都仅针对标签相关性或特征选择中某一个方面进行改进,因此现有改进算法的性能仍存在提升空间.针对上述现状,论文提出一种基于特征选择和标签相关性的多标签分类算法,该算法先使用信息增益为每个标签选择与其相关的特征属性,而后采用新的控制结构的方式考虑标签相关性,最后使用新的特征集合为每个标签训练二分类器.在6个基准数据集上的实验结果表明,该算法在5种不同评价指标下的表现优于其它典型的BR改进算法.     

稀疏回归和流形学习的无监督特征选择算法

针对无标签高维数据的大量出现,对机器学习中无监督特征选择进行了研究。提出了一种结合自表示相似矩阵和流形学习的无监督特征选择算法。首先,通过数据的自表示性质,构建相似矩阵,结合低维流形能够表示高维数据结构这一流形学习思想,建立一种考虑流形学习的无监督特征选择优化模型。其次,为了保证选择更有用及更稀疏的特征,采用◢l◣▼2,1▽范数对优化模型进行约束,使特征之间相互竞争,消除冗余。进而,通过变量交替迭代对优化模型进行求解,并证明了算法的收敛性。最后,通过与其他几个无监督特征算法在四个数据集上的对比实验,表明所给算法的有效性。     

非负稀疏表示的多标签特征选择

在多标签学习中,数据降维是一项重要而又具有挑战性的任务。特征选择是一种高效的数据降维技术,它通过保持最大相关信息选取一个特征子集。通过对子空间学习的研究,提出了基于非负稀疏表示的多标签特征选择方法。该方法可以看成是矩阵分解问题,其融合了非负约束问题和L_(2,1)-范数最小优化问题。设计了一种高效的矩阵更新迭代算法求解新问题,并证明其收敛性。最后,对6个实际的数据集进行了测试,实验结果证明了算法的有效性。     

增强学习标签相关性的多标签特征选择方法

针对现有多标签特征选择方法存在的两个问题：第一,忽略了学习标签相关性过程中噪声信息的影响;第二,忽略探索每个簇的综合标签信息,提出一种增强学习标签相关性的多标签特征选择方法。首先,对样本进行聚类,并将每个簇中心视为一个综合样本语义信息的代表性实例,同时计算其对应的标签向量,而这些标签向量体现了每个簇包含不同标签的重要程度;其次,通过原始样本和每个簇中心的标签级自表示,既捕获了原始标签空间中的标签相关性,又探索了每一个簇内的标签相关性;最后,对自表示系数矩阵进行稀疏处理,以减少噪声的影响,并将原始样本和每个簇代表性实例分别从特征空间映射到重构标签空间进行特征选择。在9个多标签数据集上的实验结果表明,所提的算法与其他方法相比具有更好的性能。     

基于标签关系改进的多标签特征选择算法

多标签特征选择是应对数据维度灾难现象的主要方法之一,可以在降低特征维度的同时提高学习效率,优化分类性能。针对目前特征选择算法没有考虑标签间的相互关系,以及信息量的衡量范围存在偏差的问题,提出一种基于标签关系改进的多标签特征选择算法。首先引入对称不确定性对信息量进行归一化处理,然后用归一化的互信息量作为相关性的衡量方法,并据此定义标签的重要性权重,对依赖度和冗余度中的标签相关项进行加权处理;进而提出一种特征评分函数作为特征重要性的评价指标,并依次选择出评分最高的特征组成最佳特征子集。实验结果表明,与其他算法相比,该算法在提取出更加精确的低维特征子集后,不仅能够有效提高面向实体信息挖掘的多标签学习算法的性能,也能提高基于离散特征的多标签学习算法的效率。     

基于神经网络探究标签依赖关系的多标签分类

多标签学习广泛应用于文本分类、图像标注、视频语义注释、基因功能分析等问题.最近,多标签学习受到大量的关注,成为机器学习领域中的研究热点.然而,已有的算法并不能充分地探究标签之间的依赖关系和解决标签缺失问题,为此提出一种基于神经网络探究标签依赖关系的算法NN_AD_Omega,它能够有效地处理这2个挑战.NN_AD_Omega算法在神经网络顶层加入Ω矩阵刻画标签之间的依赖关系,标签之间的依赖关系可通过充分挖掘数据内在特点得到.当实例部分标签缺失时,学到的标签之间依赖关系能够有效提高预测效果.为了高效地求解模型,采用最小批梯度下降方法(Mini-batch-GD),其中学习率的自适应计算采用AdaGrad技术.在4个标准多标签数据集上的实验结果表明,提出的算法能够探究标签之间的依赖关系和处理标签缺失问题,且其性能优于当前基于神经网络的多标签学习算法.     

结合流形学习与逻辑回归的多标签特征选择

对于多标签特征选择算法,通常假设数据与标签间呈现某种关系,以该关系为基础并通过正则项的约束可解决多标签特征选择问题,但该关系也可能是两种或多种关系的结合。为准确描述数据与标签间的关系并去除不相关的特征和冗余特征,基于logistic回归模型与标签流形结构提出多标签特征选择算法FSML。使用logistic回归模型的损失函数学习回归系数矩阵,利用标签流形结构学习数据特征的权重矩阵,通过L_2,1-范数将系数矩阵和权重矩阵进行柔性结合,约束系数矩阵与权重矩阵的稀疏性并实现多标签特征选择。在经典多标签数据集上的实验结果表明,与CMLS、SCLS等特征选择算法相比,FSML算法在汉明损失、排名损失、1-错误率、覆盖率、平均精度等5个性能评价指标上表现良好,能更准确地描述数据与标签间的关系。     

基于流形学习的约束Laplacian分值多标签特征选择

多标签特征选择是针对多标签数据的特征选择技术,提高多标签分类器性能的重要手段。提出一种基于流形学习的约束Laplacian分值多标签特征选择方法（Manifold-based Constraint Laplacian Score,M-CLS）。方法分别在数据特征空间和类别标签空间定义两种Laplacian分值：在特征空间利用逻辑型类别标签的相似性对邻接矩阵进行改进,定义特征空间的约束Laplacian分值;在标签空间基于流形学习将逻辑型类别标签映射为数值型,定义实值标签空间的Laplacian分值。将两种分值的乘积作为最终的特征评价指标。实验结果表明,所提方法性能优于多种多标签特征选择方法。     

基于稀疏系数矩阵重构的多标记特征选择

处理复杂的多标记数据对于特征选择而言是一项挑战性任务.然而,现存的多标记特征选择方法存在三个问题未解决.首先,现有的多标记特征选择方法利用样例层流形正则化项保持样例的相似性结构或借助标签关联来指导特征选择,但两者对于特征选择的指导存在互补关系.其次,早期方法基于样例相似性所构造的近邻矩阵来探索标签关联,却忽略了成对标签本身的关联性.最后,早期方法整合多个未知变量,导致目标函数的求解变得困难.为解决上述问题,本文基于最小二乘回归模型构建经验损失函数,然后在目标函数中引入标签正则化项探索标签之间的关联,同时利用特征矩阵与重构稀疏系数矩阵的乘积表示预测标签并保留数据本身的局部几何结构.上述各项被整合在一个联合学习框架内.针对该学习框架,一套证明可收敛的优化方案被设计.在13个真实的多标记基准数据集上进行实验,实验结果验证了所提方法的有效性.     

基于中文多标签分类的特征选择研究

在中文多标签文本分类中,面临的一个主要问题就是如何降低文本巨大的特征维数,并且保持分类精度甚至提高分类精度。文本提出的特征选择方法相比于现有最常用的特征选择算法,更注重删除稀疏特征、保留更有区分度、有利于分类的特征。     

多标签学习中基于互信息的快速特征选择方法

针对传统的基于启发式搜索的多标记特征选择算法时间复杂度高的问题，提出一种简单快速的多标记特征选择（EF-MLFS）方法。首先使用互信息（MI）衡量每个维度的特征与每一维标记之间的相关性，然后将所得相关性相加并排序，最后按照总的相关性大小进行特征选择。将所提方法与六种现有的比较有代表性的多标记特征选择方法作对比，如最大依赖性最小冗余性（MDMR）算法和基于朴素贝叶斯的多标记特征选择（MLNB）方法等。实验结果表明，EF-MLFS方法进行特征选择并分类的结果在平均准确率、覆盖率、海明损失等常见的多标记分类评价指标上均达最优；该方法无需进行全局搜索，因此时间复杂度相较于MDMR、对偶多标记应用（PMU）等方法也有明显降低。     

多标签特征选择研究进展

特征选择一直是机器学习和数据挖掘中的一个重要问题。在多标签学习任务中,数据集中的每个样本都与多个标签相关联,标签与标签之间通常也是相关的。在多标签高维数据分析中,为降低特征维数和提高分类性能,研究者们提出了多标签特征选择方法。系统综述了多标签特征选择的研究进展。在介绍多标签分类以及评价准则之后,详细分析了多标签特征选择的三类方法,即过滤式算法、包裹式算法和嵌入式算法,对多标签特征选择未来的研究提出展望。     

基于分解策略的多标签在线特征选择算法

在线学习方法是用于大规模数据集的、高效且可扩展的机器学习算法。然而,在对多标签数据集进行特征选择时,传统的在线多标签学习方法需要访问数据集的所有特征,当数据集具有较高维度时,这种在线学习方式并不能适用于实际情景。针对多标签数据集的特征选择,在现有研究的基础上,使用二类分解策略,提出基于分解策略的多标签在线特征选择算法。该算法利用稀疏正则化和截取方法进行在线特征选择,降低计算复杂度。实验表明,算法的特征选择性能优于其他多标签在线特征选择算法。     

基于标签共现关系的多标签特征选择

多标签数据广泛存在于现实世界中,多标签特征选择是多标签学习中重要的预处理步骤.基于模糊粗糙集模型,研究人员已经提出了一些多标签特征选择算法,但是这些算法大多没有关注标签之间的共现特性.为了解决这一问题,基于样本标签间的共现关系评价样本在标签集下的相似关系,利用这种关系定义了特征与标签之间的模糊互信息,并结合最大相关与最小冗余原则设计了一种多标签特征选择算法LC-FS.在5个公开数据集上进行了实验,实验结果表明了所提算法的有效性.     

基于结构化多视图稀疏限定的 监督特征选择算法研究

为了有效利用多视图数据信息提升监督特征选择的性能,构建了一种结构化多视 图稀疏限定,并基于该稀疏限定提出了一种监督特征选择方法,即结构化多视图监督特征选择 方法(SMSFS)。该方法在特征选择过程中能够同时考虑不同视图特征的重要性以及同一视图中 不同特征的重要性,从而有效的结合多视图数据信息,提升监督特征选择的性能。SMSFS 目标 函数是非凸的,设计了一个有效的迭代算法对目标函数进行求解。将所提结构化多视图监督特 征选择方法 SMSFS 应用到了图像标注任务,在 NUS-WIDE 和 MSRA-MM2.0 图像数据库上进 行了实验,并与其他特征选择算法进行了比较,实验结果表明该算法能够有效结合多视图数据 信息,提升特征选择性能。     

基于标签特征和相关性的多标签分类算法

针对标签特有特征和标签相关性的有效利用，提出了一种新的多标签算法LSFLC，它可以有效地集成标签特有特征和标签相关性。首先，对于每个标签，通过重采样技术生成新的正类实例以扩充其正类实例的数目；其次，通过特征映射函数将原始特征空间转换为特定的特征空间，得到每个标签的标签特征集；然后，对于每个标签，找到与其最相关标签，通过复制该标签的正类实例来扩大标签特征集，这不仅丰富了标签的信息，而且在一定程度上改善了类不平衡的问题；最后，对于不同的数据集进行实验分析，实验结果表明该算法的分类效果更好。     

基于信息增益的多标签特征选择算法

多标签特征选择是一种提高多标签分类器性能的技术。针对目前这类技术在给出合理特征子集合时无法同时兼顾计算复杂度和标签间的相关性的问题,提出一种基于信息增益的多标签分类算法。该算法假设特征之间相互独立,首先使用单个特征与整个标签集合之间的信息增益来度量这两者的关联程度,再根据阈值删除不相关的特征以得到最优特征子集合。实验表明,该算法能有效地提高多标签分类器的分类性能。     

基于多标签ReliefF的特征选择算法

针对传统特征选择算法局限于单标签数据问题,提出一种多标签数据特征选择算法——多标签ReliefF算法。该算法依据多标签数据类别的共现性,假设样本各类标签的贡献值是相等的,结合三种贡献值计算方法,改进特征权值更新公式,最终获得有效的分类特征。分类实验结果表明,在特征维数相同的情况下,多标签ReliefF算法的分类正确率明显高于传统特征选择算法。