Compositional metric learning for multi-label classification

Multi-label classification aims to assign a set of proper labels for each instance, where distance metric learning can help improve the generalization ability of instance-based multi-label classification models. Existing multi-label metric learning techniques work by utilizing pairwise constraints to enforce that examples with similar label assignments should have close distance in the embedded feature space. In this paper, a novel distance metric learning approach for multi-label classification is proposed by modeling structural interactions between instance space and label space. On one hand, compositional distance metric is employed which adopts the representation of a weighted sum of rank-1 PSD matrices based on component bases. On the other hand, compositional weights are optimized by exploiting triplet similarity constraints derived from both instance and label spaces. Due to the compositional nature of employed distance metric, the resulting problem admits quadratic programming formulation with linear optimization complexity w.r.t. the number of training examples.We also derive the generalization bound for the proposed approach based on algorithmic robustness analysis of the compositional metric. Extensive experiments on sixteen benchmark data sets clearly validate the usefulness of compositional metric in yielding effective distance metric for multi-label classification.     

Novel Apriori-Based Multi-Label Learning Algorithm by Exploiting Coupled Label Relationship

It is a key challenge to exploit the label coupling relationship in multi-label classification (MLC) problems. Most previous work focused on label pairwise relations, in which generally only global statistical information is used to analyze the coupled label relationship. In this work, firstly Bayesian and hypothesis testing methods are applied to predict the label set size of testing samples within their k nearest neighbor samples, which combines global and local statistical information, and then apriori algorithm is used to mine the label coupling relationship among multiple labels rather than pairwise labels, which can exploit the label coupling relations more accurately and comprehensively. The experimental results on text, biology and audio datasets shown that, compared with the state-of-the-art algorithm, the proposed algorithm can obtain better performance on 5 common criteria.     

基于多值分解和多类标学习的分类框架设计

多值多类标的数据分类是研究一个样本不但同时属于多个类别,而且在某些属性下也可能存在多个取值的问题。提出了一种结合多值分解和多类标学习的多值多类标分类框架（MDML）,采用4种不同的多值分解策略,将问题转化为多类标问题,然后利用3种经典的多类标算法进行学习。实验结果表明,MDML与已有的多值多类标决策树算法相比,有效地提高了分类的性能,而且不同的组合方法适用于不同特点的数据集。     

基于多示例多标记的抽油机故障诊断

针对抽油机工况数据可从位移、载荷、电流等多个方面进行描述,若仅仅使用一个特征向量来描述抽油机工况数据会使其信息过于简化,丢失一部分有效信息的问题,以及工况数据具有多义性的特征,提出基于多示例多标记的抽油机故障诊断.该学习方法中,用抽油机的位移、载荷、电流数据作为抽油机工况样本包的多个示例,使用k-medoids聚类算法对样本包进行聚类,将多个样本包转换为若干示例,新示例的每一维表示样本包到样本各聚类中心的距离,再利用MLSVM算法对转换后的多标记问题进行求解.实验结果表明,多示例多标记学习能够及时、准确地诊断出抽油机故障问题.     

一种新的基于半监督的多标记学习算法

多标记学习中通常存在大量未标记示例,本研究结合协同训练(Co-training)方法充分利用数据集中的未标记示例,在数据集上选取局部k NN(k nearest neighbor)和全局k NN进行训练得到两个分类器,分类器分别标记未标记示例并相互更新训练集。协同训练过程不断迭代进行,直至训练完成。试验结果表明,该方法性能均优于其他多标记学习算法。     

具有性能感知排序的深度监督哈希用于多标签图像检索

现实生活中的图像大多具有多种标签属性。对于多标签图像,理想情况下检索到的图像应该按照与查询图像相似程度降序排列,即与查询图像共享的标签数量依次递减。然而,大多数哈希算法主要针对单标签图像检索而设计的,而且现有用于多标签图像检索的深度监督哈希算法忽略了哈希码的排序性能且没有充分地利用标签类别信息。针对此问题,提出了一种具有性能感知排序的深度监督哈希方法（deep supervised hashing with performance-aware ranking,PRDH）,它能够有效地感知和优化模型的性能,改善多标签图像检索的效果。在哈希学习部分,设计了一种排序优化损失函数,以改善哈希码的排序性能;同时,还加入了一种空间划分损失函数,将具有不同数量的共享标签的图像划分到相应的汉明空间中;为了充分地利用标签信息,还鲜明地提出将预测标签用于检索阶段的汉明距离计算,并设计了一种用于多标签分类的损失函数,以实现对汉明距离排序的监督与优化。在三个多标签基准数据集上进行的大量检索实验结果表明,PRDH的各项评估指标均优于现有先进的深度哈希方法。     

多标记分类和标记相关性的联合学习

提出了多标记分类和标记相关性的联合学习(JMLLC),在JMLLC中,构建了基于类别标记变量的有向条件依赖网络,这样不仅使得标记分类器之间可以联合学习,从而增强各个标记分类器的学习效果,而且标记分类器和标记相关性可以联合学习,从而使得学习得到的标记相关性更为准确.通过采用两种不同的损失函数:logistic回归和最小二乘,分别提出了JMLLC-LR(JMLLC with logistic regression)和JMLLC-LS(JMLLC with least squares),并都拓展到再生核希尔伯特空间中.最后采用交替求解的方法求解JMLLC-LR和JMLLC-LS.在20个基准数据集上基于5种不同的评价准则的实验结果表明,JMLLC优于已提出的多标记学习算法.     

基于核极限学习机的多标签数据流集成分类方法

极限学习机因具有高效处理、性能优越以及更少人工参数设定等优点,已成功应用于批处理多标签分类问题.然而,实际应用领域涌现的数据流呈现海量快速、多标签和概念漂移等特点,使得这些传统的多标签分类算法面临精度与时空的挑战.本文提出一种基于核极限学习机的多标签数据流集成分类方法.首先,为适应数据流环境,利用滑动窗口机制将数据流划...     

多标号图像分割及其应用

介绍了一种基于多标号的半自动化图像分割方法。在分割过程中,首先依据高斯权值函数,针对待处理图像建立一个加权图;然后在原始图像中分别标记出属于不同目标区域的像素点;之后,任意选择图像中没有被标号的像素点为作起点,依据所创建的加权图进行随机游走,计算出从当前出发点游走至各个标记像素的概率。通过这种方法,针对图像中未被标号的像素,可以获得一个概率分布图,其中每个概率分布表示未标号像素随机游走到各个标记像素的概率,取概率最大的标记像素作为其所属目标,则可得到一个高质量的分割图像。     

一种电能质量多扰动分类中特征组合优化方法

针对电能质量扰动分类中冗余特征量造成分类器训练困难、分类准确率下降的问题,提出一种基于改进遗传算法的特征组合优化方法。该方法对信号进行小波变换,提取各层的改进小波能量熵作为原始特征,并构造一种基于欧氏距离的适应度函数,采用改进的自适应遗传算法对原始特征进行筛选和优化组合,形成用于电能质量扰动分类的最优特征组合。分别采用二分类-支持向量机法(Binary-SVM)、多标签径向基神经网络(ML-RBF)和多标签K近邻法(ML-KNN)对不同噪声情况下的电能质量单一扰动和混合扰动进行分类,仿真结果验证了所提特征组合优化方法能有效提高分类器的训练速度和分类准确率。