联合嵌入式多标签分类算法

现有的一些多标签分类算法,因多标签数据含有高维的特征或标签信息而变得不可行.为了解决这一问题,提出基于去噪自编码器和矩阵分解的联合嵌入多标签分类算法Deep AE-MF.该算法包括两部分:特征嵌入部分使用去噪自编码器对特征空间学习得到非线性表示,标签嵌入部分则是利用矩阵分解直接学习到标签空间对应的潜在表示与解码矩阵.Deep AE-MF将特征嵌入和标签嵌入的两个阶段进行联合,共同学习一个潜在空间用于模型预测,进而得到一个有效的多标签分类模型.为了进一步提升模型性能,在Deep AE-MF方法中对标签间的负相关信息加以利用.通过在不同数据集上进行实验证明了提出Deep AE-MF方法的有效性和鲁棒性.     

概念语义生成与文本特征选择研究

文本特征选择是文本分类和信息提取的关键技术。针对文本分类中特征向量的高维稀疏问题,提出了非负矩阵分解和概念语义空间结合的特征抽取方法,对特征矩阵分解算法加入非负限制能够给出概念语义向量面向主题的解释,较好体现文本的局部特征。采用非负矩阵分解对全局和局部语义空间进行降维处理提高了体征提取效率,对不同概念语义空间中文本分类效果比对分析。实验结果表明基于非负矩阵分解的局部概念语义空间中文本分类精度较高。     

非负稀疏表示的多标签特征选择

在多标签学习中,数据降维是一项重要而又具有挑战性的任务。特征选择是一种高效的数据降维技术,它通过保持最大相关信息选取一个特征子集。通过对子空间学习的研究,提出了基于非负稀疏表示的多标签特征选择方法。该方法可以看成是矩阵分解问题,其融合了非负约束问题和L_(2,1)-范数最小优化问题。设计了一种高效的矩阵更新迭代算法求解新问题,并证明其收敛性。最后,对6个实际的数据集进行了测试,实验结果证明了算法的有效性。     

基于低秩稀疏分解与协作表示的图像分类算法

目前,大部分图像分类算法为了获取较高的性能均需要充分的训练学习过程,然而在实际应用中,往往存在训练样本不足及过拟合等问题。为了避免上述问题出现,在朴素贝叶斯最近邻分类算法的原理框架下,基于非负稀疏编码、低秩稀疏分解以及协作表示提出一种非参数学习的图像分类算法。首先,基于非负稀疏编码和最大值汇聚操作表示图像信息,并构建具有低秩性质的同类训练图像集的局部特征矩阵;其次,采用低秩稀疏分解结合别类标签信息构建两类视觉词典以充分利用同类图像的相关性和差异性;最后基于协作表示表征测试图像并进行分类决策,实验结果验证了所提算法的有效性。     

用于独立特征学习的稀疏非负矩阵分解算法

为了防止特征的共适应性,提出利用余弦相似度来减少潜在特征之间的相关性,从而提高非负矩阵分解（non-negative matrix decomposition,NMF）的独立特征学习能力。此外,为了使得分解后的矩阵具有较好的稀疏性,提出在传统NMF模型中引入◢L◣▼2,1/2▽稀疏约束,增强了算法的局部学习能力和稳健性。因此,潜在特征中的语义信息更加明显,潜在空间的表示更具有判别性。在fetch_20newsgroups数据集上对文档聚类的实验结果表明,提出的INMF算法在一系列评价指标上效果都优于传统的NMF、SNMF等算法模型。     

基于低秩表示的非负张量分解算法

为了提高图像分类准确率,提出了一种基于低秩表示的非负张量分解算法。作为压缩感知理论的推广和发展,低秩表示将矩阵的秩作为一种稀疏测度,由于矩阵的秩反映了矩阵的固有特性,所以低秩表示能有效的分析和处理矩阵数据,本文把低秩表示引入到张量模型中,即引入到非负张量分解算法中,进一步扩展非负张量分解算法。实验结果表明,本文所提算法与其他相关算法相比,分类结果较好。     

基于特征融合的多约束非负矩阵分解算法

针对非负矩阵分解后数据的稀疏性降低、单一图像特征不能够很好地描述图像内容的问题,提出一种基于特征融合的多约束非负矩阵分解算法。该算法不仅考虑了少量已知样本的标签信息和稀疏约束,还对其进行了图正则化处理,而且将分解后的具有不同稀疏度的图像特征进行了融合,从而增强了算法的聚类性能和有效性。在Yale-32和COIL20数据集上进行的对比实验进一步验证了该算法具有更好的聚类精度和稀疏性。     

图正则化稀疏判别非负矩阵分解

非负矩阵分解是一种流行的数据表示方法,利用图正则化约束能有效地揭示数据之间的局部流形结构。为了更好地提取图像特征,给出了一种基于图正则化的稀疏判别非负矩阵分解算法（graph regularization sparse discriminant non-negative matrix factorization,GSDNMF-L_2,1）。利用同类样本之间的稀疏线性表示来构建对应的图及权矩阵;以L_2,1范数进行稀疏性约束;以最大间距准则为优化目标函数,利用数据集的标签信息来保持数据样本之间的流形结构和特征的判别性,并给出了算法的迭代更新规则。在若干图像数据集上的实验表明,GSDNMF-L_2,1在特征提取方面的分类精度优于各对比算法。     

改进的非负稀疏编码图像基学习算法

图像基学习是图像特征提取与表示的重要方法之一。非负稀疏编码不仅具有标准稀疏编码算法的自适应性、空间的局部性、方向性和频域的带通性,而且更能反应哺乳动物的视觉机制。本文在非负稀疏编码的基础上,利用经验模态分解技术加入了图像的结构信息,提出了结合经验模态分解的非负稀疏编码算法,保证了系数矩阵的稀疏性与所提取图像特征的结构性。学习得到的图像基不仅具有非负稀疏编码的特征,而且更好地表示出图像的结构信息。     

增强学习标签相关性的多标签特征选择方法

针对现有多标签特征选择方法存在的两个问题：第一,忽略了学习标签相关性过程中噪声信息的影响;第二,忽略探索每个簇的综合标签信息,提出一种增强学习标签相关性的多标签特征选择方法。首先,对样本进行聚类,并将每个簇中心视为一个综合样本语义信息的代表性实例,同时计算其对应的标签向量,而这些标签向量体现了每个簇包含不同标签的重要程度;其次,通过原始样本和每个簇中心的标签级自表示,既捕获了原始标签空间中的标签相关性,又探索了每一个簇内的标签相关性;最后,对自表示系数矩阵进行稀疏处理,以减少噪声的影响,并将原始样本和每个簇代表性实例分别从特征空间映射到重构标签空间进行特征选择。在9个多标签数据集上的实验结果表明,所提的算法与其他方法相比具有更好的性能。     

近邻标签空间非平衡化标签补全的多标签学习

研究者目前通常通过标注标签之间的相关信息研究标签之间的相关性,未考虑未标注标签与标注标签之间的关系对标签集质量的影响.受K近邻的启发,文中提出近邻标签空间的非平衡化标签补全算法(NeLC-NLS),旨在充分利用近邻空间中元素的相关性,提升近邻标签空间的质量,从而提升多标签分类性能.首先利用标签之间的信息熵衡量标签之间关系的强弱,获得基础标签置信度矩阵.然后利用提出的非平衡标签置信度矩阵计算方法,获得包含更多信息的非平衡标签置信度矩阵.继而度量样本在特征空间中的相似度,得到k个近邻标签空间样本,并利用非平衡标签置信度矩阵计算得到近邻标签空间的标签补全矩阵.最后利用极限学习机作为线性分类器进行分类.在公开的8个基准多标签数据集上的实验表明,NeLC-NLS具有一定优势,使用假设检验和稳定性分析进一步说明算法的有效性.     

页岩气储层预测的多标签主动学习算法

针对页岩气储层数据获取困难、标签稀缺、标注成本高昂的问题,提出一种多标准主动查询的多标签学习(MAML)算法.首先,考虑样本的信息性和代表性来对样本进行初步处理;其次,加入包括属性差异性和标签丰富性的样本丰富性约束,在此基础上选择有价值的样本进行标签查询;最后,利用多标签学习算法来预测剩余样本的标签.通过11个Yaho...     

Asymmetry label correlation for multi-label learning

As an effective method for mining latent information between labels, label correlation is widely adopted by many scholars to model multi-label learning algorithms. Most existing multi-label algorithms usually ignore that the correlation between labels may be asymmetric while asymmetry correlation commonly exists in the real-world scenario. To tackle this problem, a multi-label learning algorithm with asymmetry label correlation (ACML, Asymmetry Label Correlation for Multi-Label Learning) is proposed in this paper. First, measure the adjacency between labels to construct the label adjacency matrix. Then, cosine similarity is utilized to construct the label correlation matrix. Finally, we constrain the label correlation matrix with the label adjacency matrix. Thus, asymmetry label correlation is modeled for multi-label learning. Experiments on multiple multi-label benchmark datasets show that the ACML algorithm has certain advantages over other comparison algorithms. The results of statistical hypothesis testing further illustrate the effectiveness of the proposed algorithm.

     

Missing multi-label learning with non-equilibrium based on two-level autoencoder

For a multi-label learning framework, each instance may belong to multiple labels simultaneously. The classification accuracy can be improved significantly by exploiting various correlations, such as label correlations, feature correlations, or the correlations between features and labels. There are few studies on how to combine the feature and label correlations, and they deal more with complete data sets. However, missing labels or other phenomena often occur because of the cost or technical limitations in the data acquisition process. A few label completion algorithms currently suitable for missing multi-label learning, ignore the noise interference of the feature space. At the same time, the threshold of the discriminant function often affects the classification results, especially those of the labels near the threshold. All these factors pose considerable difficulties in dealing with missing labels using label correlations. Therefore, we propose a missing multi-label learning algorithm with non-equilibrium based on a two-level autoencoder. First, label density is introduced to enlarge the classification margin of the label space. Then, a new supplementary label matrix is augmented from the missing label matrix with the non-equilibrium label completion method. Finally, considering feature space noise, a two-level kernel extreme learning machine autoencoder is constructed to implement the information feature and label correlation. The effectiveness of the proposed algorithm is verified by many experiments on both missing and complete label data sets. A statistical analysis of hypothesis validates our approach.

     

基于改进的RAKEL算法的心电图诊断分类

心电图（ECG）数据通常包含多种病症,而ECG诊断是一个典型的多标签分类问题。在多标签分类方法中,RAKEL算法将标签集随机分解为若干个大小为k的子集,并建立LP分类器进行训练;然而由于没有充分考虑标签间的相关性,LP分类器中容易产生一些标签组合所对应样本稀少的情况,从而影响预测性能。为了充分考虑标签间的相关性,提出一种基于贝叶斯网络的RAKEL算法BN-RAKEL。首先利用贝叶斯网络找到标签间的相关性,确定候选标签子集;然后对每个标签采用基于信息增益的特征选择算法确定其最优特征空间,并针对每个候选标签子集利用最优特征空间相似性来检测其相关程度,以确定最终的具有强相关性的标签子集;最后在标签子集的最优特征空间上训练LP分类器。在实际的ECG数据集上,与多标签K近邻（ML-KNN）、RAKEL、CC和基于FP-Growth的RAKEL算法FI-RAKEL进行对比,结果显示所提算法在召回率和F-score上最少提高了3.6个百分点和2.3个百分点。实验结果表明,BN-RAKEL算法有较好的预测性能,能有效提升ECG诊断的准确性。     

缺失标记下基于类属属性的多标记特征选择

多标记特征选择已在图像分类、疾病诊断等领域得到广泛应用;然而,现实中数据的标记空间往往存在部分标记缺失的问题,这破坏了标记间的结构性和关联性,使得学习算法难以准确地选择重要特征。针对此问题,提出一种缺失标记下基于类属属性的多标记特征选择（MFSLML）算法。首先,通过利用稀疏学习方法获取每个类标记的类属属性;同时基于线性回归模型构建类属属性与标记的映射关系,以用于恢复缺失标记;最后,选取7组数据集以及4个评价指标进行实验。实验结果表明：相比基于最大依赖度和最小冗余度的多标记特征选择算法（MDMR）和基于特征交互的多标记特征选择算法（MFML）等一些先进的多标记特征选择算法,MFSLML在平均查准率指标上能够提升4.61~5.5个百分点,由此可见MFSLML具有更优的分类性能。     

采用标签组合与融合注意力的多标签文本分类

传统的多标签文本分类算法在挖掘标签的关联信息和提取文本与标签之间的判别信息过程中存在不足,由此提出一种基于标签组合的预训练模型与多粒度融合注意力的多标签文本分类算法。通过标签组合的预训练模型训练得到具有标签关联性的文本编码器,使用门控融合策略融合预训练语言模型和词向量得到词嵌入表示,送入预训练编码器中生成基于标签语义的文本表征。通过自注意力和多层空洞卷积增强的标签注意力分别得到全局信息和细粒度语义信息,自适应融合后输入到多层感知机进行多标签预测。在特定威胁识别数据集和两个通用多标签文本分类数据集上的实验结果表明,提出的方法在能够有效捕捉标签与文本之间的关联信息,并在F1值、汉明损失和召回率上均取得了明显提升。     

基于层次结构感知的细粒度实体分类方法

针对现有细粒度实体分类（FGET）任务的工作多着眼于如何更好地编码实体和上下文的语义信息,而忽略了标签层次结构中标签之间的依赖关系及其本身的语义信息的问题,提出了一种基于层次结构感知的细粒度实体分类（HAFGET）方法。首先,利用基于图卷积网络（GCN）的层次结构编码器对不同层级标签之间的依赖关系进行建模,提出了基于层次结构感知的细粒度实体分类多标签注意力（HAFGET-MLA）模型和基于层次结构感知的细粒度实体分类实体特征传播（HAFGET-MFP）模型;然后,利用HAFGET-MLA模型和HAFGET-MFP模型对实体上下文特征进行层次结构感知和分类,前者通过层次编码器学习层次结构感知标签嵌入,并与实体特征通过注意力融合后进行标签分类,后者则直接将实体特征输入到层次结构编码器更新特征表示后进行分类。在FIGER、OntoNotes和KNET三个公开数据集上的实验结果表明,与基线模型相比,HAFGET-MLA模型和HAFGET-MFP模型的准确率和宏平均F1值均提升了2%以上,验证了所提方法能够有效提升分类效果。