结合集成学习与迁移学习的标签比例学习方法

标签比例学习（LLP）是一种将实例放入包中的机器学习方法,它只提供包中的实例信息和标签比例信息,而不提供标签信息。针对多个相关任务的LLP问题,提出了一种基于迁移学习的标签比例集成学习模型,简称AT-LLP,该模型通过在任务之间构建共享参数来连接相关任务,将源任务中学习到的知识迁移到目标任务中,从而提高目标任务的学习效率。同时该算法引入了集成学习算法,在分类器多轮迭代的学习过程中,不断调整训练集的权重系数,进一步将弱分类器训练为强分类器。实验表明,所提AT-LLP模型比现有LLP方法具有更好的性能。     

基于改进的深度信念网络的入侵检测方法

针对传统入侵检测方法很难快速准确地从海量无标签网络数据中提取特征信息以识别异常入侵,提出了基于改进的深度信念网络的softmax分类（IDBN-SC）入侵检测方法。利用改进的DBN对原始网络数据进行无监督特征学习,引入自适应学习速率减少训练网络模型所需要的时间;采用softmax分类器对获得的降维数据进行网络攻击类型识别。在NSL-KDD数据集上进行测试,相比其他入侵检测方法,实验结果表明IDBN-SC方法不仅识别准确率平均提高3.02%,而且其softmax分类器训练时间平均缩短5.58 s。     

基于分类间隔增强的不平衡多标签学习算法

传统的多标签学习算法一般没有考虑标签的不均衡性,从而忽略了标签不平衡给分类带来的影响。但统计发现,目前常用的多标签数据集均存在标签不均衡问题,且少数类标签往往更加重要。基于此,本文提出了一种基于分类间隔增强的不平衡多标签学习算法（Imbalanced multi-label learning algorithm based on classification interval enhanced, MLCIE）,旨在利用各标签分类间隔的重构来增强分类器对少数类标签样本的学习效率,提升样本标签质量,从而减少多标签不平衡对分类器学习精度的影响。首先利用各标签密度与条件熵计算各标签的不确定性系数;然后构建分类间隔增强矩阵,将各标签独有的密度信息融入到原始标签矩阵中,获取平衡的标签空间;最后使用极限学习机作为线性分类器进行分类。本文在11个多标签标准数据集上与其他7种多标签学习算法进行对比实验,结果表明本文算法在解决标签不平衡问题上有一定效果。     

基于深度学习的线上农产品销量预测模型研究

本文基于线上农产品销售存在的信息不对称问题,提出一种应用深度学习算法优势结合涉农电商销售数据特点的销量预测模型-皇冠模型（Imperial Crown Model,简称ICM）。首先建立因素评价指标,将销量分为四个类别。其次,采用两层自编码网络从无标签数据集中学习得到能够表征数据特征的参数,并生成新的特征向量。然后利用训练后的有标签样本集和无标签样本集训练分类器并分类。最后,利用反向传播算法微调整个网络参数得到使损失函数值达到最小的最优参数,从而实现线上农产品的销量分类预测。经仿真分析,验证了ICM模型的分类准确率高达88%,明显高于其它未将数据进行特征学习的浅层分类器,证明了ICM具有较好的增量自学习能力和层次认知能力。     

一种基于图卷积网络的文本多标签学习方法

多标签学习广泛应用于文本分类、标签推荐、主题标注等.最近,基于深度学习技术的多标签学习受到广泛关注,针对如何在多标签学习中有效挖掘并利用高阶标签关系的问题,提出一种基于图卷积网络探究标签高阶关系的模型TMLLGCN.该模型采用GCN的映射函数从数据驱动的标签表示中生成对象分类器挖掘标签高阶关系.首先,采用深度学习方法提取文本特征,然后以数据驱动方式获得基础标签关联表示矩阵,为更好地建模高阶关系及提高模型效果,在基础标签关联表示矩阵上考虑未标记标签集对已知标签集的影响进行标签补全,并以此相关性矩阵指导GCN中标签节点之间的信息传播,最后将提取的文本特征应用到学习高阶标签关系的图卷积网络分类器进行端到端训练,综合标签关联和特征信息作为最终的预测结果.在实际多标签数据集上的实验结果表明,提出的模型能够有效建模标签高阶关系且提升了多标签学习的效果.     

自适应嵌入的半监督多视角特征降维方法

半监督模式下的多视角特征降维方法,大多并未考虑到不同视角间特征投影的差异,且由于缺乏对降维后的低维矩阵的稀疏约束,无法避免噪声和其他不相关特征的影响。针对这两个问题,提出自适应嵌入的半监督多视角特征降维方法。首先,将投影从单视角下相同的嵌入矩阵扩展到多视角间不同的矩阵,引入全局结构保持项;然后,将无标签的数据利用无监督方法进行嵌入投影,对于有标签的数据,结合分类的判别信息进行线性投影;最后,再将两类多投影映射到统一的低维空间,使用组合权重矩阵来保留全局结构,很大程度上消除了噪声及不相关因素的影响。实验结果表明,所提方法的聚类准确率平均提高了约9%。该方法较好地保留了多视角间特征的相关性,捕获了更多的具有判别信息的特征。     

一种基于伪标签的深度迁移学习算法

深度学习的成功依赖于海量的训练数据，然而获取大规模有标注的数据并不容易，成本昂贵且耗时；同时由于数据在不同场景下的分布有所不同，利用某一特定场景的数据集所训练出的模型往往在其他场景表现不佳。迁移学习作为一种将知识从一个领域转移到另一个领域的方法，可以解决上述问题。深度迁移学习则是在深度学习框架下实现迁移学习的方法。提出一种基于伪标签的深度迁移学习算法，该算法以ResNet-50为骨干，通过一种兼顾置信度和类别平衡的样本筛选机制为目标域样本提供伪标签，然后进行自训练，最终实现对目标域样本准确分类，在Office-31数据集上的三组迁移学习任务中，平均准确率较传统算法提升5.0%。该算法没有引入任何额外网络参数，且注重源域数据隐私，可移植性强，具有一定的实用价值。     

主动学习的多标签图像在线分类

目的在多标签有监督学习框架中,构建具有较强泛化性能的分类器需要大量已标注训练样本,而实际应用中已标注样本少且获取代价十分昂贵。针对多标签图像分类中已标注样本数量不足和分类器再学习效率低的问题,提出一种结合主动学习的多标签图像在线分类算法。方法基于min-max理论,采用查询最具代表性和最具信息量的样本挑选策略主动地选择待标注样本,且基于KKT(Karush-Kuhn-Tucker)条件在线地更新多标签图像分类器。结果在4个公开的数据集上,采用4种多标签分类评价指标对本文算法进行评估。实验结果表明,本文采用的样本挑选方法比随机挑选样本方法和基于间隔的采样方法均占据明显优势;当分类器达到相同或相近的分类准确度时,利用本文的样本挑选策略选择的待标注样本数目要明显少于采用随机挑选样本方法和基于间隔的采样方法所需查询的样本数。结论本文算法一方面可以减少获取已标注样本所需的人工标注代价;另一方面也避免了传统的分类器重新训练时利用所有数据所产生的学习效率低下的问题,达到了当新数据到来时可实时更新分类器的目的。     

基于变分自编码的半监督微博文本情感分析

针对微博文本情感分析中大量有标记数据难获取,以及文本特征学习不完全的问题,提出将长短时记忆网络(Long Short-Term Memory,LSTM)及其衍生模型双向长短时记忆网络(Bi-LSTM)引入变分自编码生成模型,构建基于变分自编码的半监督文本分类模型.其中LSTM作为变分编码器中的编码器和解码器,Bi-LSTM作为分类器.分类器既为编码器提供标签信息共同生成隐变量,也与隐变量通过解码器共同重构数据,利用无标记数据的有用信息提高分类器的性能.与其他方法在同一公开数据集上对比的实验结果表明,该模型的分类效果更好.     

面向ICD疾病分类的深度学习方法研究

国际疾病分类（ICD）是用于临床目的和健康管理的分类工具,是卫生统计数据的建立基础,在其庞大的分类体系中,含有与疾病健康问题和临床治疗相关的分类和对应的代码。针对在国际疾病分类的庞大标签空间中的多标签分类问题,提出一种端到端的深度学习方法。采用改进的图注意力网络对标签空间进行建模,基于注意力重构的多标签分类器进行分类。在标签空间建模中,结合国际疾病分类中手术与操作分类的层次结构,构建出三种不同的图结构,利用图注意力网络将标签空间的结构信息融入到模型中,从而利用标签之间的依赖关系进行多标签文本分类。所提出的方法与实际应用场景有着紧密联系。实验表明,在临床国际疾病分类数据集上,相比于传统文本分类和其他标签空间建模方法,所提方法在分类性能上有明显的提升。     

基于块对角化表示的多视角字典对学习

字典学习作为一种高效的特征学习技术被广泛应用于多视角分类中.现有的多视角字典学习方法大多只利用多视角数据的部分信息,且只学习一种类型的字典.实际上,多视角数据的相关性信息和多样性信息同样重要,且仅考虑一种合成型字典或解析型字典的学习算法不能同时满足处理速度、可解释性以及应用范围的要求.针对上述问题,提出了一种基于块对角...     

Tensor-based restricted kernel machines for multi-view classification

Multi-view learning deals with data that is described through multiple representations, or views. While various real-world data can be represented by three or more views, several existing multi-view classification methods can only handle two views. Previously proposed methods usually solve this issue by optimizing pairwise combinations of views. Although this can numerically deal with the issue of multiple views, it ignores the higher order correlations which can only be examined by exploring all views simultaneously. In this work new multi-view classification approaches are introduced which aim to include higher order statistics when three or more views are available. The proposed model is an extension to the recently proposed Restricted Kernel Machine classifier model and assumes shared hidden features for all views, as well as a newly introduced model tensor. Experimental results show an improvement with respect to state-of-the art pairwise multi-view learning methods, both in terms of classification accuracy and runtime.     

多视角数据缺失补全

随着信息技术的快速发展,现实生活中不断涌现出大量的多视角数据,由此应运而生的多视角学习已成为机器学习领域的研究热点.然而,在数据获取过程中,由于收集的难度、高额成本或设备故障等问题,往往导致收集到的多视角数据出现视角缺失,这使得一些多视角学习方法无法有效进行.为此,本文提出了一种基于视角相容性的多视角数据缺失补全方法.通过监督的共享子空间学习,获得与每类多视角数据相对应的共享子空间,从而建立视角相容性判别模型.与此同时,基于共享子空间重构误差等同分布的假设,提出了针对视角缺失的多视角数据的共享表征获取方法,实现多视角缺失数据的预补全.在此基础上,进一步通过多元线性回归实现缺失视角的精确补全.此外,本文还把所提出的视角补全方法拓展到解决含有噪声的多视角数据的降噪问题.在UCI、COIL-20以及人工合成数据集上的实验结果验证了本文算法的有效性.     

基于标签噪声鲁棒学习的疾病风险预测

疾病风险预测能够筛查易患人群, 并在早期进行预防干预措施以降低疾病的发生率及死亡率. 随着机器学习技术的快速发展, 基于机器学习的疾病风险预测得到了广泛应用. 然而, 机器学习十分依赖于高质量的标注信息, 医疗数据中存在的标签噪声会给构建高性能的疾病风险预测算法带来严峻挑战. 针对这一问题, 本文提出了一种基于深度神经网络和动态截断损失函数的噪声鲁棒学习方法用于疾病风险预测. 该方法引入动态截断损失函数, 融合了传统交叉熵函数的隐式加权特性和均方差损失函数的标签噪声鲁棒性; 通过构造训练损失下界, 并引入样本动态加权机制减小可疑样本的梯度, 限制可能的带噪样本在训练过程中的权重, 进一步增强模型的鲁棒性. 以脑卒中筛查数据集为例进行实验, 结果表明本文算法在各个标签噪声比例下均能取得良好的预测性能, 可降低疾病风险预测中标签噪声的负面影响, 实现了带有标签噪声数据的鲁棒学习.     

图趋势过滤诱导的噪声容错多标记学习模型

针对多标记学习中特征噪声和标记噪声经常共同出现的问题,提出了一种图趋势过滤诱导的噪声容错多标记学习模型(GNTML).该模型通过组稀疏约束桥接增强的标记,从而同时容忍特征噪声和标记噪声.模型的关键之处在于标记增强矩阵的学习.为了在混合噪声场景下学习到合理的标记增强矩阵,首先通过引入图趋势过滤(GTF)机制来容忍含噪示例...     

组合标记的多视图半监督协同分类算法

为了提高多视图半监督协同算法的性能,并针对算法应用范围受限的问题,提出了一种组合标记规则的协同训练方法。该算法将一致性与非一致性标记规则相结合,若分类器具有相同标记则将对应样本加入到相应的样本集中;若标记不同且两分类器对应的标记置信度差值超过了一定的阈值,则采用高置信度分类器的标记结果,并将样本添加到相应的样本集中。通过判断两分类器对相应样本的标记是否一致以及差异性阈值对未标记样本进行组合标记,并利用分类器差异性判断原则更新分类模型,充分利用未标记样本中的有用信息将分类器性能提高5%以上。所提出的算法在桥梁结构健康监测数据集及标准UCI数据集上的实验结果验证了算法在多视图分类问题上的有效性和可行性。     

基于对比学习的标签带噪图像分类

标签噪声会极大地降低深度网络模型的性能. 针对这一问题, 本文提出了一种基于对比学习的标签带噪图像分类方法. 该方法包括自适应阈值、对比学习模块和基于类原型的标签去噪模块. 首先采用对比学习最大化一幅图像的两个增强视图的相似度来提取图像鲁棒特征; 接下来通过一种新颖的自适应阈值过滤训练样本, 在模型训练过程中根据各个类别的学习情况动态调整阈值; 然后创新性地引入基于类原型的标签去噪模块, 通过计算样本特征向量与原型向量的相似度更新伪标签, 从而避免标签中噪声的影响; 在公开数据集CIFAR-10、CIFAR-100和真实数据集ANIMAL10上进行对比实验, 实验结果表明, 在人工合成噪声的条件下, 本文方法实验结果均高于常规方法, 通过计算图像鲁棒的特征向量与各个原型向量的相似度更新伪标签的方式, 降低了噪声标签的负面影响, 在一定程度上提高模型的抗噪声能力, 验证了该模型的有效性.     

基于多视图的半监督集成学习方法

针对集成学习方法中分类器差异性不足以及已标记样本少的问题,提出了一种新的半监督集成学习算法,将半监督方法引入到集成学习中,利用大量未标记样本的信息来细化每个基分类器,并且构造差异性更大的基分类器,首先通过多视图方法选取合适的未标记样本,并使用多视图方法将大量繁杂的特征属性分类,使用不同的特征降维方法对不同的视图进行降维...     

面向不完整多视图聚类的深度互信息最大化方法

多视图聚类是无监督学习领域研究热点之一,近年来涌现出许多优秀的多视图聚类工作,但其中大多数方法均假设各视图是完整的,然而真实场景下数据收集过程极容易发生缺失,造成部分视图不完整。同时,很多方法采取传统机器学习方法（即浅层模型）对数据进行特征学习,这导致模型难以挖掘高维数据内的复杂信息。针对以上问题,本文提出一种面向不完整多视图聚类的深度互信息最大化方法。首先利用深度自编码器挖掘各视图深层次的隐含特征,并通过最大化潜在表示间的互信息来学习各视图间的一致性知识。然后,对于不完整视图中的缺失数据,利用多视图的公共潜在表示进行补全。此外,本文采用一种自步学习策略对网络进行微调,从易到难地学习数据集中的样本,得到更加宜于聚类的特征表示。最后,在多个真实数据集上进行实验,验证了本文方法的有效性。     

多视图动量对比学习算法

比较同一图像不同增强的相似性是对比学习取得显著成果的关键。传统对比学习方法使用了图像的两个不同视图,为了学习到图像更多的信息以提高分类准确率,在MoCo(momentum contrast for unsupervised visual representation learning)的基础上,提出了一种多视图动量对比学习算法。每次迭代中,对于图像的多个数据增强分别使用一个查询编码器和多个动量编码器进行特征提取,使得本次迭代可以使用更多的数据增强和负样本。使用优化的噪声对比估计(InfoNCE)来计算损失,使得查询编码器能得到更有益于下游任务的特征表示。对查询编码器使用梯度回传更新网络,对各动量编码器使用改进的动量更新公式以提高模型的泛化能力。实验结果表明,使用多视图动量对比学习可以有效提高模型的分类准确率。