基于缺失特征的高维多标签学习

多标签学习主要处理每个样本数据与多个类标签关联问题,实际应用却很难一次性全部取得完整特征信息.已有多标签学习方法解决缺失特征,但高维环境下特征缺失未能考虑,并且现有特征降维方法大多要么直接从单标签特征选择方法转变而来,要么无法充分利用标签信息,因此无法获得多个标签共享的最佳特征选择结果.基于此提出了一种高维环境下特征缺失多标签学习方法.首先,通过学习特征相关矩阵获得新的补全特征矩阵,与原有缺失特征矩阵相比更具完整特征信息.其次,引入信息理论方法提出一个通用全局优化框架,考虑特征相关性、标签相关性和特征冗余,实现高维多标签数据的特征降维.之后,为提高多标签分类的性能,通过假设如果两个特征强相关,则它们对应参数向量之间的相似性会更大,以此来约束系数矩阵上的特征相关性.此外通过约束标签输出的标签相关性,以捕获不同标签之间更充分的关系.大量实验表明,所提方法与其他先进多标签学习方法相比具有竞争力.     

样本线性化与数据去重的极限学习机

对于多标签分类中存在非线性的数据样本和重复的样本数据问题,本文提出了一种基于在线顺序极限学习机(On?line Sequential Extreme Learning Machine,OS-ELM)的改进算法—样本线性化和数据预处理极限学习机(PDC-ELM).PDC-ELM算法对线性不可分的数据样本先利用核函数进行处理,使数据样本具有线性可分的特征,对于处理后的数据样本,利用在线顺序极限学习机(OS-ELM)在计算之前对分类数据进行预处理,即从训练和测试数据集中查找不一样的特征标签并保存类标签中,实验中新生成的标签组将不具有重复的特征标签,大大减少了训练的对比次数.实验表明,相比于其他没有样本线性化和数据预处理的极限学习机模型,计算的准确度得到很大的提升,计算时间也有所降低.     

融合标签关联的隐空间数据增强多标签文本分类方法

多标签文本分类是自然语言处理中文本分类任务的一个分支。目前单标签的文本分类算法已经较为成熟，但是多标签文本分类仍是一项重要而且有挑战的任务。在多标签文本分类任务中，标签之间往往存在关联，但各类标签在样本数量上存在较为严重的不平衡问题。为此，文中提出一种利用标签之间的先验知识，在隐空间中进行数据增强的方法，缓解多标签文本分类数据不平衡造成的模型过拟合及泛化能力差的问题。所提方法可适用于不同的神经网络模型，在多个开放数据集上的实验结果表明，该方法可以有效提升多标签文本分类的性能，对少样本类别的预测性能提升显著，对于多样本类别的预测性能也可以达到很好的效果。     

基于Hilbert-Schmidt独立准则的多标签学习算法

与传统二分类或多分类的单标签问题不同,多标签问题研究中一个目标可能与多个标签相关联,标签之间丰富关系的存在导致对多标签问题的分析研究更加复杂。针对如何利用特征与标签、标签与标签之间的关系的问题,文章提出了基于Hilbert-Schmidt独立准则的多标签学习算法。该方法利用Hilbert-Schmidt独立准则评估特征和它的标签之间关联性并对其进行改进,采用多项式核函数代替线性核函数来衡量特征和标签的相关联性,考虑到不同标签对分类的贡献不同,加入标签权重矩阵。实验证明,文章研究的算法可以提高多标签分类的性能。     

一种适应于非完备标签数据和标签关联性的多标签分类方法

多标签分类已在很多领域得到了实际应用,所用标签大多具有很强的关联性,甚至存在非完备标签或部分标签遗失。然而,现有的多标签分类算法难以同时处理这两种情况。基于此,提出一种新的概率模型处理方法,实现同时对具有标签关联性和遗失标签情况进行多标签分类。该方法可以自动获知和掌握多标签的关联性。此外,通过整合遗失的标签信息,该方法能够提供一个自适应策略来处理遗失的标签。在完备标签和非完备标签的数据上进行实验,结果表明,与现有的多标签分类算法相比,提出的方法得到了较好的分类预测评价值。     

一种多尺度小波核极限学习机的图像检索仿真

阐述了核极限学习机原理。在此基础上提出了一种多尺度小波核极限学习机,将多尺度小波核作为极限学习机的核函数,测试表明是其一种可实现的极限学习机核。同时在无训练数据分布的空间也具备分类能力,同等条件下高斯核极限学习机却不具备分类能力。在图像检索中应用多尺度小波核极限学习机,实验表明,相比支持向量机学习机分类算法,该分类算法可提高检索精度以及速度,具有优良的性能和一定的应用价值。     

改进鲸鱼算法优化核极限学习机在水质光谱分析中的应用

为提高水质光谱分析模型的学习速度与预测精度,采用核极限学习机对水质光谱进行建模,并提出一种具有动态惯性权重的改进鲸鱼优化算法对模型进行参数优化。由于极限学习机的输入权值矩阵和偏置是随机生成的,故引入核方法以减小其输出权值矩阵的波动;将鲸鱼优化算法中的惯性权重在非线性递减的基础上引入随机因子,通过动态调整惯性权重以平衡算法的全局搜索能力与局部开发能力。与传统优化模型进行了对比实验,实验结果表明:基于该方法所建模型具有更高的预测精度,而在相同的学习迭代次数下,核极限学习机的运行时间相对于传统算法约下降50%,且改进鲸鱼优化算法能够以更快的收敛速度使模型达到全局最优。     

一种基于多阶邻居的网络环境下多标签分类算法

随着标签分类应用的增长,社交网络环境下多标签分类已成为一个重要的数据挖掘研究领域.关系分类模型基于一阶邻居做标签分类,其性能优于传统的多标签分类器.但现有的关系分类模型也存在问题：第一,仅利用一阶邻居做分类,未能充分使用邻居信息.第二,网络数据通常包含大量不连通的孤立部分,其标签无法利用现有的关系分类模型分类.考虑基于共引规则为非孤立节点挖掘二阶邻居和基于节点特征向量相似度为孤立节点挖掘高阶邻居,本文提出一种新的基于多阶邻居的网络数据多标签分类算法,称为MORN算法.在多个真实数据集上将MORN与现有的关系分类模型作对比,实验表明,MORN算法能够学习到更多节点的标签且精度优于传统关系分类方法.     

基于增量AHP的学习资源多标签标注研究

学习资源标注是我们根据需要知识准确获取相关学习资源的基础。然而目前大多数资源标注方法仅局限于单标签以及缺乏关联度信息,给用户精确获取学习资源带来困难。为解决此问题,本文提出一种基于增量AHP的学习资源多标签标注方法,首先根据标签-资源信息构建学习资源多标签标注模型,然后利用层次分析法定性与定量分析相结合的特点进行关联程度值处理,选取出与学习资源相关程度最大的若干个标签作为标注标签,从而支持用户方便获得与学习资源相关的知识点以及关联程度值。此外,针对初始成对比较矩阵随时间变化导致更新的情况,本文对传统AHP算法进行改进,提出增量AHP算法实现学习资源关联程度值更新。实验结果表明本文提出的方法具有良好的实用价值。     

K插值单纯形法核极限学习机的研究

针对核极限学习机高斯核函数参数选优难,影响学习机训练收敛速度和分类精度的问题,该文提出一种K插值单纯形法的核极限学习机算法。把核极限学习机的训练看作一个无约束优化问题,在训练迭代过程中,用Nelder-Mead单纯形法搜索高斯核函数的最优核参数,提高所提算法的分类精度。引入K插值为Nelder-Mead单纯形法提供合适的初值,减少单纯形法的迭代次数,提高了新算法的训练收敛效率。通过在UCI数据集上的仿真实验并与其它算法比较,新算法具有更快的收敛速度和更高的分类精度。     

基于标记密度分类间隔面的组类属属性学习

类属属性学习避免相同属性预测全部标记，是一种提取各标记独有属性进行分类的一种框架，在多标记学习中得到广泛的应用。而针对标记维度较大、标记分布密度不平衡等问题，已有的基于类属属性的多标记学习算法普遍时间消耗大、分类精度低。为提高多标记分类性能，该文提出一种基于标记密度分类间隔面的组类属属性学习(GLSFL-LDCM)方法。首先，使用余弦相似度构建标记相关性矩阵，通过谱聚类将标记分组以提取各标记组的类属属性，减少计算全部标记类属属性的时间消耗。然后，计算各标记密度以更新标记空间矩阵，将标记密度信息加入原标记中，扩大正负标记的间隔，通过标记密度分类间隔面的方法有效解决标记分布密度不平衡问题。最后，通过将组类属属性和标记密度矩阵输入极限学习机以得到最终分类模型。对比实验充分验证了该文所提算法的可行性与稳定性。     

基于标签关联的多标签演化超网络

针对多标签学习中如何有效挖掘利用高阶标签关联的问题,提出了一种基于标签关联的多标签演化超网络模型.该模型通过输入任意多标签学习方法的预测结果,利用超边表征挖掘高阶标签关联,并综合标签关联和特征信息作为最终的预测结果.与3种传统多标签学习方法在6个多标签数据集上的对比实验表明,本文提出模型不仅能够有效提升多个传统多标签学习方法的性能,而且能够提供具有良好可读性的学习结果.     

一种基于全局和局部标记相关性的多标记分类算法

多标记学习用于处理一个示例同时与多个类别标记相关的问题.在多标记学习中,标记相关性能够显著提升学习算法的性能.大多数现有的多标记学习算法在利用标记的相关性时,要么只使用被所有示例所共享的全局标记相关性,要么就使用局部标记相关性,它们认为不同簇中的示例应该存在不同的标记相关性.本文中,我们提出了一种同时利用全局和局部标记相关性的多标记学习算法,从而为学习进程提供更全面的标记信息.在计算全局和局部标记相关性时,我们使用了余弦相似性来获取不同标记之间的正相关性和负相关性,这样有助于我们进一步实现更可靠的多标记学习.我们在多种类型的数据集上进行了广泛的对比实验来验证所提算法的有效性.实验结果表明,该算法显著优于大多数对比算法,展现出其在多标记学习中的突出性能.     

二元裂解算子交替方向乘子法的核极限学习机

凸优化形式的核极限学习机(KELM)具有较高的分类准确率,但用迭代法训练凸优化核极限学习机要较传统核极限学习机的解线性方程法花费更长时间。针对此问题,该文提出一种2元裂解算子交替方向乘子法(BSADMM-KELM)来提高凸优化核极限学习机的训练速度。首先引入2元裂解算子,将求核极限学习机最优解的过程分裂为两个中间算子的优化过程,再通过中间算子的迭代计算而得到原问题的最优解。在22个UCI数据集上所提算法的训练时间较有效集法平均快29倍,较内点法平均快4倍,分类精度亦优于传统的核极限学习机;在大规模数据集上该文算法的训练时间优于传统核极限学习机。     

一种基于伪标签的半监督少样本学习模型

如何将带有大量标记数据的源域知识模型迁移至带有少量标记数据的目标域是少样本学习研究领域的热点问题.针对现有的少样本学习算法在源域数据与目标域数据的特征分布差异较大时存在的泛化能力较弱的问题,提出一种基于伪标签的半监督少样本学习模型FSLSS（Few-Shot Learning based on Semi-Supervised）.首先,利用pytorch深度学习框架建立一个关系型深度学习网络,并使用源域数据对网络进行预训练;然后,使用此网络对目标域数据进行分类预测,将分类概率最大的类标签作为数据的伪标签;最后,利用目标域的伪标签数据和源域的真实标签数据对网络进行混合训练,并重复伪标签标记与混合训练过程.实验结果表明,相对于现有主流少样本学习算法,FSLSS模型有更好的泛化能力及知识迁移效果.     

基于SVM及其改进算法的fMRI图像分类性能研究

为了提出一种更适用于分析fMRI图像特征的机器学习算法,引入机器学习近年提出的、具有较好的泛化能力、并能够保证极值解是全局最优解的新方法支持向量机（SVM）算法,具体选择了PSVM、SSVM、LPSVM、NSVM 4种SVM改进算法以及基本SVM算法应用于fMRI图像的分类问题,在MATLAB平台上进行了算法仿真实现。在对各种算法的分类计算时间、分类精确度两个方面进行比较和讨论后,得到PSVM算法在fMRI图像的分类问题上,有较好的综合性能。     

哈希快速多标记学习算法

本文针对多标记学习耗时大、很难处理大规模数据的问题,提出了一种哈希快速多标记学习算法（HFMLL）,该算法将哈希算法与多标记学习算法结合,采用局部敏感哈希算法快速获得每个样本的近邻样本,并通过最小独立置换的MinHash算法快速找到每个标记的相关标记,根据其近邻样本及相关标记的信息,运用最大后验概率准则来预测新样本的标记集。实验表明HFMLL 算法在保持较高分类性能的情况下,算法速度明显优于目前的多标记算法,可以广泛应用于大规模的数据集。      

基于集成分类的暴恐图像自动标注方法

为减少暴恐图像对社会发展和青少年成长造成的不利影响，本文提出一种基于集成分类的暴恐图像自动标注方法，辅助筛除网页中的暴恐信息。该方法将暴恐图像的标注视作多标签分类问题，利用迁移学习训练多个子网络，然后通过集成学习对子网络的输出进行融合，同时在融合过程中针对各个标签在不同网络上的准确率进行权重分配，最后经过一系列矩阵运算得到图像的标注结果。实验结果表明，与传统机器学习算法相比，本文方法在准确率和召回率上都有较大提升，并改善了样本不均衡所造成的不同标签类别上模型标注精确度差异较大的问题。     

基于迁移学习与权重支持向量机的图像多标签标注算法

为解决图像的多标签自动标注中标签不平衡性的问题,提出了一种基于迁移学习与权重支持向量机的图像自动标注方法。为了解决所选数据集规模较小无法训练出最优的卷积神经网络的问题,文中采用迁移学习的方法,将通过Imagenet数据集训练出的Alexnet的参数迁移到文中所用的卷积神经网络模型中,并对最后一层全连接层进行微调,利用多标签分类多合页损失函数构成多分类的支持向量机。最后,文中对低频标签进行权重排序以得到图像的多标签标注结果。在Corel-5k、Esp-Game和IAPR-TC12共3个数据集上进行了实验,权重支持向量机获得的平均召回率分别提升了10%、9%和6%,低频标签对其平均精确率均提升了12%。实验结果表明,基于迁移学习的权重支持向量机的图像多标签标注方法可在有效提高数据集的召回率的同时提升低频标签的平均精确度。     

基于共同决策方向矢量的多源迁移及其快速学习方法

多源迁移学习提取了多个相似领域之间有用信息,提高了学习效率,但存在计算核矩阵的空间和时间复杂度较高的问题.提出了一种多源迁移学习方法,该方法基于结构风险最小框架理论,以共同决策方向矢量为基准,将多个相似领域的决策方向矢量嵌入到支持向量机的训练过程中,提高了目标领域分类器的分类性能.并结合核心向量机理论提出了共同决策方向矢量核心向量机,实现对大样本数据集的快速分类学习.模拟和真实数据集实验表明了所提算法的有效性.