基于半监督假设的半监督稀疏度量学习

传统的有监督度量学习算法没有利用大量存在的无标记样本,且得到的度量矩阵复杂,难以了解不同原始特征的重要程度。针对这些情况,提出基于半监督假设的半监督稀疏度量学习算法。根据三样本组约束建立间隔损失函数;基于平滑假设、聚类假设、流形假设这三个半监督假设建立半监督正则项,并利用L_1范数建立稀疏正则项;利用梯度下降法求解目标函数。实验结果表明,该算法学习得到的度量能有效地使不同类别的样本间距离增大,度量矩阵具有稀疏性,分界面穿过低密度区域,该算法在UCI的样本数据集上具有良好的分类准确性。     

基于标签进行度量学习的图半监督学习算法

大多基于图的半监督学习方法,在样本间相似性度量时没有用到已有的和标签传播过程中得到的标签信息,同时,其度量方式相对固定,不能有效度量出分布结构复杂多样的数据样本间的相似性。针对上述问题,提出了基于标签进行度量学习的图半监督学习算法。首先,给定样本间相似性的度量方式,从而构建相似度矩阵。然后,基于相似度矩阵进行标签传播,筛选出k个低熵样本作为新确定的标签信息。最后,充分利用所有标签信息更新相似性度量方式,重复迭代优化直至学出所有标签信息。所提算法不仅利用标签信息改进了样本间相似性的度量方式,而且充分利用中间结果降低了半监督学习对标签数据的需求量。在6个真实数据集上的实验结果表明,该算法在超过95%的情况下相较三种传统的基于图的半监督学习算法取得了更高的分类准确率。     

基于标签进行度量学习的图半监督学习算法

大多基于图的半监督学习方法，在样本间相似性度量时没有用到已有的和标签传播过程中得到的标签信息，同时，其度量方式相对固定，不能有效度量出分布结构复杂多样的数据样本间的相似性。针对上述问题，提出了基于标签进行度量学习的图半监督学习算法。首先，给定样本间相似性的度量方式，从而构建相似度矩阵。然后，基于相似度矩阵进行标签传播，筛选出k个低熵样本作为新确定的标签信息。最后，充分利用所有标签信息更新相似性度量方式，重复迭代优化直至学出所有标签信息。所提算法不仅利用标签信息改进了样本间相似性的度量方式，而且充分利用中间结果降低了半监督学习对标签数据的需求量。在6个真实数据集上的实验结果表明，该算法在超过95%的情况下相较三种传统的基于图的半监督学习算法取得了更高的分类准确率。     

一种基于聚类的异常入侵检测方法

传统的K均值聚类算法采用欧式距离计算样本间的相似度,由于未考虑不同样本属性对于衡量样本间距离区分度的重要性,导致相似度计算不准确,聚类性能较差。提出了一种改进的K均值聚类算法,通过计算每个属性相对于聚类类别的信息增益率,将信息增益率作为属性权重计算加权欧式距离,使对类别区分度贡献较大的属性拥有较大的权重,以提高样本间的相似性度量的准确性。在经典的入侵检测数据集UCI KDD CUP上的实验结果证明,与传统的基于K均值的入侵检测方法相比,此方法能够有效地提高检测准确率。     

结构自适应的半监督自组织过程神经网络

针对时域空间中模式识别、聚类分析和未标记样本的有效利用问题,提出一种基于半监督学习的网络结构自适应的二维自组织过程神经网络模型和算法。通过构建可度量时变样本间相似性的广义Fréchet距离,利用部分已标记动态样本的类别信息和过程特征,采用奖励-惩罚更新规则,根据网络学习目标函数,对网络二维平面竞争层节点进行动态拆分或合并,实现网络结构的自适应调整和样本的有效聚类。仿真实验结果验证了模型和算法的有效性。     

面向混合属性数据集的改进半监督FCM聚类方法

针对混合属性数据集聚类精度低的问题,本文提出一种基于改进距离度量的半监督模糊均值聚类（Fuzzy C-means,FCM）算法.首先,在数据集中针对类别属性进行预处理,并设置相应的相异度阈值;将传统聚类距离度量与改进的Jaccard距离度量结合,确定混合属性数据集的距离度量函数;最后,将所得距离度量函数与传统半监督FCM算法相结合,并在滚动轴承的不同复合故障数据的特征集中进行聚类.实验表明,该算法能在含无序属性的混合属性数据集的聚类中取得更好的聚类效果.     

基于数据内在结构特征的度量学习

半正定约束度量学习(positive-semidefinite constrained metric learning,PCML)作为一种结合了支持向量机(support vector machine,SVM)的典型度量学习方法,在图像识别和行人重识别领域展现了优越的性能,然而在每次学习度量矩阵的过程中,该方法只简单地考虑不同类别样本之间的最大间隔,忽略了同一类别间的样本特征空间也在发生变化。基于此,提出了一种基于数据内在结构特征的度量学习方法。首先,与PCML相比,提出方法不仅考虑了不同类别样本之间的间隔,而且考虑了相同类别样本间的类内散度矩阵,使学习到的度量矩阵有更强的鉴别能力;其次,进一步将l₁-norm损失函数转换为l₂-norm损失函数,可以进一步提高模型的泛化性能。在多个数据集上的实验结果表明,提出方法相比于其他度量学习方法在多数情况下取得了更优异的性能。     

半监督边缘判别嵌入与局部保持的维度约简

为了对高维数据进行降维处理,提出了半监督学习的边缘判别嵌入与局部保持的维度约简算法．通过最小化样本与其所属类别的中心点之间的距离,使得样本在投影子空间中能够保持其领域的拓扑结构;再通过最大化不同类别边缘间的距离,使得类别间的分离度在投影子空间中得到增强．实验结果表明：半监督边缘判别嵌入与局部保持的维度约简算法能够获得初始特征空间的较好的投影子空间．     

利用自适应近邻选择和低秩表示的半监督鉴别分析

针对基于图嵌入的鉴别投影方法对近邻参数的敏感以及实际应用中样本类别信息不足对图嵌入方法鉴别性能的影响,提出一种基于自适应近邻选择和低秩表示的半监督鉴别分析方法.该方法利用所有类内样本点构造类内图来描述类内样本的紧致性,借助最远类内样本的邻域自适应地选取该邻域内不同类样本点构造类间图,以描述类间样本的可分性;此外,利用低秩表示方法挖掘不带类别信息样本的潜在低秩结构,以保留样本的全局相似关系.在ORL和FERET人脸数据库上的实验结果,验证了文中方法的有效性及对噪声的鲁棒性.     

半监督极大熵聚类的研究

聚类是一门非常重要的技术.所谓聚类就是按照某种度量(相似性度量、不相似性度量或距离),根据一定的准则将个体集合分成若干类,使得同类个体之间的相似程度大于不同类个体之间的相似程度即做到"物以类聚".半监督聚类算法研究无监督学习中如何利用少量的监督信息来提高聚类性能,目前正得到不断应用.针对前人提出的半监督模糊聚类,本文为了验证该种半监督学习方法是否可以用于其它聚类算法,对极大熵算法进行了改进,将半监督距离学习引入极大熵聚类,生成半监督极大熵聚类算法,并通过实验证明极大熵聚类算法通过半监督方法改进之后确实有效.     

类别语义相似性监督的小样本图像识别

目的 现有的深度学习模型往往需要大规模的训练数据,而小样本分类旨在识别只有少量带标签样本的目标类别。作为目前小样本学习的主流方法,基于度量的元学习方法在训练阶段大多没有使用小样本目标类的样本,导致这些模型的特征表示不能很好地泛化到目标类。为了提高基于元学习的小样本图像识别方法的泛化能力,本文提出了基于类别语义相似性监督的小样本图像识别方法。方法 采用经典的词嵌入模型GloVe（global vectors for word representation）学习得到图像数据集每个类别英文名称的词嵌入向量,利用类别词嵌入向量之间的余弦距离表示类别语义相似度。通过把类别之间的语义相关性作为先验知识进行整合,在模型训练阶段引入类别之间的语义相似性度量作为额外的监督信息,训练一个更具类别样本特征约束能力和泛化能力的特征表示。结果 在miniImageNet和tieredImageNet两个小样本学习基准数据集上进行了大量实验,验证提出方法的有效性。结果显示在miniImageNet数据集5-way 1-shot和5-way 5-shot设置上,提出的方法相比原型网络（prototypical networks）分类准确率分别提高1.9%和0.32%;在tieredImageNet数据集5-way 1-shot设置上,分类准确率相比原型网络提高0.33%。结论 提出基于类别语义相似性监督的小样本图像识别模型,提高小样本学习方法的泛化能力,提高小样本图像识别的准确率。     

基于距离度量学习的集成谱聚类

无监督学习聚类算法的性能依赖于用户在输入数据集上指定的距离度量,该距离度量直接影响数据样本之间的相似性计算,因此,不同的距离度量往往对数据集的聚类结果具有重要的影响。针对谱聚类算法中距离度量的选取问题,提出一种基于边信息距离度量学习的谱聚类算法。该算法利用数据集本身蕴涵的边信息,即在数据集中抽样产生的若干数据样本之间是否具有相似性的信息,进行距离度量学习,将学习所得的距离度量准则应用于谱聚类算法的相似度计算函数,并据此构造相似度矩阵。通过在UCI标准数据集上的实验进行分析,结果表明,与标准谱聚类算法相比,该算法的预测精度得到明显提高。     

基于Grassmann流形的半监督图像集鉴别分析

提出了基于Grassmann流形的半监督图像集鉴别分析方法。该方法将子空间表示成Grassmann流形上的点,分别用一组单位正交基表示。通过Grassmann核函数,度量子空间的相似度。不同于其他基于Grassmann流形的图像集鉴别分析,引入图嵌入框架,通过保持数据局部邻域结构的同时,最大化不同类别数据的距离,得到最优投影矩阵,并在投影空间中进行图像集分类。采用半监督学习,对于未标记样本,根据其最近邻类别进行估计。实验表明,该方法取得了优于其他图像集识别算法的效果。     

生成样本对抗训练的图半监督学习

给定一个由少量标记节点和大量未标记节点组成的图,图半监督学习的目标是为图中的未标记节点分配标签。生成对抗网络已经在半监督学习中展示了强大的能力,但基于生成对抗网络的图半监督学习的研究工作较少,目前的工作主要关注在低密度区域生成未标记样本削弱子图之间的信息传播,从而使决策边界更清晰,但在这类方法中,标记样本过少仍是其面临的主要挑战。针对这个问题,提出了一种基于生成样本对抗训练的图半监督学习算法。该算法基于生成对抗网络,分别生成服从真实样本分布的标记样本和与真实样本分布不同的未标记样本,其中生成的标记样本扩充了监督信息,生成的未标记样本减少了密度间隙中邻近节点的影响,从而提高了图半监督分类效果。相比现有的方法,提出的算法全面考虑了标记样本和未标记样本对图半监督学习的影响,使其分类能力更强。同时在不同的数据集上进行了大量的实验,验证了该方法的有效性。     

基于传递距离的谱聚类算法

谱聚类算法受到度量中尺度因子的影响,同时传统谱聚类算法通过欧氏距离度量样本间相似性也不准确。针对上述问题,提出一种基于传递距离的谱聚类算法。算法首先通过改进传统谱聚类中的度量方式,用基于传递距离的度量方式度量样本间相似性,并构建传递矩阵,接着用传递矩阵做相似度变换构建拉普拉斯矩阵,最终通过求特征值和特征向量完成聚类。基于传递距离的谱聚类算法在人工数据集及UCI数据集上均取得了良好的聚类结果,具有较好的鲁棒性和有效性。     

半监督空间化竞争聚集算法及其在图像分割中的应用

经典竞争聚集( CA)算法在聚类时对于样本中的少量已知信息没有加以利用,但这些信息往往需要应用到整个聚类过程中。此外,在相似度度量函数的选择上CA算法使用常见的欧氏距离,然而欧氏距离仅适用于团状数据,制约了算法的应用范围。针对上述问题,通过引入具备半监督学习能力的半监督项对隶属度矩阵进行增强,利用聚类中心和中心邻近的点组成空间,把样本点与该空间的距离替代欧氏距离作为新的相似度度量标准,并给出判断聚类中心能否合并的阈值参数,最终得到半监督空间化CA算法。通过在人造图像和真实图像上的分割结果表明,该算法能够更准确地获取聚类类别数以及更好的聚类效果。     

融合类别和结构信息的多尺度协同耦合度量学习方法*

针对不同尺度空间集合中数据样本无法直接匹配的问题,提出融合类别和结构信息的多尺度协同耦合度量学习方法.首先将类别信息作为主要监督信息,样本分布结构信息作为辅助监督信息,构建相关关系矩阵.然后基于该相关关系矩阵构建线性和非线性最优化目标方程,通过最优化目标方程求解将不同尺度数据集合中的数据样本变换至尺度统一的公共空间,最终实现不同尺度空间中数据样本的度量.人脸识别的实验表明,多尺度空间的非线性协同耦合度量是一种有效的度量方法,运算简单方便,能够获得较高的识别率.     

基于W距离自编码器半监督生成模型

针对现有的半监督深度分类模型未能很好学习到逼近总体数据分布的问题,提出一种基于Wasserstein自编码器深度生成模型改进的半监督深度分类算法WCVAE。在设置优化目标时考虑样本集全体示例的边际分布和有标签样本的条件分布,利用Wasserstein距离对模型拟合分布与真实数据分布之间的距离进行度量,学习到更加复杂的高维分布,使分类器学习到原数据的总体分布。实验结果表明,WCVAE在经典数据集上相较于现有方法,具有更好的质量。     

融合三元卷积神经网络与关系网络的小样本食品图像识别

食品识别在食品健康和智能家居等领域获得了广泛关注。目前大部分的食品识别工作是基于大规模标记样本的深度神经网络,这些工作无法有效地识别只有少量样本的类别,因此小样本食品识别是一个亟待解决的问题。目前基于度量学习的小样本识别方法着重于探究样本之间的相似度信息,忽略了类内与类间更加细粒度的区分。学习类内与类间区分信息的主流方法是基于线性度量函数的三元卷积神经网络,然而对于食品图像而言,线性度量函数的鉴别能力不足。为此,引入可学习的关系网络作为三元卷积神经网络的非线性度量函数,进一步提出了一种基于非线性度量的三元神经网络用于小样本食品识别方法。该方法使用三元神经网络学习图像的特征嵌入表示,然后采用鉴别能力更强的关系网络作为非线性度量函数,基于端到端的训练方式来学习类内与类间更加细粒度的区分信息。此外,提出了一种可以使模型训练更加稳定的三元组样本在线采样方案。通过在Food-101,VIREO Food-172和ChineseFoodNet食品数据集上的实验结果可知,相比基于孪生网络的小样本学习方法,所提方法的性能平均提高了3.0%,相比基于线性度量函数的三元神经网络的方法,所提方法的性能平均提升了1.0%。文中还探究了损失函数的阈值、三元组采样的参数和初始化方式对实验性能的影响。     

基于局部学习的半监督多标记分类算法

针对在求解半监督多标记分类问题时通常将其分解成若干个单标记半监督二类分类问题从而导致忽视类别之间内在联系的问题,提出基于局部学习的半监督多标记分类方法。该方法避开了多个单标记半监督二类分类问题的求解,采用“整体法”的研究思路,利用基于图的方法,引入基于样本的局部学习正则项和基于类别的拉普拉斯正则项,构建了问题的正则化框架。实验结果表明,所提算法具有较高的查全率和查准率。