基于半监督编码生成对抗网络的图像分类模型

在实际应用中, 为分类模型提供大量的人工标签越来越困难, 因此, 近几年基于半监督的图像分类问题获得了越来越多的关注.而大量实验表明, 在生成对抗网络(Generative adversarial network, GANs)的训练过程中, 引入少量的标签数据能获得更好的分类效果, 但在该类模型的框架中并没有考虑用于提取图像特征的结构, 为了进一步利用其模型的学习能力, 本文提出一种新的半监督分类模型.该模型在原生成对抗网络模型中添加了一个编码器结构, 用于直接提取图像特征, 并构造了一种新的半监督训练方式, 获得了突出的分类效果.本模型分别在标准的手写体识别数据库MNIST、街牌号数据库SVHN和自然图像数据库CIFAR-10上完成了数值实验, 并与其他半监督模型进行了对比, 结果表明本文所提模型在使用少量带标数据情况下得到了更高的分类精度.     

变分自编码器模型综述

变分自编码器（VAE）作为深度隐空间生成模型的一种，近年来其表现性能取得了极大的成功，尤其是在图像生成方面。变分自编码器模型作为无监督式特征学习的重要工具之一，可以通过学习隐编码空间与数据生成空间的特征映射，进而在输出端重构生成输入数据。梳理了传统变分自编码器模型及其衍生变体模型的发展与研究现状，并就此做了总结和对比，最后分析了变分自编码器模型存在的问题与挑战，并就可能的发展趋势做了展望。     

基于编码器-解码器的半监督图像语义分割

基于深度卷积神经网络的图像语义分割方法需要大量像素级标注的训练数据,但标注的过程费时又费力.本文基于生成对抗网络提出一种编码-解码结构的半监督图像语义分割方法,其中编码器-解码器模块作为生成器,整个网络通过耦合标准多分类交叉熵损失和对抗损失进行训练.为充分利用浅层网络包含的丰富的语义信息,本文将编码器中不同尺度的特征输入到分类器,并将得到的不同粒度的分类结果融合,进而优化目标边界.此外,鉴别器通过发现无标签数据分割结果中的可信区域,以此提供额外的监督信号,来实现半监督学习.在PASCAL VOC 2012和Cityscapes上的实验表明,本文提出的方法优于现有的半监督图像语义分割方法.     

基于变分自编码器的交互式旋律生成方法

现有的交互式神经音乐生成方法主要存在控制模式不灵活、数据标注困难以及模型难以优化等问题。针对这些问题,提出了一种基于变分自编码器(VAE)的无监督交互式旋律生成方法。通过为VAE引入显式的旋律轮廓条件推理学习,实现了对生成旋律局部与全局特征的灵活控制。实验表明,该方法易于优化且具有良好的旋律局部与全局特征的控制能力。通过对大量生成样本的分析,证明了模型从音乐数据中学习到了有用的音乐知识。     

基于图的半监督学习的距离度量改进

基于图的半监督学习的一个关键问题是:图上顶点之间的距离度量的有效性问题。为了解决这个问题,提出了基于图的半监督学习的距离度量改进方法。通过在现有密度敏感的距离度量方案中添加补偿参数的方法,使得改进的距离度量方案不但能够有效地扩大不同类别的高密度区域样本间的距离,同时还能缩小相同类别中样本之间的距离。将改进的距离度量方案应用到聚类算法中,来验证改进的距离度量方案的有效性。实验结果表明:改进的距离度量方法能够有效地扩大不同类别间距离,增强类内聚合度。     

基于自编码器和集成学习的半监督异常检测算法

异常检测用来预处理数据,挖掘异类数据信息,是数据挖掘的一种重要方法。近年来由于维度灾难问题,高维异常数据检测显得十分困难,针对上述问题提出一种基于自编码器和集成学习的半监督异常检测算法。首先利用自编码器降维,在编解码过程中异常数据的异常程度被增大,然后在AdaBoost提升框架中融合iforest、LOF、K-means算法,基于3种算法对于不同异常类型的敏感性,提升异常检测的准确性。选取UCI机器学习库中的高维异常数据集进行实验。实验结果表明,该模型的准确性相较于目前主流的异常检测算法有显著提升。     

基于监督学习深度自编码器的图像重构

针对数字图像受损信息的重构问题,提出一种将经典无监督学习自编码器(Auto-Encoder,AE)用于监督学习的新方法,并对深度模型结构与训练策略进行了研究。通过设计多组监督学习单层AE模型,提出了逐组“递进学习”和“关联编码”的学习策略,构建了一个新的基于监督学习的深度AE模型结构;对于新模型结构,采用多对一(一个输入样本的多种形式对应一个输出)的训练方法代替经典AE中一对一(一个输入样本对应一个输出)的训练方法。将该模型的结构和训练策略用于部分数据受损或遮挡的图像中进行数据重构测试,提高了模型对受损数据特征编码的表达能力和重构能力。实验结果表明,提出的新方法对于受损及遮挡样本的图像具有良好的重构效果和适应性。     

基于自训练SGAN的调压器半监督故障诊断模型

针对实际工况下调压器标记样本稀缺导致故障诊断效果不佳的问题,基于自训练算法与半监督生成对抗网络(semi-supervisedgenerativeadversarialnetwork,SGAN)设计了故障诊断模型。首先,对燃气调压器一维压力信号进行预处理,得到灰度图像样本。之后,基于深度卷积生成对抗网络,设计SGAN进行特征提取,判别器采用具有共享权值的堆叠鉴别器模型。然后,设计自训练算法,使用训练好的初始分类器预测无标签样本的类别标签。最后,采用重复标记方式将满足要求的样本扩充到有标签样本集重新训练,保存最终的分类器。实验结果表明,在少量调压器标签样本的情况下,所提模型依旧具有良好的性能。     

基于Wasserstein距离概率分布模型的非线性降维

降维是大数据分析和可视化领域中的核心问题,其中基于概率分布模型的降维算法通过最优化高维数据模型和低维数据模型之间的代价函数来实现降维。这种策略的核心在于构建最能体现数据特征的概率分布模型。基于此,将Wasserstein距离引入降维,提出一个基于Wasserstein距离概率分布模型的非线性降维算法W-map。W-map模型在高维数据空间和其相关对应的低维数据空间建立相似的Wasserstein流,将降维转化为最小运输问题。在解决Wasserstein距离最小化的问题同时,依据数据的Wasserstein流模型在高维空间与其在低维空间相同的原则,寻找最匹配的低维数据投射。三组针对不同数据集的实验结果表明W-map相对传统概率分布模型可以产生正确性高且鲁棒性好的高维数据降维可视化结果。     

自注意力时序点过程生成模型的Wasserstein学习方法

目前学界普遍通过循环神经网络(RNN)建模强度函数来刻画时序点过程,然而此类模型不能捕捉到事件序列之间的长程依赖关系,并且强度函数具体的参数形式会限制模型的泛化能力。针对上述问题,提出一种无强度函数的注意力机制的时序点过程生成模型。该模型使用Wasserstein距离构建损失函数,便于衡量模型分布与真实分布之间的偏差,利用自注意力机制描述历史事件对当前事件的影响程度,使得模型具有可解释性且泛化能力更强。对比实验表明,在缺失强度函数先验信息的情况下,该方法比RNN类的生成模型和极大似然模型在QQ图斜率的偏差和经验强度偏差这两个指标总体上分别减少35.125%和24.200%,证实了所提模型的有效性。     

小样本下基于Wasserstein距离的半监督学习算法

近年来,基于大规模标记数据集的深度神经网络模型在图像领域展现出优秀的性能,但是大量标记数据昂贵且难以收集.为了更好地利用无标记数据,提出了一种半监督学习方法Wasserstein consistency training(WCT),通过引入Jensen-Shannon散度来模拟协同训练并组织大量未标记数据来提高协同训练...     

Adversarial training with Wasserstein distance for learning cross-lingual word embeddings

Applied Intelligence - Recent studies have managed to learn cross-lingual word embeddings in a completely unsupervised manner through generative adversarial networks (GANs). These GANs-based...     

基于EMD距离的稀疏自编码器

KL散度在机器学习领域被广泛地用于模型损失函数之中来度量分布的距离。在稀疏自编码器中,KL散度被用作损失函数的惩罚项来度量神经元输出与稀疏参数的距离,使得神经元输出趋近稀疏参数,从而抑制神经元的激活以得到稀疏编码。在WGAN中,Wasserstein距离被用于解决GAN的梯度消失和模式塌陷问题,使得GAN的训练更加稳定。得益于Wasserstein距离在GAN中的成功应用,提出了基于EMD距离的稀疏自编码器SAE-EMD。实验结果表明,相比于使用KL散度与JS散度,使用EMD距离作为惩罚项的稀疏自编码器可以使得真实样本与重构样本之间的重构误差减小,并且随着惩罚参数的增大,编码更加稀疏。     

Data supplement for a soft sensor using a new generative model based on a variational autoencoder and Wasserstein GAN

In industrial process control, measuring some variables is difficult for environmental or cost reasons. This necessitates employing a soft sensor to predict these variables by using the collected data from easily measured variables. The prediction accuracy and computational speed in the modeling procedure of soft sensors could be improved with adequate training samples. However, the rough environment of some industrial fields makes it difficult to acquire enough samples for soft sensor modeling. Generative adversarial networks (GANs) and the variational autoencoder (VAE) are two prominent methods that have been employed for learning generative models. In the current work, the VA-WGAN combining VAE with Wasserstein generative adversarial networks (WGAN) as a generative model is established to produce new samples for soft sensors by using the decoder of VAE as the generator in WGAN. An actual industrial soft sensor with insufficient data is used to verify the data generation capability of the proposed model. According to the experimental results, the samples obtained with the proposed model more closely resemble the true samples compared with the other four common generative models. Moreover, the insufficiency of the training data and the prediction precision of soft sensors could be improved via these constructed samples.     

基于测地距离的半监督增强

在许多模式识别任务中,研究者常常使用有标记样本的信息,而忽略无标记样本信息,但在现实生活中有标记样本的获得可能需要花费大量的人力、物力、财力,而无标记数据的获得却相对容易得多。如何利用无标记的数据来增强分类器的性能成为近年来模式识别中的研究热点。在以往的半监督增强学习中,主要是根据无标记样本和有标记样本的相似度来利用无标记样本的,相似度主要使用欧氏距离来度量,而欧氏距离只反映样本间的空间位置关系,没有反映样本间的流形信息。因此,提出了基于测地距离的半监督增强学习算法,从而可以反映样本空间的流形信息。多个数据库上的实验结果表明提出算法的有效性。     

基于流形距离的半监督近邻传播聚类算法*

通过学习数据集的低维流形结构,给出一种流形距离测度;结合成对约束信息,调整数据的相似度矩阵,将其作为近邻传播算法的输入,提出了基于流形距离的半监督近邻传播聚类算法（SAP-MD）。通过在UCI标准数据集上的仿真实验表明,SAP-MD算法相比于仅利用成对约束信息的聚类算法,在聚类性能上有很大提高。