混合高斯变分自编码器的聚类网络

目的 经典的聚类算法在处理高维数据时存在维数灾难等问题,使得计算成本大幅增加并且效果不佳。以自编码或变分自编码网络构建的聚类网络改善了聚类效果,但是自编码器提取的特征往往比较差,变分自编码器存在后验崩塌等问题,影响了聚类的结果。为此,本文提出了一种基于混合高斯变分自编码器的聚类网络。方法 使用混合高斯分布作为隐变量的先验分布构建变分自编码器,并以重建误差和隐变量先验与后验分布之间的KL散度（Kullback-Leibler divergence）构造自编码器的目标函数训练自编码网络;以训练获得的编码器对输入数据进行特征提取,结合聚类层构建聚类网络,以编码器隐层特征的软分配分布与软分配概率辅助目标分布之间的KL散度构建目标函数并训练聚类网络;变分自编码器采用卷积神经网络实现。结果 为了验证本文算法的有效性,在基准数据集MNIST （Modified National Institute of Standards and Technology Database）和Fashion-MNIST上评估了该网络的性能,聚类精度（accuracy,ACC）和标准互信息（normalized mutual information,NMI）指标在MNIST数据集上分别为95.86%和91%,在Fashion-MNIST数据集上分别为61.34%和62.5%,与现有方法相比性能有了不同程度的提升。结论 实验结果表明,本文网络取得了较好的聚类效果,且优于当前流行的多种聚类方法。     

基于融合变分图注意自编码器的深度聚类模型

聚类作为数据挖掘和机器学习中最基本的任务之一,在各种现实世界任务中已得到广泛应用.随着深度学习的发展,深度聚类成为一个研究热点.现有的深度聚类算法主要从节点表征学习或者结构表征学习两个方面入手,较少考虑同时将这两种信息进行融合以完成表征学习.提出一种融合变分图注意自编码器的深度聚类模型FVGTAEDC(Deep Clustering Model Based on Fusion Varitional Graph Attention Self-encoder),此模型通过联合自编码器和变分图注意自编码器进行聚类,模型中自编码器将变分图注意自编码器从网络中学习(低阶和高阶)结构表示进行集成,随后从原始数据中学习特征表示.在两个模块训练的同时,为了适应聚类任务,将自编码器模块融合节点和结构信息的表示特征进行自监督聚类训练.通过综合聚类损失、自编码器重构数据损失、变分图注意自编码器重构邻接矩阵损失、后验概率分布与先验概率分布相对熵损失,该模型可以有效聚合节点的属性和网络的结构,同时优化聚类标签分配和学习适合于聚类的表示特征.综合实验证明,该方法在5个现实数据集上的聚类效果均优于当前先进的深度聚类方法.     

结合降噪和自注意力的深度聚类算法

近几年,联合聚类划分和表示学习的深度聚类方法提供了出色的聚类性能,但随着图像质量的下降(比如噪声图像),聚类结果还不能令人满意.为此,提出一种新的深度聚类算法(DDC).深度卷积降噪自编码器学习噪声数据的特征表示;自注意力机制提高网络捕获局部关键信息的能力;端到端的联合训练得到合适的特征表示并完成聚类分配;对数据点和类中心的相似度赋予不同的权重,扩大同类和异类之间的差异.在公开图像数据集上的实验表明DDC算法的聚类性能更高;并与其他深度聚类算法进行对比,例如在COIL-20上DDC的聚类精度是0.803,而DEC算法仅是0.597.总之,结合自注意力和深度卷积降噪自编码器的DDC算法能对噪声图像进行更有效的聚类分析,扩大了图像聚类的应用范围.     

使用改进自编码器的细粒度图像分类研究

针对深度连续聚类算法(Deep Continuous Clustering, DCC)特征提取能力有限,对复杂图像不能提取足够有效细节特征的不足,本文提出一个新的循环卷积自编码器(Recurrent Convolutional Auto-Encoder, R-CAE).自编码器结合门控循环网络GRU和卷积网络CNN构造编码层;同时在门控循环网络GRU部分添加空间域注意力通道,增强网络的特征学习能力.图像信息经过R-CAE自编码器编码后获取细节信息,传入经典卷积神经网络学习特征;当优化结果接近或者达到聚类阈值的时候,获得最终的聚类结果实现分类.训练过程中,模型首先预训练,确定自编码器参数;然后结合编码部分和经典网络学习训练,微调网络参数.本文通过实验证明了改进方法结合DCC在聚类实验中优于大部分经典聚类算法,在针对真实图像的细粒度分类实验中也有显著的进步.     

DCVAE与DPC融合的网络入侵检测模型研究

入侵检测是主动防御网络中攻击行为的技术,以往入侵检测模型因正常网络流量与未知攻击内在特征区分度不足,导致对未知攻击识别率不够高,本文设计基于判别条件变分自编码器与密度峰值聚类算法的入侵检测模型(DCVAE-DPC).利用判别条件变分自编码器能够生成指定类别样本的能力,学习正常网络流量特征的隐空间表示并计算其重建误差,增加其与未知攻击间的特征区分度,并使用密度峰值聚类算法求出正常网络流量重建误差的分布,提高未知攻击识别率.实验结果表明,在NSL-KDD数据集中与当前流行的入侵检测模型相比,模型的分类准确率可以达到97.08%,具有更高的未知攻击检测能力,面对当前复杂网络环境,有更强的入侵检测性能.     

基于深度自编码器的单样本人脸识别*

由于每个目标仅有一幅已知样本,无法描述目标的类内变化,诸多人脸识别算法在解决单样本人脸识别问题时识别性能较低.因此文中提出基于深度自编码器的单样本人脸识别算法.算法首先采用所有已知样本训练深度自编码器,得到广义深度自编码器,然后使用每个单样本目标的单个样本微调广义深度自编码器,得到特定类别的深度自编码器.识别时,将识别图像输入每个特定类别的深度自编码器,得到包含与测试图像相同类内变化的该类别的重构图像,使用重构图像训练Softmax回归模型,分类测试图像.在公共测试库上进行测试,并与其它算法在相同环境下进行对比,结果表明文中算法在获得更优识别率的同时,识别一幅图像所需平均时间更少.     

基于深度聚类的航空交通流识别与异常检测研究

针对传统的聚类算法无法捕获高维轨迹数据在低维空间中的隐含关系，且难以定义适当的相似性度量以同时考虑轨迹的局部和全局特征的问题，提出了一种基于深度神经网络的多变量轨迹深度聚类框架(MTDC)并将其用于航空交通流识别与异常检测。该框架主要包含一个非对称的自编码器和一个自定义的轨迹聚类层。自编码器由一维卷积神经网络和双向长短时记忆网络堆叠而成，用于学习原始输入在低维隐空间中的特征表示。轨迹聚类层则通过计算隐空间中样本的Q分布实现聚类。结合自编码器的重建损失和轨迹聚类Q分布定义了一个新的异常分数，用于检测异常轨迹。使用基于广播式自动相关监视(ADS-B)的真实轨迹数据进行实验，结果表明，所提框架能有效地进行航空交通流识别，并能检测出具有实际意义且可解释的异常轨迹。     

基于孪生变分自编码器的小样本图像分类方法

当前深度学习大都基于大量数据通过构建深层次的网络实现自动识别,但在很多场景中难以获得大量的样本数据。针对这一问题,提出一种基于孪生变分自编码器(siamese variational auto-encoder,S-VAE)的小样本图像分类方法。通过变分自编码器提取原始训练数据的高层语义特征,然后由两个训练好的变分自编码器的编码器部分组建孪生网络的输入结构,最后通过分类器对样本进行识别。变分自编码器可以解决样本数据量少带来的过拟合问题,孪生网络的结构增加了样本数量较少的情况下的训练次数。在Omniglot数据集上进行的实验结果表明:本方法与原始孪生神经网络相比正确率平均提高了3.1%,模型收敛速度更快,证明了孪生变分自编码器能够较好地完成小样本数据分类任务。     

基于变分贝叶斯对比网络的非参数图像聚类方法

非参数图像聚类中聚类簇数是未知的，需要模型自动发现.虽然一些现有的贝叶斯方法可以自动推断聚类簇数，但由于计算成本过高或过于依赖已学习到的特征，在大规模图像数据集上并不可行.因此，文中提出基于变分贝叶斯对比网络的非参数图像聚类方法.首先，利用ResNet提取图像特征.然后，提出深度变分迪利克雷过程混合优化方法，自动推断聚类数量，可直接嵌入端到端的深度模型，并可与特征提取器进行联合优化.最后，提出极化对比聚类学习，利用极化标签去噪策略对标签进行去噪和极化处理，并利用极化标签与数据增强预测标签进行对比学习，联合优化图像特征提取器和分类器.在三个基准数据集上的实验表明，文中方法性能较优.     

基于分类特征约束变分伪样本生成器的类增量学习

针对神经网络模型进行类增量训练时产生的灾难性遗忘问题,提出一种基于分类特征约束变分伪样本生成器的类增量学习方法.首先,通过构造伪样本生成器记忆旧类样本来训练新的分类器及新的伪样本生成器.伪样本生成器以变分自编码器为基础,用分类特征进行约束,使生成的样本更好地保留旧类在分类器上的性能.然后,用旧分类器的输出作为伪样本的精馏标签,进一步保留从旧类获得的知识.最后,为了平衡旧类样本的生成数量,采用基于分类器分数的伪样本选择,在保持每个旧类伪样本数量平衡的前提下选择一些更具代表性的旧类伪样本.在MNIST、FASHION、E-MNIST和SVHN数据集上的实验结果表明,所提出的方法能有效减少灾难性遗忘的影响,提高图像的分类精度.     

融合VAE和StackGAN的零样本图像分类方法

零样本分类算法旨在解决样本极少甚至缺失类别情况下的分类问题。随着深度学习的发展,生成模型在零样本分类中的应用取得了一定的突破,通过生成缺失类别的图像,将零样本图像分类转化为传统的基于监督学习的图像分类问题,但生成图像的质量不稳定,如细节缺失、颜色失真等,影响图像分类准确性。为此,提出一种融合变分自编码(variational auto-encoder, VAE)和分阶段生成对抗网络(stack generative adversarial networks, StackGAN)的零样本图像分类方法,基于VAE/GAN模型引入StackGAN,用于生成缺失类别的数据,同时使用深度学习方法训练并获取各类别的句向量作为辅助信息,构建新的生成模型stc-CLS-VAEStackGAN,提高生成图像的质量,进而提高零样本图像分类准确性。在公用数据集上进行对比实验,实验结果验证了本文方法的有效性与优越性。     

面向多模态MRI脑胶质瘤区域三维分割与生存期预测的级联U-Net网络

目的 针对常见方法对脑胶质瘤的肿瘤分割和生存预测需要单独建模的问题,提出一种带有变分自编码器（variational auto-encoder,VAE）分支的两阶段级联U-Net算法,旨在分割肿瘤的同时提取鲁棒的特征预测患者生存期,有助于患者的精准治疗。方法 提出的两阶段级联U-Net网络,第1阶段实现初步粗分割,第2阶段实现精细化分割。此外,在第2阶段添加变分自编码器分支以提取更加鲁棒的特征并提高模型泛化性。其中,变分自编码器分支获取的特征被送入随机森林算法以进行生存期预测。另外,在两个阶段的解码器部分都添加了SE （squeeze-and-excitation）-残差模块以及注意力门模块,提高了分割精度。结果 在Brain Tumor Segmentation （BraTS）竞赛官网分别评估了本文方法在BraTS2020验证集上分割以及总体生存期预测两大任务的结果,本文算法在该验证集的全肿瘤区域、肿瘤核心区域以及增强型肿瘤区域分别取得了90.66%、85.09%和79.02%的Dice相似系数。相较3DU-Net在3个肿瘤子区域的Dice相似系数分别提高了4.3%、1.37%和5.36%。对于总体生存期的预测准确率达到了55.2%,相较性能最佳算法的预测准确率虽然低3.4%,但是从均方误差这一评估指标来看略有优势。结论 为了防止出现过拟合,提出带有VAE分支的两阶段级联U-Net网络结构,同时该分支能够提取肿瘤的鲁棒特征用于后续生存分析。实验表明,该网络能够较为准确地分割脑肿瘤,并且其提取的特征能够准确地预测患者生存期,可以为临床医生进行脑胶质瘤诊断提供有力的参考。     

对抗型半监督光伏面板故障检测

目的 传统的光伏面板故障检测主要依靠人工巡检,效率低下且误检率很高,而流行的基于机器视觉的智能检测方法又面临缺少大量负样例造成故障检测模型准确性偏低的问题。针对上述问题,本文提出一种基于对抗训练的半监督异常检测模型,通过应用梯度中心化（gradient centralization,GC）和Smooth L1损失函数,使模型具有更好的准确性和鲁棒性。方法 通过构建半监督异常检测模型并定义目标函数,将正常的光伏面板图像作为正样例原图输入半监督异常检测模型进行模型训练。然后将待测光伏面板图像输入到训练好的半监督异常检测模型,生成该待测图像对应的重建图像。最后通过计算待测原图像与其重建图像隐空间向量之间的误差来判断该待测光伏面板是否存在异常。结果 本文以浙江某光伏电站采集的光伏面板为实验对象,将本文方法与Pre-trained VGG16（Visual Geometry Group 16-layer network）、AnoGAN （anomaly generative adversarial network）、GANomaly等方法进行比较,AUC （area under curve）分别提高了0.12、0.052和0.033。结论 实验结果证明,本文提出的基于生成对抗网络的半监督异常检测模型大幅提高了光伏面板故障检测的准确率。     

Output-relevant Variational autoencoder for Just-in-time soft sensor modeling with missing data

Main challenges for developing data-based models lie in the existence of high-dimensional and possibly missing observations that exist in stored data from industry process. Variational autoencoder (VAE) as one of the deep learning methods has been applied for extracting useful information or features from high-dimensional dataset. Considering that existing VAE is unsupervised, an output-relevant VAE is proposed for extracting output-relevant features in this work. By using correlation between process variables, different weight is correspondingly assigned to each input variable. With symmetric Kullback–Leibler (SKL) divergence, the similarity is evaluated between the stored samples and a query sample. According to the values of the SKL divergence, data relevant for modeling are selected. Subsequently, Gaussian process regression (GPR) is utilized to establish a model between the input and the corresponding output at the query sample. In addition, owing to the common existence of missing data in output data set, the parameters and missing data in the GPR are estimated simultaneously. A practical debutanizer industrial process is utilized to illustrate the effectiveness of the proposed method.     

GAN图像对抗样本生成方法

为了提高生成对抗网络模型对抗样本的多样性和攻击成功率,提出了一种GAN图像对抗样本生成方法。首先,利用原始样本集整体训练一个深度卷积对抗生成网络G1,模拟原始样本集分布;其次,在黑盒攻击场景下,利用模型蒸馏方法对目标模型进行黑盒复制,获取目标模型的本地复制;然后以G1的输出作为输入,以蒸馏模型作为目标模型,训练生成对抗网络G2,在有目标攻击情况下还需输入目标类别,G2用以生成输入数据针对目标类别的扰动;最后将样本与扰动相加并以像素灰度值区间进行规范化,得到对抗样本。实验结果表明,在相同输入条件下该方法产生图像对抗样本平均SSIM指标、MI指标和Cosin相似度分别降低50.7%、10.96%和28.7%,平均均方误差值(MSE)和图像指纹的海明距离分别提升7.6%和1974.80,同时MNIST数据集和CIFAR10数据集下模型平均攻击成功率在95%以上。     

基于深度残差生成式对抗网络的样本生成方法

作为样本生成的重要方法之一,生成式对抗网络(GAN)可以根据任意给定数据集中的数据分布生成样本,但它在实际的训练过程中存在生成样本纹理模糊、训练过程不稳定以及模式坍塌等问题.针对以上问题,在深度卷积生成式对抗网络(DCGAN)的基础上,结合残差网络,设计一种基于深度残差生成式对抗网络的样本生成方法RGAN.该样本生成方法利用残差网络和卷积网络分别构建生成模型和判别模型,并结合正负样本融合训练的学习优化策略进行优化训练.其中:深度残差网络可以恢复出丰富的图像纹理;正负样本融合训练的方式可以增加对抗网络的鲁棒性,有效缓解对抗网络训练不稳定和模式坍塌现象的发生.在102 Category Flower Dataset数据集上设计多个仿真实验,实验结果表明RGAN能有效提高生成样本的质量.     

一种融合小波变换与卷积神经网络的高相似度图像识别与分类算法

针对特定领域高相似度图像识别与分类问题,提出融合小波变换与卷积神经网络的高相似度图像识别与分类算法。首先,利用小波变换提取图像纹理特征,对不同类别、不同分辨率图像集进行训练并确定最佳纹理差异度参数值;其次,根据纹理差异度运用小波分解方法对图像进行子图分解,提取各子图能量特征并进行归一化处理;接着,通过卷积神经网络5层卷积和3层池化交替,将输入图像特征向量转化为一维向量;最后,通过训练次数的增加以及数据量的增大,不断优化网络参数,提高在训练集中的分类准确度,在测试集中验证权值实际准确度,得到具有最高分类准确率的卷积神经网络模型。实验选取鸡蛋、苹果两类图像数据集作为实验数据,进行鸡蛋散养或圈养识别、苹果产地判定,实验结果表明：该算法平均鉴别准确率均达90%以上。     

基于自适应多尺度图卷积网络的多标签图像识别

利用一阶谱图卷积探索类别标签间关系是目前多标签图像识别常用的手段,但是,较多的图卷积层数易出现过度平滑现象,使得该方法存在局限性.为此,提出一种基于自适应多尺度图卷积网络的多标签图像识别方法,主要思路为:采用块Krylov子空间形式的谱图卷积来挖掘类别标签间的相关性,在每个图卷积层中拼接多尺度信息并扩展到深层结构,并在自适应标签关系图模块所构建的关系图上学习分类器,从而更加有效地进行多标签图像识别.通过两个公开数据集PASCAL VOC 2007和MS-COCO 2014上的实验结果验证了所提出方法的有效性.     

循环生成对抗网络的线稿图像自动提取

目的 动漫制作中线稿绘制与上色耗时费力,为此很多研究致力于动漫制作过程自动化。目前基于数据驱动的自动化研究工作快速发展,但并没有一个公开的线稿数据集可供使用。针对真实线稿图像数据获取困难,以及现有线稿提取方法效果失真等问题,提出基于循环生成对抗网络的线稿图像自动提取模型。方法 模型基于循环生成对抗网络结构,以解决非对称数据训练问题。然后将不同比例的输入图像及其边界图输入到掩码指导卷积单元,以自适应选择网络中间特征。同时为了进一步提升网络提取线稿的效果,提出边界一致性约束损失函数,确保生成结果与输入图像在梯度变化上的一致性。结果 在公开的动漫彩色图像数据集Danbooru2018上,应用本文模型提取的线稿图像相比于现有线稿提取方法,噪声少、线条清晰且接近真实漫画家绘制的线稿图像。实验中邀请30名年龄在2025岁的用户,对本文以及其他4种方法提取的线稿图像进行打分。最终在30组测试样例中,本文方法提取的线稿图像被认为最佳的样例占总样例84%。结论 通过在循环生成对抗网络中引入掩码指导单元,更加合理地提取彩色图像的线稿图像,并通过对已有方法提取效果进行用户打分证明,在动漫线稿图像提取中本文方法优于对比方法。此外,该模型不需要大量真实线稿图像训练数据,实验中仅采集1 000幅左右真实线稿图像。模型不仅为后续动漫绘制与上色研究提供数据支持,同时也为图像边缘提取方法提供了新的解决方案。