基于融合变分图注意自编码器的深度聚类模型

聚类作为数据挖掘和机器学习中最基本的任务之一,在各种现实世界任务中已得到广泛应用.随着深度学习的发展,深度聚类成为一个研究热点.现有的深度聚类算法主要从节点表征学习或者结构表征学习两个方面入手,较少考虑同时将这两种信息进行融合以完成表征学习.提出一种融合变分图注意自编码器的深度聚类模型FVGTAEDC(Deep Clustering Model Based on Fusion Varitional Graph Attention Self-encoder),此模型通过联合自编码器和变分图注意自编码器进行聚类,模型中自编码器将变分图注意自编码器从网络中学习(低阶和高阶)结构表示进行集成,随后从原始数据中学习特征表示.在两个模块训练的同时,为了适应聚类任务,将自编码器模块融合节点和结构信息的表示特征进行自监督聚类训练.通过综合聚类损失、自编码器重构数据损失、变分图注意自编码器重构邻接矩阵损失、后验概率分布与先验概率分布相对熵损失,该模型可以有效聚合节点的属性和网络的结构,同时优化聚类标签分配和学习适合于聚类的表示特征.综合实验证明,该方法在5个现实数据集上的聚类效果均优于当前先进的深度聚类方法.     

深度卷积自编码图像聚类算法

针对现有深度卷积嵌入聚类算法(deep convolutional embedded clustering,DCEC)的网络特征损失过大,对复杂图像没有提取有效特征的问题,提出一个具有17层网络结构的无监督深度聚类框架,并在编码层加入下采样层,减少参数和防止过拟合;在解码层加入上采样层还原下采样造成的细节损失。分别结合DEC(deep embedded clustering)算法的损失函数和IDEC(improved deep embedded clustering)算法的采用局部结构保留优势的损失函数,得到两种基于卷积自编码的深度学习图像聚类算法DEC_DCNN(deep embedded clustering based on deep convolutional neural network)和IDEC_DCNN(improved deep embedded clustering based on deep convolutional neural network),并使用自适应矩估计(adaptive moment estimation,Adam)和小批量随机梯度下降(mini-batch stochastic gradient decent,mini-batch SGD)两种优化方法调整模型参数。3个经典图像数据集的实验结果显示,提出的17层网络结构对图像特征具有很好的鲁棒性和通用性,基于该网络结构的深度聚类算法取得了远优于现有深度聚类算法的结果,其聚类准确率均优于对比算法;对深度聚类算法DEC_DCNN和IDEC_DCNN的聚类结果准确率、指标值AMI(adjusted mutual information)和ARI(adjusted rand index)进行比较,IDEC_DCNN比DEC_DCNN的聚类性能更好,说明IDEC_DCNN算法的性能更优越。     

基于聚类变分自编码器的协同过滤算法

针对协同过滤推荐模型的数据稀疏性问题,提出一种带有聚类隐变量的变分自编码器,用于处理用户的隐式反馈数据.该深度生成模型既能学习到隐变量的特征分布,同时又能完成对特征的聚类.先以多项式似然来重构原始数据,再用贝叶斯变分推断估计参数,并且将正则化系数引入到模型当中,通过调节其大小能够避免过度正则化,使模型的拟合效果更好.这种非线性的概率模型对缺失评分的预测有更好的建模能力.在MovieLens的三个数据集上的实验结果表明,该算法相比较于其他先进的基线有更优秀的推荐性能.     

混合高斯变分自编码器的聚类网络

目的 经典的聚类算法在处理高维数据时存在维数灾难等问题,使得计算成本大幅增加并且效果不佳。以自编码或变分自编码网络构建的聚类网络改善了聚类效果,但是自编码器提取的特征往往比较差,变分自编码器存在后验崩塌等问题,影响了聚类的结果。为此,本文提出了一种基于混合高斯变分自编码器的聚类网络。方法 使用混合高斯分布作为隐变量的先验分布构建变分自编码器,并以重建误差和隐变量先验与后验分布之间的KL散度(Kullback-Leibler divergence)构造自编码器的目标函数训练自编码网络;以训练获得的编码器对输入数据进行特征提取,结合聚类层构建聚类网络,以编码器隐层特征的软分配分布与软分配概率辅助目标分布之间的KL散度构建目标函数并训练聚类网络;变分自编码器采用卷积神经网络实现。结果 为了验证本文算法的有效性,在基准数据集MNIST(Modified National Institute of Standards and Technology Database)和Fashion-MNIST上评估了该网络的性能,聚类精度(accuracy,ACC)和标准互信息(normalized mutua...     

结合降噪和自注意力的深度聚类算法

近几年,联合聚类划分和表示学习的深度聚类方法提供了出色的聚类性能,但随着图像质量的下降(比如噪声图像),聚类结果还不能令人满意.为此,提出一种新的深度聚类算法(DDC).深度卷积降噪自编码器学习噪声数据的特征表示;自注意力机制提高网络捕获局部关键信息的能力;端到端的联合训练得到合适的特征表示并完成聚类分配;对数据点和类...     

混合变分自编码

变分自编码(variational autoencoder, VAE)是一种基于连续隐向量的生成模型,通过变分近似构建目标函数,其中的生成模型及变分推理模型均采用神经网络结构.传统变分自编码模型中的变分识别模型假设多维隐变量之间是相互独立的,这种假设简化了推理过程,但是这使得变分下界过于松弛,同时限制了隐向量空间的表示能力.提出混合变分自编码(mixture of variational autoencoder, MVAE)模型,它通过多个变分自编码组件生成样本数据,丰富了变分识别模型结构,同时扩展了隐向量表示空间.该模型以连续型隐向量作为模型的隐层表示,其先验分布为高斯分布;以离散型隐向量作为各组件的指示向量,其先验分布为多项式分布.对于MVAE模型的变分优化目标,采用重参策略和折棍参数化策略处理目标函数,并用随机梯度下降方法求解模型参数.MVAE采用混合组件的方法可以增强隐变量空间的表示能力,提高近似推理精度,重参策略和折棍参数化策略可以有效求解对应的优化问题.最后在MNIST和OMNIGLOT数据集上设计了对比实验,验证了MVAE模型较高的推理精度及较强的隐变量空间表示能力.     

熵正则化下的变分深度生成聚类模型

基于深度学习的聚类方法可以自动学习到数据的隐层特征表示,并可方便应用于高维大规模数据集上。传统深度聚类方法更多关注通过深层神经网络去提取数据的隐层特征来提升聚类精度,较少对聚类任务中数据类别的确定性问题进行分析,同时缺乏对施加约束后的离散隐向量分布的分析。提出熵正则化下的变分深度生成聚类模型（VDGC-ER）,以变分自编码为基础框架,对连续向量进行高斯混合先验建模,并以高斯混合中的离散隐向量作为类别向量。通过对离散隐向量引入样本熵正则化项增强预测聚类类别的区分度,同时对离散隐向量定义聚合样本熵正则化项以降低聚类不平衡,避免局部最优,并提升生成数据多样性。之后,采用蒙特卡洛采样及重参策略估计VDGC-ER模型的优化目标,并利用随机梯度下降法求解模型参数。最后在MNIST数据集、REUTERS数据集、REUTERS-10K数据集和HHAR数据集上设计了对比实验,验证了VDGCER模型不仅可以生成高质量的样本,而且可以显著提升聚类精度。     

基于自注意力的自监督深度聚类算法

近年来,基于联合训练的深度聚类方法,如DEC(Deep Embedding Clustering)和DDC(Deep Denoising Clustering)算法,使基于特征提取的图像聚类取得了很多新进展,带来了聚类性能的突破,而且特征提取环节对后续聚类任务有直接影响.但是,这些方法的泛化能力较差,在不同数据集使用不...     

基于变分自编码器的商品文本分类算法设计

智能商品分类作为电商平台的重要组成部分越来越受到关注。以商品标题文本数据为研究对象,首先对现有模型中存在的问题进行了概述,其次对变分自编码器相关算法进行了介绍,最后为弥补商品标题文本数据中存在的不均衡问题,提出了一种基于变分自编码器的商品文本分类算法。在公开的商品标题分类数据集上进行的实验结果证明了提出算法的有效性。     

基于变分水平集的图像模糊聚类分割

结合变分水平集方法和模糊聚类,提出了一个基于变分水平集的图像聚类分割模型.该模型引入了一个基于图像局部信息的外部模糊聚类能量和一个新的关于零水平集的正则化能量,使得该模型对噪声图像的聚类分割更具鲁棒性.通过在能量泛函中加入一个内部约束能量约束水平集函数为符号距离函数,可以使水平集演化过程无需重新初始化.进一步提出了一种变分形式的聚类中心更新方法,实现了半监督的图像聚类分割.实验中采用不同类型的图像与FCM聚类模型、CV模型、Samson模型进行了对比实验,实验结果显示,该模型能够克服图像中噪声的影响,取得较满意的聚类分割效果.     

基于变分自编码器的异常颈动脉早期识别和预测

颈动脉狭窄、颈动脉内中膜厚度增加（CIMT）或颈动脉斑块等可导致脑卒中的发生。为实现脑卒中大规模初步筛查,提出基于医疗数据的改进的变分自编码器（VAE）来识别和预测异常颈动脉。首先,针对医疗数据存在缺失的情况,采用K近邻（KNN）、均值和众数相混合的方法（MKNN）以及改进的VAE对缺失数据进行填补以得到完整的数据集,从而提高数据的应用范围;接着,分析特征属性,并依据重要性对特征进行排序;然后,运用逻辑回归（LR）、支持向量机（SVM）、随机森林（RF）和极限梯度提升树（XGBT）这四种有监督学习方法结合遗传算法（GA）来建立异常颈动脉识别模型;最后,基于改进的VAE建立预测异常颈动脉的半监督模型。相较于基线模型,基于改进的VAE的半监督模型性能提升明显,灵敏度达到0.893 8,特异性达到0.927 2,F1值达到0.910 5,分类准确率达到0.910 5。实验结果表明,所建立的半监督模型可以用来识别异常颈动脉,进而作为一种识别脑卒中高危人群的工具,预防和减少脑卒中的发生。     

基于独立循环神经网络与变分自编码网络的视频帧异常检测

为了有效提取连续视频帧间的时间信息,提出一种融合独立循环神经网络（IndRNN）与变分自编码（VAE）网络的预测网络IndRNN-VAE。首先,利用VAE网络提取视频帧的空间信息,并通过线性变换得到视频帧的潜在特征;然后,将潜在特征作为IndRNN的输入以得到视频帧序列的时间信息;最后,通过残差块将获得的潜在变量与时间信息进行融合并输入到解码网络中来生成预测帧。通过在UCSD Ped1、UCSD Ped2、Avenue公开数据集上进行测试,实验结果表明,与现有的异常检测方法相比,基于IndRNN-VAE的方法性能得到了显著提升,曲线下面积（AUC）值分别达到了84.3%、96.2%和86.6%,错误率（EER）值分别达到了22.7%、8.8%和19.0%,平均异常得分的差值分别达到了0.263、0.497和0.293,且运行速度达到了每秒28帧。     

面向异构单类协同过滤的阶段式变分自编码器

在推荐系统领域,大部分现有的工作主要关注仅有一种类型的用户反馈（如购买反馈）的单类协同过滤（OCCF）问题。然而,在现实的应用中,用户的反馈往往是异构的,因此如何对用户的异构反馈进行建模从而准确刻画用户的真实偏好成为了一个新的挑战。围绕异构单类协同过滤（HOCCF）问题（包含了用户的购买反馈和浏览反馈）,提出了一个迁移学习解决方案——阶段式变分自编码器（SVAE）模型。首先,将用户的浏览反馈当作辅助数据,以多项式变分自编码器（Multi-VAE）为基础模型学习并生成隐特征向量;然后迁移该隐特征向量到另一路Multi-VAE,用于帮助该Multi-VAE对用户的目标数据（即购买反馈）进行建模。三个真实数据集上的实验结果显示,在多数情况下,SVAE模型在精确度（Precision@5）、归一化折损累计增益（NDCG@5）等重要指标上的表现显著优于其他流行的推荐算法,验证了所提模型的有效性。     

一种融合主题特征的自适应知识表示方法

基于翻译的表示学习模型TransE被提出后,研究者提出一系列模型对其进行改进和补充,如TransH、TransG、TransR等。然而,这类模型往往孤立学习三元组信息,忽略了实体和关系相关的描述文本和类别信息。基于主题特征构建TransATopic模型,在学习三元组的同时融合关系中的描述文本信息,以增强知识图谱的表示效果。采用基于主题模型和变分自编器的关系向量构建方法,根据关系上的主题分布信息将同一关系表示为不同的实值向量,同时将损失函数中的距离度量由欧式距离改进为马氏距离,从而实现向量不同维权重的自适应赋值。实验结果表明,在应用于链路预测和三元组分类等任务时,TransATopic模型的MeanRank、HITS@5和HITS@10指标较TransE模型均有显著改进。     

基于One-Shot聚合自编码器的图表示学习

自编码器（AE）是一种高效的图数据表示学习模型,但大多数图自编码器（GAE）为浅层模型,其效率会随着隐藏层的增加而降低。针对上述问题,提出基于One-Shot聚合（OSA）和指数线性（ELU）函数的GAE模型OSA-GAE和图变分自编码器模型OSA-VGAE。首先,利用多层图卷积网络（GCN）构建编码器,并引入OSA和ELU函数;然后,在解码阶段使用内积解码器恢复图的拓扑结构;此外,为了防止模型训练过程中的参数过拟合,在损失函数中引入正则化项。实验结果表明,OSA和ELU函数可以有效提高深层GAE的性能,改善模型的梯度信息传递。在使用6层GCN时,基准引文数据集PubMed的链接预测任务中,深层OSA-VGAE相较于原始的VGAE在ROC曲线下的面积（AUC）和平均精度（AP）上分别提升了8.67和6.85个百分点,深层OSA-GAE相较于原始的GAE在AP和AUC上分别提升了6.82和4.39个百分点。     

融合PSO优化的相关变模态分解与深度学习的旋转机械早期故障智能分类方法

针对旋转机械早期故障信号呈现微弱、相互干扰,易导致故障智能分类精度低的现状。提出一种融合优化的PSO-RVMD (Particle swarm optimization-Relevant Variational Mode Decomposition)与SAE (Stacked AutoEncoder)的旋转机械早期故障分类方法。智能分类方法主要有信号增强与智能分类两阶段组成。首先该方法利用所改进的PSO-RVMD分解电机-轴承系统的早期故障振动信号,通过定义的相关能量比概念计算各分量信号(IMFs)与原始信号之间的相关程度,筛选并重构相关程度高的分量,去除冗余与不相干的干扰与噪声成分,实现信号增强。最后,将增强的早期微弱信号输入到SAE模型中进行训练。利用SAE模型提取高层、抽象且利于分类的深度特征且在最后一层添加BP层,直接对提取的深度特征进行故障分类。通过仿真与实际电机-轴承系统振动信号验证了该方法的有效性,结果表明该方法能快速的实现旋转机械早期微弱故障的精确识别与诊断,提高故障特征学习与自动分类程度。     

基于注意力机制的弱监督动作定位方法

针对弱监督动作定位方法无法直接进行动作定位且定位准确性不高的问题,提出了一种基于注意力机制的弱监督动作定位方法,并设计和实现了一种基于动作前后帧信息和区分函数的动作定位模型.采用条件变分自编码器(CVAE)注意力值生成模型,将生成的帧级注意力值作为伪帧级标签;为了增强帧前后的关联性,改进CVAE注意力值生成模型,加入动...