基于融合变分图注意自编码器的深度聚类模型

聚类作为数据挖掘和机器学习中最基本的任务之一,在各种现实世界任务中已得到广泛应用.随着深度学习的发展,深度聚类成为一个研究热点.现有的深度聚类算法主要从节点表征学习或者结构表征学习两个方面入手,较少考虑同时将这两种信息进行融合以完成表征学习.提出一种融合变分图注意自编码器的深度聚类模型FVGTAEDC(Deep Clustering Model Based on Fusion Varitional Graph Attention Self-encoder),此模型通过联合自编码器和变分图注意自编码器进行聚类,模型中自编码器将变分图注意自编码器从网络中学习(低阶和高阶)结构表示进行集成,随后从原始数据中学习特征表示.在两个模块训练的同时,为了适应聚类任务,将自编码器模块融合节点和结构信息的表示特征进行自监督聚类训练.通过综合聚类损失、自编码器重构数据损失、变分图注意自编码器重构邻接矩阵损失、后验概率分布与先验概率分布相对熵损失,该模型可以有效聚合节点的属性和网络的结构,同时优化聚类标签分配和学习适合于聚类的表示特征.综合实验证明,该方法在5个现实数据集上的聚类效果均优于当前先进的深度聚类方法.     

深度卷积自编码图像聚类算法

针对现有深度卷积嵌入聚类算法(deep convolutional embedded clustering,DCEC)的网络特征损失过大,对复杂图像没有提取有效特征的问题,提出一个具有17层网络结构的无监督深度聚类框架,并在编码层加入下采样层,减少参数和防止过拟合;在解码层加入上采样层还原下采样造成的细节损失。分别结合DEC(deep embedded clustering)算法的损失函数和IDEC(improved deep embedded clustering)算法的采用局部结构保留优势的损失函数,得到两种基于卷积自编码的深度学习图像聚类算法DEC_DCNN(deep embedded clustering based on deep convolutional neural network)和IDEC_DCNN(improved deep embedded clustering based on deep convolutional neural network),并使用自适应矩估计(adaptive moment estimation,Adam)和小批量随机梯度下降(mini-batch stochastic gradient decent,mini-batch SGD)两种优化方法调整模型参数。3个经典图像数据集的实验结果显示,提出的17层网络结构对图像特征具有很好的鲁棒性和通用性,基于该网络结构的深度聚类算法取得了远优于现有深度聚类算法的结果,其聚类准确率均优于对比算法;对深度聚类算法DEC_DCNN和IDEC_DCNN的聚类结果准确率、指标值AMI(adjusted mutual information)和ARI(adjusted rand index)进行比较,IDEC_DCNN比DEC_DCNN的聚类性能更好,说明IDEC_DCNN算法的性能更优越。     

基于聚类变分自编码器的协同过滤算法

针对协同过滤推荐模型的数据稀疏性问题,提出一种带有聚类隐变量的变分自编码器,用于处理用户的隐式反馈数据.该深度生成模型既能学习到隐变量的特征分布,同时又能完成对特征的聚类.先以多项式似然来重构原始数据,再用贝叶斯变分推断估计参数,并且将正则化系数引入到模型当中,通过调节其大小能够避免过度正则化,使模型的拟合效果更好.这种非线性的概率模型对缺失评分的预测有更好的建模能力.在MovieLens的三个数据集上的实验结果表明,该算法相比较于其他先进的基线有更优秀的推荐性能.     

混合高斯变分自编码器的聚类网络

目的 经典的聚类算法在处理高维数据时存在维数灾难等问题,使得计算成本大幅增加并且效果不佳。以自编码或变分自编码网络构建的聚类网络改善了聚类效果,但是自编码器提取的特征往往比较差,变分自编码器存在后验崩塌等问题,影响了聚类的结果。为此,本文提出了一种基于混合高斯变分自编码器的聚类网络。方法 使用混合高斯分布作为隐变量的先验分布构建变分自编码器,并以重建误差和隐变量先验与后验分布之间的KL散度(Kullback-Leibler divergence)构造自编码器的目标函数训练自编码网络;以训练获得的编码器对输入数据进行特征提取,结合聚类层构建聚类网络,以编码器隐层特征的软分配分布与软分配概率辅助目标分布之间的KL散度构建目标函数并训练聚类网络;变分自编码器采用卷积神经网络实现。结果 为了验证本文算法的有效性,在基准数据集MNIST(Modified National Institute of Standards and Technology Database)和Fashion-MNIST上评估了该网络的性能,聚类精度(accuracy,ACC)和标准互信息(normalized mutua...     

结合降噪和自注意力的深度聚类算法

近几年,联合聚类划分和表示学习的深度聚类方法提供了出色的聚类性能,但随着图像质量的下降(比如噪声图像),聚类结果还不能令人满意.为此,提出一种新的深度聚类算法(DDC).深度卷积降噪自编码器学习噪声数据的特征表示;自注意力机制提高网络捕获局部关键信息的能力;端到端的联合训练得到合适的特征表示并完成聚类分配;对数据点和类...     

混合变分自编码

变分自编码(variational autoencoder, VAE)是一种基于连续隐向量的生成模型,通过变分近似构建目标函数,其中的生成模型及变分推理模型均采用神经网络结构.传统变分自编码模型中的变分识别模型假设多维隐变量之间是相互独立的,这种假设简化了推理过程,但是这使得变分下界过于松弛,同时限制了隐向量空间的表示能力.提出混合变分自编码(mixture of variational autoencoder, MVAE)模型,它通过多个变分自编码组件生成样本数据,丰富了变分识别模型结构,同时扩展了隐向量表示空间.该模型以连续型隐向量作为模型的隐层表示,其先验分布为高斯分布;以离散型隐向量作为各组件的指示向量,其先验分布为多项式分布.对于MVAE模型的变分优化目标,采用重参策略和折棍参数化策略处理目标函数,并用随机梯度下降方法求解模型参数.MVAE采用混合组件的方法可以增强隐变量空间的表示能力,提高近似推理精度,重参策略和折棍参数化策略可以有效求解对应的优化问题.最后在MNIST和OMNIGLOT数据集上设计了对比实验,验证了MVAE模型较高的推理精度及较强的隐变量空间表示能力.     

基于自注意力的自监督深度聚类算法

近年来,基于联合训练的深度聚类方法,如DEC(Deep Embedding Clustering)和DDC(Deep Denoising Clustering)算法,使基于特征提取的图像聚类取得了很多新进展,带来了聚类性能的突破,而且特征提取环节对后续聚类任务有直接影响.但是,这些方法的泛化能力较差,在不同数据集使用不...     

熵正则化下的变分深度生成聚类模型

基于深度学习的聚类方法可以自动学习到数据的隐层特征表示,并可方便应用于高维大规模数据集上。传统深度聚类方法更多关注通过深层神经网络去提取数据的隐层特征来提升聚类精度,较少对聚类任务中数据类别的确定性问题进行分析,同时缺乏对施加约束后的离散隐向量分布的分析。提出熵正则化下的变分深度生成聚类模型（VDGC-ER）,以变分自编码为基础框架,对连续向量进行高斯混合先验建模,并以高斯混合中的离散隐向量作为类别向量。通过对离散隐向量引入样本熵正则化项增强预测聚类类别的区分度,同时对离散隐向量定义聚合样本熵正则化项以降低聚类不平衡,避免局部最优,并提升生成数据多样性。之后,采用蒙特卡洛采样及重参策略估计VDGC-ER模型的优化目标,并利用随机梯度下降法求解模型参数。最后在MNIST数据集、REUTERS数据集、REUTERS-10K数据集和HHAR数据集上设计了对比实验,验证了VDGCER模型不仅可以生成高质量的样本,而且可以显著提升聚类精度。     

基于变分自编码器的商品文本分类算法设计

智能商品分类作为电商平台的重要组成部分越来越受到关注。以商品标题文本数据为研究对象,首先对现有模型中存在的问题进行了概述,其次对变分自编码器相关算法进行了介绍,最后为弥补商品标题文本数据中存在的不均衡问题,提出了一种基于变分自编码器的商品文本分类算法。在公开的商品标题分类数据集上进行的实验结果证明了提出算法的有效性。     

基于变分水平集的图像模糊聚类分割

结合变分水平集方法和模糊聚类,提出了一个基于变分水平集的图像聚类分割模型.该模型引入了一个基于图像局部信息的外部模糊聚类能量和一个新的关于零水平集的正则化能量,使得该模型对噪声图像的聚类分割更具鲁棒性.通过在能量泛函中加入一个内部约束能量约束水平集函数为符号距离函数,可以使水平集演化过程无需重新初始化.进一步提出了一种变分形式的聚类中心更新方法,实现了半监督的图像聚类分割.实验中采用不同类型的图像与FCM聚类模型、CV模型、Samson模型进行了对比实验,实验结果显示,该模型能够克服图像中噪声的影响,取得较满意的聚类分割效果.     

结合卷积神经网络和超像素聚类的细胞图像分割方法

针对细胞图像尺寸大、细胞形状各异,导致从图像中分割出精准的细胞十分困难的问题,以卷积神经网络为基础,结合染色校正方法和简单线性迭代的超像素聚类算法,提出了一种新的结构来进行细胞图像分割。首先,利用染色校正方法对细胞图像进行预处理,提高图像的颜色对比度;然后利用卷积神经网络获得初步分割结果;最后再将简单线性迭代聚类获得的超像素边界信息反馈到初分割图像上进行改进提升。提出的算法可以有效地减少图像局部信息的冗余,更准确地获得目标区域的边界位置。实验表明,本文提出的算法细胞分割准确率达到了92.72%,与经典卷积神经网络、阈值分割等其他细胞分割算法相比,具有更好的分割效果。     

基于可变形卷积神经网络的手势识别方法

卷积神经网络本身具有丰富的特征表达能力和学习能力,但本质上,其模块中几何变换能力是固定的。因此,引入可变形卷积核来改进VGG16的网络结构,搭建名为DCVGG的卷积神经网络结构来进行手势识别的研究。在不同数据集下,基于可变形卷积神经网络的手势识别方法能够直接把RGB图像数据输入网络。最终输出的结果,对手势的平均识别率达到97%以上,有效提高网络的性能,提升卷积神经网络对样本对象的容忍度和多样性,丰富卷积神经网络的特征表达能力,与传统LeNet5、VGG16结构和传统人工特征提取算法相比效果更佳,比传统结构更深,鲁棒性更好,识别率更强,可以为复杂背景下有效识别手势提供参考,具有一定的延拓能力。     

基于变分自编码器的异常颈动脉早期识别和预测

颈动脉狭窄、颈动脉内中膜厚度增加（CIMT）或颈动脉斑块等可导致脑卒中的发生。为实现脑卒中大规模初步筛查,提出基于医疗数据的改进的变分自编码器（VAE）来识别和预测异常颈动脉。首先,针对医疗数据存在缺失的情况,采用K近邻（KNN）、均值和众数相混合的方法（MKNN）以及改进的VAE对缺失数据进行填补以得到完整的数据集,从而提高数据的应用范围;接着,分析特征属性,并依据重要性对特征进行排序;然后,运用逻辑回归（LR）、支持向量机（SVM）、随机森林（RF）和极限梯度提升树（XGBT）这四种有监督学习方法结合遗传算法（GA）来建立异常颈动脉识别模型;最后,基于改进的VAE建立预测异常颈动脉的半监督模型。相较于基线模型,基于改进的VAE的半监督模型性能提升明显,灵敏度达到0.893 8,特异性达到0.927 2,F1值达到0.910 5,分类准确率达到0.910 5。实验结果表明,所建立的半监督模型可以用来识别异常颈动脉,进而作为一种识别脑卒中高危人群的工具,预防和减少脑卒中的发生。     

基于EM算法的文本聚类优化研究

针对现有的文本聚类算法难以取得满意结果的问题，以EM算法为基础，提出能分别描述相似、不相似聚类对的相似性分布以及重要、不重要文档的重要性分布的文本聚类优化模型（text clustering optimization model, TCOM）．基于该模型，设计一种通过合并不同的文本聚类结果以获取最优性能的方法．实验结果表明，利用该方法同时改善了聚类精度和召回率，其性能优于单独使用现有的硬、软聚类算法．     

融合自注意力机制和多路金字塔卷积的软件需求聚类算法

随着软件数量的急剧增长以及种类的日益多样化,挖掘软件需求文本特征并对软件需求特征聚类,成为了软件工程领域的一大挑战。软件需求文本的聚类为软件开发过程提供了可靠的保障,同时降低了需求分析阶段的潜在风险和负面影响。然而,软件需求文本存在离散度高、噪声大和数据稀疏等特点,目前有关聚类的工作局限于单一类型的文本,鲜有考虑软件需求的功能语义。文中鉴于需求文本的特点和传统型聚类方法的局限性,提出了融合自注意力机制和多路金字塔卷积的软件需求聚类算法(SA-MPCN&SOM)。该方法通过自注意力机制捕获全局特征,然后基于多路金字塔卷积从不同窗口的通路深度挖掘需求文本特征,使得感知的文本片段逐倍增加,最终融合多路文本特征,利用SOM完成聚类。在软件需求数据上的实验表明,所提方法能较好地挖掘需求特征并对其聚类,性能上优于其他特征提取方式和聚类算法。     

基于分簇的全带宽跳波束图案优化方法

为解决全带宽跳波束卫星通信系统中的干扰问题,提出一种基于波束分簇的跳波束图案优化方法.以各波束请求量占系统可提供资源的比例为时隙分配依据,在满足相对公平的前提下提高系统总容量,推算距离门限值,当波束间距离大于该门限时,干扰对于信号质量的影响可忽略不计,从而达到规避干扰的目的.仿真结果表明,与传统多波束系统相比,该资源分配方法可使系统容量提升24.6%,消除系统干扰对信号质量的影响,改善跳波束图案的时隙连续性.     

基于张量图卷积的多视图聚类

针对多视图聚类进行的数据表示学习,通常采用浅层模型与线性函数实现数据嵌入,该方式无法有效挖掘多种视图间丰富的数据关系.为充分表示不同视图间的一致性信息与互补性信息,本文提出基于张量图卷积的多视图聚类方法(TGCNMC).该方法首先将传统的平面图拼接为张量图,并采用张量图卷积学习各视图中数据的近邻结构;接着利用图间卷积进...     

基于卷积神经网络的织物表面缺陷分类方法

针对织物缺陷检测时疵点种类繁多且传统人工检测方法漏检率高的问题,提出了一种基于卷积神经网络的织物表面缺陷分类方法。因卷积神经网络（CNN）训练时参数多、样本量大,且极易陷入过拟合,利用微调卷积神经网络模型Alexnet对织物疵点图像进行特征提取,初始化采用原网络的参数而非随机初始化参数;再针对特定目标下的训练样本对网络参数进行微调;最后利用softmax回归算法进行预测分类。分别用三种方法和两种织物进行测试,结果表明：针对特定目标微调后的Alexnet网络,在两类织物测试中均能达到95%以上的分类准确率。     

基于混合卷积窗和双窗法的FFT算法研究

FFT算法是信号处理中一个不可或缺的部分,也是其中需要改进的部分.设计一个精度优良的FFT算法有助于推进频谱分析的实用化进程.针对FFT改进算法的实现需求,文章采用了C语言结构设计了一个任意点数的FFT算法,分析了混合卷积窗的频谱特性,并总结了任意窗函数的幅值恢复方法.最终通过构建混合卷积窗和双窗法结合的处理方法有效提...