基于深度聚类的化工过程故障诊断

该文提出一种深度聚类（deep clustering,DC）故障诊断算法,将特征提取与聚类两部分产生的误差融入模型训练损失函数中,统筹误差调整系统参数,提升模型精度。首先采用深度卷积自编码器提取过程数据深层次特征,对数据进行卷积操作能够保持原始数据结构完整性,同时将聚类误差引入到网络损失函数中,完成参数优化和聚类任务。以田纳西-伊斯曼（TE）过程为实验对象对所提方法进行性能评价实验,并与基于AE-kmeans聚类算法进行对比,验证了所提算法的有效性。     

基于多层语义融合的结构化深度文本聚类模型

近年来,由于图神经网络（GNN）的结构信息在机器学习中的优势,人们开始将GNN结合进深度文本聚类中。当前结合GNN的深度文本聚类算法在文本语义信息融合时忽略了解码器在语义补足上的重要作用,这导致在数据生成部分出现语义信息的缺失。针对以上问题,提出了一种基于多层语义融合的结构化深度文本聚类模型（SDCMS）。该模型利用GNN将结构信息集成到解码器中,通过逐层语义补充增强了文本数据的表示,并通过三重自监督机制获得更好的网络参数。在Citeseer、Acm、Reutuers、Dblp、Abstract这5个真实数据集上进行实验的结果表明,与目前最优的注意力驱动的图形聚类网络（AGCN）模型相比,SDCMS在准确率、归一化互信息（NMI）和平均兰德指数（ARI）上分别最多提升了5.853%、9.922%和8.142%。     

基于深度强化学习的自动驾驶策略学习方法

自动驾驶是人工智能研究的重要应用领域,文章提出了一种基于深度强化学习的自动驾驶策略模型学习方法.首先采用在线交互式学习方法对深度网络模型进行训练,并基于专业司机的经验数据对模型进行预训练,进而结合经验池回放技术提高模型训练收敛速度,通过对状态空间进行聚类再采样,提高其独立同分布特性以及策略模型的泛化能力.通过与神经网络拟和Q-迭代算法的比较,所提方法的训练时间可缩短90％以上,稳定性能提高超过30％.以复杂度略高于训练集的测试道路长度为基准,与经验过滤的Q-学习算法相比,采用聚类再采样的方法可以使策略模型的平均行驶距离提高70％以上.     

复杂环境下基于自适应深度神经网络的鲁棒语音识别

在连续语音识别系统中,针对复杂环境（包括说话人及环境噪声的多变性）造成训练数据与测试数据不匹配导致语音识别率低下的问题,提出一种基于自适应深度神经网络的语音识别算法。结合改进正则化自适应准则及特征空间的自适应深度神经网络提高数据匹配度;采用融合说话人身份向量i-vector及噪声感知训练克服说话人及环境噪声变化导致的问题,并改进传统深度神经网络输出层的分类函数,以保证类内紧凑、类间分离的特性。通过在TIMIT英文语音数据集和微软中文语音数据集上叠加多种背景噪声进行测试,实验结果表明,相较于目前流行的GMM-HMM和传统DNN语音声学模型,所提算法的识别词错误率分别下降了5.151%和3.113%,在一定程度上提升了模型的泛化性能和鲁棒性。     

嵌入式深度神经网络高光谱图像聚类

目的 高光谱图像的高维特性和非线性结构给聚类任务带来了"维数灾难"和线性不可分问题，以往的工作将特征提取过程与聚类过程互相剥离，难以同时优化。为了解决上述问题，提出了一种新的嵌入式深度神经网络模糊C均值聚类方法（EDFCC）。方法 EDFCC算法为了提取更加有效的深层特征，联合优化高光谱图像的特征提取和聚类过程，将模糊C均值聚类算法嵌入至深度自编码器网络中，可以保持两任务联合优化的优势，同时利用深度自编码器网络降维以及逼近任意非线性函数的能力，逐步将原始数据映射到潜在特征空间，提取数据的深层特征。所提方法采用模糊C均值聚类算法约束特征提取过程，学习适用于聚类的高光谱数据深层特征，动态调整聚类指示矩阵。结果 实验结果表明，EDFCC算法在Indian Pines和Pavia University两个高光谱数据集上的聚类精度分别达到了42.95%和60.59%，与当前流行的低秩子空间聚类算法（LRSC）相比分别提高了3%和4%，相比于基于自编码器的数据聚类算法（AEKM）分别提高了2%和3%。结论 EDFCC算法能够从高光谱图像的高维光谱信息中提取更加有效的深层特征，提升聚类精度，并且由于EDFCC算法不需要额外的训练过程，大大提升了聚类效率。     

基于正则化RBF神经网络的钢包精炼炉电极系统智能建模

通过RBF神经网络和模糊推理系统的比较，得出正则化RBF神经网络的输出特性，在此基础上利用改进的最近邻聚类算法确定网络的隐层节点个数和高斯函数中心，并估计输出层权值。仿真结果表明了所提方案的有效性。     

CMvSC:知识迁移下的深度一致性多视图谱聚类网络

谱聚类是聚类分析中极具代表性的方法之一,由于其对数据结构没有太多假设要求,受到了研究者们的广泛关注.但传统的谱聚类算法通常受到谱嵌入的可扩展性和泛化性的限制,即:无法应对大规模设置和复杂数据分布.为克服以上缺陷,旨在引入深度学习框架提升谱聚类的泛化能力与可扩展能力,同时,结合多视图学习挖掘数据样本的多样性特征,从而提出...     

基于自注意力对抗的深度子空间聚类

子空间聚类(Subspace clustering)是一种当前较为流行的基于谱聚类的高维数据聚类框架.近年来,由于深度神经网络能够有效地挖掘出数据深层特征,其研究倍受各国学者的关注.深度子空间聚类旨在通过深度网络学习原始数据的低维特征表示,计算出数据集的相似度矩阵,然后利用谱聚类获得数据的最终聚类结果.然而,现实数据存在维度过高、数据结构复杂等问题,如何获得更鲁棒的数据表示,改善聚类性能,仍是一个挑战.因此,本文提出基于自注意力对抗的深度子空间聚类算法(SAADSC).利用自注意力对抗网络在自动编码器的特征学习中施加一个先验分布约束,引导所学习的特征表示更具有鲁棒性,从而提高聚类精度.通过在多个数据集上的实验,结果表明本文算法在精确率(ACC)、标准互信息(NMI)等指标上都优于目前最好的方法.     

基于自注意力对抗的深度子空间聚类

子空间聚类(Subspace clustering)是一种当前较为流行的基于谱聚类的高维数据聚类框架.近年来,由于深度神经网络能够有效地挖掘出数据深层特征,其研究倍受各国学者的关注.深度子空间聚类旨在通过深度网络学习原始数据的低维特征表示,计算出数据集的相似度矩阵,然后利用谱聚类获得数据的最终聚类结果.然而,现实数据存在维度过高、数据结构复杂等问题,如何获得更鲁棒的数据表示,改善聚类性能,仍是一个挑战.因此,本文提出基于自注意力对抗的深度子空间聚类算法(SAADSC).利用自注意力对抗网络在自动编码器的特征学习中施加一个先验分布约束,引导所学习的特征表示更具有鲁棒性,从而提高聚类精度.通过在多个数据集上的实验,结果表明本文算法在精确率(ACC)、标准互信息(NMI)等指标上都优于目前最好的方法.     

基于自注意力对抗的深度子空间聚类

子空间聚类(Subspace clustering)是一种当前较为流行的基于谱聚类的高维数据聚类框架.近年来,由于深度神经网络能够有效地挖掘出数据深层特征,其研究倍受各国学者的关注.深度子空间聚类旨在通过深度网络学习原始数据的低维特征表示,计算出数据集的相似度矩阵,然后利用谱聚类获得数据的最终聚类结果.然而,现实数据存在维度过高、数据结构复杂等问题,如何获得更鲁棒的数据表示,改善聚类性能,仍是一个挑战.因此,本文提出基于自注意力对抗的深度子空间聚类算法(SAADSC).利用自注意力对抗网络在自动编码器的特征学习中施加一个先验分布约束,引导所学习的特征表示更具有鲁棒性,从而提高聚类精度.通过在多个数据集上的实验,结果表明本文算法在精确率(ACC)、标准互信息(NMI)等指标上都优于目前最好的方法.     

基于Hessian正则化和非负约束的低秩表示子空间聚类算法

针对低秩表示（LRR）子空间聚类算法没有考虑数据局部结构,在学习中可能会造成局部相似信息丢失的问题,提出了一种基于Hessian正则化和非负约束的低秩表示子空间聚类算法（LRR-HN）,用来探索数据的全局结构和局部结构。首先,利用Hessian正则化良好的推测能力来保持数据的局部流形结构,使数据局部拓扑结构的表达能力更强;其次,考虑到获得的系数矩阵往往有正有负,而负值往往没有实际意义的特点,引入非负约束来保证模型解的有效性,使其在数据局部结构描述上更有意义;最后,通过最小化核范数寻求数据全局结构的低秩表示,从而更好地聚类高维数据。此外,利用自适应惩罚的线性交替方向法设计了一种求解LRR-HN的有效算法,并在一些真实数据集上,采用正确率（AC）和归一化互信息（NMI）对所提出的算法进行了评估。在ORL数据集上聚类数目为20时的实验中,LRR-HN与LRR算法相比,AC和NMI分别提高了11%和9.74%;与自适应低秩表示（ALRR）算法相比,AC和NMI分别提高了5%和1.05%。实验结果表明,LRR-HN与现有的一些算法相比,AC和NMI均有较大的提升,有较好的聚类性能。     

基于自注意力对抗的深度子空间聚类

子空间聚类(Subspace clustering)是一种当前较为流行的基于谱聚类的高维数据聚类框架.近年来,由于深度神经网络能够有效地挖掘出数据深层特征,其研究倍受各国学者的关注.深度子空间聚类旨在通过深度网络学习原始数据的低维特征表示,计算出数据集的相似度矩阵,然后利用谱聚类获得数据的最终聚类结果.然而,现实数据存在维度过高、数据结构复杂等问题,如何获得更鲁棒的数据表示,改善聚类性能,仍是一个挑战.因此,本文提出基于自注意力对抗的深度子空间聚类算法(SAADSC).利用自注意力对抗网络在自动编码器的特征学习中施加一个先验分布约束,引导所学习的特征表示更具有鲁棒性,从而提高聚类精度.通过在多个数据集上的实验,结果表明本文算法在精确率(ACC)、标准互信息(NMI)等指标上都优于目前最好的方法.     

深度卷积自编码图像聚类算法

针对现有深度卷积嵌入聚类算法(deep convolutional embedded clustering,DCEC)的网络特征损失过大,对复杂图像没有提取有效特征的问题,提出一个具有17层网络结构的无监督深度聚类框架,并在编码层加入下采样层,减少参数和防止过拟合;在解码层加入上采样层还原下采样造成的细节损失。分别结合DEC(deep embedded clustering)算法的损失函数和IDEC(improved deep embedded clustering)算法的采用局部结构保留优势的损失函数,得到两种基于卷积自编码的深度学习图像聚类算法DEC_DCNN(deep embedded clustering based on deep convolutional neural network)和IDEC_DCNN(improved deep embedded clustering based on deep convolutional neural network),并使用自适应矩估计(adaptive moment estimation,Adam)和小批量随机梯度下降(mini-batch stochastic gradient decent,mini-batch SGD)两种优化方法调整模型参数。3个经典图像数据集的实验结果显示,提出的17层网络结构对图像特征具有很好的鲁棒性和通用性,基于该网络结构的深度聚类算法取得了远优于现有深度聚类算法的结果,其聚类准确率均优于对比算法;对深度聚类算法DEC_DCNN和IDEC_DCNN的聚类结果准确率、指标值AMI(adjusted mutual information)和ARI(adjusted rand index)进行比较,IDEC_DCNN比DEC_DCNN的聚类性能更好,说明IDEC_DCNN算法的性能更优越。     

基于Seeds集和成对约束的半监督三支聚类集成

聚类集成使用合适的策略融合多个具有差异性的基聚类成员,能够有效提高聚类结果的稳定性、鲁棒性和准确率。当前聚类集成的研究较少利用已知的先验信息,面对复杂数据时难以刻画对象与类簇之间明确的归属关系。因此,提出一种基于Seeds集和成对约束的半监督三支聚类集成方法。首先,基于已有的标签信息提出一种新的三支标签传播算法构造基聚类成员;其次,提出一种半监督三支聚类集成框架集成基聚类成员,构造出一致性相似矩阵,并利用成对约束信息对该矩阵进行优化调整;最后,将三支谱聚类作为一致性函数对相似矩阵进行聚类,得到最终集成结果。在多个UCI真实数据集上的实验结果表明,与基于类簇的相似分区算法（CSPA）、超图分区算法（HGPA）、元类簇算法（MCLA）、标签传播算法（LPA）、Cop-Kmeans等半监督聚类集成算法相比,所提方法的归一化互信息（NMI）、调整兰德系数（ARI）和F测度在绝大多数据集上取得了最优值,获得了相对更好的聚类集成结果。     

基于聚类的RBF-LBF串联神经网络学习算法

为提高网络的泛化能力,研究了单层RBF神经网络和LBF网络组成的RBF-LBF串联神经网络,并提出了一种基于模式聚类的RBF-LBF串联神经网络的学习算法。该算法分别对单层RBF网络和LBF网络的输入进行模式聚类,以确定网络的初始结构,然后通过调整错分样本的类别,使之部分重叠或合并核函数。经双螺旋线问题仿真实验证明,该算法确具有很好的泛化能力且只需较短的训练时间。     

基于潜在因子模型在子空间上的缺失值注意力聚类算法

针对传统聚类算法在对缺失样本进行数据填充过程中存在样本相似度难度量且填充数据质量差的问题，提出一种基于潜在因子模型（LFM）在子空间上的缺失值注意力聚类算法。首先，通过LFM将原始数据空间映射到低维子空间，降低样本的稀疏程度；其次，通过分解原空间得到的特征矩阵构建不同特征间的注意力权重图，优化子空间样本间的相似度计算方式，使样本相似度的计算更准确、泛化性更好；最后，为了降低样本相似度计算过程中过高的时间复杂度，设计一种多指针的注意力权重图进行优化。在4个按比例随机缺失的数据集上进行实验。在Hand-digits数据集上，相较于面向高维特征缺失数据的K近邻插补子空间聚类（KISC）算法，在数据缺失比例为10%的情况下，所提算法的聚类准确度（ACC）提高了2.33个百分点，归一化互信息（NMI）提高了2.77个百分点，在数据缺失比例为20%的情况下，所提算法的ACC提高了0.39个百分点，NMI提高了1.33个百分点，验证了所提算法的有效性。     

利用正则化矩阵分解技术的多视图聚类方法

为了解决具有多种特征属性的多媒体数据（多视图数据）挖掘问题,在非负矩阵分解（NMF）算法的基础上,提出了一种多视图正则化矩阵分解算法（MRMF）,该算法使用了多元非负矩阵分解技术,同时使用[L2,1]范数描述矩阵分解的损失函数,并采用多视图流形正则化对矩阵分解进行正则化约束。与现有的一些数据聚类或多视图聚类算法相比,提出的MRMF算法不易受到原始数据中噪声的影响,而且能够充分考虑到不同视图在聚类中所具有不同权重的问题,能够对多视图数据进行较为准确的聚类。MRMF算法的有效性在一些经典的公开数据集上进行了验证,并取得了较好的聚类精度。     

基于快速密度聚类的RBF神经网络设计

针对径向基函数（radial basis function,RBF）神经网络隐含层结构难以确定的问题,提出一种基于快速密度聚类的网络结构设计算法。该算法将快速密度聚类算法良好的聚类特性用于RBF神经网络结构设计中,通过寻找密度最大的点并将其作为隐含层神经元,进而确定隐含层神经元个数和初始参数;同时,引入高斯函数的特性,保证了每个隐含层神经元的活性;最后,用一种改进的二阶算法对神经网络进行训练,提高了神经网络的收敛速度和泛化能力。利用典型非线性函数逼近和非线性动态系统辨识实验进行仿真验证,结果表明,基于快速密度聚类设计的RBF神经网络具有紧凑的网络结构、快速的学习能力和良好的泛化能力。     

快速识别密度骨架的聚类算法

针对如何快速寻找密度骨架、提高高维数据聚类准确性的问题,提出一种快速识别高密度骨架的聚类（ECLUB）算法。首先,在定义了对象局部密度的基础上,根据互k近邻一致性及近邻点局部密度关系,快速识别出高密度骨架;然后,对未分配的低密度点依据邻近关系进行划分,得到最终聚类。人工合成数据集及真实数据集上的实验验证了所提算法的有效性,在Olivetti Face数据集上的聚类结果显示,ECLUB算法的调整兰德系数（ARI）和归一化互信息（NMI）分别为0.8779和0.9622。与经典的基于密度的聚类算法（DBSCAN）、密度中心聚类算法（CFDP）以及密度骨架聚类算法（CLUB）相比,所提ECLUB算法效率更高,且对于高维数据聚类准确率更高。     

多层反馈神经网络的FP学习和综合算法

本文给出多层反馈神经网络的ＦＰ学习和综合算法，并讨论此类网络的性质，指出将它应用于聚类分析能给出不粒度的聚类，且具有收敛速度快（是样本个数的线性函数）、算法计算量少（是样本个数和输入、输出维数的双线性函数）、网络元件个数少、权系数简单（只取３个值）、网络容易硬件实现等优点．作为聚类器的神经网络的学习和综合问题已得到较圆满地解决.