使用改进自编码器的细粒度图像分类研究

针对深度连续聚类算法(Deep Continuous Clustering, DCC)特征提取能力有限,对复杂图像不能提取足够有效细节特征的不足,本文提出一个新的循环卷积自编码器(Recurrent Convolutional Auto-Encoder, R-CAE).自编码器结合门控循环网络GRU和卷积网络CNN构造编码层;同时在门控循环网络GRU部分添加空间域注意力通道,增强网络的特征学习能力.图像信息经过R-CAE自编码器编码后获取细节信息,传入经典卷积神经网络学习特征;当优化结果接近或者达到聚类阈值的时候,获得最终的聚类结果实现分类.训练过程中,模型首先预训练,确定自编码器参数;然后结合编码部分和经典网络学习训练,微调网络参数.本文通过实验证明了改进方法结合DCC在聚类实验中优于大部分经典聚类算法,在针对真实图像的细粒度分类实验中也有显著的进步.     

基于分布对齐变分自编码器的深度多视图聚类

多视图聚类(Multi-View Clustering,MVC)旨在利用不同视图间的一致性和互补性来高效处理多视图数据,是大数据分析中重要的研究方向之一.然而,现有方法无法有效学习到多视图信息间的潜在联系,且缺乏考虑视图重要性差异问题.针对上述这些问题,本文提出了一种基于分布对齐变分自编码器的深度多视图聚类方法(Deep Multi-View Clustering based on Distribution Aligned Variational Autoencoder,DMVCDA).首先,针对特定视图我们利用多个变分自编码器从不同视图中提取潜在特征,并对特征的分布进行对齐,以挖掘包含基本信息的潜在特征;然后,引入视图权重参数,获取共享的潜在特征;最后,在潜在特征上建立面向聚类的损失目标,使得学习到的潜在特征更适合聚类任务,从而提高聚类精度.在五个公共多视图数据集上的实验结果表明,我们的模型在精确度(ACC)、标准互信息(NMI)和纯度(Purity)等多个聚类评价指标上均表现出优异的性能.     

深度融合多视图聚类网络

现有的深度多视图聚类方法存在以下缺点：1）在对单一视图进行特征提取时，只考虑了样本的属性信息或结构信息，而没有将二者进行融合，导致提取到的特征不能充分表示原始数据的潜在结构；2）将特征提取与聚类划分为两个独立的过程，没有建立两者间的联系，因此无法利用聚类过程优化特征提取过程。针对以上问题，提出一种深度融合多视图聚类网络（DFMCN）。首先，结合自编码器和图卷积自编码器融合样本的属性信息和结构信息，获取每个视图的嵌入空间；然后，通过加权融合获取融合视图嵌入空间并在此空间中进行聚类，并且在聚类过程中采用双层自监督机制优化特征提取过程。在FM(Fashion-MNIST）、HW(HandWritten numerals）、YTF(You Tube Face）数据集上的实验结果表明：DFMCN的准确率高于所有对比方法；在FM数据集上，DFMCN的准确率比次优的CMSC-DCCA(Cross-Modal Subspace Clustering via Deep Canonical Correlation Analysis）方法提高了1.80个百分点，标准化互信息（NMI）高于除CMSC-DCCA...     

基于融合变分图注意自编码器的深度聚类模型

聚类作为数据挖掘和机器学习中最基本的任务之一,在各种现实世界任务中已得到广泛应用.随着深度学习的发展,深度聚类成为一个研究热点.现有的深度聚类算法主要从节点表征学习或者结构表征学习两个方面入手,较少考虑同时将这两种信息进行融合以完成表征学习.提出一种融合变分图注意自编码器的深度聚类模型FVGTAEDC(Deep Clustering Model Based on Fusion Varitional Graph Attention Self-encoder),此模型通过联合自编码器和变分图注意自编码器进行聚类,模型中自编码器将变分图注意自编码器从网络中学习(低阶和高阶)结构表示进行集成,随后从原始数据中学习特征表示.在两个模块训练的同时,为了适应聚类任务,将自编码器模块融合节点和结构信息的表示特征进行自监督聚类训练.通过综合聚类损失、自编码器重构数据损失、变分图注意自编码器重构邻接矩阵损失、后验概率分布与先验概率分布相对熵损失,该模型可以有效聚合节点的属性和网络的结构,同时优化聚类标签分配和学习适合于聚类的表示特征.综合实验证明,该方法在5个现实数据集上的聚类效果均优于当前先进的深度聚类方法.     

基于Dirichlet过程的Deep Web数据源聚类方法

提出了一种基于Dirichlet过程的Deep Web数据源聚类方法 ,该方法采用层次Dirichlet过程(HDP)进行特征提取。首先将查询接口中原本高维稀疏的文本表示为主题特征,该过程能自动确定特征数。然后将文本看成多项式模型,采用Dirichlet过程混合模型聚类。该模型无需人工事先指定聚类个数,由Dirichlet过程根据数据自动计算得到,特别适用于Deep Web数据源数量大、变化快的特点。在通用数据集TEL-8上进行验证实验,并与其他聚类方法在F-measure和熵值两个指标上进行对比,均取得较好的结果 。     

两级联合融合的多视图子空间聚类改进算法

针对多视图深度子空间聚类网络(Multi-view Deep Subspace Clustering Networks, MvDSCN)算法具有的没有充分利用多视图互补信息、进行一次聚类直接得到聚类结果，以及只考虑数据级信息融合而降低了聚类性能等缺点，提出两级联合融合的多视图子空间聚类改进算法(TJ-MvDSCN)。不仅关注多视图共性信息，还关注多视图互补信息；增加分配级别的多视图信息融合，与已有的数据级信息融合形成两级融合结构；增加聚类损失，基于迭代优化策略构建一个可以联合学习特征表示和聚类分配的多视图聚类框架。经实验验证，该算法性能优于现有算法。     

联合ZINB模型与图注意力自编码器的自优化单细胞聚类

单细胞数据聚类在生物信息分析中具有重要作用,但受测序原理和测序平台的限制,单细胞数据集普遍存在高维稀疏性、高方差噪声和基因数据缺失的问题,导致单细胞数据在聚类分析和应用方面仍面临诸多挑战。现有的单细胞聚类方法主要针对细胞和基因表达间的关系进行建模,忽略了对细胞间潜在特征关系的充分挖掘以及对噪声的去除,导致聚类结果不理想,从而阻碍了后期对数据的分析。针对上述问题,提出了一种联合零膨胀负二项(Zero Inflated Negative Binomial, ZINB)模型与图注意力自编码器的自优化单细胞聚类算法(Self-optimized Single Cell Clustering Using ZINB Model and Graph Attention Autoencoder, scZDGAC)。该算法首先使用ZINB模型并结合可扩展的DCA去噪算法,通过ZINB分布更好地拟合数据特征分布,提升自编码器的去噪性能,并减小噪声和数据丢失对KNN算法输出的影响;然后通过图注意力自编码器在不同权重的细胞之间传播信息,更好地捕获细胞间的潜在特征进行聚类;最后scZDGAC采用自优化的方法使原...     

基于潜在语义分析的Deep Web查询接口聚类研究

集成查询接口的生成是Deep Web数据集成的重要组成环节。如何对不同领域的查询接口进行有效的聚类是生成集成查询接口时需要解决的核心问题之一。针对传统的向量空间模型在Deep Web查询接口聚类时单纯依赖关键词匹配的缺点,引入潜在语义分析(LSA)的方法来发掘查询接口之间的语义关系,并给出了基于潜在语义分析的Deep Web查询接口聚类算法,最后采用UIUC的Web集成资源库提供的数据进行了实验。结果表明,潜在语义分析的方法提高了同一领域查询接口之间的相似度,明显改善了Deep Web查询接口聚类的质量。     

基于节点聚类复杂度的图聚类方法

图聚类可以发现网络中的社区结构，是复杂网络分析中的一项重要任务。针对不同节点的聚类难度各异的问题，提出了一种基于节点聚类复杂度的图聚类算法(Graph Clustering Algorithm Based on Node Clustering Complexity, GCNCC),用于判断节点的聚类复杂度，为聚类复杂度低的节点赋予伪标签，利用伪标签提供的监督信息降低其他节点的聚类复杂度，进而得到网络聚类结果。GCNCC包括节点表示、节点聚类复杂度判别和图聚类3个主要模块。节点表示模块得到保持网络集聚性的表示；节点聚类复杂度判别模块用于判断网络中的低聚类复杂度节点，并利用低聚类复杂度节点的伪标签信息来优化更新网络中其他节点的聚类复杂度；图聚类模块采用标签传播方法，将低聚类复杂度节点标签传播给高聚类复杂度节点，以得到聚类结果。在3个真实的引文网络和3个生物数据集上与9种经典算法进行对比，算法GCNCC在ACC,NMI,ARI和F1等方面均表现良好。     

混合高斯变分自编码器的聚类网络

目的 经典的聚类算法在处理高维数据时存在维数灾难等问题,使得计算成本大幅增加并且效果不佳。以自编码或变分自编码网络构建的聚类网络改善了聚类效果,但是自编码器提取的特征往往比较差,变分自编码器存在后验崩塌等问题,影响了聚类的结果。为此,本文提出了一种基于混合高斯变分自编码器的聚类网络。方法 使用混合高斯分布作为隐变量的先验分布构建变分自编码器,并以重建误差和隐变量先验与后验分布之间的KL散度(Kullback-Leibler divergence)构造自编码器的目标函数训练自编码网络;以训练获得的编码器对输入数据进行特征提取,结合聚类层构建聚类网络,以编码器隐层特征的软分配分布与软分配概率辅助目标分布之间的KL散度构建目标函数并训练聚类网络;变分自编码器采用卷积神经网络实现。结果 为了验证本文算法的有效性,在基准数据集MNIST(Modified National Institute of Standards and Technology Database)和Fashion-MNIST上评估了该网络的性能,聚类精度(accuracy,ACC)和标准互信息(normalized mutua...     

基于自注意力网络的图像超分辨率重建

针对图像超分辨率重建中纹理细节等高频信息恢复的问题，提出一种基于自注意力网络的图像超分辨率重建方法。该网络框架利用两个重建阶段逐步地将图像的精确度从粗到细进行恢复。在第一阶段中，首先将低分辨率（LR）图像作为输入通过一个卷积神经网络（CNN），并输出一个粗精度的高分辨率（HR）图像；然后将粗精度图像作为输入并产生更加精细的高分辨率图像。在第二阶段中，使用自注意力模块计算特征之间所有位置的关联性，通过捕捉特征的全局依赖关系来提高纹理细节的恢复能力。在基准数据集上的实验结果表明，与现有基于深度神经网路的超分辨率重建算法相比，所提算法不仅图像视觉效果最好，而且在数据集Set5和BDSD100上的峰值信噪比（PSNR）平均提高了0.1 dB、0.15 dB，表明该网络可以通过增强特征的全局表达能力来重建出高质量图像。     

多元时序的深度自编码器聚类算法

针对深度聚类算法对多变量时间序列数据（MTS）的特征提取能力不足等问题,提出一种新的深度聚类结构模型（MDTC）。为了提取MTS的关键特征并实现降维,提出一维卷积学习MTS的属性和时序维度的特征表示与循环神经网络等网络层组成的自编码器结构;为了提高模型对时序特征的表示能力,提出了MCBAM时序注意力模块,用于增强MTS序列中不同时间段的表示特征。在九个公开UEA多元时序数据集进行了实验,模型的自编码器结构相较其他自编码器在七个数据集上提升了2%~9%;模型的MCBAM模块相较其他注意力模块在六个数据集上提升了0.3%~2%。实验表明MDTC模型结构和MCBAM模块的有效性,同时模型对比其他聚类算法具有优异的表现。     

非对称卷积编码器的聚类算法

基于深度神经网络的非监督学习方法通过联合优化特征表示和聚类指派,大大提升了聚类任务的性能。但大量的参数降低了运行速度,另外,深度模型提取的特征的区分能力也影响聚类性能。为此,提出一种新的聚类算法(asymmetric fully-connected layers convolutional auto-encoder, AFCAE),其中卷积编码器结合非对称全连接进行无监督的特征提取,然后K-means算法对所得特征执行聚类。网络采用3×3和2×2的小卷积核,大大减少了参数个数,降低了算法复杂性。在MNIST上AFCAE获得0.960的聚类精度,比联合训练的DEC(deep embedding clustering)方法(0.840)提高了12个百分点。在6个图像数据集上实验结果表明AFCAE网络有优异的特征表示能力,能出色完成下游的聚类任务。     

多层特征融合和并行自注意力的孪生网络目标跟踪算法

目标跟踪是计算机视觉方向上的一项重要课题,其中尺度变化、形变和旋转是目前跟踪领域较难解决的问题。针对以上跟踪中所面临的具有挑战性的问题,基于已有的孪生网络算法提出多层特征融合和并行自注意力的孪生网络目标跟踪算法(MPSiamRPN)。首先,用修改后的ResNet50对模板图片和搜索图片进行特征提取,为处理网络过深而导致目标部分特征丢失,提出多层特征融合模块(multi-layer feature fusion module, MLFF)将ResNet后三层特征进行融合;其次,引入并行自注意力模块(parallel self-attention module, PSA),该模块由通道自注意力和空间自注意力组成,通道自注意力可以选择性地强调对跟踪有益的通道特征,空间自注意力能学习目标丰富的空间信息;最后,采用区域提议网络(regional proposal network, RPN)来完成分类和回归操作,从而确定目标的位置和形状。实验显示,提出的MPSiamRPN在OTB100、VOT2018两个测试数据集上取得了具有可竞争性的结果。     

结合自适应融合网络与哈希的图像检索算法

卷积神经网络因其对图像识别准确率高而在图像检索领域备受青睐,但处理大规模数据集时,基于卷积神经网络提取的深度特征维度高,容易引发"维度灾难".针对图像检索中深度特征维度高的问题,提出一种基于自适应融合网络特征提取与哈希特征降维的图像检索算法.由于传统哈希处理高维特征复杂度高,因此本文在卷积神经网络中加入自适应融合模块对特征进行重新整合,增强特征表征能力的同时降低特征维度;然后应用稀疏化优化算法对深度特征进行第2次降维,并通过映射获得精简的哈希码;最后,实验以Inception网络作为基础模型,在数据集CIFAR-10和ImageNet上进行了丰富的实验.实验结果表明,该算法能有效提高图像检索效率.     

融合多粒度注意力特征的小样本分类模型

在小样本分类任务中,现有的CNN模型存在特征提取不足、特征单一和小样本数据集类间差异化较弱的问题,导致分类精度较低。针对以上问题,提出一种融合多粒度注意力特征（fusion multi-granular attention feature,FMAF）的小样本分类模型。首先,该方法借鉴多粒度思想,重新设计CNN特征提取网络的架构来增强特征多样性;其次,在多粒度特征提取网络后添加自注意力层,提取多粒度图像特征中的关键特征,在多粒度注意力特征的基础上,借助特征融合方法融合多粒度注意力特征信息,突出关键特征,提高特征的表征力;最后,在两个经典的小样本数据集miniImageNet和tieredImageNet上进行了评估。实验结果表明,FMAF方法能有效提升分类的准确度和效率。     

融合CNN和Transformer的图像去噪网络

目前基于深度学习的图像去噪算法无法综合考虑局部和全局的特征信息, 进而影响细节处的图像去噪效果, 针对该问题, 提出了融合CNN和Transformer的图像去噪网络(hybrid CNN and Transformer image denoising network, HCT-Net). 首先, 提出CNN和Transformer耦合模块(CNN and Transformer coupling block, CTB), 构造融合卷积和通道自注意力的双分支结构, 缓解单纯依赖Transformer造成的高额计算开销, 同时动态分配注意力权重使网络关注重要图像特征. 其次, 设计自注意力增强卷积模块(self-attention enhanced convolution module, SAConv), 采用递进式组合模块和非线性变换, 减弱噪声信号干扰, 提升在复杂噪声水平下识别局部特征的能力. 在6个基准数据集上的实验结果表明, HCT-Net相比当前一些先进的去噪方法具有更好的特征感知能力, 能够抑制高频的噪声信号从而恢复图像的边缘和细节信息.     

基于 DenseNet-Attention 模型的高光谱图像分类

摘 要：针对高光谱图像标记样本量少，提取特征不充分以及提取到的特征不区分贡献度 的问题，提出一个新型的 DenseNet-Attention 网络模型(DANet)。首先，该模型利用三维卷积核 同步提取联合光谱空间特征，同时密集连接网络(DenseNet)的稠密连接块除了能够充分提取更 加鲁棒的特征外，还减少了大量参数；其次，自注意力(self-attention)机制作为一个模块加入到 稠密连接块中，可以使上层提取到的特征在进入下一层网络之前，经过该模块对其进行权重分 配，使具有丰富的物类别信息的特征得到加强，进而区分特征的贡献度。网络模型以原始高光 谱图像邻域块作为输入，无需任何预处理，是一个端对端学习的深度神经网络。在印第安松树 林和帕维亚大学数据集上进行对比试验，网络模型的分类精度分别能够达到 99.43%和 99.99%， 有效提高了高光谱图像分类精度。     

多样性表示的深度子空间聚类算法

针对深度子空间聚类问题中不同层次特征中互补信息挖掘困难的问题,在深度自编码器的基础上,提出了一种在编码器获取的低层和高层特征之间探索互补信息的多样性表示的深度子空间聚类（DRDSC）算法。首先,基于希尔伯特-施密特独立性准则（HSIC）建立了不同层次特征衡量多样性表示模型;其次,在深度自编码器网络结构中引入特征多样性表示模块,从而挖掘有利于提升聚类效果的图像特征;此外,更新了损失函数的形式,有效融合了多层次表示的底层子空间;最后,在常用的聚类数据集上进行了多次实验。实验结果表明,DRDSC在数据集Extended Yale B、ORL、COIL20和Umist上的聚类错误率分别达到1.23%、10.50%、1.74%和17.71%,与高效稠密子空间聚类（EDSC）相比,分别降低了10.41、16.75、13.12和12.92个百分点;与深度子空间聚类（DSC）相比,分别降低了1.44、3.50、3.68和9.17个百分点,说明所提出的DRDSC算法有更好的聚类效果。     

差异特征融合的无监督SAR图像变化检测

针对Siamese网络忽略不同层级差异特征之间的关联导致检测精度有限的问题,提出了基于差异特征融合的无监督SAR(synthetic aperture radar)图像变化检测算法。首先,利用对数比值算子和均值比值算子构建两幅信息互补的差异图,通过引入能量矩阵对差异图进行像素级融合以提高其信噪比;其次,设计了一种基于差异特征融合的Siamese网络(difference feature fusion for Siamese,DFF-Siamese),该网络能够通过差异特征提取模块在决策层综合衡量不同层级特征之间的差异程度,从而有效增强网络的特征表达能力;最后,利用模糊聚类算法对融合结果进行分类构建“伪标签”,用于训练DFF-Siamese网络以实现高精度SAR图像变化检测。在3组真实遥感数据集上的实验结果表明,本文提出的算法与其他对比算法相比具有更高的检测精度和更低的错误率。