局部判别型典型相关分析算法

在典型相关分析（CCA）的基础上,通过引入样本的类信息,并结合局部化思想,充分考虑了同类样本之间的局部相关与不同类样本之间的局部相关关系及其对分类的影响,提出了一种新的有监督学习方法——局部判别型CCA（Locality Discriminative CCA,简记为LDCCA）。LDCCA提取的特征能够实现同类样本之间相关最大化,同时使得不同类样本之间相关最小化,这将有利于模式的分类。在人工数据集,手写体数字数据集上和ORL,Yale和AR人脸数据集的实验结果表明,LDCCA能有效地利用类信息来提高分类性能。     

利用相对强度的监督典型相关分析算法

典型相关分析(CCA)是一种无监督的子空间学习算法,加入标签信息可以提高典型相关特征的判别力.为了有效地利用样本的标签信息,借鉴相对属性的思想,提出一种利用相对强度的监督CCA(SCCA)算法.该算法在使得2组典型投影之间具有最大的相关系数的同时,典型投影的每一维特征的大小能够表示不同样本在其上的相对强度;采用异类样本间在每个低维特征上的差异大于同类样本间差异的策略,使得典型投影的每个特征都具有较好的鉴别力.在多特征手写体数字、人脸图像以及一般对象数据库上的实验结果表明,SCCA算法具有较好的识别效果,优于已有的典型相关特征抽取算法.     

ELM优化的深度自编码分类算法

针对自编码神经网络训练时间长的问题,提出了一种改进的深度自编码神经网络算法。首先利用极限学习机(extreme learning machine,ELM)作为自编码块,构建多层自编码神经网络,以提高分类准确率。采用ELM能避免大量的迭代过程,减少网络训练时间。其次为实现分类,在各输出层中加入标签节点,对实际输出与各样本的期望标签进行比对,使原始的自编码无监督学习转化为监督学习过程,从而在深度学习的过程中实现分类训练。为验证该方法的有效性,在多个UCI数据集中进行广泛的测试。实验结果表明,与其他自编码网络和RBF(radial basis function)神经网络相比,该方法取得了良好的分类准确率,并且有效提高了训练速度。     

基于原型学习与深度特征融合的脑功能连接分类方法研究EI北大核心CSCD

近年来,基于深度学习的脑功能连接分类方法已成为一个研究热点.为了进一步提高脑功能连接的分类准确率,获得与疾病相关的鉴别性特征,本文提出了一种基于原型学习与深度特征融合的脑功能连接分类方法.该方法首先使用栈式自编码器从脑功能连接中提取从低层次到高层次的深度特征;然后利用原型学习在自编码器的各隐层中提取表示样本类别信息的距离特征;最后采用深度特征融合策略将这些距离特征融合,并将该融合特征用于脑功能连接的类别标签预测.在ABIDE数据集上的实验结果表明,与其他同类方法相比,该方法不仅具有较高的分类准确率,而且能够更加准确地定位与疾病相关的脑区.     

集成参数自适应调整及隐含层降噪的深层RBM算法

深度置信网络是由若干层无监督的限制玻尔兹曼机（Restricted Boltzmann machines,RBM）和一层有监督的反馈神经网络组成的深层结构,该结构通过对低层输入的逐层抽象转化提取复杂输入及复杂分类数据的有效信息.然而,深度置信网络模型存在隐含层数及特征维数难以确定,后向有监督过程存在“导数消亡”问题,使得低层结构参数得不到有效的训练,而且噪声干扰直接影响识别结果的问题.针对以上问题,提出以下解决方法:每个隐含层位置构建当前层输出与样本标签之间的映射转换矩阵,根据理论标签与实际标签之间的差异,实现隐含层特征维数的自适应调整,缓解“导数消亡”问题,同时在第一隐含层位置进行特征空间降噪,保证计算效率及提高诊断模型的识别效果.复杂工况的齿轮箱故障模拟实验,验证所提方法的有效性.     

监督型典型相关分析及其行为识别应用

局部判别型典型相关分析CCA(LDCCA)是一种线性判别方法,只适用于处理线性可分的问题.为了更好地处理现实世界中存在的非线性现象,利用核技巧对LDCCA进行了核化,提出了一种新的有监督多模态识别方法即核化的局部判别型典型相关分析(KLDCCA).LDCCA和KLDCCA引入了样本的类信息,充分考虑了同类样本之间的局部相关与不同类样本之间的局部相关关系及其对分类的影响,因此,提取的特征能够实现同类样本之间相关最大化,同时使得不同类样本之间相关最小化,这将有利于模式的分类.在人脸识别和简单行为识别上的应用表明,LDCCA和KLDCCA能有效地利用类信息和局部信息来提高分类性能.     

改进的基于深度学习的遥感图像分类算法

针对传统的基于深度学习的遥感图像分类算法未能有效融合多种深度学习特征，且分类器性能欠佳的问题，提出一种改进的基于深度学习的高分辨率遥感图像分类算法。首先，设计并搭建一个七层卷积神经网络；其次，将高分辨率遥感图像样本输入到该网络中进行网络训练，得到最后两个全连接层输出作为遥感图像两种不同的高层特征；再次，针对该网络第五层池化层输出，采用主成分分析（PCA）进行降维，作为遥感图像的第三种高层特征；然后，将上述三种高层特征通过串联的形式进行融合，得到一种有效的基于深度学习的遥感图像特征；最后，设计了一种基于逻辑回归的遥感图像分类器，可以对遥感图像进行有效分类。与传统基于深度学习的遥感图像分类算法相比，所提算法分类准确率有较高提升。实验结果表明，该算法在分类准确率、误分类率和Kappa系数上表现优异，能实现良好的分类效果。     

有样本缺失的稀疏保持典型相关分析

在典型相关分析(CCA)的基础上,通过稀疏保持引入样本的类别信息,利用交叉相关项克服CCA及其推广算法要求不同视图样本必须成对出现的局限,提出一种有监督学习方法——有样本缺失的稀疏保持典型相关分析(SPCCAM).SPCCAM能在训练样本不成对的情况下进行多视图特征融合.在人工数据集、手写体数据集和PIE人脸数据集上的实验结果表明,SPCCAM能有效利用类信息提高分类性能.     

基于堆叠卷积注意力的网络流量异常检测模型

入侵检测系统（IDS）在发现网络异常和攻击方面发挥着重要作用,但传统IDS误报率较高,不能准确分析和识别异常流量。目前,深度学习技术被广泛应用于网络流量异常检测,但仅仅采用简单的深度神经网络（DNN）模型难以有效提取流量数据中的重要特征。针对上述问题,提出一种基于堆叠卷积注意力的DNN网络流量异常检测模型。通过堆叠多个以残差模块连接的注意力模块增加网络模型深度,同时在注意力模块中引入卷积神经网络、池化层、批归一化层和激活函数层,防止模型过拟合并提升模型性能,最后在DNN模型中得到输出向量。基于NSL-KDD数据集对模型性能进行评估,将数据集预处理生成二进制特征,采用多分类、二分类方式验证网络流量异常检测效果。实验结果表明,该模型性能优于KNN、SVM等机器学习模型和ANN、AlertNet等深度学习模型,其在多分类任务中识别准确率为0.807 6,较对比模型提高0.034 0~0.097 5,在二分类任务中准确率和F1分数为0.860 0和0.863 8,较对比模型提高0.013 0~0.098 8和0.030 6~0.112 8。     

增强组合特征判别性的典型相关分析

典型相关分析(CCA)在执行分类任务时主要存在如下不足:1)尽管分类时的输入是组合特征,但CCA仅优化组合特征的各组成部分,并未直接优化组合特征本身;2)尽管面对的是分类任务,然而CCA根本无法利用样本的类信息。为弥补CCA的上述不足,文中提出一种监督型降维方法——增强组合特征判别性的典型相关分析(CECCA)。CECCA在CCA基础上,通过结合组合特征的判别分析,实现对组合特征相关性与判别性的联合优化,使所抽取特征更适合分类。在人工数据集、多特征手写体数据集和人脸数据集上的实验结果验证该方法的有效性。     

二维典型相关分析在小样本图像识别上的应用

针对传统典型相关分析（Canonical Correlation Analysis,CCA）的图像识别中出现的小样本（Small Sample Size,SSS）问题,提出二维典型相关分析（Two-Dimensional CCA,2DCCA）。首先阐述了2DCCA方法的基本原理并给出了类成员关系矩阵的构造方法,推导出了类成员关系协方差矩阵广义逆的解析解。其次,从理论上证明了2DCCA方法对于解决小样本问题的有效性。最后,利用人脸识别实验来测试该方法的性能,实验结果表明,2DCCA方法有效地解决了图像识别中常见的小样本问题,并且能取得较其他几种基于CCA的人脸识别方法更优的识别结果。     

二维典型相关分析及其在人脸识别中的应用

通过对传统的基于向量的典型相关分析(CCA)方法进行改进,提出了一种新的直接基于特征矩阵的二维典型相关分析方法(2DCCA),并将其应用于人脸识别的特征融合过程中。较基于向量的典型相关分析,该方法的优点主要有两点：第一,该方法计算过程中构造的协方差矩阵维数大幅度减小,这在一定程度上避免了人脸识别中存在的“高维小样本问题”;第二,由于协方差矩阵维数的缩减,使特征抽取的速度明显提高。最后在ORL标准人脸库和AR大型人脸数据库上的实验结果有效地验证了这两点。     

一种新的有监督的局部保持典型相关分析算法

从模式识别的角度出发,在局部保持典型相关分析的基础上,提出一种有监督的局部保持典型相关分析算法(SALPCCA)。该方法在构造样本近邻图时将样本的类别信息考虑在内,由样本间的距离度量确定权重,建立样本间的多重权重相关,通过使同类内的成对样本及其近邻间的权重相关性最大,从而能够在利用样本的类别信息的同时,也能保持数据的局部结构信息。此外,为了能够更好地提取样本的非线性信息,将特征集映射到核特征空间,又提出一种核化的SALPCCA(KSALPCCA)算法。在ORL、Yale、AR等人脸数据库上的实验结果表明,该方法较其他的传统典型相关分析方法有着更好的识别效果。     

改进的二维典型相关分析及其人脸识别应用

针对二维典型相关分析(2DCCA)中类标矩阵维数较大及算法耗时过多的问题,提出一种改进的2DCCA特征提取方法。利用图像的频谱性质定义低维的类标矩阵,从有利于模式分类的角度构造出新的准则函数,采用二维主成分分析对所得特征进一步降维,得到更具分类判别能力的低维特征。在ORL和组合人脸数据库上的实验结果表明,该特征具有较好的分类能力。     

类依赖的相关性多类分类器

典型相关分析（CCA）是利用样本的相关性进行特征提取的一种重要的降维方法,而相关性判别分析（CDA）则是在特征空间中最大化同类样本对间的相关性,同时最小化不同类样本对间的相关性,可看作类依赖的典型相关分析。这两种方法的特征提取与其后的分类器是两个相互独立的过程,如此不可避免地会影响分类器的性能。借助正则单纯形的顶点等距并具有仿射不变性的特性,将其作为类标号编码,把样本中包含的类信息结合到分类器设计中,最大化各个样本与其类标号的相关性,同时最小化样本与其余类标号之间的相关性,得到类依赖的相关性多类分类器（CCMC）。进一步通过与经验核相结合,获得了具有更强分类性能的核化版非线性分类器EK-CCMC。人工数据集和部分UCI数据集上的实验结果表明,利用类依赖的相关性直接设计分类器可以提高分类性能。     

一种广义局部判别型典型相关分析算法

在局部鉴别典型相关分析(LDCCA)的基础上,提出一种广义局部判别型典型相关分析算法(GLDCCA)。该算法在准则函数的内协方差矩阵中引入样本类别信息,使其提取的特征更有利于模式分类,采用核主成份分析解决小样本问题,克服传统PCA所受到的线性约束。在人工数据集以及ORL和Yale 2个人脸库上进行实验,结果表明,与CCA算法和LDCCA算法相比,GLDCCA算法具有更高的识别性能。     

一种监督的局部保持典型相关分析算法

从模式分类的角度出发,提出一种监督的局部保持典型相关分析(SLPCCA),通过最大类内成对样本与其近邻间的权重相关性,因而能有效利用样本类别信息的同时保持数据的局部流形结构,并且融合判别型典型相关分析(DCCA)的鉴别信息而不受总类别数的限制。此外,为了提取数据的非线性特征,在核方法的基础上又提出一种核化的SLPCCA(KSLPCCA)。在ORL、Yale、AR和FERET等人脸数据库的实验结果表明,该算法比其他传统的典型相关分析方法具有更好的识别效果。     

基于核化原理的非线性典型相关判别分析

典型相关判别分析是将传统的典型相关分析应用于判别问题，它是一类重要的特征提取算法，但其本质上只能提取数据的线性特征，应用统计学习理论中的核化原理可以将这样的线性特征提取算法推广至非线性特征提取算法，该文研究了如何将这一原理应用于典型相关判别分析，提出了基于核化原理的非线性典型相关判别分析，并且给出了求解该问题的一个自适应学习算法．数值实验表明，基于核化原理所导出的非线性典型相关判别分析比传统的典型相关判别分析更有效，另外，该文从理论上证明，所提出的新方法与Fisher核判别分析等价。