基于约束的典型相关分析集成学习算法

基分类器的差异性对于集成学习来说至关重要,从直观上讲,对约束重采样有潜力获得比对样本重采样更好的多样性。文中在典型相关分析算法基础上,通过引入成对约束作为监督信息对样本进行特征抽取从而形成新的训练数据。算法中集成学习的思想主要体现在成对约束的选取上,对约束进行随机重采样以获得具有多样性的基分类器。在多特征手写体数据集以及人脸数据集(Yale和AR)上进行实验考察该算法随选取的约束比例变化的情况,结果表明该方法获得比传统集成学习方法更好的性能。     

基于集成的年龄估计方法

近十年来, 由于广泛的应用前景, 关于人脸识别的研究得到了广泛的关注. 但目前有一种影响人脸识别技术的因素尚未被研究者所重视, 那就是年龄变化. 而在适用于年龄变化的人脸识别技术中有一个重要的问题, 即年龄估计. 本文基于典型相关分析和代价敏感学习提出了两种年龄估计算法, 并在此基础上利用集成技术来提高年龄估计的准确性. 最终实验结果验证了本文方法的有效性.     

基于深度学习的监督型典型相关分析

典型相关分析（CCA）是利用综合变量对之间的相关关系反映两组指标之间整体相关性的多元统计方法。传统的CCA方法无法有效利用样本的标签信息,导致准确率降低。将类信息融入到深度学习与CCA相结合的深度典型相关分析中,提出一种监督型降维方法DL-SCCA,用于处理带标签的非线性可分数据。在2个独立的深度神经网络（DNN）结构上,增加1个公共的输出维数与数据集类别数相同的全连接层,并且以softmax函数作为该层的激活函数,输出带有概率意义的编码向量。在此基础上,利用全连接输出与样本标签信息之间的交叉熵对DNN进行训练,获得分类性能较优的低维特征。实验结果表明,该方法采用最近邻分类器和网络本身结构得到的分类准确率分别为98.00%和97.82%,相比CCA、DisCCA、DCCA等方法,能够有效利用样本的标签信息,并且具有较优的分类性能。     

基于增强特征判别性的典型相关分析和分类集成的助学金预测方法

针对高校资助管理办法效率低下、工作量大等问题,提出一种增强特征判别性的典型相关分析（EN-DCCA）方法,并结合分类集成方法实现高校学生助学金预测。将学生在校多维度数据划分为两个不同视图,已有的各种多视图判别典型相关分析算法没有综合考虑视图类别之间的相关性和视图组合特征的判别性两者因素。EN-DCCA的优化目标在最大化类内相关的同时最小化类间相关,并且考虑了视图组合特征的判别性,进一步强化了属性的判别性能,更有利于分类预测。高校学生助学金预测的实现过程：首先,根据学生生活行为和学习表现将数据预处理为两个不同视图,然后用EN-DCCA方法对这两个视图数据进行特征学习,最后用分类集成方法完成预测。在真实的数据集上进行实验,所提方法的预测准确率达到90.01%,较增强视图组合特征判别性的典型相关分析（CECCA）的集成方法提高了2个百分点,实验结果表明,所提方法能有效实现高校助学金预测。     

基于核稀疏保持投影的典型相关分析算法

模式识别的技术核心就是特征提取,而特征融合则是对特征提取方法的强力补充,对于提高特征的识别效率具有重要作用。本文基于稀疏表示方法,将稀疏表示方法用到高维度空间,并利用核方法在高维度空间进行稀疏表示,用其计算核稀疏表示系数,同时研究了核稀疏保持投影算法(Kernel sparsity preserve projection,KSPP)。将KSPP引入到典型相关分析算法(Canonical correlation analysis,CCA),研究了基于核稀疏保持投影的典 型相关分析算法(Kernel sparsity preserve canonical correlation analysis,K-SPCCA)。在多特征手写体数据库和人脸图像数据库上分别证实了本文提出方法的可靠性和有效性 。     

基于改进核典型相关分析的人脸识别方法

标准KCCA方法需要存储和计算核矩阵,而核矩阵的大小是训练样本数的平方,随着样本数的增加,计算量逐渐增大、特征提取缓慢.为了提高特征提取的效率,提出了一种基于特征向量集的KCCA特征提取方法.采用特征选择方法,选择一个训练样本子集并将其映射到再生核希尔伯特空间(RKHS).用KCCA进行特征提取,将计算复杂度由O(n3)降到O(Nl2)(L<相似文献   

局部判别型典型相关分析算法

在典型相关分析（CCA）的基础上,通过引入样本的类信息,并结合局部化思想,充分考虑了同类样本之间的局部相关与不同类样本之间的局部相关关系及其对分类的影响,提出了一种新的有监督学习方法——局部判别型CCA（Locality Discriminative CCA,简记为LDCCA）。LDCCA提取的特征能够实现同类样本之间相关最大化,同时使得不同类样本之间相关最小化,这将有利于模式的分类。在人工数据集,手写体数字数据集上和ORL,Yale和AR人脸数据集的实验结果表明,LDCCA能有效地利用类信息来提高分类性能。     

基于集成学习的钓鱼网页深度检测系统

网络钓鱼是一种在线欺诈行为,它利用钓鱼网页仿冒正常合法的网页,窃取用户敏感信息从而达到非法目的.提出了基于集成学习的钓鱼网页深度检测方法,采用网页渲染来应对常见的页面伪装手段,提取渲染后网页的URL信息特征、链接信息特征以及页面文本特征,利用集成学习的方法,针对不同的特征信息构造并训练不同的基础分类器模型,最后利用分类集成策略综合多个基础分类器生成最终的结果.针对PhishTank钓鱼网页的检测实验表明,本文提出的检测方法具有较好的准确率与召回率.     

基于训练集平行分割的集成学习算法研究

针对大规模数据分类中训练集分解导致的分类器泛化能力下降问题,提出基于训练集平行分割的集成学习算法.它采用多簇平行超平面对训练集实施多次划分,在各次划分的训练集上采用一种模块化支持向量机网络算法训练基分类器.测试时采用多数投票法对各个基分类器的输出进行集成.在3个大规模问题上的实验表明:在不增加训练时间和测试时间的条件下,集成学习在保持分类器偏置基本不变的同时有效减少了分类器的方差,从而有效降低了由于训练集分割导致的分类器泛化能力下降.     

基于改进卷积神经网络与集成学习的人脸识别算法

针对复杂卷积神经网络(CNN)在中小型人脸数据库中的识别结果容易出现过拟合现象,提出一种基于改进CNN网络与集成学习的人脸识别算法。改进CNN网络结合平面网络和残差网络的特点,采用平均池化层代替全连接层,使得网络结构简单且可移植性强。在改进CNN网络的基础上,利用基于投票法的集成学习策略将所有个体学习器结果凸组合为最终结果,实现更准确的人脸识别。实验结果表明,该算法在Color FERET、AR和ORL人脸数据库上的识别准确率分别达到98.89%、99.67%和100%,并且具有较快的收敛速度。     

基于Spark的多标签超网络集成学习

近年来,多标签学习在图像识别和文本分类等多个领域得到了广泛关注,具有越来越重要的潜在应用价值。尽管多标签学习的发展日新月异,但仍然存在两个主要挑战,即如何利用标签间的相关性以及如何处理大规模的多标签数据。针对上述问题,基于MLHN算法,提出一种能有效利用标签相关性且能处理大数据集的基于Spark的多标签超网络集成算法SEI-MLHN。该算法首先引入代价敏感,使其适应不平衡数据集。其次,改良了超网络演化学习过程,并优化了损失函数,降低了算法时间复杂度。最后,进行了选择性集成,使其适应大规模数据集。在11个不同规模的数据集上进行实验,结果表明,该算法具有较好的分类性能,较低的时间复杂度且具备良好的处理大规模数据集的能力。     

基于集成情感成员模型的文本情感分析方法

文本情感分类是指通过挖掘和分析文本中的观点、意见和看法等主观信息,对文本的情感倾向做出类别判断。基于集成情感成员模型提出一种文本情感分析方法。把基于改进的神经网络、基于语义特征和基于条件随机场的三个情感分类模型作为成员模型集成在一起。集成后的模型能够涵盖不同的情感特征,从而克服了传统集成学习中仅关注成员模型处理结果的不足。以公开语料进行实验,集成模型融合了多个成员模型的优势,分类正确率达到了88.2%,远高于任一成员模型的效果。     

Graph regularized multiset canonical correlations with applications to joint feature extraction

Multiset canonical correlation analysis (MCCA) is a powerful technique for analyzing linear correlations among multiple representation data. However, it usually fails to discover the intrinsic geometrical and discriminating structure of multiple data spaces in real-world applications. In this paper, we thus propose a novel algorithm, called graph regularized multiset canonical correlations (GrMCCs), which explicitly considers both discriminative and intrinsic geometrical structure in multiple representation data. GrMCC not only maximizes between-set cumulative correlations, but also minimizes local intraclass scatter and simultaneously maximizes local interclass separability by using the nearest neighbor graphs on within-set data. Thus, it can leverage the power of both MCCA and discriminative graph Laplacian regularization. Extensive experimental results on the AR, CMU PIE, Yale-B, AT&T, and ETH-80 datasets show that GrMCC has more discriminating power and can provide encouraging recognition results in contrast with the state-of-the-art algorithms.     

基于迭代训练和集成学习的图像分类方法

针对卷积神经网络提取特征信息不完整导致图像分类方法分类精度不高等问题,利用深度学习的方法搭建卷积神经网络模型框架,提出一种基于迭代训练和集成学习的图像分类方法。利用数据增强对图像数据集进行预处理操作,在提取图像特征时,采用一种迭代训练卷积神经网络的方式,得到充分有效的图像特征,在训练分类器时,采用机器学习中集成学习的思想。分别在特征提取后训练分类器,根据各分类器贡献的大小,赋予它们不同的权重值,取得比单个分类器更好的性能,提高图像分类的精度。该方法在Stanford Dogs、UEC FOOD-100和CIFAR-100数据集上的实验结果表明了其较好的分类性能。     

基于超限学习机的非线性典型相关分析及应用

典型相关分析是目前常用的研究两个变量间相关性的统计方法。针对线性典型相关分析难以准确揭示变量之间复杂关系的问题,提出一种基于超限学习机的非线性典型相关分析多模态特征提取方法。首先,采用超限学习机分别的对每个模态进行无监督特征学习,得到抽象的深度特征表示;然后将这些深度抽象特征通过典型相关分析极大化模态之间的相关性,同时得到两组相关变量,实现多模态数据的复杂非线性和高相关性表示。最后在康奈尔大学机器抓取公开数据集上进行实验验证,结果表明,所提出的方法与其他相关算法相比,训练速度得到显著提升。     

集成优化核极限学习机的冠心病无创性诊断

冠心病的早期无创性诊断一直是医疗诊断领域的研究热点,为了提高冠心病诊断的准确率和诊断效率,提出了一种新颖的局部Fisher判别分析(LFDA)特征提取方法和集成核极限学习机(KELM)相结合的冠心病诊断模型(LFDA-EKELM)。首先使用LFDA方法剔除不相关特征和冗余特征,找出对分类结果贡献度较高的特征子集,产生不同的训练集以训练粒子群优化的KELM分类器PSO-KELM,并基于旋转森林(RF)构建集成分类器,实现冠心病的智能诊断。实验结果表明,与基于ELM、SVM和BPNN方法相比,提出方法有效提高了冠心病诊断准确率,提升了诊断效率,且分类结果高于已有方法和相似方法,是一种有效冠心病诊断模型。     

基于Bagging集成学习的字符识别方法

针对字符识别对象的多样性,提出了一种基于Bagging集成的字符识别模型,解决了识别模型对部分字符识别的偏好现象。采用Bagging采样策略形成不同的数据子集,在此基础上用决策树算法训练形成多个基分类器,用多数投票机制对基分类器预测结果集成输出。理论分析与仿真实验结果表明,所提模型相比其他分类方法具有更好的分类能力。     

基于集成学习的云平台异常点检测

为提高云平台异常点检测的精度,解决单一检测系统误报率与漏报率高的问题,提出基于集成学习的异常点检测系统。为解决异常检测对象多样性的问题,构造监测序列的特征矩阵,采用自组织映射神经网络对监测序列进行聚类;对监测序列进行过采样,解决异常发生频率很低的问题;对异构的异常点检测器进行基于委员会的学习,集成各检测器的检测优点,提高检测的精度。通过带有标注的监测序列对异常点检测系统进行验证,结果表明,该系统效果优于单一检测系统,验证了设计的有效性。     

一种新的有监督的局部保持典型相关分析算法

从模式识别的角度出发,在局部保持典型相关分析的基础上,提出一种有监督的局部保持典型相关分析算法(SALPCCA)。该方法在构造样本近邻图时将样本的类别信息考虑在内,由样本间的距离度量确定权重,建立样本间的多重权重相关,通过使同类内的成对样本及其近邻间的权重相关性最大,从而能够在利用样本的类别信息的同时,也能保持数据的局部结构信息。此外,为了能够更好地提取样本的非线性信息,将特征集映射到核特征空间,又提出一种核化的SALPCCA(KSALPCCA)算法。在ORL、Yale、AR等人脸数据库上的实验结果表明,该方法较其他的传统典型相关分析方法有着更好的识别效果。