局部判别型典型相关分析算法

在典型相关分析（CCA）的基础上,通过引入样本的类信息,并结合局部化思想,充分考虑了同类样本之间的局部相关与不同类样本之间的局部相关关系及其对分类的影响,提出了一种新的有监督学习方法——局部判别型CCA（Locality Discriminative CCA,简记为LDCCA）。LDCCA提取的特征能够实现同类样本之间相关最大化,同时使得不同类样本之间相关最小化,这将有利于模式的分类。在人工数据集,手写体数字数据集上和ORL,Yale和AR人脸数据集的实验结果表明,LDCCA能有效地利用类信息来提高分类性能。     

一种基于约束的中垂面相似度准则

在数据挖掘和机器学习的基于距离的各种技术中,例如基于距离的聚类和基于距离的分类,如何度量数据间的相似性已经成为一项基础任务.对于某一具体问题,采用合适的相似性度量,会使问题得到更有效的解决.越来越多的研究表明,通过对成对约束(正约束和负约束)的充分利用,从而得到与问题相匹配的相似性度量,能够大幅度地提升算法性能.目前基于约束的相似性度量研究主要是基于约束的距离度量学习,通过对约束信息的利用,学习一个距离度量矩阵,然后再进行分类或者聚类.通过对成对约束尤其是负约束的挖掘,提出一种基于成对约束的相似性度量准则,然后将此准则应用于聚类和分类任务中,分别提出聚类和分类算法,最后在大量标准数据集上将这些算法的性能与目前流行的算法进行实验比较,并据此得出了一些经验性的启示.     

在核诱导的鲁棒度量下的模糊C-均值与可能性C-均值算法

用核方法来改造传统的学习算法是近年来机器学习领域研究的一个热点.本文提出了一种新的应用核方法在原输入空间中进行聚类的思想,并把其推广应用于传统的聚类算法,得到模糊核C-均值算法和可能性核C-均值算法.该类算法的实质是在准则函数中采用了一类核诱导的非欧氏距离的新的距离度量,并且依据Huber的鲁棒统计分析,该类算法是内在鲁棒的,适合对不完整数据或缺失数据.含噪数据和野值的聚类.最后在人工和Benchmark数据集上对上述算法的性能进行了验证.     

基于卷积神经网络和领域泛化的跨操作员认知负荷识别

基于脑电信号(EEG)的操作员认知负荷识别(CWR)在人机交互系统和被动式脑机接口中有重要价值,然而EEG的非稳态性和被试差异性极大阻碍了跨操作员CWR这一现实场景的快速应用。该文针对跨操作员CWR精度低等问题,提出一种基于卷积神经网络(CNN)和领域泛化(DG)的联合共享特征优化方法(CNN_DG)。该方法通过使用已有操作员(源域)的数据提高未知操作员(目标域)的CWR性能,其主要包括3个模块：深度特征提取器、标签分类器和领域泛化器。深度特征提取器学习可迁移的源域之间的共享知识表征;标签分类器进一步学习深层表征并预测负荷级别;领域泛化器通过与特征提取器进行对抗训练来减少源域间的数据分布差异,从而保证学习特征的共享性。该文在多属性任务组(MATB II)模拟飞行任务竞赛数据集1和2上进行两个三分类的跨操作员CWR实验,并采用留一被试交叉验证策略验证模型识别性能。实验结果表明所提CNN_DG方法显著优于比较方法,验证了其在跨操作员CWR领域的有效性和泛化性。     

基于子图选择和图核降维的脑网络分类方法

脑网络分类在脑科学研究和脑疾病诊断等领域引起了学者们的广泛关注。目前大多数有关脑网络分类的研究都是以单个脑区或成对脑区之间的相关性作为分类特征,其缺点是不能反映多个脑区之间的拓扑结构信息。为克服上述缺点,提出了一种基于子图选择和图核降维的脑网络分类方法。具体包括：（1）分别从正类训练样本组及负类训练样本组中提取多个频繁子图,进而利用基于频度差的子图选择算法选取最具判别性的子图集;（2）基于上述过程中得到的子图集,利用图核主成分分析（graph-kernel-based principal component analysis,GK-PCA）方法对经过子图选择后的图数据进行特征提取;（3）利用支持向量机（support vector machine, SVM）在特征提取后的数据上进行分类。在真实的轻度认知障碍（mild cognitive impairment,MCI）脑网络数据集上对该方法进行了验证,实验结果表明了该方法的有效性。     

小世界体系的多对多核联想记忆模型及其应用

运用机器学习中新颖的核方法和社会网络中广泛存在的小世界现象,对Hattori等人提出的多模块多对多联想记忆模型(multi-module associative memory for many-to-many associations,简称(MMA)²)进行了改进,构建出了一个基于小世界体系的多对多核联想记忆模型框架(small world structure inspired many to many kernel associative memory models,简称SWSI-M²KAMs).该框架不仅克服了原模型不能联机提交训练样本且迭代次数过多的缺陷,而且拓展了原模型的智能信息处理范围.更重要的是,通过核函数的选取,该模型框架可以衍生出更多新的多对多联想记忆模型,而且,由于小世界结构的引入,在一定程度上简化了模型的结构复杂度.最后的计算机模拟,证实了新的模型具有良好的多对多联想记忆功能.     

基于小世界体系的核自联想记忆模型

1引言 联想记忆神经网络是体现网络优势、具有广泛应用前景的一类网络模型.本文借鉴近年来机器学习领域中颇具影响力的核方法[1]和社会网络中广泛存在的小世界体系[2],通过改进Hopfield联想记忆模型的回忆规则[3],构建了一类基于小世界体系的核自联想记忆模型(small world architecture basedkernel auto-associative memory model,SWAKAM).在FERET人脸数据库上的测试表明,它获得了比标准的特征脸算法(PCA)[4]以及最近提出的E(PC)2A[5]算法更高的识别率.SWA-KAM模型所具有的最大特点是,它以较小的代价获得了较高的性能,较大地简化了全互连KAM模型的结构,使传统AM模型的VLSI实现更加容易.     

半监督鲁棒联机聚类算法

将监督信息引入到聚类算法中去,在先前提出的鲁棒联机聚类算法(ROC)的基础上,通过引入以样本类标号形式给出的监督信息,提出了一种半监督的鲁棒联机聚类算法(Semi-ROC).在算法的聚类精度和鲁棒性能上,算法Semi-ROC比ROC和AddC有着更好的性能,在人工数据集和UCI标准数据集上的实验结果表明,Semi-ROC能有效地利用少量的监督信息来提高算法的聚类性能,得到较优的结果.另外,在添加噪声的情况下,算法Semi-ROC比原始的联机聚类算法AddC和ROC都更加鲁棒.     

基于有效距离的谱聚类算法

在现有多种距离度量和传统谱聚类算法的基础上,提出了一种新的基于有效距离的谱聚类算法(spectral clustering based on effective distance,SCED)。SCED算法通过稀疏重构系数来构建样本与样本之间的有效距离,从而代替传统谱聚类算法中的欧氏距离,进行样本之间的相似度评估。与传统距离度量相比,有效距离不仅利用了样本对之间的距离信息,同时考虑了目标样本与其他所有相关样本之间的距离信息,因而该距离度量具有全局特性。在UCI标准数据集上的实验结果表明,SCED算法能有效提高聚类效果。     

半监督降维方法的实验比较

半监督学习是近年来机器学习领域中的研究热点之一,已从最初的半监督分类和半监督聚类拓展到半监督回归和半监督降维等领域.目前,有关半监督分类、聚类和回归等方面的工作已经有了很好的综述,如Zhu的半监督学习文献综述.降维一直是机器学习和模式识别等相关领域的重要研究课题,近年来出现了很多将半监督思想用于降维,即半监督降维方面的工作.有鉴于此,试图对目前已有的一些半监督降维方法进行综述,然后在大量的标准数据集上对这些方法的性能进行实验比较,并据此得出了一些经验性的启示.