覆盖学习的道路优化算法

在之前的研究中,已经针对李群多连通空间上具有不同类别特征的研究对象,提出了多连通覆盖学习算法,成功地将覆盖学习应用到多连通李群空间.主要针对多连通覆盖学习算法中连通道路的交叉问题,考虑在李群空间上寻找一条测地曲线,使得映射后不同单连通空间上的道路的关联度最小化、同一单连通空间上的道路的关联度最大化,从而实现连通空间上类别判别性能的优化.首先回顾李群连通性质的相关知识;然后,简单介绍了多连通覆盖学习算法,并针对问题给出新的优化算法;最终,通过与经典覆盖学习算法、李群均值算法以及原始算法的比较实验,证明了该优化算法具有更好的分类性能.     

多连通李群覆盖学习算法在图像分类上的应用

李群机器学习作为一种新的学习范式已被学术界广泛关注。根据李群的连通性质,将具有不同类别特征的研究对象映射到多连通李群空间,并从各个单连通李群空间上连线的同伦等价出发,运用覆盖的思想寻找对应不同类别的最优道路等价表示,从而用多连通李群的多值表示来呈现图像的类别信息,因此提出了多连通李群覆盖学习算法。在MPEG7_CE-Shape01_Part_B图像库的图像和MNIST手写体数字图像上进行了实验验证,结果表明与两种基于李群均值的学习算法相比,多连通李群覆盖学习算法具有较好的分类效果。     

多李群核覆盖学习算法在图像分类上的应用

李群具有代数结构也具有流形几何结构。将数据映射到多李群空间,并根据李群样本点在李群流形上的轨道关系,对那些同伦的轨道加以覆盖,从而使得覆盖域呈现出类别信息。利用核函数的思想,进一步使得类别不同的覆盖域更具有可分性,同时覆盖边界更具有光滑性,因此提出了多李群核覆盖学习算法。在MNIST手写体数字图像上进行了多组实验验证,并对实验结果进行了分析,结果表明与多连通李群覆盖学习算法相比,多李群核覆盖学习算法具有较好的分类效果。     

李群均值学习算法

首先分析李群均值的计算方法,在此基础上,进一步提出李群均值学习算法,其思想是在李群流形上寻找一个由总体样本内均值的李代数元素决定的单参数子群,这个单参数子群是原李群上的一条测地线,定义样本到测地线投影的概念,同时将李群样本向该测地线投影,并尽可能使投影后各类别间的散度与类内散度比值最大化,从而实现非线性李群空间的类别判别。实验表明,基于李群均值的学习算法和KNN、FLDA算法相比,具有较好的分类效果。     

基于核聚类的机动多目标数据关联问题研究

针对新型作战样式条件下空中多机动目标密集回波的数据关联问题,采用核学习方法和K-均值聚类相结合的算法,即基于核的K-均值聚类来解决此问题.该方法的主要思想是,将原空间中的样本通过一个非线性映射,映射到高维的核空间中,以突出各类样本之间的特征差异,然后在核空间中进行K-均值聚类.仿真结果表明,该方法有效提高了密集回波环境下系统跟踪机动多目标的关联精度和可靠性.     

基于稀疏字典的李群机器学习算法

李群机器学习理论 被广泛应用于图像集分类中的数据表示和处理,并获得较优结果.由此,文中提出基于稀疏字典的李群机器学习算法.首先使用协方差矩阵对图像集建模,分析协方差矩阵构成的李群结构,应用对数映射将数据映射到线性空间中,得到数据的距离矩阵.再使用路标多维缩放对数据进行降维处理,降低运算成本.最后,使用带费舍尔判别字典学习进行分类.在YTC数据集上的实验证明文中算法具有良好的鲁棒性和准确率.     

使用模拟切削算法的SVM增量学习机制

提出使用模拟切削算法的SVM增量学习机制。模拟切削算法在核函数映射的特征空间中计算每个样本的预期贡献率, 仅选取预期贡献率较高的样本参与SVM增量学习, 有效解决传统SVM增量学习代价高、目标样本选取准确性低、分类器缺乏鲁棒性的问题。一个样本的预期贡献率采用通过该样本的映射目标的合适分离面对两类样本的识别率来表示。对目标样本的选取酷似果蔬削皮的过程, 所提算法由此得名。基准数据实验表明, 文中算法在学习效率和分类器泛化性能上具有突出优势。在有限资源学习问题上的应用表明该算法在大规模学习任务上的良好性能。     

半监督多示例核

在多示例学习中引入利用未标记示例的机制,能降低训练的成本并提高学习器的泛化能力。当前半监督多示例学习算法大部分是基于对包中的每一个示例进行标记,把多示例学习转化为一个单示例半监督学习问题。考虑到包的类标记由包中示例及包的结构决定,提出一种直接在包层次上进行半监督学习的多示例学习算法。通过定义多示例核,利用所有包(有标记和未标记)计算包层次的图拉普拉斯矩阵,作为优化目标中的光滑性惩罚项。在多示例核所张成的RKHS空间中寻找最优解被归结为确定一个经过未标记数据修改的多示例核函数,它能直接用在经典的核学习方法上。在实验数据集上对算法进行了测试,并和已有的算法进行了比较。实验结果表明,基于半监督多示例核的算法能够使用更少量的训练数据而达到与监督学习算法同样的精度,在有标记数据集相同的情况下利用未标记数据能有效地提高学习器的泛化能力。     

一种基于QR分解的增量式核判别分析法

针对非线性系统在线学习的效率问题,提出了一种基于QR分解的增量式核判别分析法。该算法充分利用基于QR分解的核判别分析法的先降维后提取特征的思想,将核空间映射到低维空间进行计算,减少了构造核矩阵的计算量,降低了核矩阵的存储空间。同时引入增量计算的思想,有效地解决了在线学习中冗余计算的问题。在TE过程数据和ORL人脸库上的仿真实验证明了该算法在特征提取上的有效性,其相比批量式算法有更高的效率优势。     

基于双向映射学习的多标签分类算法

现有的多标签学习算法往往只侧重于实例空间到标签空间的正向投影,正向投影时由于特征维数降低所产生的实例空间信息丢失的问题往往被忽略。针对以上问题,提出一种基于双向映射学习的多标签分类算法。首先,利用实例空间到标签空间的正向映射损失建立线性多标签分类模型;然后,在模型中引入重构损失正则项构成双向映射模型,补偿由于正向映射时导致的鉴别信息的丢失;最后,将双向映射模型结合标签相关性和实例相关性充分地挖掘标签之间、实例之间的潜在关系,并利用非线性核映射提高模型对非线性数据的处理能力。实验结果表明,与近年来的其他几种方法相比,该方法在汉明损失、一次错误率和排序损失上的性能平均提升17.68%、17.01%、18.57%;在六种评价指标上的性能平均提升了12.37%,验证了模型的有效性。     

机器学习中的核覆盖算法

基于统计学习理论的支持向量机（SVM）方法在样本空间或特征空间构造最优分类超平面解决了分类器的构造问题,但其本质是二分类的,且核函数中的参数难以确定,计算复杂性高．构造性学习算法根据训练样本构造性地设计分类网络,运行效率高,便于处理多分类问题,但存在所得的分界面零乱、测试计算量大的缺点．该文将SVM中的核函数法与构造性学习的覆盖算法相融合,给出一种新的核覆盖算法．新算法克服了以上两种模型的缺点,具有运算速度快、精度高、鲁棒性强的优点．其次．文中给出风险误差上界与覆盖个数的关系．最后给出实验模     

Model-based transductive learning of the kernel matrix

This paper addresses the problem of transductive learning of the kernel matrix from a probabilistic perspective. We define the kernel matrix as a Wishart process prior and construct a hierarchical generative model for kernel matrix learning. Specifically, we consider the target kernel matrix as a random matrix following the Wishart distribution with a positive definite parameter matrix and a degree of freedom. This parameter matrix, in turn, has the inverted Wishart distribution (with a positive definite hyperparameter matrix) as its conjugate prior and the degree of freedom is equal to the dimensionality of the feature space induced by the target kernel. Resorting to a missing data problem, we devise an expectation-maximization (EM) algorithm to infer the missing data, parameter matrix and feature dimensionality in a maximum a posteriori (MAP) manner. Using different settings for the target kernel and hyperparameter matrices, our model can be applied to different types of learning problems. In particular, we consider its application in a semi-supervised learning setting and present two classification methods. Classification experiments are reported on some benchmark data sets with encouraging results. In addition, we also devise the EM algorithm for kernel matrix completion. Editor: Philip M. Long     

李群深层结构学习算法研究

针对数据的复杂性和语义深层关系,提出一种李群深层结构学习算法。主要包括:基于流形的深层结构分析方法、基于参数的李群半监督学习算法和基于线性的李群半监督学习算法,以及这些算法相融合的李群深层结构学习算法。该算法对连续语义间的深层关系有着重要的作用。实验结果显示,深度越深,该算法的效果越好。     

一种在源数据稀疏情况下的流形学习算法研究

传统的流形学习算法能有效地学习出高维采样数据的低维嵌入坐标,但也存在一些不足,如不能处理稀疏的样本数据.针对这些缺点,提出了一种基于局部映射的直接求解线性嵌入算法(Solving Directly Linear Embedding,简称SDLE).通过假定低维流形的整体嵌入函数,将流形映射赋予局部光滑的约束,应用核方法将高维空间的坐标投影到特征空间,最后构造出在低维空间的全局坐标.SDLE算法解决了在源数据稀疏情况下的非线性维数约简问题,这是传统的流形学习算法没有解决的问题.通过实验说明了SDLE算法研究的有效性.     

基于LFKPCA-DWELM的入侵检测方案

基于机器学习的入侵检测系统普遍存在由于入侵数据维度大、数据样本不均衡和离散度大而严重影响分类性能的问题。提出了一种基于LFKPCA-DWELM的入侵检测算法,用改进的果蝇算法（LFOA）对核主成分分析算法（KPCA）进行优化,用优化后的核主成分分析算法（LFKPCA）对数据进行特征提取,将处理后的数据用于基于数据离散度的加权极限学习机（DWELM）的训练,最后使用训练好的模型进行分类实验。实验结果显示,该算法有效提高了检测率,降低了误报率和检测时间。     

基于灰度触发的Mean Shift自动跟踪算法

为实现道路交通的车辆自动跟踪,提出一种基于灰度触发的Mean Shift自动跟踪算法。利用改进的高斯混合模型进行前景检测,有效抑制光照突变对于目标检测的影响,保证触发区域的灰度干扰降低到最少。设计基于虚拟区域灰度变化的触发方式,通过捕获虚拟触发区域内的灰度局部峰值,扩展目标搜寻区域进行运动车辆的锁定,进而实现核函数宽度自适应调整的Mean Shift跟踪。实验结果表明,该方法能准确实现自动触发跟踪,触发精度较高,具有较好的实用价值。     

基于空谱特征的核极端学习机高光谱遥感图像分类算法

近年来,局部二值模式(Local Binary Patterns,LBP)由于其在空间特征提取方面具有显著的优势被应用于高光谱遥感图像分类中,该算法在空间特征提取上虽减少类内方差,却忽视了用于区分不同地物类别的光谱特征。为避免在图像分类过程中提取单一特征导致特征提取不充分、分类效果不理想的问题,通过将空间特征和光谱特征进行矢量堆叠得到新的空谱特征向量。再将新的空谱特征向量引入到核极端学习机中,提出一种基于空谱特征的核极端学习机高光谱遥感图像分类算法(Space Spectrum feature Kernel Extreme Learning Machine,SS-KELM)。为验证所提算法的有效性,将使用两个高光谱图像数据集进行实验。实验结果表明所提SS-KELM算法的分类性能优于目前较为常见的传统分类算法。