基于核策略的半监督学习方法

通过扩展核一致性方法,提出基于核策略的半监督学习算法GCM,研究5种不同度量方法中参数与算法性能的关系,对使用不同度量的GCM算法的性能进行比较。实验结果表明,使用指数度量的GCM算法的性能最优,而使用欧几里得度量的GCM算法的性能最差。不同度量中的参数取值对算法的性能具有一定的影响。     

基于核拉普拉斯稀疏编码模型的图像分类

在稀疏词袋模型中,由于码书的过完备性,相似特征间稀疏编码存在多种组合方式,从而导致相似的特征可能得到完全不同的编码.文中提出基于核拉普拉斯稀疏编码的图像分类方法.该方法首先通过在高维核空间中构造核拉普拉斯矩阵以描述特征间的几何依赖关系,使相似特征的稀疏编码的相似性尽可能得到保持.再采用交替固定码书与稀疏矩阵的方法优化目标函数进行码书学习,并采用符号猜测法对特征进行稀疏编码.最后用多类SVM分类器分类.实验证明文中方法可较大幅度降低量化误差,提高分类准确率,并在多个数据集上取得良好的测试效果.     

一种基于局部学习的自然图像景物提取方法

引入一种按邻点对的相似性权值计算次数来归类Laplacian 的思想,并从理论上证明了包含多次相似性权值计算的Laplacian 构造比只计算一次或两次相似性权值的Laplacian 构造更能精细地刻画数据局部几何结构.据此提出了一种新的更能胜任自然图像景物提取任务的Laplacian 构造方法.该方法通过任意一对相邻像素在不同局部邻域内建立一个线性学习模型来重构不同的相似性权值.结合用户提供的部分前、背景标记约束,导出求解景物提取的半监督二次优化目标函数.当考虑通过对前、背景抽样来估计未知像素的颜色值时,优化目标可以迭代求解.更有意义的是,该迭代方法可以成功地将原来构造的其他Laplacian 推广应用于只提供稀疏指示条带的景物提取问题中.理论分析与实验结果均证实,所构造的Laplacian 能够更充分地表达图像像素间的内在结构,能以更精细的方式约束传播前、背景的成分比例而不仅仅是标号,从而获得更优的景物提取效果.     

一种基于核的半监督局部线性嵌入方法

在局部线性嵌入算法中,标签价值没有得到充分体现。针对该问题,提出一种基于核的半监督局部线性嵌入方法。考虑到欧氏距离容易破坏流形结构,将原始数据映射到高维核空间,利用高维空间中的核距离代替欧氏距离,采用半监督标签信息调整距离矩阵,通过调整后的距离矩阵对数据结构进行线性重建,从而提高算法的降维性能。在标准数据集、人脸库、字符库等数据上进行实验,结果表明,与传统局部线性嵌入算法相比,该方法的辨识率提高了2%     

一种基于Gabor小波的局部特征尺度提取方法

图像的局部特征尺度在进行特征提取和构造尺度不变量时非常重要。提出了一种基于Gabor小波的局部特征尺度提取方法,该方法利用视皮层简单细胞的2维Gabor函数模型, 构造了一个Gabor尺度空间核函数,利用该核函数计算图像的Gabor尺度空间分解,并在尺度空间中搜索局部极大值作为特征点的固有尺度。实验结果表明,该方法可在不同对比度 条件下有效地提取各类特征的局部尺度,并且相比高斯拉普拉斯(LoG)方法有更好的适应性和可靠性。     

一种半监督局部线性嵌入算法的文本分类方法*

针对局部线性嵌入算法（LLE）应用于非监督机器学习中的缺陷,将该算法与半监督思想相结合,提出了一种基于半监督局部线性嵌入算法的文本分类方法。通过使用文本数据的流形结构和少量的标签样本,将LLE中的距离矩阵采用分段形式进行调整;使用调整后的矩阵进行线性重建从而实现数据降维;针对半监督LLE中使用欧氏距离的缺点,采用高斯核函数将欧氏距离进行变换,并用新的核距离取代欧氏距离,提出了基于核的半监督局部线性嵌入算法;最后通过仿真实验验证了改进算法的有效性。     

多尺度核方法的自适应序列学习及应用

多尺度核方法是当前核机器学习领域的一个热点。通常多尺度核的学习在多核处理时存在诸如多核平均组合、迭代学习时间长、经验选择合成系数等弊端。文中基于核目标度量规则,提出一种多尺度核方法的自适应序列学习算法,实现多核加权系数的自动快速求取。实验表明,该方法在回归精度、分类正确率方面比单核支持向量机方法结果更优,函数拟合与分类稳定性更强,证明该算法具有普遍适用性。     

基于核的半监督的局部保留投影降维方法

为能有效捕捉数据的非线性特征,特提出一种新的非线性数据降维算法——核半监督局部保留投影(KSSLPP)。该方法利用标记样本的标记信息及所有训练样本的结构重新定义了类间相似度和类内相似度,然后将原始数据映射到高维核空间,在核空间中最大化类间分离度,最小化类内分离度。该方法在核空间保持了数据的局部结构和全局结构,以及数据的标签信息。在Olivetti人脸库和UCI数据库中的对比实验验证了该算法的有效性。     

基于拉普拉斯回归主动学习的大数据流分类算法

实时数据流中标记样本所占比例较小,并且存在大量的噪声数据和冗余数据,导致数据流的实时分类准确率较低。针对这种情况,提出基于拉普拉斯回归主动学习的大数据流分类算法。为分类器设计相对支持度差异函数作为分类的决策方法,通过阈值判断当前数据流的标记样本量。设计基于约束规则的半监督主动学习算法,从无标记样本集选择信息量最丰富的样本。采用拉普拉斯正则最小二乘回归模型作为半监督学习的回归模型,迭代地扩展数据流的标记样本量。仿真结果表明,该算法有效地提高了数据流的分类准确率,并且满足实时性的需求。     

基于耦合度量的多尺度聚类挖掘方法

为了能够更好地对非独立同分布的多尺度分类型数据集进行研究,基于无监督耦合度量相似性方法,提出针对非独立同分布的分类属性型数据集的多尺度聚类挖掘算法。首先,对基准尺度数据集进行基于耦合度量的基准尺度聚类;其次,提出基于单链的尺度上推和基于Lanczos核的尺度下推尺度转换算法;最后,利用公用数据集以及H省真实数据集进行实验验证。将耦合度量相似性（Couple metric similarity, CMS）、逆发生频率（Inverse occurrence frequency, IOF）、汉明距离（Hamming distance, HM）等方法与谱聚类结合作为对比算法,结果表明,尺度上推算法与对比算法相比,NMI值平均提高13.1%,MSE值平均减小0.827,F-score值平均提高12.8%;尺度下推算法NMI值平均提高19.2%,MSE值平均减小0.028,F-score值平均提高15.5%。实验结果表明,所提出的算法具有有效性和可行性。     

流形上的Laplacian半监督回归

把流形学习与半监督学习相结合,研究了流形上的半监督回归问题.简要介绍了半监督流形学习的Laplacian正则化框架,在此基础上推导了基于一类广义损失函数的Laplacian半监督回归,它能够利用数据所在流形的内在几何结构进行回归估计.具体给出了线性ε-不敏感损失函数,二次ε-不敏感损失函数和Huber损失函数的Laplacian半监督回归算法,在模拟数据和Boston Housing数据上对算法进行了实验,并对实验结果进行了分析.这些结果将为进一步深入研究半监督流形回归问题提供一些可借鉴的积累.     

Semi-supervised learning with regularized Laplacian

We study a semi-supervised learning method based on the similarity graph and regularized Laplacian. We give convenient optimization formulation of the regularized Laplacian method and establish its various properties. In particular, we show that the kernel of the method can be interpreted in terms of discrete and continuous-time random walks and possesses several important properties of proximity measures. Both optimization and linear algebra methods can be used for efficient computation of the classification functions. We demonstrate on numerical examples that the regularized Laplacian method is robust with respect to the choice of the regularization parameter and outperforms the Laplacian-based heat kernel methods.     

基于图谱分解的无线定位算法

基于有监督学习的射频指纹定位方法是室内高精度无线定位技术的一个研究热点. 针对有监督学习方法存在训练数据集采集代价较高的问题, 本文提出了一种基于半监督学习的室内无线定位算法. 该算法采用基于Laplacian矩阵谱分解的方法获取训练数据在特征向量空间上的表示, 然后通过有标记数据在特征向量空间上的标记对齐, 实现对未标记数据的标记. 实验结果表明, 仅需少量的有标记数据(20%左右), 便能以较高的精度(80%左右)实现对未标记数据的标记, 从而有效降低了训练开销.     

基于混合核函数的SVM及其应用

支持向量机可以很好地应用于函数拟合中,其中核函数的选择尤其重要。由于普通核函数各有其利弊,为了得到学习能力和泛化性能都很强的核函数,文中采用了混合核函数,并将由其构造的支持向量机运用于函数拟合中,且与普通核函数构造的支持向量机的实验结果进行了比较。结果表明其性能明显优于由普通核函数构造的支持向量机。     

半监督拉普拉斯特征映射算法

为了使流形学习方法具有半监督的特点,利用流形上某些已知低维信息的数据去学习推测出其它数据的低维信息,扩大流形学习算法的应用范围,把拉普拉斯特征映射算法(Laplacian Eigenmap,LE)与半监督的机器学习相结合,提出一种半监督的拉普拉斯特征映射算法(semi-supervised Laplacian Eigenmap,SSLE),这种半监督的流形学习算法在分类识别等问题上,具有很好的效果.模拟实验和实际例子都表明了SSLE算法的有效性.     

基于Laplacian正则化最小二乘的半监督SAR目标识别

提出了一种基于核主成分分析(kernel principal component analysis,简称KPCA)和拉普拉斯正则化最小二乘(Laplacian regularized least squares,简称LapRLS)的合成孔径雷达(synthetic aperture radar,简称SAR)目标识别方法.KPCA特征提取方法不仅能够提取目标主要特征,而且有效地降低了特征维数.Laplacian正则化最小二乘分类是一种半监督学习方法,将训练集样本作为有标识样本,测试集样本作为无标识样本,在学习过程中将测试集样本包含进来以获得更高的识别率.在MSTAR实测SAR地面目标数据上进行实验,结果表明,该方法具有较高的识别率,并对目标角度间隔具有鲁棒性.与模板匹配法、支撑矢量机以及正则化最小二乘监督学习方法相比,具有更高的SAR目标识别正确率.此外,还通过实验分析了不同情况下有标识样本数目对目标识别性能的影响.     

拉普拉斯阶梯网络

阶梯网络不仅是一种基于深度学习的特征提取器,而且能够应用于半监督学习中.深度学习在实现了复杂函数逼近的同时,也缓解了多层神经网络易陷入局部最小化的问题.传统的自编码、玻尔兹曼机等方法易忽略高维数据的低维流形结构信息,使用这些方法往往会获得无意义的特征表示,这些特征不能有效地嵌入到后续的预测或识别任务中.从流形学习的角度出发,提出一种基于阶梯网络的深度表示学习方法,即拉普拉斯阶梯网络LLN(Laplacian ladder network).拉普拉斯阶梯网络在训练的过程中不仅对每一编码层嵌入噪声并进行重构,而且在各重构层引入图拉普拉斯约束,将流形结构嵌入到多层特征学习中,以提高特征提取的鲁棒性和判别性.在有限的有标签数据情况下,拉普拉斯阶梯网络将监督学习损失和非监督损失融合到了统一的框架进行半监督学习.在标准手写数据数据集MNIST和物体识别数据集CIFAR-10上进行了实验,结果表明,相对于阶梯网络和其他半监督方法,拉普拉斯阶梯网络都得到了更好的分类效果,是一种有效的半监督学习算法.     

迭代拉普拉斯半监督学习本体算法

本体相似度计算和本体映射是知识表示和信息处理的核心研究内容。利用迭代拉普拉斯半监督学习方法将本体图中每个顶点映射成一个实数,通过比较顶点对应实数间的差值得到本体相似度计算算法和本体映射策略。通过两个实验表明,该方法对特定的应用领域是有效的。     

基于小波变换和局部傅立叶变换的手写数字识别

小波变换和傅立叶变换在图像处理方面有着广泛的应用。该文在结合二者特点的基础上提出了一种新的基于小波变换和局部傅立叶变换的脱机手写数字特征提取方法。即对于一个输入的手写数字图像首先进行小波变换,依据小波变换后的子图像,分别提取他们的局部傅立叶变换后系数作为它们的特征。这样的特征既具有小波变换的多尺度分析的性能,又具有局部傅立叶变换能够很好地描述图像局部频域的特性。实验数据采用MNIST数据(美国国家标准与技术局收集),实验表明,该方法取得了较好的识别效果。