半监督拉普拉斯特征映射算法

为了使流形学习方法具有半监督的特点,利用流形上某些已知低维信息的数据去学习推测出其它数据的低维信息,扩大流形学习算法的应用范围,把拉普拉斯特征映射算法(Laplacian Eigenmap,LE)与半监督的机器学习相结合,提出一种半监督的拉普拉斯特征映射算法(semi-supervised Laplacian Eigenmap,SSLE),这种半监督的流形学习算法在分类识别等问题上,具有很好的效果.模拟实验和实际例子都表明了SSLE算法的有效性.     

多示例学习下的深度森林架构

多示例学习已经广泛地应用到各个领域,如图像检索、文本分类、人脸识别等.而近年来深度神经网络也成功地运用到各个任务和问题上,MI-Nets是深度神经网络在多示例学习领域一个成功的应用.虽然MI-Nets很成功,但其主要在图像相关的任务上表现突出,而在非图像任务比如文本分类任务上的性能并不令人满意.而最近2年兴起的深度森林在非图像任务上取得了较好的成绩,并因为其相对于深度神经网络有较少的参数和较稳定的性能而受到青睐.所以用深度森林来提升多示例学习性能具有可行性.但由于深度森林结构的限制,并不能把组成深度森林的每一个森林都直接替换成包级别的森林,需要修改深度森林的结构来达到目的.提出了一种新的深度森林架构MIDF.在该架构下,为了使得中间层的输出分布可以和包中的示例拼接成功,拼接时把包里的每个示例都看作是一个包,从而使得级联结构依然有效.另外,还能自动确认深度森林的层数.实验结果表明：该方法在图像任务上的性能与擅长处理图像任务的MI-Nets相当;而在文本数据上,该方法取得了比MI-Nets和其他基线算法更好的效果.     

一种结合半监督Boosting方法的迁移学习算法

迁移学习是数据挖掘中的一个研究方向,试图重用相关领域的数据样本,将相关领域的知识”迁移”到新领域中帮助训练.当前,基于实例的迁移学习算法容易产生过度拟合的问题,不能充分利用相关领域中的有用数据,为了避免这个问题,通过引入目标领域的无标记样本参与训练,利用半监督Boosting方法,提出一种新的迁移学习算法,能够对样本的...     

基于多例学习的Web图像聚类

在图像分类和自动标注系统中,多例学习(MIL)是研究的热点.目前MIL中的算法多为监督学习方法.针对非监督学习,在基于EM算法和启发式迭代优化算法的框架下,提出了6种多例聚类算法,并通过它们对来自于真实Web环境下的图像进行聚类以分析用户的搜索兴趣.由于一幅图像含有若干个区域,每个区域可被看为一个样例,属于同一个图像的区域则组成一个包.因此如何理解图像语义内容的问题即转化为多例学习.在多例学习的经典数据集MUSK数据和来自于Web图像集上的比较实验表明,提出的多例聚类算法具有优良的聚类性能.     

Semi-supervised learning with regularized Laplacian

We study a semi-supervised learning method based on the similarity graph and regularized Laplacian. We give convenient optimization formulation of the regularized Laplacian method and establish its various properties. In particular, we show that the kernel of the method can be interpreted in terms of discrete and continuous-time random walks and possesses several important properties of proximity measures. Both optimization and linear algebra methods can be used for efficient computation of the classification functions. We demonstrate on numerical examples that the regularized Laplacian method is robust with respect to the choice of the regularization parameter and outperforms the Laplacian-based heat kernel methods.     

Multiple Instance Learning with Multiple Objective Genetic Programming for Web Mining

This paper introduces a multi-objective grammar based genetic programming algorithm, MOG3P-MI, to solve a Web Mining problem from the perspective of multiple instance learning. This algorithm is evaluated and compared to other algorithms that were previously used to solve this problem. Computational experiments show that the MOG3P-MI algorithm obtains the best results, adds comprehensibility and clarity to the knowledge discovery process and overcomes the main drawbacks of previous techniques obtaining solutions which maintain a balance between conflicting measurements like sensitivity and specificity.     

基于集成多示例学习的Mean Shift跟踪算法

为了实现长时间稳定的对特定目标的跟踪,结合匹配型跟踪方法和决策型跟踪方法的优势,同时利用集成学习的思想构建多个强分类器,提出一种基于集成多示例学习的mean shift跟踪算法.首先在上一帧中对示例进行随机采样,构建分类器的集体,通过集成学习合成最终的分类器以确定当前帧中目标的初始位置;然后对初始位置和上一帧目标最终位置的距离与设定的阈值进行判断,决定是否采用mean shift跟踪算法对初始位置进行修订,以确定目标的最终位置.实验结果表明,该算法不但可以应对目标的形变、旋转、遮挡以及光照变化等各种复杂的情况,而且可以做到长时间的跟踪,具有较强的鲁棒性.     

Semi-supervised learning through adaptive Laplacian graph trimming

Graph-based semi-supervised learning (GSSL) attracts considerable attention in recent years. The performance of a general GSSL method relies on the quality of Laplacian weighted graph (LWR) composed of the similarity imposed on input examples. A key for constructing an effective LWR is on the proper selection of the neighborhood size K or ε on the construction of KNN graph or ε-neighbor graph on training samples, which constitutes the fundamental elements in LWR. Specifically, too large K or ε will result in “shortcut” phenomenon while too small ones cannot guarantee to represent a complete manifold structure underlying data. To this issue, this study attempts to propose a method, called adaptive Laplacian graph trimming (ALGT), to make an automatic tuning to cut improper inter-cluster shortcut edges while enhance the connection between intra-cluster samples, so as to adaptively fit a proper LWR from data. The superiority of the proposed method is substantiated by experimental results implemented on synthetic and UCI data sets.     

基于改进在线多示例学习算法的机器人目标跟踪

提出基于改进的在线多示例学习算法(Improved multiple instance learning, IMIL)的移动机器人目标跟踪方法. 该方法利用射频识别系统(Radio frequency identification, RFID)粗定位IMIL算法的搜索区域, 然后应用IMIL算法实现目标跟踪. 该方法保证了机器人跟踪系统的连续性, 解决了目标突然转弯时的跟踪问题. IMIL算法采用从低维空间提取的压缩特征描述包中示例, 以降低算法耗时. 通过最大化弱分类器与极大似然概率的内积, 选择判别能力强的弱分类器, 避免了弱分类器选择过程中多次计算包概率和示例概率, 进一步提高算法的实时处理能力. 计算包概率时该算法平等对待各示例, 保证概率高的示例对包概率的贡献度, 克服跟踪漂移问题. 跟踪过程中, 结合当前跟踪结果与目标模板间的相似性分数在线实时调整分类器, 提高了算法的自适应能力. 最后将本文方法在视频和移动机器人上进行实验. 实验结果表明, 该方法在目标运动突变及外观改变时具有较强的鲁棒性和准确性, 并满足系统的实时性要求.     

噪声标注下的改进TSVM学习算法

深度学习的迅速发展需要大量有标记数据的支持，而实际数据中往往带有未知比例的噪声标记，会直接影响分类器的最终结果。针对数据集中错误标记的存在，提出了一种噪声标注下的TSVM改进算法，该方法利用聚类筛选出错分率较高的簇，通过交换错分率较高的两个簇的标签，减少TSVM算法中噪声标记的传递和累加，能够有效地提高标记准确率，增强TSVM分类器对不同比例噪声的鲁棒性。为了验证提出算法的有效性，通过在选取的UCI数据集上加入不同比例的噪声标签对算法进行了实验。实验结果表明，该算法在含有不同噪声标记比例的数据集上的鲁棒性均优于SVM和TSVM算法。     

基于稀疏表达的多示例学习目标追踪算法

追踪目标在经历较大姿势变化时,会导致追踪目标偏移甚至丢失。为此,提出一种基于稀疏表达的多示例学习目标追踪算法。联合多示例学习与稀疏表达方法,将目标物体的局部稀疏编码作为多示例学习的训练数据,通过学习正负样本的局部稀疏编码获得一个多示例学习的分类器,分类的结果与粒子滤波框架相结合,估计目标在整个视频序列中的运动状态。实验结果表明,该算法稳定性较好,与增量学习追踪算法、范式学习追踪算法和多示例学习追踪算法相比,其中心位置误差率减少30%以上。     

小样本下基于Wasserstein距离的半监督学习算法

近年来,基于大规模标记数据集的深度神经网络模型在图像领域展现出优秀的性能,但是大量标记数据昂贵且难以收集.为了更好地利用无标记数据,提出了一种半监督学习方法Wasserstein consistency training(WCT),通过引入Jensen-Shannon散度来模拟协同训练并组织大量未标记数据来提高协同训练...     

半监督正则化学习

研究半监督线性维数约减算法.与传统监督维数约减算法不同的是,半监督算法使用辅助信息和大量的无标号样本来达到更好的推广性能.在丰监督框架下,本文的目标是学习一个光滑、有判别力的子空间.明确地说,使用cannot-link成对约束来最大化不同类样本之间的距离,使用must-link成对约束来最小化相同类样本之间的距离;同时使用无标号样本的几何结构和投影向量的特征结构作为正则化项来引导维数约减过程.并且,所提出算法能容易处理样本外问题.实验结果验证了新算法的有效性.     

基于分歧的半监督学习

传统监督学习通常需使用大量有标记的数据样本作为训练例,而在很多现实问题中,人们虽能容易地获得大批数据样本,但为数据 提供标记却需耗费很多人力物力.那么,在仅有少量有标记数据时,可否通过对大量未标记数据进行利用来提升学习性能呢？为此,半监督学习 成为近十多年来机器学习的一大研究热点.基于分歧的半监督学习是该领域的主流范型之一,它通过使用多个学习器来对未标记数据进行利用, 而学习器间的"分歧"对学习成效至关重要.本文将综述简介这方面的一些研究进展.     

耦合先验拉普拉斯坐标的半监督图像分割算法

针对传统半监督图像分割方法难以精确分割分散或细小区域的缺陷,提出了一种耦合标签先验和拉普拉斯坐标模型的半监督图像分割算法。首先,扩展拉普拉斯坐标（LC）模型,通过引入标签先验项进一步精确表征未标记像素点与已标记像素点之间的关系。然后,基于矩阵方程的求导优化,有效估计像素属于标签的后验概率,以实现图像目标分割的任务。得益于标签先验的引入,所提算法对分散或细小区域的分割更加鲁棒。最后,在多个公开的半监督分割数据集上实验结果表明,相比拉普拉斯坐标算法,所提算法的分割准确率获得了显著提升,验证了所提算法的有效性。     

基于改进k近邻的直推式支持向量机学习算法

针对直推式支持向量机(TSVM)需要遍历所有无标签样本花费时间长的缺点,提出一种基于改进k近邻法的直推式支持向量机学习算法--k2TSVM。该算法首先使用k均值聚类将无标签样本分成若干簇,然后求出每簇中心点的k近邻并根据其中正负样本个数对无标签样本进行删减,将删减后的数据集输入直推式支持向量机进行训练。k2TSVM改善传统TSVM需要遍历所有无标签数据的缺点,有效减少训练样本规模,能够提高运行速度。实验结果表明,k2TSVM在降低运行时间的同时,能够取得比类似TSVM改进算法更好的分类结果。      

Semi-supervised multi-view maximum entropy discrimination with expectation Laplacian regularization

Semi-supervised multi-view learning has attracted considerable attention and achieved great success in the machine learning field. This paper proposes a semi-supervised multi-view maximum entropy discrimination approach (SMVMED) with expectation Laplacian regularization for data classification. It takes advantage of the geometric information of the marginal distribution embedded in unlabeled data to construct a semi-supervised classifier. Different from existing methods using Laplacian regularization, we propose to use expectation Laplacian regularization for semi-supervised learning in probabilistic models. We give two implementations of SMVMED and provide their kernel variants. One of them can be relaxed and formulated as a quadratic programming problem that is solved easily. Therefore, for this implementation, we provided two versions which are approximate and exact ones. The experiments on one synthetic and multiple real-world data sets show that SMVMED demonstrates superior performance over semi-supervised single-view maximum entropy discrimination, MVMED and other state-of-the-art semi-supervised multi-view learning methods.     

自适应主动半监督学习方法

主动学习从大量无标记样本中挑选样本交给专家标记.现有的批抽样主动学习算法主要受3个限制:(1)一些主动学习方法基于单选择准则或对数据、模型设定假设,这类方法很难找到既有不确定性又有代表性的未标记样本;(2)现有批抽样主动学习方法的性能很大程度上依赖于样本之间相似性度量的准确性,例如预定义函数或差异性衡量;(3)噪声标签问题一直影响批抽样主动学习算法的性能.提出一种基于深度学习批抽样的主动学习方法.通过深度神经网络生成标记和未标记样本的学习表示和采用标签循环模式,使得标记样本与未标记样本建立联系,再回到相同标签的标记样本.这样同时考虑了样本的不确定性和代表性,并且算法对噪声标签具有鲁棒性.在提出的批抽样主动学习方法中,算法使用的子模块函数确保选择的样本集合具有多样性.此外,自适应参数的优化,使得主动学习算法可以自动平衡样本的不确定性和代表性.将提出的主动学习方法应用到半监督分类和半监督聚类中,实验结果表明,所提出的主动学习方法的性能优于现有的一些先进的方法.     

半监督学习研究综述

半监督学习问题,从一开始就受到了人工智能界的高度重视,已经成为领域中的研究热点之一。该文综述了半监督学习问题的基本思想、研究现状,简述目前的研究困难。     

Human Action Recognition in Videos Using Kinematic Features and Multiple Instance Learning

We propose a set of kinematic features that are derived from the optical flow for human action recognition in videos. The set of kinematic features includes divergence, vorticity, symmetric and antisymmetric flow fields, second and third principal invariants of flow gradient and rate of strain tensor, and third principal invariant of rate of rotation tensor. Each kinematic feature, when computed from the optical flow of a sequence of images, gives rise to a spatiotemporal pattern. It is then assumed that the representative dynamics of the optical flow are captured by these spatiotemporal patterns in the form of dominant kinematic trends or kinematic modes. These kinematic modes are computed by performing Principal Component Analysis (PCA) on the spatiotemporal volumes of the kinematic features. For classification, we propose the use of multiple instance learning (MIL) in which each action video is represented by a bag of kinematic modes. Each video is then embedded into a kinematic-mode-based feature space and the coordinates of the video in that space are used for classification using the nearest neighbor algorithm. The qualitative and quantitative results are reported on the benchmark data sets.