基于最大均值差异的多标记迁移学习算法

针对多标记迁移学习中源领域与目标领域的特征分布差异会导致源领域数据无法被目标领域利用的问题,提出了一种基于最大均值差异的多标记迁移学习算法（Multi-Label Transfer Learning via Maximum mean discrepancy,M-MLTL）,算法通过分解关系矩阵构造共享子空间,并采用最大均值差异（maximum mean discrepancy）作为评价指标,最小化子空间特征的分布差异,从而使源领域与目标领域的特征分布尽可能相似．多标记图像分类实验的结果表明,新算法比同类算法有更高的精度和计算效率．     

一种异构直推式迁移学习算法

目标领域已有类别标注的数据较少时会影响学习性能,而与之相关的其他源领域中存在一些已标注数据.迁移学习针对这一情况,提出将与目标领域不同但相关的源领域上学习到的知识应用到目标领域.在实际应用中,例如文本-图像、跨语言迁移学习等,源领域和目标领域的特征空间是不相同的,这就是异构迁移学习.关注的重点是利用源领域中已标注的数据来提高目标领域中未标注数据的学习性能,这种情况是异构直推式迁移学习.因为源领域和目标领域的特征空间不同,异构迁移学习的一个关键问题是学习从源领域到目标领域的映射函数.提出采用无监督匹配源领域和目标领域的特征空间的方法来学习映射函数.学到的映射函数可以把源领域中的数据在目标领域中重新表示.这样,重表示之后的已标注源领域数据可以被迁移到目标领域中.因此,可以采用标准的机器学习方法(例如支持向量机方法)来训练分类器,以对目标领域中未标注的数据进行类别预测.给出一个概率解释以说明其对数据中的一些噪声是具有鲁棒性的.同时还推导了一个样本复杂度的边界,也就是寻找映射函数时需要的样本数.在4个实际的数据库上的实验结果,展示了该方法的有效性.     

基于模糊规则学习的无监督异构领域自适应

异构领域自适应是一种借助源域知识为语义相关但特征空间不同的目标域建模的技术。现有的异构领域自适应方法大多属于半监督方法,这些方法要求目标域中存在一部分已标记样本,然而这种数据集在很多异构领域自适应任务中是稀缺的。为了解决上述问题,提出了一种新的基于模糊规则学习的无监督异构领域自适应算法。一方面,该方法基于TSK模糊系统的规则学习分别对源域和目标域进行特征学习,通过学习两个特征变换矩阵将源域和目标域投影到一个公共特征子空间;另一方面,为了减少因特征变换所造成的信息损失,该算法采取了多种信息保持策略,并且最大化公共特征子空间中源域数据和目标域数据之间的相关性。通过在几个真实领域自适应数据集上进行实验,验证了所提算法相对于现有的异构领域自适应方法具有一定的优越性。     

基于迁移子空间的半监督领域自适应方法

传统子空间学习方法在对齐领域总体分布时往往忽略样本类别信息,若原始样本判别力不足,将难以保证投影后子空间中样本的判别性.针对该问题,提出迁移子空间的半监督领域自适应方法.通过充分利用样本类别标签先验信息,在得到具有判别性子空间的同时充分挖掘重构矩阵中蕴含的鉴别信息,增强子空间跨领域特征表达的鉴别力和鲁棒性,提高模型的分类性能.在领域自适应问题常用的基准图像数据集上进行实验,其结果表明,该算法有较好的分类效果.     

一种基于融合重构的子空间学习的零样本图像分类方法

图像分类是计算机视觉中一个重要的研究子领域.传统的图像分类只能对训练集中出现过的类别样本进行分类.然而现实应用中,新的类别不断涌现,因而需要收集大量新类别带标记的数据,并重新训练分类器.与传统的图像分类方法不同,零样本图像分类能够对训练过程中没有见过的类别的样本进行识别,近年来受到了广泛的关注.零样本图像分类通过语义空间建立起已见类别和未见类别之间的关系,实现知识的迁移,进而完成对训练过程中没有见过的类别样本进行分类.现有的零样本图像分类方法主要是根据已见类别的视觉特征和语义特征,学习从视觉空间到语义空间的映射函数,然后利用学习好的映射函数,将未见类别的视觉特征映射到语义空间,最后在语义空间中用最近邻的方法实现对未见类别的分类.但是由于已见类和未见类的类别差异,以及图像的分布不同,从而容易导致域偏移问题.同时直接学习图像视觉空间到语义空间的映射会导致信息损失问题.为解决零样本图像分类知识迁移过程中的信息损失以及域偏移的问题,本文提出了一种图像分类中基于子空间学习和重构的零样本分类方法.该方法在零样本训练学习阶段,充分利用未见类别已知的信息,来减少域偏移,首先将语义空间中的已见类别和未见类别之间的关系迁移到视觉空间中,学习获得未见类别视觉特征原型.然后根据包含已见类别和未见类别在内的所有类别的视觉特征原型所在的视觉空间和语义特征原型所在的语义空间,学习获得一个潜在类别原型特征空间,并在该潜在子空间中对齐视觉特征和语义特征,使得所有类别在潜在子空间中的表示既包含视觉空间下的可分辨性信息,又包含语义空间下的类别关系信息,同时在子空间的学习过程中利用重构约束,减少信息损失,同时也缓解了域偏移问题.最后零样本分类识别阶段,在不同的空间下根据最近邻算法对未见类别样本图像进行分类.本文的主要贡献在于:一是通过对语义空间中类别间关系的迁移,学习获得视觉空间中未见类别的类别原型,使得在训练过程中充分利用未见类别的信息,一定程度上缓解域偏移问题.二是通过学习一个共享的潜在子空间,该子空间既包含了图像视觉空间中丰富的判别性信息,也包含了语义空间中的类别间关系信息,同时在子空间学习过程中,通过重构,缓解知识迁移过程中信息损失的问题.本文在四个公开的零样本分类数据集上进行对比实验,实验结果表明本文提出的零样本分类方法取得了较高的分类平均准确率,证明了本文方法的有效性.     

一种基于跨领域典型相关性分析的迁移学习方法

作为迁移学习的一个重要研究方向,基于特征映射的方法学习各领域特有特征与领域共享特征之间的相关性,通过一些相关特征减少领域之间的差异,已经获得了广泛的关注和研究。典型相关性分析是一种用来分析两组随机变量之间相关性的统计分析工具。将典型相关性分析引入迁移学习,结合基于特征映射迁移学习的思路,提出了一种跨领域典型相关性分析算法。该算法在保持各领域特有特征与领域共享特征相关性的基础上,通过选择合适的基向量组合训练分类器,使降维后的相关特征在领域间具有相似的判别性。在20Newsgroups 上864个分类问题以及多领域情感分析数据集上12个分类问题的实验结果表明,跨领域典型相关性分析算法可以有效地提高跨领域迁移分类准确率。     

多源适应多标签分类框架

多源适应学习是一种旨在提升目标学习性能的有效机器学习方法。针对多标签视觉分类问题,基于现有的研究进展,研究提出一种新颖的联合特征选择和共享特征子空间学习的多源适应多标签分类框架,在现有的图Laplacian正则化半监督学习范式中充分考虑目标视觉特征的优化处理,多标签相关信息在共享特征子空间的嵌入,以及多个相关领域的判别信息桥接利用等多个方面,并将其融为一个统一的学习模型,理论证明了其局部最优解只需通过求解一个广义特征分解问题便可分别获得,并给出了算法实现及其收敛性定理。在两个实际的多标签视觉数据分类上分别进行深入实验分析,证实了所提框架的鲁棒有效性和优于现有相关方法的分类性能。     

基于闵科夫斯基距离的特征权重自调节软子空间聚类算法*

针对特征权重自调节软子空间（soft subspace clustering with feature weight self-adjustment mechanism, SC-FWSA）聚类算法使用欧氏距离,存在对数据适应性较差的问题,将SC-FWSA算法中的欧氏距离拓展为闵科夫斯基距离(Minkowski distance),提出一种基于闵科夫斯基距离的特征权重自调节软子空间聚类（Minkowski distance based soft subspace clustering with feature weight self-adjustment mechanism, MSC-FWSA）算法,MSC-FWSA算法有效提高了SC-FWSA聚类算法对数据的适应性。若干真实数据集上的对比性实验,验证了MSC-FWSA聚类算法的有效性。     

基于联合分布的多标记迁移学习

针对现有的多标记迁移学习忽略条件分布而导致泛化能力不足的问题,设计了一种基于联合分布的多标记迁移学习（Multi-label Transfer Learning via Joint Distribution Alignment,J-MLTL）。分解原始特征生成特征子空间,在子空间中计算条件分布的权重系数,最小化跨领域数据的边际分布和条件分布差异;此外,为了防止标记内部结构信息损失,利用超图对具有多个相同标签的数据进行连接,保持领域内几何流行结构不受领域外知识结构的影响,进一步最小化领域间的分布差异。实验结果表明,相比于已有多标记迁移学习算法在分类精度方面具有显著提升。     

参数适应性分布式差分进化算法

提出一种适应性分布式差分进化算法.将初始种群分为多个子种群,并设计子种群间的迁移机制,当满足迁移条件时,根据冯?诺依曼拓扑结构,子种群内的优秀个体代替其邻域的较差个体,使得整个种群实现信息共享.同时,根据个体适应值变化情况,对每一个体分配不同的缩放因子?和交叉率CR,提出?和CR的适应性策略.实验结果表明,所提出算法有利于对解空间进行广泛探索,避免算法陷入早熟收敛,能够搜索到性能较好的解.     

A general framework for scalable transductive transfer learning

Transductive transfer learning is one special type of transfer learning problem, in which abundant labeled examples are available in the source domain and only unlabeled examples are available in the target domain. It easily finds applications in spam filtering, microblogging mining, and so on. In this paper, we propose a general framework to solve the problem by mapping the input features in both the source domain and the target domain into a shared latent space and simultaneously minimizing the feature reconstruction loss and prediction loss. We develop one specific example of the framework, namely latent large-margin transductive transfer learning algorithm, and analyze its theoretic bound of classification loss via Rademacher complexity. We also provide a unified view of several popular transfer learning algorithms under our framework. Experiment results on one synthetic dataset and three application datasets demonstrate the advantages of the proposed algorithm over the other state-of-the-art ones.     

基于粒子滤波后验概率分布的多特征融合跟踪

在光照和目标形变等外部条件变化的情况下,仅利用目标的单一特征难以鲁棒的跟踪目标。提出了一种基于粒子滤波后验概率分布的多特征融合跟踪算法,在粒子滤波跟踪框架下,用直方图模型表征目标的颜色和边缘特征,通过两种特征后验概率之间的"协作"与"学习"实现特征融合,各种场景的试验结果比较表明,新的融合跟踪算法比仅用单一特征跟踪、现有的多特征融合算法具有更好的稳定性和鲁棒性,特别是针对环境光照和目标背景变化较大的情况更具有优势。     

基于稀疏图表示的特征选择方法研究

特征选择旨在降低待处理数据的维度,剔除冗余特征,是机器学习领域的关键问题之一。现有的半监督特征选择方法一般借助图模型提取数据集的聚类结构,但其所提取的聚类结构缺乏清晰的边界,影响了特征选择的效果。为此,提出一种基于稀疏图表示的半监督特征选择方法,构建了聚类结构和特征选择的联合学习模型,采用l__1范数约束图模型以得到清晰的聚类结构,并引入l_2,1范数以避免噪声的干扰并提高特征选择的准确度。为了验证本方法的有效性,选择了目前流行的几种特征方法进行对比分析,实验结果表明了本方法的有效性。     

基于标记特定特征和相关性的ML-KNN改进算法

目前大部分已经存在的多标记学习算法在模型训练过程中所采用的共同策略是基于相同的标记属性特征集合预测所有标记类别.但这种思路并未对每个标记所独有的标记特征进行考虑.在标记空间中,这种标记特定的属性特征对于区分其它类别标记和描述自身特性是非常有帮助的信息.针对这一问题,本文提出了基于标记特定特征和相关性的ML-KNN改进算法MLF-KNN.不同于之前的多标记算法直接在原始训练数据集上进行操作,而是首先对训练数据集进行预处理,为每一种标记类别构造其特征属性,在得到的标记属性空间上进一步构造L₁-范数并进行优化从而引入标记之间的相关性,最后使用改进后的ML-KNN算法进行预测分类.实验结果表明,在公开数据集image和yeast上,本文提出的算法MLF-KNN分类性能优于ML-KNN,同时与其它另外3种多标记学习算法相比也表现出一定的优越性.     

融合模糊推理和流形正则化的特征迁移学习

迁移学习利用源域中丰富的数据来为目标域构建精确的模型提供辅助和支持。特征迁移学习是迁移学习中被广泛研究的一类技术,但是现有的特征迁移方法面临着如下的问题:一些已有的方法仅能实现线性的特征迁移学习,因此这些方法迁移学习的能力有限。另一类方法虽然能实现非线性特征迁移学习,但往往需要引进核技巧等策略,这使得特征迁移的过程难以理解。针对此,引入模糊推理技术,提出基于不确定推理规则的特征迁移方法。该方法基于模糊推理系统来实现特征迁移,并利用流形正则化技术来避免特征迁移过程中的信息损失。由于模糊系统具有很好的非线性建模能力以及基于规则的良好的解释性,因此提出的方法具有良好的非线性特征迁移能力,并易于对新特征进行理解。大量实验证明,该算法在跨域图像分类问题上可以明显优于已有的多种方法。     

基于多视图集成的网络表示学习算法

现有的网络表示学习算法主要为基于浅层神经网络的网络表示学习和基于神经矩阵分解的网络表示学习。基于浅层神经网络的网络表示学习又被证实是分解网络结构的特征矩阵。另外,现有的大多数网络表示学习仅仅从网络的结构学习特征,即单视图的表示学习;然而,网络本身蕴含有多种视图。因此,文中提出了一种基于多视图集成的网络表示学习算法(MVENR)。该算法摈弃了神经网络的训练过程,将矩阵的信息融合和分解思想融入到网络表示学习中。另外,将网络的结构视图、连边权重视图和节点属性视图进行了有效的融合,弥补了现有网络表示学习中忽略了网络连边权重的不足,解决了基于单一视图训练时网络特征稀疏的问题。实验结果表明,所提MVENR算法的性能优于网络表示学习中部分常用的联合学习算法和基于结构的网络表示学习算法,是一种简单且高效的网络表示学习算法。     

基于类属属性的多标记学习算法

在多标记学习框架中,每个对象由一个示例(属性向量)描述,却同时具有多个类别标记.在已有的多标记学习算法中,一种常用的策略是将相同的属性集合应用于所有类别标记的预测中.然而,该策略并不一定是最优选择,原因在于每个标记可能具有其自身独有的特征.基于这个假设,目前已经出现了基于标记的类属属性进行建模的多标记学习算法LIFT.LIFT包含两个步骤:属属性构建与分类模型训练.LIFT首先通过在标记的正类与负类示例上进行聚类分析,构建该标记的类属属性;然后,使用每个标记的类属属性训练对应的二类分类模型.在保留LIFT分类模型训练方法的同时,考察了另外3种多标记类属属性构造机制,从而实现LIFT算法的3种变体——LIFT-MDDM,LIFT-INSDIF以及LIFT-MLF.在12个数据集上进行了两组实验,验证了类属属性对多标记学习系统性能的影响以及LIFT采用的类属属性构造方法的有效性.     

Unsupervised feature selection based on kernel fisher discriminant analysis and regression learning

In this paper, we propose a new feature selection method called kernel fisher discriminant analysis and regression learning based algorithm for unsupervised feature selection. The existing feature selection methods are based on either manifold learning or discriminative techniques, each of which has some shortcomings. Although some studies show the advantages of two-steps method benefiting from both manifold learning and discriminative techniques, a joint formulation has been shown to be more efficient. To do so, we construct a global discriminant objective term of a clustering framework based on the kernel method. We add another term of regression learning into the objective function, which can impose the optimization to select a low-dimensional representation of the original dataset. We use L_2,1-norm of the features to impose a sparse structure upon features, which can result in more discriminative features. We propose an algorithm to solve the optimization problem introduced in this paper. We further discuss convergence, parameter sensitivity, computational complexity, as well as the clustering and classification accuracy of the proposed algorithm. In order to demonstrate the effectiveness of the proposed algorithm, we perform a set of experiments with different available datasets. The results obtained by the proposed algorithm are compared against the state-of-the-art algorithms. These results show that our method outperforms the existing state-of-the-art methods in many cases on different datasets, but the improved performance comes with the cost of increased time complexity.

     

Dynamic feature selection algorithm based on Q-learning mechanism

Feature selection is a technique to improve the classification accuracy of classifiers and a convenient data visualization method. As an incremental, task oriented, and model-free learning algorithm, Q-learning is suitable for feature selection, this study proposes a dynamic feature selection algorithm, which combines feature selection and Q-learning into a framework. First, the Q-learning is used to construct the discriminant functions for each class of the data. Next, the feature ranking is achieved according to the all discrimination functions vectors for each class of the data comprehensively, and the feature ranking is doing during the process of updating discriminant function vectors. Finally, experiments are designed to compare the performance of the proposed algorithm with four feature selection algorithms, the experimental results on the benchmark data set verify the effectiveness of the proposed algorithm, the classification performance of the proposed algorithm is better than the other feature selection algorithms, meanwhile the proposed algorithm also has good performance in removing the redundant features, and the experiments of the effect of learning rates on the our algorithm demonstrate that the selection of parameters in our algorithm is very simple.

     

基于中文电子病历的跨科室组块分析

针对医疗领域的研究,发现了不同科室间电子病历存在着差异,但是新语料的标注成本又非常高。为了解决这一问题,利用迁移学习的方法在中文电子病历中进行跨科室组块分析的研究。在构建的中文电子病历中,对比了SSVM与CRF模型在词性标注和组块分析上的实验结果,发现SSVM模型的效果更好并选择该模型作为基本标注模型。此外,使用了改进的结构对应学习算法(SCL)进行组块分析,使得该算法能适用于SSVM模型进行领域适应。实验结果表明该算法有效地改善了序列标注任务中跨科室的领域适应性问题。