首页 | 本学科首页   官方微博 | 高级检索  
相似文献
 共查询到20条相似文献,搜索用时 250 毫秒
1.
谭瑶  饶文碧 《计算机应用》2018,38(6):1547-1553
针对传统的机器学习需要大量的人工标注训练模型的弊端,以及目前多数迁移学习方法只适用于同构空间的问题,提出了一种异构复合迁移学习(HCTL)的视频内容标注方法。首先,借助视频与图像的对应关系,利用典型相关性分析(CCA)来实现图像域(源域)和视频域(目标域)特征空间的同构化;然后,基于这两个特征空间向共同空间投影的代价最小化这一思想,找到源域特征空间向目标域特征空间对齐的矩阵;最后,通过对齐矩阵使得源域特征能够翻译到目标域特征空间中去,进而实现知识迁移,完成视频内容标注任务。所提方法在Kodak数据库上的平均标注准确率达到了35.81%,与标准的支持向量机(S-SVM)领域适应支持向量机(DASVM)、异构直推式迁移学习(HTTL)、跨领域的结构化模型(CDSM)、领域选择机(DSM)、异构源域下的多领域适应(MDA-HS)和判别性相关分析(DCA)方法相比分别提高了58.03%、23.06%、45.04%、6.70%、15.52%、13.07%和6.74%;而在哥伦比亚用户视频(CCV)数据库上达到了20.73%,分别相对提高了133.71%、37.28%、14.34%、24.88%、16.40%、20.73%和12.48%。实验结果表明先同构再对齐的复合迁移思想在异构领域适应问题上能够有效地提升识别准确率。  相似文献   

2.
一种基于融合重构的子空间学习的零样本图像分类方法   总被引:1,自引:0,他引:1  
图像分类是计算机视觉中一个重要的研究子领域.传统的图像分类只能对训练集中出现过的类别样本进行分类.然而现实应用中,新的类别不断涌现,因而需要收集大量新类别带标记的数据,并重新训练分类器.与传统的图像分类方法不同,零样本图像分类能够对训练过程中没有见过的类别的样本进行识别,近年来受到了广泛的关注.零样本图像分类通过语义空间建立起已见类别和未见类别之间的关系,实现知识的迁移,进而完成对训练过程中没有见过的类别样本进行分类.现有的零样本图像分类方法主要是根据已见类别的视觉特征和语义特征,学习从视觉空间到语义空间的映射函数,然后利用学习好的映射函数,将未见类别的视觉特征映射到语义空间,最后在语义空间中用最近邻的方法实现对未见类别的分类.但是由于已见类和未见类的类别差异,以及图像的分布不同,从而容易导致域偏移问题.同时直接学习图像视觉空间到语义空间的映射会导致信息损失问题.为解决零样本图像分类知识迁移过程中的信息损失以及域偏移的问题,本文提出了一种图像分类中基于子空间学习和重构的零样本分类方法.该方法在零样本训练学习阶段,充分利用未见类别已知的信息,来减少域偏移,首先将语义空间中的已见类别和未见类别之间的关系迁移到视觉空间中,学习获得未见类别视觉特征原型.然后根据包含已见类别和未见类别在内的所有类别的视觉特征原型所在的视觉空间和语义特征原型所在的语义空间,学习获得一个潜在类别原型特征空间,并在该潜在子空间中对齐视觉特征和语义特征,使得所有类别在潜在子空间中的表示既包含视觉空间下的可分辨性信息,又包含语义空间下的类别关系信息,同时在子空间的学习过程中利用重构约束,减少信息损失,同时也缓解了域偏移问题.最后零样本分类识别阶段,在不同的空间下根据最近邻算法对未见类别样本图像进行分类.本文的主要贡献在于:一是通过对语义空间中类别间关系的迁移,学习获得视觉空间中未见类别的类别原型,使得在训练过程中充分利用未见类别的信息,一定程度上缓解域偏移问题.二是通过学习一个共享的潜在子空间,该子空间既包含了图像视觉空间中丰富的判别性信息,也包含了语义空间中的类别间关系信息,同时在子空间学习过程中,通过重构,缓解知识迁移过程中信息损失的问题.本文在四个公开的零样本分类数据集上进行对比实验,实验结果表明本文提出的零样本分类方法取得了较高的分类平均准确率,证明了本文方法的有效性.  相似文献   

3.
针对面向弱匹配的跨媒异构迁移学习中存在的迁移学习性能不高的问题,提出了一种基于平衡异构距离的混合拉普拉斯特征映射的跨媒异构迁移学习方法.利用大量非成对数据和相对少量的成对数据蕴含的语义信息,获取不同媒体域原始特征空间到潜在公共特征空间的映射矩阵;并在跨媒异构迁移学习中,构建混合图拉普拉斯矩阵,不仅保持了同一域下样本间的流形结构,而且保持不同域下样本间的流形结构;提升训练获得的模型在跨媒异构目标域的分类预测性能.在2个公共数据集NUS-WIDE和LabelMe上进行实验,表明了在成对数据的基础上,利用大量非成对数据可以增加模型的准确率和鲁棒性.  相似文献   

4.
针对基于实例的迁移学习在关联多源异构领域数据时遇到的数据颗粒度不匹配问题,以单领域分层概率自组织图(HiPSOG)聚类方法为基础,提出一种具有迁移学习能力的稀疏化非监督分层概率自组织图(TSHiPSOG)方法。首先,在源领域和目标领域分别基于概率混合多变量高斯分布生成分层自组织模型以便在多领域中分别提取不同粒度的表示向量,并用稀疏图方法通过概率准则控制模型增长;其次,利用最大信息系数(MIC),在具有富信息的源领域中寻找与目标领域表示向量最相似的表示向量,并利用这些源领域表示向量的类别标签细化目标领域数据分类;最后,在国际通用分类数据集20新闻组数据集和垃圾邮件检测数据集上进行了实验,结果表明算法可以利用源领域的有用信息辅助目标领域的分类问题,并使分类准确率最高提高约15.26%和9.05%;对比其他经典迁移学习方法,通过稀疏分层可以挖掘不同颗粒度的表示向量,分类准确率最高提高约4.48%和4.13%。  相似文献   

5.
在域间分布适配的过程中,容易丢失一些重要的域自身信息,在源域上难以训练获得一个有效的分类器,影响其在目标域上的泛化与标注性能.基于此种情况,文中提出联合类间及域间分布适配的迁移学习方法.通过学习一个公共投影矩阵,分别将源域与目标域映射到一个公共子空间上.采用最大均值差异方法分别度量类间及域间分布距离.在目标函数的优化过程中,不但显式地使域间分布差异变小,而且增大不同类别间的差异性,提高源域与目标域之间知识迁移的性能.在迁移学习数据集上的实验表明文中方法的有效性.  相似文献   

6.
异构领域自适应是一种借助源域知识为语义相关但特征空间不同的目标域建模的技术。现有的异构领域自适应方法大多属于半监督方法,这些方法要求目标域中存在一部分已标记样本,然而这种数据集在很多异构领域自适应任务中是稀缺的。为了解决上述问题,提出了一种新的基于模糊规则学习的无监督异构领域自适应算法。一方面,该方法基于TSK模糊系统的规则学习分别对源域和目标域进行特征学习,通过学习两个特征变换矩阵将源域和目标域投影到一个公共特征子空间;另一方面,为了减少因特征变换所造成的信息损失,该算法采取了多种信息保持策略,并且最大化公共特征子空间中源域数据和目标域数据之间的相关性。通过在几个真实领域自适应数据集上进行实验,验证了所提算法相对于现有的异构领域自适应方法具有一定的优越性。  相似文献   

7.
深度学习算法的有效性依赖于大量的带有标签的数据,迁移学习的目的是利用已知标签的数据集(源域)来对未知标签的数据集(目标域)进行分类,因此深度迁移学习的研究成为了热门。针对训练数据标签不足的问题,提出了一种基于多尺度特征融合的领域对抗网络(Multi-scale domain adversarial network, MSDAN)模型,该方法利用生成对抗网络以及多尺度特征融合的思想,得到了源域数据和目标域数据在高维特征空间中的特征表示,该特征表示提取到了源域数据和目标域数据的公共几何特征和公共语义特征。将源域数据的特征表示和源域标签输入到分类器中进行分类,最终在目标域数据集的测试上得到了较为先进的效果。  相似文献   

8.
融合异构特征的子空间迁移学习算法   总被引:2,自引:0,他引:2  
特征迁移重在领域共有特征间学习,然而其忽略领域特有特征的判别信息,使算法的适应性受到一定的局限. 针对此问题,提出了一种融合异构特征的子空间迁移学习(The subspace transfer learning algorithm integrating with heterogeneous features,STL-IHF)算法.该算法将数据的特征空间看成共享和特有两个特征子空间的组合,同时基于经验风险最 小框架将共享特征和特有特征共同嵌入到支持向量机(Support vector machine,SVM)的训练过程中.其在共享特征子空间上实现知识迁移的 同时兼顾了领域特有的异构信息,增强了算法的适应性.模拟和真实数据集上的实验结果表明了所提方法的有效性.  相似文献   

9.
跨项目软件缺陷预测技术可以利用现有的已标注缺陷数据集对新的无标记项目进行预测,但需要两者之间具有相同的度量集合,难以用于实际开发.异构缺陷预测技术可以在具有异构度量集合的项目间进行缺陷预测,该技术引起了大量研究人员的关注.现有的异构缺陷预测技术利用朴素的或者传统机器学习方法为源项目和目标项目学习特征表示,所学习到的特征表示能力很弱且缺陷预测性能很差.鉴于深度神经网络强大的特征抽取和表示能力,本文基于变分自编码器技术提出了一种面向异构缺陷预测的特征表示方法.该模型结合了变分自编码器和最大均值差异距离,能有效地学习源项目和目标项目的共性特征表示,基于该特征表示可以训练出有效的缺陷预测模型.在多组缺陷数据集上通过与传统跨项目缺陷预测方法及异构缺陷预测方法实验对比验证了所提方法的有效性.  相似文献   

10.
深度学习的成功依赖于海量的训练数据,然而获取大规模有标注的数据并不容易,成本昂贵且耗时;同时由于数据在不同场景下的分布有所不同,利用某一特定场景的数据集所训练出的模型往往在其他场景表现不佳。迁移学习作为一种将知识从一个领域转移到另一个领域的方法,可以解决上述问题。深度迁移学习则是在深度学习框架下实现迁移学习的方法。提出一种基于伪标签的深度迁移学习算法,该算法以ResNet-50为骨干,通过一种兼顾置信度和类别平衡的样本筛选机制为目标域样本提供伪标签,然后进行自训练,最终实现对目标域样本准确分类,在Office-31数据集上的三组迁移学习任务中,平均准确率较传统算法提升5.0%。该算法没有引入任何额外网络参数,且注重源域数据隐私,可移植性强,具有一定的实用价值。  相似文献   

11.
李志恒 《计算机应用研究》2021,38(2):591-594,599
针对机器学习中训练样本和测试样本概率分布不一致的问题,提出了一种基于dropout正则化的半监督域自适应方法来实现将神经网络的特征表示从标签丰富的源域转移到无标签的目标域。此方法从半监督学习的角度出发,在源域数据中添加少量带标签的目标域数据,使得神经网络在学习到源域数据特征分布的同时也能学习到目标域数据的特征分布。由于有了先验知识的指导,即使没有丰富的标签信息,神经网络依然可以很好地拟合目标域数据。实验结果表明,此算法在几种典型的数字数据集SVHN、MNIST和USPS的域自适应任务上的性能优于现有的其他算法,并且在涵盖广泛自然类别的真实数据集CIFAR-10和STL-10的域自适应任务上有较好的鲁棒性。  相似文献   

12.
Cross-media heterogeneous transfer learning aims to transfer knowledge from the source media domain to the target media domain, which promotes the performance of the learned model for the target media domain. Existing cross-media heterogeneous transfer learning methods usually attempt to learn the latent feature space with a large amount of co-occurrence data. However, there is a significant challenge: domain over-adaption. In this paper, we propose a Cross-Media Heterogeneous Transfer Learning for Preventing Over-adaption (CMHTL-PO) to address this challenge. The divergence between the different media feature spaces is very large. Each media space has some weak correlation features which have no semantic corresponding features in other media. When the co-occurrence data are not enough, if the weak correlation features are compulsively mapped into the common features in the latent space, it will lead to over-adaption. CMHTL-PO divides the features into the strong correlation features and the weak correlation features, which are respectively mapped into the common features and the peculiar features in the latent space. Extensive experiments are conducted on two benchmark datasets widely adopted in transfer learning to verify the superiority of our proposed CMHTL-PO over existing state-of-the-art Heterogeneous Transfer Learning methods.  相似文献   

13.
目的 现有的图像识别方法应用于从同一分布中提取的训练数据和测试数据时具有良好性能,但这些方法在实际场景中并不适用,从而导致识别精度降低。使用领域自适应方法是解决此类问题的有效途径,领域自适应方法旨在解决来自两个领域相关但分布不同的数据问题。方法 通过对数据分布的分析,提出一种基于注意力迁移的联合平衡自适应方法,将源域有标签数据中提取的图像特征迁移至无标签的目标域。首先,使用注意力迁移机制将有标签源域数据的空间类别信息迁移至无标签的目标域。通过定义卷积神经网络的注意力,使用关注信息来提高图像识别精度。其次,基于目标数据集引入网络参数的先验分布,并且赋予网络自动调整每个领域对齐层特征对齐的能力。最后,通过跨域偏差来描述特定领域的特征对齐层的输入分布,定量地表示每层学习到的领域适应性程度。结果 该方法在数据集Office-31上平均识别准确率为77.6%,在数据集Office-Caltech上平均识别准确率为90.7%,不仅大幅领先于传统手工特征方法,而且取得了与目前最优的方法相当的识别性能。结论 注意力迁移的联合平衡领域自适应方法不仅可以获得较高的识别精度,而且能够自动学习领域间特征的对齐程度,同时也验证了进行域间特征迁移可以提高网络优化效果这一结论。  相似文献   

14.
迁移学习研究进展   总被引:30,自引:7,他引:23  
近年来,迁移学习已经引起了广泛的关注和研究.迁移学习是运用已存有的知识对不同但相关领域问题进行求解的一种新的机器学习方法.它放宽了传统机器学习中的两个基本假设:(1)用于学习的训练样本与新的测试样本满足独立同分布的条件;(2)必须有足够可利用的训练样本才能学习得到一个好的分类模型.目的是迁移已有的知识来解决目标领域中仅有少量有标签样本数据甚至没有的学习问题.对迁移学习算法的研究以及相关理论研究的进展进行了综述,并介绍了在该领域所做的研究工作,特别是利用生成模型在概念层面建立迁移学习模型.最后介绍了迁移学习在文本分类、协同过滤等方面的应用工作,并指出了迁移学习下一步可能的研究方向.  相似文献   

15.
倪彤光  王士同 《控制与决策》2014,29(10):1751-1757
为了解决包含不确定信息的分类学习问题,提出一种新的适用于不确定类标签数据的迁移支持向量机。该方法基于结构风险最小化模型,同时将源领域中所学知识、领域间的共享数据、目标领域中已标定的和不确定的数据纳入学习框架中,进而实现了源领域和目标领域的知识迁移。在多种真实数据集上的实验结果表明了所提出方法的有效性。  相似文献   

16.
A machine learning framework which uses unlabeled data from a related task domain in supervised classification tasks is described. The unlabeled data come from related domains, which share the same class labels or generative distribution as the labeled data. Patterns in the unlabeled data are learned via a neural network and transferred to the target domain from where the labeled data are generated, so as to improve the performance of the supervised learning task. We call this approach self-taught transfer learning from unlabeled data. We introduce a general-purpose feature learning algorithm producing features that retain information from the unlabeled data. Information preservation assures that the features obtained will be useful for improving the classification performance of the supervised tasks.  相似文献   

17.
经典机器学习算法假设训练数据和测试数据具有相同的输入特征空间和数据分布,但在很多现实应用中这一假设通常并不成立,导致经典机器学习算法失效。领域自适应是一种新的机器学习策略,其关键技术在于通过学习新的特征表达来对齐源域和目标域的数据分布,使得在有标签源域中训练的模型可以直接迁移到没有标签的目标域上,且不会引起模型性能的明显下降。介绍领域自适应的定义、分类和代表性算法,讨论基于度量学习和基于对抗学习的两类领域自适应算法。在此基础上,分析领域自适应的典型应用和现存挑战,并对其发展趋势及未来研究方向进行展望。  相似文献   

18.
汪云云  孙顾威  赵国祥  薛晖 《软件学报》2022,33(4):1170-1182
无监督域适应(unsupervised domain adaptation,UDA)旨在利用带大量标注数据的源域帮助无任何标注信息的目标域学习.在UDA中,通常假设源域和目标域间的数据分布不同,但共享相同的类标签空间.但在真实开放学习场景中,域间的标签空间很可能存在差异.在极端情形下,域间的类别不存在交集,即目标域中类别都为新未知类别.此时若直接迁移源域的类判别知识,可能会损害目标域性能,导致负迁移问题.为此,提出了基于自监督知识的无监督新集域适应(unsupervised new-set domain adaptation with self-supervised knowledge, SUNDA)方法,迁移源域的样本对比知识;同时,利用目标域的自监督知识指导知识迁移.首先,通过自监督学习源域和目标域初始特征,并固定部分网络参数用于保存目标域信息.再将源域的样本对比知识迁移至目标域,辅助目标域学习类判别特征.此外,利用基于图的自监督分类损失,解决域间无共享类别时目标域的分类问题.在手写体数字的无共享类别跨域迁移和人脸数据的无共享类别跨种族迁移任务上对SUNDA进行评估,实验结果表明,...  相似文献   

19.
异构缺陷预测(heterogeneous defect prediction,HDP)在具有异构特征的项目间进行缺陷预测,可以有效解决源项目和目标项目使用了不同特征的问题.当前大多数HDP方法都是通过学习域不变特征子空间以减少域之间的差异来解决异构特征问题.但是,源域和目标域通常呈现出巨大的异质性,使得域对齐效果并不好.究其原因,这些方法都忽视了分类器对于两个域中的同一类别应产生相似的分类概率分布这一潜在知识,没有挖掘数据中包含的内在语义信息.另一方面,由于在新启动项目或历史遗留项目中搜集训练数据依赖于专家知识,费时费力且容易出错,探究了基于目标项目内少数标记模块来进行异构缺陷预测的可能性.鉴于此,提出一种基于同步语义对齐的异构缺陷预测方法(SHSSAN).一方面,探索从标记的源项目中学到的隐性知识,从而在类别之间传递相关性,达到隐式语义信息迁移.另一方面,为了学习未标记目标数据的语义表示,通过目标伪标签进行质心匹配达到显式语义对齐.同时,SHSSAN可以有效解决异构缺陷数据集中常见的类不平衡和数据线性不可分问题,并充分利用目标项目中的标签信息.对包含30个不同项目的公共异构数据集进行的实验表明,与目前表现优异的CTKCCA、CLSUP、MSMDA、KSETE和CDAA方法相比,在F-measure和AUC上分别提升了6.96%、19.68%、19.43%、13.55%、9.32%和2.02%、3.62%、2.96%、3.48%、2.47%.  相似文献   

20.
Unsupervised Domain Adaptation (UDA) aims to use the source domain with large amounts of labeled data to help the learning of the target domain without any label information. In UDA, the source and target domains are usually assumed to have different data distributions but share the same class label space. Nevertheless, in real-world open learning scenarios, label spaces are highly likely to be different across domains. In extreme cases, the domains share no common classes, i.e., all classes in the target domain are new classes. In such a case, direct transferring the class-discriminative knowledge from the source domain may impair the performance in the target domain and lead to negative transfer. For this reason, this paper proposes unsupervised new-set domain adaptation with self-supervised knowledge (SUNDA) to transfer the sample contrastive knowledge from the source domain, and use self-supervised knowledge from the target domain to guide the knowledge transfer. Specifically, the initial features of the source and target domains are learned by self-supervised learning, and some network parameters are frozen to preserve target domain information. Sample contrastive knowledge from the source domain is then transferred to the target domain to assist the learning of class-discriminative features in the target domain. Moreover, graph-based self-supervised classification loss is adopted to handle the problem of target domain classification with no inter-domain common classes. SUNDA is evaluated on tasks of cross-domain transfer for handwritten digits without any common class and cross-race transfer for face data without any common class. The experiments show that SUNDA outperforms UDA, unsupervised clustering, and new class discovery methods in learning performance.  相似文献   

设为首页 | 免责声明 | 关于勤云 | 加入收藏

Copyright©北京勤云科技发展有限公司  京ICP备09084417号