首页 | 本学科首页   官方微博 | 高级检索  
相似文献
 共查询到19条相似文献,搜索用时 140 毫秒
1.
在线学习算法综述   总被引:1,自引:0,他引:1  
随着信息技术的迅猛发展,尤其是互联网行业的广泛应用,越来越多的领域出现了对海量、高速到达的数据实时处理需求。如何从浩瀚的“数据海洋”中挖掘有用的知识变得尤为重要。传统批处理模式的机器学习算法在面临 大数据时变得力不从心,而在线学习通过流式计算框架,在内存中直接对数据实时运算,为大数据的学习提供了有力的工具,这类在线学习框架有望应对大数据背景下机器学习任务面临的困境与挑战。本文总结了经典和目前主流的在线学习算法,主要包括:(1)在线线性学习算法;(2)基于核的在线学习算法;(3)其他经典的在线学习算法;(4)在线学习算法的优化理论。本文介绍在线学习与深度学习结合方法的研究现状,探讨在线学习算法研究中的关键问题与应用场景,最后展望了在线学习下一步的研究方向。  相似文献   

2.
经典机器学习算法假设训练数据和测试数据具有相同的输入特征空间和数据分布,但在很多现实应用中这一假设通常并不成立,导致经典机器学习算法失效。领域自适应是一种新的机器学习策略,其关键技术在于通过学习新的特征表达来对齐源域和目标域的数据分布,使得在有标签源域中训练的模型可以直接迁移到没有标签的目标域上,且不会引起模型性能的明显下降。介绍领域自适应的定义、分类和代表性算法,讨论基于度量学习和基于对抗学习的两类领域自适应算法。在此基础上,分析领域自适应的典型应用和现存挑战,并对其发展趋势及未来研究方向进行展望。  相似文献   

3.
高新波  黎铭  李天瑞 《软件学报》2020,31(4):909-911
近年来,随着学术界与工业界在机器学习和人工智能领域投入的关注越来越多,相关技术飞速发展,机器学习已经在社会生活的方方面面获得广泛应用,并产生了巨大价值.随着机器学习模型应用场景的不断扩大,越来越多的问题难以被经典条件下的机器学习方法所解决.新兴的应用场景下,人们往往面临数据模式发生变化、数据特征发生变化、学习任务目标发生变化等动态场景;数据标记不完备或采样存在偏差等弱监督场景;以及设备存储空间较小、计算能力有限等资源受限场景,等等.  相似文献   

4.
关于统计学习理论与支持向量机   总被引:1037,自引:7,他引:1030  
模式识别、函数拟合及概率密度估计等都属于基于数据学习的问题,现有方法的重 要基础是传统的统计学,前提是有足够多样本,当样本数目有限时难以取得理想的效果.统计 学习理论(SLT)是由Vapnik等人提出的一种小样本统计理论,着重研究在小样本情况下的 统计规律及学习方法性质.SLT为机器学习问题建立了一个较好的理论框架,也发展了一种 新的通用学习算法--支持向量机(SVM),能够较好的解决小样本学习问题.目前,SLT和 SVM已成为国际上机器学习领域新的研究热点.本文是一篇综述,旨在介绍SLT和SVM的 基本思想、特点和研究发展现状,以引起国内学者的进一步关注.  相似文献   

5.
智能化信息检索是网络时代最重要的应用之一.现有的机器学习理论与方法难以适应网络环境下数据的动态性和用户兴趣的多样性,成为智能化信息检索研究中的一个薄弱环节.本文通过学习和借鉴自然免疫系统的特征和原理,利用Swarm软件平台,设计和实现了一个人工免疫网络算法.该算法建立在对自然免疫系统的现有理解之上,具备自然免疫系统的主要特征,并被成功的应用于解决一个简单的模式识别问题.最后展望了将人工免疫系统这一新的机器学习机制应用到智能化信息检索系统中的前景.  相似文献   

6.
传统机器学习方法的有效性依赖于大量的有效训练数据,而这难以满足,因此迁移学习被广泛研究并成为近年来的研究热门.针对由于训练数据严重不足导致多分类场景下分类性能降低的挑战,提出一种基于DLSR(discriminative least squares regressions)的归纳式迁移学习方法(TDLSR).该方法从归纳式迁移学习出发,通过知识杠杆机制,将源域知识迁移到目标域并同目标域数据同时进行模型学习,在提升分类性能的同时保证源域数据的安全性.TDLSR继承了DLSR在多分类任务中扩大类别间间隔的优势,为DLSR注入了迁移能力以适应数据不足的挑战,更加适用于复杂的多分类任务.通过在12个真实UCI数据集上进行实验,验证了所提出方法的有效性.  相似文献   

7.
域自适应学习研究进展   总被引:2,自引:0,他引:2  
传统的机器学习假设测试样本和训练样本来自同一概率分布. 但当前很多学习场景下训练样本和测试样本可能来自不同的概率分布. 域自 适应学习能够有效地解决训练样本和测试样本概率分布不一致的学习问题,作为 机器学习新出现的研究领域在近几年受到了广泛的关注. 鉴于域自适应学习技术 的重要性,综述了域自适应学习的研究进展. 首先概述了域自适应学习的基本问 题,并总结了近几年出现的重要的域自适应学习方法. 接着介绍了近几年提出的 较为经典的域自适应学习理论和当下域自适应学习的热门研究方向,包括样例加 权域自适应学习、特征表示域自适应学习、参数和特征分解域自适应学习和多 源域自适应学习. 然后对域自适应学习进行了相关的理论分析,讨论了高效的度 量判据,并给出了相应的误差界. 接着对当前域自适应学习在算法、模型结构和 实际应用这三个方面的研究新进展进行了综述. 最后分别探讨了域自适应学习在 特征变换和假设、训练优化、模型和数据表示、NLP 研究中存在的问题这四个方面 的有待进一步解决的问题.  相似文献   

8.
基于相似度学习的多源迁移算法   总被引:1,自引:0,他引:1  
卞则康  王士同 《控制与决策》2017,32(11):1941-1948
针对与测试数据分布相同的训练数据不足,相关领域中存在大量的、与测试数据分布相近的训练数据的场景,提出一种基于相似度学习的多源迁移学习算法(SL-MSTL).该算法在经典SVM分类模型的基础上提出一种新的迁移分类模型,增加对多源域与目标域之间的相似度学习,可以有效地利用各源域中的有用信息,提高目标域的分类效果.实验的结果表明了SL-MSTL 算法的有效性和实用性.  相似文献   

9.
一种基于局部随机子空间的分类集成算法   总被引:1,自引:0,他引:1  
分类器集成学习是当前机器学习研究领域的热点之一.然而,经典的采用完全随机的方法,对高维数据而言,难以保证子分类器的性能.为此,文中提出一种基于局部随机子空间的分类集成算法,该算法首先采用特征选择方法得到一个有效的特征序列,进而将特征序列划分为几个区段并依据在各区段的采样比例进行随机采样,以此来改进子分类器性能和子分类器的多样性.在5个UCI数据集和5个基因数据集上进行实验,实验结果表明,文中方法优于单个分类器的分类性能,且在多数情况下优于经典的分类集成方法.  相似文献   

10.
维数约简作为机器学习的经典问题之一,主要用于处理维数灾问题、帮助加速算法的计算效率和提高可解释性以及数据可视化.传统的维数约简算法如主成分分析(Principal component analysis,PCA)和线性判别分析等只能处理无标签数据或者分类数据.然而,当预测变量为一元或多元连续型实值变量时,这些处理无标签数据或分类数据的维数约简方法则不能形成有效的预测性能.近20年来,有一系列工作从多个角度对这一问题展开了研究,并取得了系统性的研究成果.在此背景下,本文将综述这些面向回归问题的降维算法,即实值多变量维数约简.本文将介绍与实值多变量维数约简密切相关的基本概念、算法、理论,并探讨一些潜在的研究方向.  相似文献   

11.
Support vector machine (SVM) has attracted substantial interest in the community of machine learning. As the extension of SVM, nonparallel hyperplane SVM (NHSVM) classification algorithms have become current researching hot spots in machine learning during the last few years. For binary classification tasks, the idea of NHSVM algorithms is to find a hyperplane for each class, such that each hyperplane is proximal to the data points of one class and far from the data points of the other class. Compared with the classical SVM, NHSVM algorithms have lower computational complexity, work better on XOR problems and can get better generalization performance. This paper reviews three representative NHSVM algorithms, including generalized eigenvalue proximal SVM (GEPSVM), twin SVM (TWSVM) and projection twin SVM (PTSVM), and gives the research progress of them. The aim of this overview is to provide an insightful organization of current developments of NHSVM algorithms, identify their limitations and give suggestions for further research.  相似文献   

12.
In this paper we report on a new GeoAI research method which enables deep machine learning from multi-source geospatial data for natural feature detection. In particular, a multi-source, deep learning-based object detection pipeline was developed. This pipeline introduces three new features: First, strategies of both data-level fusion (i.e., channel expansion on convolutional neural networks) and feature-level fusion were integrated into the object detection model to allow simultaneous machine learning from multi-source data, including remote sensing imagery and Digital Elevation Model (DEM) data. Second, a new data fusion strategy was developed to blend DEM data and its derivatives to create a new, fused data source with enriched information content and image features. The model has also enabled deep learning by combining both the proposed data fusion and feature-level fusion strategies to yield a much-improved detection result. Third, two different sets of data augmentation techniques were applied to the multi-source training data to further improve the model performance. A series of experiments were conducted to verify the effectiveness of the proposed strategies in multi-source deep learning.  相似文献   

13.
代价敏感学习是数据挖掘研究领域最具有挑战性的问题之一。属性约简是数据挖掘中重要的经典问题。代价敏感属性约简问题是对经典属性约简问题的自然扩展,已经逐渐成为研究的热点。对当前具有代表性的5种处理名词性数据的代价敏感属性约简算法进行了分析和比较,总结了每种算法的各方面特性及不足之处,从而便于研究者对已有算法进行改进,并且进一步提出具有更好性能的新的约简算法,方便用户对算法的选择和使用。  相似文献   

14.
人工智能和量子物理是上世纪发展起来的两个截然不同但又影响深远的学科.近年来,它们在数据科学方面的结合引起了学术界的高度关注,形成了量子机器学习这个新兴领域.利用量子态的叠加性,量子机器学习有望通过量子并行解决目前机器学习中数据量大,训练过程慢的困难,并有望从量子物理的角度提出新的学习模型.目前该领域的研究还处于探索阶段,涵盖内容虽然广泛,但还缺乏系统的梳理.本文将从数据和算法角度总结量子机器学习与经典机器学习的不同,以及其中涉及的关键加速技巧,针对数据结构(数字型、模拟型),计算技巧(相位估计、Grover搜索、内积计算),基础算法(求解线性系统、主成分分析、梯度算法),学习模型(支持向量机、近邻法、感知器、玻尔兹曼机)等4个方面对现有研究成果进行综述,并建议一些可能的研究方向,供本领域的研究人员参考.  相似文献   

15.
An overview of statistical learning theory   总被引:335,自引:0,他引:335  
Statistical learning theory was introduced in the late 1960's. Until the 1990's it was a purely theoretical analysis of the problem of function estimation from a given collection of data. In the middle of the 1990's new types of learning algorithms (called support vector machines) based on the developed theory were proposed. This made statistical learning theory not only a tool for the theoretical analysis but also a tool for creating practical algorithms for estimating multidimensional functions. This article presents a very general overview of statistical learning theory including both theoretical and algorithmic aspects of the theory. The goal of this overview is to demonstrate how the abstract learning theory established conditions for generalization which are more general than those discussed in classical statistical paradigms and how the understanding of these conditions inspired new algorithmic approaches to function estimation problems.  相似文献   

16.
张楠  范玉妹 《微机发展》2007,17(1):142-144
支持向量机是一种新的机器学习方法。它以统计学习理论为基础,从结构风险最小化原则出发,具有很好的泛化及推广能力。传统的SVM训练算法都是把原问题转化为对偶的二次规划问题进行求解。但对偶优化问题求解存在着计算量大、速度慢等问题。几何算法利用了训练集中的几何信息,从SVM的几何意义出发求解问题,并具有直观、计算精度高等优点,易于应用。在对支持向量分类机进行理论分析基础上,对其几何算法进行了初步研究并分析了其优缺点。  相似文献   

17.
一种基于局部加权均值的领域适应学习框架   总被引:2,自引:0,他引:2  
皋军  黄丽莉  孙长银 《自动化学报》2013,39(7):1037-1052
最大均值差异(Maximum mean discrepancy, MMD)作为一种能有效度量源域和目标域分布差异的标准已被成功运用.然而, MMD作为一种全局度量方法一定程度上反映的是区域之间全局分布和全局结构上的差异.为此, 本文通过引入局部加权均值的方法和理论到MMD中, 提出一种具有局部保持能力的投影最大局部加权均值差异(Projected maximum local weighted mean discrepancy, PMLWD)度量,%从而一定程度上使得PMLWD更能有效度量源域和目标域中局部分块之间的分布和结构上的差异,结合传统的学习理论提出基于局部加权均值的领域适应学习框架(Local weighted mean based domain adaptation learning framework, LDAF), 在LDAF框架下, 衍生出两种领域适应学习方法: LDAF_MLC和 LDAF_SVM.最后,通过测试人工数据集、高维文本数据集和人脸数据集来表明LDAF比其他领域适应学习方法更具优势.  相似文献   

18.
李金泽  徐喜荣  潘子琦  李晓杰 《计算机科学》2017,44(Z6):424-427, 450
聚类算法是近年来国际上机器学习领域的一个新的研究热点。为了能在任意形状的样本空间上聚类,学者们提出了谱聚类和图论聚类等优秀的算法。首先介绍了图论聚类算法中的谱聚类经典NJW算法和NeiMu图论聚类算法的基本思路,提出了改进的自适应谱聚类NJW算法。提出的自适应NJW算法的优点在于无需调试参数,即可自动求出聚类个数,克服了经典NJW算法需要事先设置聚类个数且需反复调试参数δ才能得出数据分类结果的缺点。在UCI标准数据集及实测数据集上对自适应NJW算法与经典NJW算法、自适应NJW算法与NeiMu图论聚类算法进行了比较。实验结果表明,自适应NJW算法方便快捷,且具有较好的实用性。  相似文献   

19.
平行学习——机器学习的一个新型理论框架   总被引:2,自引:0,他引:2  
本文提出了一种新的机器学习理论框架.该框架结合了现有多种机器学习理论框架的优点,并针对如何使用软件定义的人工系统从大数据提取有效数据,如何结合预测学习和集成学习,以及如何利用默顿定律进行指示学习等目前机器学习领域面临的重要问题进行了特别设计.  相似文献   

设为首页 | 免责声明 | 关于勤云 | 加入收藏

Copyright©北京勤云科技发展有限公司  京ICP备09084417号