关于深度学习的综述与讨论

机器学习是通过计算模型和算法从数据中学习规律的一门学问,在各种需要从复杂数据中挖掘规律的领域中有很多应用,已成为当今广义的人工智能领域最核心的技术之一。近年来,多种深度神经网络在大量机器学习问题上取得了令人瞩目的成果,形成了机器学习领域最亮眼的一个新分支——深度学习,也掀起了机器学习理论、方法和应用研究的一个新高潮。对深度学习代表性方法的核心原理和典型优化算法进行了综述,回顾与讨论了深度学习与以往机器学习方法之间的联系与区别,并对深度学习中一些需要进一步研究的问题进行了初步讨论。     

范例推理技术在银行客户信用评估中的应用

范例推理技术是人工智能领域中一种基于知识的问题求解和学习方法。为了有效评估银行客户信用等级并提高银行信贷业务效率，文中提出了范例推理技术(CBR)在银行客户信用评估中的应用，并给出了基于范例推理的银行客户信用评估系统的原型，介绍了该系统中的关键技术：范例表示、相似性计算和范例检索，研究了归纳学习、特征子集选择等机器学习方法在范例检索中的应用。     

基于归纳逻辑程序设计的学习方法及其实现的研究

归纳逻辑程序设计是机器学习领域中的一个新方法，它研究的是从实例和背景知识进行逻辑程序（新知识）的构造．本文介绍了归纳逻辑程序设计的基本理论和方法，并介绍了这种学习方法在专家系统中的应用情况．     

基于遗传算法学习聚类算法的中心个数

无导师聚类算法的目标是将一个数据集划分为若干个类,使得类内相似性尽可能大且类间相似性尽可能小。聚类过程中对数据集合分割成多少个类是一个很难确定的问题,目前还没有较好的解决方法。文章使用遗传算法对无导师聚类K-均值(K-means)算法中中心个数K值进行学习,实现了使用遗传算法进行聚类中心个数的确定,旨在提供一种选择中心参数个数的方法。通过对UCI机器学习数据库中的7个数据库进行实验,证实此方法是比较有效的。     

排序学习研究进展与展望

排序学习利用机器学习技术去训练排序模型以解决排序问题,是信息检索与机器学习交叉领域的一个新兴研究热点.越来越多的排序学习方法已经应用于实际系统中,如搜索引擎和推荐系统等.本文概括了排序学习的研究进展,并进行展望.首先,阐述了排序学习问题.然后,对排序学习方法进行了分类,并重点分析了依据训练排序模型时所采用的不同机器学习技术的排序学习方法类别.本文还介绍了一些代表性的标准排序学习数据集,对排序学习方法在若干领域的成功应用进行了总结,并归纳了一些排序学习方法软件包.最后,对排序学习的未来发展趋势和挑战进行了展望和探讨.     

智能控制中的机器学习方法

本文介绍了机器学习的两种基本方法:归纳学习和基于解释的学习,在此基础上提出集成化学习方法。最后讨论了机器学习在智能控制中的应用。     

范例推理技术在银行客户信用评估中的应用

范例推理技术是人工智能领域中一种基于知识的问题求解和学习方法.为了有效评估银行客户信用等级并提高银行信贷业务效率,文中提出了范例推理技术(CBR)在银行客户信用评估中的应用,并给出了基于范例推理的银行客户信用评估系统的原型,介绍了该系统中的关键技术:范例表示、相似性计算和范例检索,研究了归纳学习、特征子集选择等机器学习方法在范例检索中的应用.     

归纳程序设计

知识获取是知识处理过程中的“瓶颈”,这一向题的解决有赖于“机器学习”研究的进展。归纳学习是机器学习的重要方式。本文以归纳学习系统STAR的方法为例,介绍了归纳学习的核心——归纳程序设计的基本概念和方法。     

深度学习的昨天、今天和明天

机器学习是人工智能领域的一个重要学科.自从20世纪80年代以来,机器学习在算法、理论和应用等方面都获得巨大成功.2006年以来,机器学习领域中一个叫“深度学习”的课题开始受到学术界广泛关注,到今天已经成为互联网大数据和人工智能的一个热潮.深度学习通过建立类似于人脑的分层模型结构,对输入数据逐级提取从底层到高层的特征,从而能很好地建立从底层信号到高层语义的映射关系.近年来,谷歌、微软、IBM、百度等拥有大数据的高科技公司相继投入大量资源进行深度学习技术研发,在语音、图像、自然语言、在线广告等领域取得显著进展.从对实际应用的贡献来说,深度学习可能是机器学习领域最近这十年来最成功的研究方向.将对深度学习发展的过去和现在做一个全景式的介绍,并讨论深度学习所面临的挑战,以及将来的可能方向.     

一种基于图的特征选择方法

在很多的机器学习和数据挖掘任务中,特征子集选择是重要的数据预处理步骤之一。提出一种基于图方法的无监督式特征选择方法（GBFS）,构造一个以样本数据为顶点,数据间相似性作为边的图,再根据各特征的得分优先选择那些具有局部信息保持和全局区分能力的特征。实验结果表明,基于该方法选择的特征子集,在大多数情况下都能取得较好的分类效果。     

TrSVM:一种基于领域相似性的迁移学习算法

迁移学习是对传统监督学习的扩展,试图利用其他相关领域中的现存数据来帮助完成当前领域的学习任务.对于归纳式迁移学习算法,当目标领域只有少量数据时,已有的算法容易受到选择性偏差的影响,不能充分发挥相关领域数据的作用.为解决该问题,提出一种利用领域相似性的新途径:通过定义领域弱相似性的概念,将相似性的约束与目标分类器联系起来,能在训练过程中有效利用相关领域的大量数据,设计出一种基于支持向量机的迁移学习算法TrSVM,并给出求解过程.在大量数据集上的实验结果表明了新算法的有效性.     

Intelligent condition monitoring using fuzzy inductive learning

Extensive research has been performed for developing knowledge based intelligent monitoring systems for improving the reliability of manufacturing processes. Due to the high expense of obtaining knowledge from human experts, it is expected to develop new techniques to obtain the knowledge automatically from the collected data using data mining techniques. Inductive learning has become one of the widely used data mining methods for generating decision rules from data. In order to deal with the noise or uncertainties existing in the data collected in industrial processes and systems, this paper presents a new method using fuzzy logic techniques to improve the performance of the classical inductive learning approach. The proposed approach, in contrast to classical inductive learning method using hard cut point to discretize the continuous-valued attributes, uses soft discretization to enable the systems have less sensitivity to the uncertainties and noise. The effectiveness of the proposed approach has been illustrated in an application of monitoring the machining conditions in uncertain environment. Experimental results show that this new fuzzy inductive learning method gives improved accuracy compared with using classical inductive learning techniques.     

复杂结构归纳学习研究

复杂结构归纳学习的需求近年来快速增长。复杂结构归纳学习方法按照知识表示方式不同分为基于逻辑的方法与基于数学图的方法。阐述了复杂结构归纳学习研究的历史沿革,介绍、分析和对比了不同知识表示方式下的学习方法,给出了复杂结构归纳学习将来发展面临的挑战和需重点解决的问题。     

混杂数据的多核几何平均度量学习

在机器学习和模式识别任务中,选择一种合适的距离度量方法是至关重要的.度量学习主要利用判别性信息学习一个马氏距离或相似性度量.然而,大多数现有的度量学习方法都是针对数值型数据的,对于一些有结构的数据（比如符号型数据）,用传统的距离度量来度量两个对象之间的相似性是不合理的;其次,大多数度量学习方法会受到维度的困扰,高维度使得训练时间长,模型的可扩展性差.提出了一种基于几何平均的混杂数据度量学习方法.采用不同的核函数将数值型数据和符号型数据分别映射到可再生核希尔伯特空间,从而避免了特征的高维度带来的负面影响.同时,提出了一个基于几何平均的多核度量学习模型,将混杂数据的度量学习问题转化为求黎曼流形上两个点的中心点问题.在UCI数据集上的实验结果表明,针对混杂数据的多核度量学习方法与现有的度量学习方法相比,在准确性方面展现出更优异的性能.     

Overcoming the Myopia of Inductive Learning Algorithms with RELIEFF

Current inductive machine learning algorithms typically use greedy search with limited lookahead. This prevents them to detect significant conditional dependencies between the attributes that describe training objects. Instead of myopic impurity functions and lookahead, we propose to use RELIEFF, an extension of RELIEF developed by Kira and Rendell [10, 11], for heuristic guidance of inductive learning algorithms. We have reimplemented Assistant, a system for top down induction of decision trees, using RELIEFF as an estimator of attributes at each selection step. The algorithm is tested on several artificial and several real world problems and the results are compared with some other well known machine learning algorithms. Excellent results on artificial data sets and two real world problems show the advantage of the presented approach to inductive learning.     

流形极限学习机自编码特征表示

极限学习机（ELM）作为一种无监督分类方法,具有学习速度快、泛化性能高、逼近能力好的优点。随着无监督学习的发展,将ELM与自动编码器集成已成为无标签数据集提取特征的新视角,如极限学习机自动编码器（ELM-AE）是一种无监督的神经网络,无需迭代即可找到代表原始样本和其学习过程的主要成分。其重建输入信号获取原始样本的主要特征,且考虑了原始数据的全局信息以避免信息的丢失,然而这类方法未考虑数据的固有流形结构即样本间的近邻结构关系。借鉴极限学习机自动编码器的思想,提出了一种基于流形的极限学习机自动编码器算法（M-ELM）。该算法是一种非线性无监督特征提取方法,结合流形学习保持数据的局部信息,且在特征提取过程中同时对相似度矩阵进行学习。通过在IRIS数据集、脑电数据集和基因表达数据集上进行实验,将该算法与其他无监督学习方法PCA、LPP、NPE、LE和ELM-AE算法经过[k]-means聚类后的准确率进行了比较,以表明该算法的有效性。     

Transfer active learning by querying committee简

In real applications of inductive learning for classifi cation, labeled instances are often defi cient, and labeling them by an oracle is often expensive and time-consuming. Active learning on a single task aims to select only informative unlabeled instances for querying to improve the classifi cation accuracy while decreasing the querying cost. However, an inevitable problem in active learning is that the informative measures for selecting queries are commonly based on the initial hypotheses sampled from only a few labeled instances. In such a circumstance, the initial hypotheses are not reliable and may deviate from the true distribution underlying the target task. Consequently, the informative measures will possibly select irrelevant instances. A promising way to compensate this problem is to borrow useful knowledge from other sources with abundant labeled information, which is called transfer learning. However, a signifi cant challenge in transfer learning is how to measure the similarity between the source and the target tasks. One needs to be aware of different distributions or label assignments from unrelated source tasks;otherwise, they will lead to degenerated performance while transferring. Also, how to design an effective strategy to avoid selecting irrelevant samples to query is still an open question. To tackle these issues, we propose a hybrid algorithm for active learning with the help of transfer learning by adopting a divergence measure to alleviate the negative transfer caused by distribution differences. To avoid querying irrelevant instances, we also present an adaptive strategy which could eliminate unnecessary instances in the input space and models in the model space. Extensive experiments on both the synthetic and the real data sets show that the proposed algorithm is able to query fewer instances with a higher accuracy and that it converges faster than the state-of-the-art methods.     

基于压缩编码的迁移学习算法研究

在生产实际中,一个新的任务通常和已有任务存在一定的联系。迁移学习方法可以将已有数据集中的有用信息,迁移到新的任务,以减少重新建模过程中大量的时间和费用消耗。然而,由于任务之间的分布差异,在异构环境下如何避免负面迁移问题,仍未得到有效的解决。除了要衡量数据间的相似性,还需要衡量实例间的相关性,而大多数传统方法仅在一个层面进行操作。提出了基于压缩编码的迁移学习方法（TLCC）,建立了两个层面的算法模型,具体来说,在数据层面,数据间的相似性可以表示为超平面分类器的编码长度,而在实例层面,通过进一步挑选出有价值的实例进行迁移,提升算法性能,避免负面迁移的发生。实验结果表明,提出的算法相比其他算法具有明显的优势,在噪声环境下也有较高的准确度。