基于极大极小准则的Hopfield联想记忆学习算法*

基于联想记忆各记忆模式的吸引域之间应保持大小平衡的思想．提出了设计Hopfield联想记忆网络的极大极小准则，即设计出的对称连接权阵应使得网络最小的记忆模式吸引域达到最大．首先提出了一种快速学习算法;再发展了一个启发性迭代学习算法，称为约束感知器优化学习算法．大量实验结果表明了本文学习算法的优越性．     

基于解释的算法构架的学习

本文提出了将解释学习方法用于学习算法构架的思想，以提高软件自动化系统从功能规格说明转换到设计规格说明的能力．文中给出了算法构架的表示，操作性的定义及其处理方法．系统从用户给出的一个问题的解中学习算法构架，用于解决一类问题，系统的学习效果表现为通过学习能够解决原来不能解的问题．     

增量式解释学习算法EBG—plus*

传统的解释学习(EBL)是通过单个实例进行学习的，学习结果往往带有实例本身的特殊性质,知识求精能较正这一缺陷，但学习结果的效用不高．本文结合了EBL方法和求精算法，提出综合多个实例的增量式解释学习算法EBG—plus，学习质量随实例数目增加而单调上升，学习结果效用高，并能够自动改进领域知识的编码质量．     

一种通过反馈提高神经网络学习性能的新算法

为了有效提高前向神经网络的学习性能，需要从一个新的角度考虑神经网络的学习训练．基于此，提出了一种基于结果反馈的新算法——FBBP算法．将神经网络输入调整与通常的权值调整的反向传播算法结合起来，通过调整权值和输入矢量值的双重作用来最小化神经网络的误差函数．并通过几个函数逼近和模式分类问题的实例仿真，将FBBP算法与加动量项BP算法、最新的一种加快收敛的权值更新的算法进行了比较，来验证所提出的算法的有效性．实验结果表明，所提出的算法具有训练速度快和泛化能力高的双重优点，是一种非常有效的学习方法．     

基于强化学习算法的多机器人系统的冲突消解策略

多机器人系统中，随着机器人数目的增加．系统中的冲突呈指数级增加．甚至出现死锁．本文提出了基于过程奖赏和优先扫除的强化学习算法作为多机器人系统的冲突消解策略．针对典型的多机器人可识别群体觅食任务．以计算机仿真为手段，以收集的目标物数量为系统性能指标，以算法收敛时学习次数为学习速度指标，进行仿真研究，并与基于全局奖赏和Q学习算法等其他9种算法进行比较．结果表明所提出的基于过程奖赏和优先扫除的强化学习算法能显著减少冲突．避免死锁．提高系统整体性能．     

一类基于几何分析的迭代学习控制算法

基于几何分析，对迭代学习控制方法的几何框架进行探索．首先通过对Arimoto算法所构成的向量图进行几何分析，导出了一类新的迭代学习算法结构；然后从理论上对所导出的算法进行完整的收敛性分析．该算法结构与已有算法完全不同，但其收敛速度和精度明显提高．仿真结果表明了新算法的有效性和优越性．     

求解部分可观测马氏决策过程的强化学习算法

针对部分可观测马氏决策过程(POMDP)中，由于感知混淆现象的存在，利用Sarsa等算法得到的无记忆策略可能发生振荡的现象，研究了一种基于记忆的强化学习算法——CPnSarsa(λ)学习算法来解决该问题．它通过重新定义状态，Agent结合观测历史来识别混淆状态．将CPnSarsa(λ)算法应用到一些典型的POMDP，最后得到的是最优或近似最优策略，与以往算法相比，该算法的收敛速度有了很大提高．     

机器人的一种离散学习控制算法的研究

本文基于关节空间提出了机器人的一种离散学习控制算法．此算法仅仅利用了部分机器人动力学模型知识，基于关节空间的加速度信号构成迭代学习律，并给出了算法的收敛性证明．仿真表明了算法的有效性．     

Web知识规则提取的FOIL算法改进

将一阶学习的FOIL算法应用到Web知识规则的提取是当前学习Web知识所普遍采用的方法．本文在FOIL算法的基础上进行了改进，提出了基于网页间联系的新的路径学习算法，使得原算法的稳定性和精确度都明显提高。     

模糊推理规则的模糊关系的学习算法AL

针对模糊推理规则中的模糊关系Ｒ通常难以确定问题，本文依据Ａｍｅｒｉ的监督式学习过程，运用ｍａｘ．ｍｉｎ的近似函数来克服ｍａｘ．ｍｉｎ不能直接求导问题，并进而提出了模糊关系Ｒ的学习算法ＡＬ。算法ＡＬ是一个迭代学习算法。     

面向类别不平衡数据的主动在线加权极限学习机算法

针对在样本类别分布不平衡场景下,现有的主动学习算法普遍失效及训练时间过长等问题,提出采用建模速度更快的极限学习机,即ELM(Extreme Learning Machine)作为主动学习的基分类器,并以加权ELM算法用于主动学习过程的平衡控制,进而在理论上推导了其在线学习的过程,大幅降低了主动学习的时间开销,并将最终的混合算法命名为AOW-ELM算法。通过12个基准的二类不平衡数据集验证了该算法的有效性与可行性。     

一种多层次选择性集成学习算法

选择性集成学习是为解决同一个问题而训练多个基分类器,并依据某种规则选取部分基分类器的结果进行整合的学习算法。通过选择性集成可以获得比单个学习器和全部集成学习更好的学习效果,可以显著地提高学习系统的泛化性能。提出了一种多层次选择性集成学习算法Ada_ens。试验结果表明,Ada_ens具有更好的学习效果和泛化性能。     

基于自编码算法的深度学习综述

深度学习是机器学习的一个分支,开创了神经网络发展的新纪元.自编码算法作为深度学习结构的重要组成部分,在无监督学习及非线性特征提取过程中起到了至关重要的作用.首先介绍自编码算法的基本概念及原理,然后介绍基于自编码算法的改进算法,最后列举了自编码算法在若干领域应用的知名案例和发展趋势.     

一种基于簇的极限学习机的在线学习算法

针对传统的批量学习算法学习速度慢、对空间需求量高的缺点,提出了一种基于簇的极限学习机的在线学习算法。该算法将分簇的理念融入到极限学习机中,并结合极限学习机,提出了一种基于样本类别和样本输出的分簇标准;同时提出了一种加权的Moore-Penrose算法求隐层节点与输出节点的连接权重。实验结果表明,该算法具有学习能力好、拟合度高、泛化性能好等优点。     

Madaline网络学习算法改进

根据Madaline网络工作原理,针对其网络特点和现有算法中存在的缺点,提出将MRⅡ算法与感知机学习规则相结合的改进的学习算法,使每个样本学习后权值的改动尽量小,从而减少它对其它样本学习产生的影响,达到提高网络学习能力的目的。     

Learning Causal Patterns: Making a Transition from Data-Driven to Theory-Driven Learning

We describe an incremental learning algorithm, called theory-driven learning, that creates rules to predict the effect of actions. Theory-driven learning exploits knowledge of regularities among rules to constrain learning. We demonstrate that this knowledge enables the learning system to rapidly converge on accurate predictive rules and to tolerate more complex training data. An algorithm for incrementally learning these regularities is described and we provide evidence that the resulting regularities are sufficiently generally to facilitate learning in new domains. The results demonstrate that transfer from one domain to another can be achieved by deliberately overgeneralizing rules in one domain and biasing the learning algorithm to create new rules that specialize these overgeneralizations in other domains.     

多Agent协作的强化学习模型和算法

结合强化学习技术讨论了多Agent协作学习的过程,构造了一个新的多Agent协作学习模型。在这个模型的基础上,提出一个多Agent协作学习算法。算法充分考虑了多Agent共同学习的特点,使得Agent基于对动作长期利益的估计来预测其动作策略,并做出相应的决策,进而达成最优的联合动作策略。最后,通过对猎人。猎物追逐问题的仿真试验验证了该算法的收敛性,表明这种学习算法是一种高效、快速的学习方法。     

深度学习加速技术研究

深度学习是近年来机器学习的研究热点,并已广泛应用于不同领域. 但由于训练模型复杂和训练集规模庞大等原因导致的深度学习性能问题已成为其发展的一大阻碍. 近年来计算机硬件的快速发展,尤其是处理器核数的不断增加和整体运算能力的快速提高,给深度学习加速提供了硬件基础,然而其训练算法并行度低和内存开销巨大等问题使得加速研究工作困难重重. 首先介绍了深度学习的背景和训练算法,对当前主要的深度学习加速研究工作进行归纳总结. 在此基础上,对经典的深度学习模型进行性能测试,分析了深度学习及并行算法的性能问题. 最后,对深度学习的未来发展进行了展望.     

协作学习中基于协同过滤的学习资源推荐研究

符合学习者特征的学习资源对于提高协作学习效率具有重要的影响。但是传统的学习资源推荐,没有充分考虑学习者、学习资源的特征和高效的推荐算法。针对上述问题,提出了基于协同过滤的学习资源推荐算法,根据学习者学习特征、学习资源特征和学习者对学习资源历史评价信息,采用协同过滤推荐算法,实现学习资源推荐。首先,通过学习者特征和学习资源的评分,寻找相似学习者并计算学习资源预测评分,然后根据该评分值和学习资源与学习者匹配度推荐学习资源,从而为学习者推荐符合自己兴趣爱好最合适的学习资源。实验结果表明该算法在个性化学习资源推荐的准确性上优于传统算法。     

Learning from a Population of Hypotheses

We introduce a new formal model in which a learning algorithm must combine a collection of potentially poor but statistically independent hypothesis functions in order to approximate an unknown target function arbitrarily well. Our motivation includes the question of how to make optimal use of multiple independent runs of a mediocre learning algorithm, as well as settings in which the many hypotheses are obtained by a distributed population of identical learning agents.