混合型学习模型HLM中的增量学习算法

混合型学习模型HLM将概念获取算法HMCAP和神经网络算法FTART有机结合，能学习多概念和连续属性，其增量学习算法建立在二叉混合判定树结构和FTART网络的基础上，在给系统增加新的实例时，只需进行一遍增量学习调整原结构，不用重新生成判定树和神经网络，即可提高学习精度，速度快、效率高．本文主要介绍该模型中的增量学习算法．     

混合型多概念获取算法的设计及其抗噪音能力

IHMCAP(incremental hybrid multi-concepts acquisit ion procedure)算法将基于概率论的符号学习与神经网络学习相结合,通过引入FTART(field theory-based adaptive resonance theory)神经网络,成功地解决了符号学习与神经网络 学习精度之间的均衡性问题,实现了两种不同思维层次的靠近.该算法采用一种独特的增量学 习机制,当增加新的实例时,只需进行一遍增量学习,调整原结构,不必重新生成判定树和神经 网络,即可提高学习精度,速度快,效率高.同时,这种增量学习机制还可以降低算法对噪音数 据的敏感度,从而使IHMCAP可以应用于实时在线学习任务.     

HMCAP的新实现方法及其应用

ＨＭＣＡＰ是一种混合型多概念获取算法，它将基于概率论的符号学习与ＢＰ神经网络学习相结合，能从隶属于某个概述集的实例集中归纳出满足用户精度要求的以混合型判定树表示的概念描述，并具且有增量学习能力，本文给出了该算法的一种新的实现方法及其应用。     

一种具有抗噪音能力的增量式混合学习算法

文中提出了一种具有抗噪音能力的增量式混合学习算法ＩＨＭＣＡＰ,该算法将基于概率论的符号学习与神经网络学习相结合,通过引入ＦＴＡＲＴ神经网络,不仅实现了两种不同思维层次的靠近,还成功地解决了符号学习与神经网络学习精度之间的均衡性问题。其独特的增理学习机制不仅使得它只需进行一遍增量学习即可完成对新增示例的学习,还使该算法具有较好的抗噪音能力,从而可以应用于实时在线学习任务。     

混合型多概念获取系统的设计与实现

本文主要描述了一个增量式混合型多概念获取系统ＨＭＣＡＳ，它提出了一个基于概率论的符号学习与神经网络学习相结合的学习算法，能从隶属于某个概念集的实例集中归纳出满足用户精度要求的，以浊合型判定树表示的概念描述。在ＨＭＣＡＳ中，符号学习与神经网络学习具有结合紧密的转换灵活等特点，具有较高的学习效率和较强的归纳能力以及增量学习能力。ＨＭＣＡＳ的神经网络学习可选择ＢＰ网络或ＦＴＡＲＴ网络，其推理机制提供了混     

随机特征映射的四层神经网络及其增量学习

提出了一种基于随机特征映射的四层神经网络(FRMFNN)及其增量学习算法.FRMFNN首先把原始输入特征通过特定的随机映射算法转化为随机映射特征存储于第一层隐藏层节点中,再经过激活函数对随机映射特征进行非线性转化生成第二层隐藏节点,最后将第二层隐藏层通过输出权重连接到输出层.由于第一层和第二层隐藏层的权重是根据任意连续采样分布概率随机生成的而不需要训练更新,且输出层的权重可以用岭回归算法快速求解,从而避免了传统反向传播神经网络耗时的训练过程.当FRMFNN没有达到期望精度时,借助于快速的增量算法可以持续改进网络性能,从而避免了重新训练整个网络.详细介绍了FRMFNN及其增量算法的结构原理,证明了FRMFNN的通用逼近性.与宽度学习(BLS)和极限学习机(ELM)的增量学习算法相比,在多个主流分类和回归数据集上的实验结果表明了FRMFNN及其增量学习算法的有效性.     

构造型神经网络双交叉覆盖增量学习算法

研究了基于覆盖的构造型神经网络(cover based constructive neural networks,简称CBCNN)中的双交叉覆盖增量学习算法(BiCovering algorithm,简称BiCA).根据CBCNN的基本思想,该算法进一步通过构造多个正反覆盖簇,使得网络在首次构造完成后还可以不断地修改与优化神经网络的参数与结构,增加或删除网络中的节点,进行增量学习.通过分析认为,BiCA学习算法不但保留了CBCNN网络的优点与特点,而且实现了增量学习并提高了CBCNN网络的泛化能力.仿真实验结果显示,该增量学习算法在神经网络初始分类能力较差的情况下具有快速学习能力,并且对样本的学习顺序不敏感.     

混合型学习系统HMCAP的设计与实现

本文介绍混合型学习系统ＨＭＣＡＰ的设计与实现，该系统将符号学习ＣＡＰ算法的主要思想和ＢＰ神经网络有机结合，以状态在实例空间出现的概念为启发信息，以提供的混合实例集为分类依据，根据用户的要求得到不同精度的结合ＢＰ网的二叉多分类判定树，并具有增量学习能力。本文还给出ＨＭＣＡＰ的实现技术与应用实例。     

角分类前向神经网络研究

角分类算法是一类快速分类算法，以其为学习算法的前向神经网络，在信息检索，特别是在线信息检索等领域有着重要的应用．通过对CC4学习算法的分析，揭示了泛化距离在角分类神经网络中的意义．针对文本数据的快速分类要求，提出了新的角分类网络TextCC．为解决数据的多类别判定问题，给出了新的角分类神经网络隐层与输出层之间连接矩阵的学习算法．实验表明，新的角分类神经网络隐层与输出层之间连接矩阵的学习算法有效，TextCC的分类精度教CC4的分类精度显著的提高．     

基于混合学习算法IHMCAP的故障诊断模型

在故障集和差错属性集的基础上,通过结合了基于概率论的符号学习与神经网络学 习的增量式混合型多概念获取算法IHMCAP寻找属性值与故障类型之间的对应关系,由此 建立一个故障诊断模型.实验表明,该模型不仅精度高、速度快、学习能力强,而且在利用系统 的先验知识与新增数据上也取得了均衡.     

可继续学习的构造型神经网络构造算法

构造型神经网络模型通过将样本映射到单位超球面上并用覆盖方法进行识别,具有计算速度快、识别率高、几何意义明显等优点。但是常用的基于交叉覆盖的方法在首次构造完成后,难以再继续进行修改和加强,从而阻碍了网络的再学习能力。文章提出了该构造型神经网络的一种双交叉覆盖方法,一方面吸收了原交叉覆盖的优点,一方面提供了良好的再学习能力。通过实验验证,该方法可以较好地运用到构造型神经网络的增量学习中。     

一种基于Bagging-SVM的智能传感器集成学习方法

集成多个传感器的智能片上系统( SoC)在物联网得到了广泛的应用.在融合多个传感器数据的分类算法方面,传统的支持向量机( SVM)单分类器不能直接对传感器数据流进行小样本增量学习.针对上述问题,提出一种基于Bagging-SVM的集成增量算法,该算法通过在增量数据中采用Bootstrap方式抽取训练集,构造能够反映新信息变化的集成分类器,然后将新老分类器集成,实现集成增量学习.实验结果表明:该算法相比SVM单分类器能够有效降低分类误差,提高分类准确率,且具有较好的泛化能力,可以满足当下智能传感器系统基于小样本数据流的在线学习需求.     

一种有效的增量顺序学习模糊神经网络

利用误差下降率定义输入数据对系统输出的敏感性,并以此作为规则产生标准,提出一种有效增量顺序学习模糊神经网络。将修剪策略引入规则产生过程,因此该算法产生的模糊神经网络不需要进行修剪。通过仿真实验,本算法在达到与其他算法相当性能的情况下,能够获得更高的准确率和更简单的结构。     

面向区块链的在线联邦增量学习算法

针对传统数据处理技术存在模型过时、泛化能力减弱以及并未考虑多源数据安全性的问题,提出一种面向区块链的在线联邦增量学习算法。该算法将集成学习与增量学习应用到联邦学习的框架下,使用stacking集成算法来整合多方本地模型,且将模型训练阶段的模型参数上传至区块链并快速同步,使得在建立的全局模型准确率仅下降1%的情况下,模型在训练阶段与存储阶段的安全性均得到了提升,降低了数据存储与模型参数传输的成本,同时也降低了因模型梯度更新造成数据泄漏的风险。实验结果表明,在公开的数据集上进行训练,各时间段内模型的准确度均在91.5%以上,且方差均低于10^-5;与传统整合数据训练模型相比,该模型在准确率上略有下降,但能够在保证模型准确率的同时提高数据与模型的安全性。