自适应的SVM增量算法

支持向量机(support vector machine,SVM)算法因其在小样本训练集上的优势和较好的鲁棒性,被广泛应用于处理分类问题。但是对于增量数据和大规模数据,传统的SVM分类算法不能满足需求,增量学习是解决这些问题的有效方法之一。基于数据分布的结构化描述,提出了一种自适应SVM增量学习算法。该算法根据原样本和新增样本与当前分类超平面之间的几何距离,建立了自适应的增量样本选择模型,该模型能够有效地筛选出参与增量训练的边界样本。为了平衡增量学习的速度和性能,模型分别为新增样本和原模型样本设置了基于空间分布相似性的调整系数。实验结果表明,该算法在加快分类速度的同时提高了模型性能。     

基于分布式学习的大规模网络入侵检测算法

计算机网络的高速发展,使处理器的速度明显低于骨干网的传输速度,这使得传统的入侵检测方法无法应用于大规模网络的检测.目前,解决这一问题的有效办法是将海量数据分割成小块数据,由分布的处理节点并行处理.这种分布式并行处理的难点是分割机制,为了不破坏数据的完整性,只有采用复杂的分割算法,这同时也使分割模块成为检测系统新的瓶颈.为了克服这个问题,提出了分布式神经网络学习算法,并将其用于大规模网络入侵检测.该算法的优点是,大数据集可被随机分割后分发给独立的神经网络进行并行学习,在降低分割算法复杂度的同时,保证学习结果的完整性.对该算法的测试实验首先采用基准测试数据circle-in-the-square测试了其学习能力,并与ARTMAP(adaptive resonance theory supervised predictive mapping)和BP(back propagation)神经网络进行了比较;然后采用标准的入侵检测测试数据集KDD'99 Data Set测试了其对大规模入侵的检测性能.通过与其他方法在相同数据集上的测试结果的比较表明,分布式学习算法同样具有较高的检测效率和较低的误报率.     

基于奖惩学习算法的序参量重构方法

分析了协同方法中序参量在模式识别过程中存在的不合理因素,阐述了经过序参量重构的协同方法能够有效地克服这些不合理因素,从而提高模式识别性能．为了获得序参量重构参数,提出了基于奖惩学习算法的重构参数的搜索算法,该算法结合协同神经网络的自学习能力和奖惩学习算法的搜索能力来训练参量重构参数．利用从实际应用中得到的样本新看法进行的测试表明,新看法确实能找到一组序参量重构参数使识别性能得到较大提高,具有很好的     

基于Flink的分布式在线集成学习框架研究

在大数据环境背景下,传统机器学习算法多采用单机离线训练的方式,显然已经无法适应持续增长的大规模流式数据的变化。针对该问题,提出一种基于Flink平台的分布式在线集成学习算法。该方法基于Flink分布式计算框架,首先通过数据并行的方式对在线学习算法进行分布式在线训练;然后将训练出的多个子模型通过随机梯度下降算法进行模型的动态权重分配,实现对多个子模型的结果聚合;与此同时,对于训练效果不好的模型利用其样本进行在线更新;最后通过单机与集群环境在不同数据集上做实验对比分析。实验结果表明,在线学习算法结合Flink框架的分布式集成训练,能达到集中训练方式下的性能,同时大大提高了训练的时间效率。     

增量支持向量机算法研究

在进行增量学习时,随着新增样本的不断加入,致使训练集规模不断扩大,消耗大量计算资源,寻优速度缓慢.在深入研究了支持向量分布的特点的基础上提出了分治加权增量支持向量机算法.该算法有效利用了广义KKT条件和中心距离比值,舍弃对后续训练影响不大的样本,得到边界支持向量集,对训练样本进行有效的淘汰.将所剩样本合并,进行加权处理,解决某些样本严重偏离所属的类别,对正常分布的样本不公平的问题.实验结果表明,该方法在保证分类精度的同时,能有效地提高训练速度.     

一种基于局部敏感哈希的SVM快速增量学习算法

为了提高大规模高维度数据的训练速度和分类精度,提出了一种基于局部敏感哈希的SVM快速增量学习方法。算法首先利用局部敏感哈希能快速查找相似数据的特性,在SVM算法的基础上筛选出增量中可能成为SV的样本,然后将这些样本与已有SV一起作为后续训练的基础。使用多个数据集对该算法进行了验证。实验表明,在大规模增量数据样本中,提出的SVM快速增量学习算法能有效地提高训练学习的速度,并能保持有效的准确率。     

一种新的基于构造型神经网络分类算法

该文提出一种基于构造型神经网络的最大密度覆盖分类算法,该算法直接从样本数据本身入手,通过引入一个密度估计函数对样本数据进行聚类分析,找出同类样本中具有最大密度的样本数据点,然后在特征空间里作超平面与球面相交,得到一个球面领域覆盖,从而将神经网络训练问题转化为点集覆盖问题．该算法有效地克服了传统神经网络训练时间长、学习复杂的问题,同时也考虑了神经网络规模的优化问题,实验证明了该算法的有效性．     

基于Hebb规则的分布神经网络学习算法

随着知识发现与数据挖掘领域数据量的不断增加,为了处理大规模数据,scaling up学习成为KDD的热点研究领域.文中提出了基于Hebb规则的分布式神经网络学习算法实现scaling up学习.为了提高学习速度,完整数据集被分割成不相交的子集并由独立的子神经网络来学习;通过对算法完整性及竞争Hebb学习的风险界的分析,采用增长和修剪策略避免分割学习降低算法的学习精度.对该算法的测试实验首先采用基准测试数据circlein-the-square测试了其学习能力,并与SVM,ARTMAP和BP神经网络进行比较;然后采用UCI中的数据集USCensus1990测试其对大规模数据的学习性能.     

模拟电路故障的分布式诊断算法

提出一种模拟电路故障的分布式诊断算法,用以解决大数据量故障样本集所带来的网络规模过大,训练时间过长等问题。该算法采用有监督Hebb学习规则,在训练学习过程中添加类别标识,避免了因数据分割而产生的部分知识的丢失。分别用提出的分布式算法和传统的BP算法对实例电路进行故障诊断,实验结果表明,提出的分布式算法不仅和BP算法的诊断正确率相当,而且有效地提高了训练学习的速度。     

TRA:改进的SVM增量学习淘汰算法

介绍了支持向量机,报告了支持向量机增量学习算法的研究现状,分析了支持向量集在加入新样本后支持向量和非支持向量的转化情况.针对淘汰机制效率不高的问题,提出了一种改进的SVM增量学习淘汰算法--二次淘汰算法.该算法经过两次有效的淘汰,对分类无用的样本进行舍弃,使得新的增量训练在淘汰后的有效数据集进行,而无需在复杂难处理的整个训练数据集中进行,从而显著减少了后继训练时间.理论分析和实验结果表明,该算法能在保证分类精度的同时有效地提高训练速度.     

一种递归神经网络的快速并行算法

针对递归神经网络BP(Back Propagation)学习算法收敛慢的缺陷,提出一种新的递归 神经网络快速并行学习算法.首先,引入递推预报误差(RPE)学习算法,并且证明了其稳定性； 进一步地,为了克服RPE算法集中运算的不足,设计完整的并行结构算法.本算法将计算分配 到神经网络中的每个神经元,完全符合神经网络的并行结构特点,也利于硬件实现.仿真结果表 明,该算法比传统的递归BP学习算法具有更好的收敛性能.理论分析和仿真实验证明,该算法 与RPE集中运算算法相比可以大大节省计算时间.     

Performance modeling of load-balancing algorithms using neural networks

The paper presents a new approach that uses neural networks to predict the performance of a number of dynamic decentralized load-balancing strategies. A distributed multicomputer system using distributed load-balancing strategies is represented by a unified analytical queuing model. A large simulation data set is used to train a neural network using the back-propagation learning algorithm based on gradient descent The performance model using the predicted data from the neural network produces the average response time of various load balancing algorithms under various system parameters. The validation and comparison with simulation data show that the neural network is very effective in predicting the performance of dynamic load-balancing algorithms. Our work leads to interesting techniques for designing load balancing schemes (for large distributed systems) that are computationally very expensive to simulate. One of the important findings is that performance is affected least by the number of nodes, and most by the number of links at each node in a large distributed system.     

基于神经网络模型的时间序列预测算法及其应用

提出了一种神经网络模型的时间序列直接多步预测算法。网络的学习采用具有遗忘因子的ＢＰ算法与时差方法相结合的混合算法，解决了经典ＢＰ算法在直接多步预测中不能渐进计算的问题，同时网络具备一定的结构学习能力。采用该算法对现场采集的高炉铁水含硅量时间序列数据进行预报实验，表明本文提出的直接多步预测方法是可行的。     

Fuzzy DIFACONN-miner: A novel approach for fuzzy rule extraction from neural networks

Artificial neural networks (ANNs) are mathematical models inspired from the biological nervous system. They have the ability of predicting, learning from experiences and generalizing from previous examples. An important drawback of ANNs is their very limited explanation capability, mainly due to the fact that knowledge embedded within ANNs is distributed over the activations and the connection weights. Therefore, one of the main challenges in the recent decades is to extract classification rules from ANNs. This paper presents a novel approach to extract fuzzy classification rules (FCR) from ANNs because of the fact that fuzzy rules are more interpretable and cope better with pervasive uncertainty and vagueness with respect to crisp rules. A soft computing based algorithm is developed to generate fuzzy rules based on a data mining tool (DIFACONN-miner), which was recently developed by the authors. Fuzzy DIFACONN-miner algorithm can extract fuzzy classification rules from datasets containing both categorical and continuous attributes. Experimental research on the benchmark datasets and comparisons with other fuzzy rule based classification (FRBC) algorithms has shown that the proposed algorithm yields high classification accuracies and comprehensible rule sets.     

MCM划分的自组织神经网络

本文在提出一个直接和间接相联模块间相似性的表示方法的基础上，提出了一个基于自组织神经网络的性能驱动ＭＣＭ划分的神经学习方法。算法求解如何在高层设计中将功能模块分配到ＭＣＭ芯片中。算法不仅考虑了模块间的相似关系，还考虑了ＭＣＭ的版图结构；具有芯片间连线数目最少和时钟周期最短双重优化目标；能使连线尽量产生在相邻近的芯片之间；能满足时延、散热和面积约束。文中还提出了一个层次神经网络模型和面积约束下的ＭＣ     

基于Spark的分布式大数据机器学习算法

对于大数据而言,机器学习技术是不可或缺的;对于机器学习而言,大规模的数据可以提升模型的精准度。然而复杂的机器学习算法从时间和性能上都急需分布式内存计算这种关键技术。Spark分布式内存计算可以实现算法的并行操作,有利于机器学习算法处理大数据集。因此本文提出在Spark分布式内存环境下实现非线性机器学习算法,其中包括多层可变神经网络、BPPGD SVM、K-means,并在实现的基础上进行数据压缩、数据偏向抽样或者数据加载等方面的优化。为了实现充分配置资源批量运行脚本,本文也实现SparkML调度框架来调度以上优化算法。实验结果表明,优化后的3种算法平均误差降低了40%,平均时间缩短了90%。     

神经网络结构搜索方法综述

如今,深度学习广泛地应用于生活、工作中的各个方面,给我们带来了极大的便利.在此背景下,需要设计针对不同任务的神经网络结构,满足不同的需求.但是,人工设计神经网络结构需要专业的知识,进行大量的实验.因此,神经网络结构搜索算法的研究显得极为重要.神经网络结构搜索(NAS)是自动深度学习(AutoDL)过程中的一个基本步骤,对深度学习的发展与应用有着重要的影响.早期,一些神经网络结构搜索算法虽然搜索到了性能优越的神经网络结构,但是需要大量的计算资源且搜索效率低下.因此,研究人员探索了多种设计神经网络结构的算法,也提出了许多减少计算资源、提高搜索效率的方法.本文首先简要介绍了神经网络结构的搜索空间,其次对神经网络结构搜索算法进行了全面的分类汇总、分析,主要包括随机搜索算法、进化算法、强化学习、基于梯度下降的方法、基于顺序模型的优化算法,再其次探索并总结了提高神经网络结构搜索效率的方法,最后探讨了目前神经网络结构搜索工作中存在的问题以及未来的研究方向.     

基于Movidius神经计算棒的行人检测方法

Movidius神经计算棒是基于USB模式的深度学习推理工具和独立的人工智能加速器，为广泛的移动和嵌入式视觉设备提供专用深度神经网络加速功能。针对深度学习的嵌入式应用，实现了一种基于Movidius神经计算棒的近实时行人目标检测方法。首先，通过改进RefineDet目标检测网络结构使模型大小和计算适应嵌入式设备的要求；然后，在行人检测数据集上对模型进行重训练，并部署于搭载Movidius神经计算棒的树莓派上；最后，在实际环境中对模型进行测试，算法达到了平均每秒4帧的处理速度。实验结果表明，基于Movidius神经计算棒，在计算资源紧张的树莓派上可完成近实时的行人检测任务。     

Nonlinear single layer neural network training algorithm for incremental,nonstationary and distributed learning scenarios

Incremental learning of neural networks has attracted much interest in recent years due to its wide applicability to large scale data sets and to distributed learning scenarios. Moreover, nonstationary learning paradigms have also emerged as a subarea of study in Machine Learning literature due to the problems of classical methods when dealing with data set shifts. In this paper we present an algorithm to train single layer neural networks with nonlinear output functions that take into account incremental, nonstationary and distributed learning scenarios. Moreover, it is demonstrated that introducing a regularization term into the proposed model is equivalent to choosing a particular initialization for the devised training algorithm, which may be suitable for real time systems that have to work under noisy conditions. In addition, the algorithm includes some previous models as special cases and can be used as a block component to build more complex models such as multilayer perceptrons, extending the capacity of these models to incremental, nonstationary and distributed learning paradigms. In this paper, the proposed algorithm is tested with standard data sets and compared with previous approaches, demonstrating its higher accuracy.     

Analyzing the performance of fuzzy cognitive maps with non-linear hebbian learning algorithm in predicting autistic disorder

The soft computing technique of fuzzy cognitive maps (FCM) for modeling and predicting autistic spectrum disorder has been proposed. The FCM models the behavior of a complex system and is used to develop new knowledge based system applications. FCM combines the robust properties of fuzzy logic and neural networks. To overwhelm the limitations and to improve the efficiency of FCM, a good learning method of unsupervised training could be applied. A decision system based on human knowledge and experience with a FCM trained using unsupervised non-linear hebbian learning algorithm is proposed here. Through this work the hebbian algorithm on non-linear units is used for training FCMs for the autistic disorder prediction problem. The investigated approach serves as a guide in determining the prognosis and in planning the appropriate therapies to special children.