概率神经网络样例选择算法

提出一种概率神经网络样例选择算法,它包括两个阶段,第一个阶段利用概率神经网络计算样例的不确定性,第二个阶段利用计算出的不确定性选择样例.与压缩近邻规则、编辑近邻规则、约简近邻规则和迭代过滤算法四种代表性的样例选择算法进行了实验比较,实验结果显示在能力保持框架下,该算法的性能优于这四种方法.本文提出的算法具有下列特点:(1)学习速度快;(2)没有分类器的限制;(3)具有好的泛化能力.     

基于概率神经网络的入侵检测技术

提出一种基于概率神经网络的高效入侵检测技术。对网络数据处理、概率神经网络的训练与检测及其算法进行分析。在网络训练中,提出一种基于实验数据选择概率神经网络关键参数的方法,分析该方法的可行性。实验表明通过此方法能使入侵检测系统具有更高的检测精度和效率。     

基于判别式分析和神经网络的特征选择方法

为了获得重要的特征集合,提出了一种基于判别式分析算法和神经网络的特征选择方法。通过最小化扩展互熵误差函数来训练神经网络,这一误差函数的使用减小了神经网络传输函数的导数,降低了输出敏感度。该方法首先利用判别式分析算法得到一个有序的特征队列,然后通过正则化神经网络进行特征的选择,特征选择过程是基于单个特征的移除带来验证数据集上分类误差变化这一原理。与其他基于不同原理的四种方法进行了比较,实验结果表明,利用该算法训练的网络能够获得较高分类准确率。     

结合概率型神经网络(PNN)和学习矢量量化(LVQ)算法的文本分类方法

针对文本自动分类问题,提出一种基于概率型神经网络(PNN)和学习矢量量化(LVQ)相结合的文本分类算法,该方法借助TFIDF方法提取文本特征及特征值,形成文本分类特征向量,利用概率型神经网络构建分类模型,并利用LVQ学习算法对神经网络模型竞争层网络进行学习,使相应模式向量相互靠拢,远离其他模式,从而实现文本分类.实验结果表明,提出的该方法在文本分类中表现了很好的效果,不仅具有很好的分类准确率,还表现出很好的学习效率.     

基于统计学习框架的中文新词检测方法

近邻(Nearest Neighbor,NN)算法是一种简单实用的监督分类算法。但NN算法在分类未知类标的样例时,需要存储整个训练集,还要计算该样例到训练集中每一个样例之间的距离,所以NN算法的计算复杂度非常高。为了克服这一缺点,P.Hart提出了压缩近邻(Condensed Nearest Neighbor,CNN)规则算法,即从整个训练集中找原样例集的一致子集(一致子集是能正确分类训练集中其他样例的子集)。其计算复杂度依然比较高,特别是对于大型数据库,寻找其一致子集是非常耗费时间的。针对这一问题,提出了基于粗糙集技术的压缩近邻规则算法。该算法分为3步,首先利用粗糙集方法求属性约简(特征选择),以将冗余的属性去掉。然后选取靠近边界域的样例,以将冗余的样例去掉。最后从选出的样例中计算一致子集。该算法能同时沿垂直方向和水平方法进行数据约简。实验结果显示,所提出的方法是行之有效的。     

一种改进的选择神经网络集成方法

提出一种改进的选择神经网络集成方法,首先构造一批单个神经网络个体,分别利用Bootstrap算法产生若干个训练集并行进行训练;然后采用聚类算法计算训练好的个体网络之间的差异度和个体网络在验证集的预测精度;最后根据个体精度和个体差异度选择合适的个体网络加入集成.实验结果验证,该集成方法能较好地提高集成的预测精度和泛化能力.     

基于邻域粗糙集和概率神经网络集成的基因表达谱分类方法*

从癌症基因表达谱分析入手,针对基因表达谱维数高、样本少的特点,提出一种用于癌症分类的基于邻域粗糙集和概率神经网络集成的分类方法.首先利用Relief算法对基因进行排序,然后利用邻域粗糙集选取分类特征基因,最后结合概率神经网络集成分类模型进行癌症分类.实验结果表明,该方法可以快速有效地选取癌症特征基因,能获得更好的分类效...     

基于免疫算法的文本分类研究

借鉴免疫的生物学机理,本文提出了一种基于抗体浓度的克隆选择算法,该算法中抗体的选择概率由亲和度与浓度共同决定,具有高亲和度和低浓度的抗体才受到促进。该算法在文本分类领域得到了成功应用。在文本分类的应用中,抗原、B细胞和抗体分别对应训练文本、分类器的一个解和分类器的解与训练文本的亲和度,最后训练完成的分类器含有多个记忆细胞,有效保证了解的多样性。在数据集20_newsgroups上的实验结果显示,该方法的综合性能指标F1可达80.90%,优于Rocchio法与Naive Bayes法。     

基于混沌神经网络的分类算法

提出了一种基于混沌神经网络的分类算法,利用改进的进化策略对多个三层前馈混沌神经网络同时进行训练.训练好各个分类模型以后,将待识别数据分别输入,混沌神经网络分类模型输出最终分类结果.实验结果表明,该算法可以较好地进行数据分类,而且与传统的神经网络算法以及决策树算法相比,在分类精度和识别率方面均有一定的改善,体现出较好的稳定性.     

基于Matlab的概率神经网络的实现及应用

介绍概率神经网络(PNN)的模型和基本算法,以及利用M atlab神经网络工具箱设计PNN网络的方法和步骤,实现对网络的设计、训练、仿真。针对某水泥泵车臂架细部焊接结构的疲劳寿命实验数据,应用PNN的分类功能对实验数据进行训练仿真处理,得到对臂架细部结构疲劳寿命的预测分类结果,验证了此方法的可靠性。     

Artificial neural networks with evolutionary instance selection for financial forecasting

In this paper, I propose a genetic algorithm (GA) approach to instance selection in artificial neural networks (ANNs) for financial data mining. ANN has preeminent learning ability, but often exhibit inconsistent and unpredictable performance for noisy data. In addition, it may not be possible to train ANN or the training task cannot be effectively carried out without data reduction when the amount of data is so large. In this paper, the GA optimizes simultaneously the connection weights between layers and a selection task for relevant instances. The globally evolved weights mitigate the well-known limitations of gradient descent algorithm. In addition, genetically selected instances shorten the learning time and enhance prediction performance. This study applies the proposed model to stock market analysis. Experimental results show that the GA approach is a promising method for instance selection in ANN.     

基于神经网络的K－L变换和心电地图数据压缩

Ｋ－Ｌ变换是均方误差准则意义下的最佳交换，是心电地图数据压缩的重要方法．但Ｋ－Ｌ变换的常规算法计算量大，目前又无快速算法，实现困难．本文采用人工神经网络算法来实现Ｋ－Ｌ变换，并将其应用于心电地图的数据压缩，实验结果表明：该网络算法具有设计简单、易于实现以及对数据扰动的稳健性等优点，其压缩效果与Ｋ－Ｌ变换常规算法相当．     

基于随机森林和投票机制的大数据样例选择算法

针对大数据样例选择问题,提出了一种基于随机森林（RF）和投票机制的大数据样例选择算法。首先,将大数据集划分成两个子集,要求第一个子集是大型的,第二个子集是中小型的。然后,将第一个大型子集划分成q个规模较小的子集,并将这些子集部署到q个云计算节点,并将第二个中小型子集广播到q个云计算节点。接下来,在各个节点用本地数据子集训练随机森林,并用随机森林从第二个中小型子集中选择样例,之后合并在各个节点选择的样例以得到这一次所选样例的子集。重复上述过程p次,得到p个样例子集。最后,用这p个子集进行投票,得到最终选择的样例子集。在Hadoop和Spark两种大数据平台上实现了提出的算法,比较了两种大数据平台的实现机制。此外,在6个大数据集上将所提算法与压缩最近邻（CNN）算法和约简最近邻（RNN）算法进行了比较,实验结果显示数据集的规模越大时,与这两个算法相比,提出的算法测试精度更高且时间消耗更短。证明了提出的算法在大数据处理上具有良好的泛化能力和较高的运行效率,可以有效地解决大数据的样例选择问题。     

基于故障可诊断性量化评价的传感器优化配置方法研究

提出了一种基于故障可诊断性量化评价的传感器优化配置方法.针对可能发生故障的非线性系统,首先,基于K-L散度思想,通过计算故障情形下残差概率密度函数的差异度,得到了系统不同故障下故障可检测性和可分离性的量化指标,由于稀疏内核密度估计和蒙特卡洛算法的引入,克服了K-L散度计算中残差概率密度函数难以估计和非线性结构的K-L散度计算复杂度高的困难;其次,以故障可诊断性的定量评价为基础,借助于动态规划方法给出了系统满足期望故障可诊断性的传感器最优集合;最后,通过数值仿真和实体实验仿真验证了文中方法在故障诊断系统传感器优化配置中的有效性.     

Dynamic action recognition based on dynemes and Extreme Learning Machine

In this paper, we propose a novel method that performs dynamic action classification by exploiting the effectiveness of the Extreme Learning Machine (ELM) algorithm for single hidden layer feedforward neural networks training. It involves data grouping and ELM based data projection in multiple levels. Given a test action instance, a neural network is trained by using labeled action instances forming the groups that reside to the test sample’s neighborhood. The action instances involved in this procedure are, subsequently, mapped to a new feature space, determined by the trained network outputs. This procedure is performed multiple times, which are determined by the test action instance at hand, until only a single class is retained. Experimental results denote the effectiveness of the dynamic classification approach, compared to the static one, as well as the effectiveness of the ELM in the proposed dynamic classification setting.     

基于差异演化概率神经网络的纹理图像识别

引入差异演化（DE）算法来弥补基本概率神经网络的不足,从而提出一种基于差异演化概率神经网络的纹理图像识别方法。首先用树形结构小波包变换提取纹理图像的能量特征,用基于统计的纹理特征方法提取统计均值、平均能量、标准差和平均残余特征,得到纹理图像的特征矢量;然后用差异演化概率神经网络训练纹理图像的特征矢量,从而实现纹理图像的识别。实验结果表明：该方法较BP神经网络、RBF神经网络和基本的PNN有更高的识别正确率,且收敛更快。     

基于BP神经网络的垃圾邮件过滤器研究

针对电子邮件特征向量庞大的问题,采用K-L变换与遗传算法（GeneticAlgorithm）相结合的KLGA算法对邮件向量进行降维。对于基于BP神经网络的邮件过滤器,采用遗传算法来优化神经网络权值,进一步提高邮件分类效果。通过试验数据表明,此优化方法能够快速、高效地对垃圾邮件进行过滤。     

一种基于模糊粗糙集的快速特征选择算法

模糊粗糙集由于能够处理实数值数据,甚至是混合值数据中的不确定性受到人们的广泛关注,其最重要的应用之一是特征选择,相关的特征选择方法已有不少研究,但其快速的特征选择算法研究很少。实际中的数据一般含有噪声点或信息含量低的样例,如果对数据集先筛选出代表样例,再对筛选的样例集进行数据挖掘便会降低挖掘计算量。本文基于模糊粗糙集,先根据样例的模糊下近似值对样例进行筛选,然后利用筛选样例的模糊粗糙信息熵构造特征选择的评估度量,并给出相应的特征选择算法,从而降低了算法的计算复杂度。数值试验表明该快速算法具有有效性,并且对控制筛选样例个数的参数给出了建议。     

A divide-and-conquer recursive approach for scaling up instance selection algorithms

Instance selection is becoming more and more relevant due to the huge amount of data that is being constantly produced. However, although current algorithms are useful for fairly large datasets, scaling problems are found when the number of instances is of hundreds of thousands or millions. In the best case, these algorithms are of efficiency O(n ²), n being the number of instances. When we face huge problems, scalability is an issue, and most algorithms are not applicable. This paper presents a divide-and-conquer recursive approach to the problem of instance selection for instance based learning for very large problems. Our method divides the original training set into small subsets where the instance selection algorithm is applied. Then the selected instances are rejoined in a new training set and the same procedure, partitioning and application of an instance selection algorithm, is repeated. In this way, our approach is based on the philosophy of divide-and-conquer applied in a recursive manner. The proposed method is able to match, and even improve, for the case of storage reduction, the results of well-known standard algorithms with a very significant reduction of execution time. An extensive comparison in 30 datasets form the UCI Machine Learning Repository shows the usefulness of our method. Additionally, the method is applied to 5 huge datasets with from 300,000 to more than a million instances, with very good results and fast execution time.