基于选择性神经网络集成的地基云状识别算法

针对传统地基云图云状识别模型精度较低的问题,提出一种基于K均值算法的选择性神经网络集成的方法。该方法以BP神经网络集成模型为基础,采用K均值聚类算法选择部分有差异性的个体神经网络进行集成,建立了云状分类模型。通过对云图样本进行仿真实验,结果表明所提出的算法相对于单个BP神经网络及传统的BP_AdaBoost集成算法用于云图的分类,能有效地提高云图识别分类的精度。     

基于差异性聚类的选择性集成人体行为识别模型

为了提高基于智能手机的人体行为识别率,优化多分类器集成系统的泛化性能及个体分类器的差异性,提出了基于差异性增量聚类(Diversity Measure Increment-Affinity Propagation clustering,DMI-AP)的选择性集成人体行为识别模型。首先对训练集的所有样本进行bootstrap抽样并训练基分类器,选出大于平均识别率的基分类器构成分类器集合;然后将集合的基分类器作为聚类对象进行分组,通过计算基分类器间的双误差异性值求出表征个体分类器特征的双误差异性增量值,输入近邻传播聚类算法得到k个类簇,选取每簇的中心分类器构成多分类器集成系统;最后使用等概率均值法融合k个分类器的输出结果。实验表明,该模型算法使个体分类器的差异性增大、分类器搜索空间缩小;与传统的Bagging,Adaboost以及RF方法相比,该模型的识别准确率平均提高了8.11%。     

基于模糊聚类的神经网络集成

针对差异性是集成学习的一个重要条件,研究基于模糊聚类技术提高神经网络集成差异性的方法。提取大量弱分类器的权值和阈值并作为模糊聚类的数据对象,然后将聚类结果作为集成网络中个体网络的权值和阈值,最后在标准数据集上进行仿真实验,证实方法的有效性。     

一种基于聚类技术的选择性神经网络集成方法

神经网络集成是一种很流行的学习方法，通过组合每个神经网络的输出生成最后的预测、为了提高集成方法的有效性，不仅要求集成中的个体神经网络具有很高的正确率，而且要求这些网络在输入空间产生不相关的错误．然而，在现有的众多集成方法中，大都采用将训练的所有神经网络直接进行组合以形成集成，实际上生成的这些神经网络可能具有一定的相关性．为了进一步提高神经网络间的差异性，一种基于聚类技术的选择性神经网络集成方法CLU_ENN被提出．在获得个体神经网络后，并不直接对这些神经网络集成，而是先应用聚类算法对这些神经网络模型聚类以获得差异较大的部分神经网络；然后由部分神经网络构成集成；最后，通过实验研究了CLU_ENN集成方法，与传统的集成方法Bagging相比，该方法取得了更好的效果。     

模糊k均值算法和神经网络算法在入侵检测中的应用

为了解决由于入侵检测样本数据多和冗余属性导致的BP神经网络训练速度慢和效率低的问题,本文提出利用模糊k均值聚类算法对样本数据依据和目标属性相关性和隶属度强弱进行聚类,优化神经网络权值。实验表明,该算法检测的准确率较高,网络入侵检测的性能和效率都得到了提高。     

基于k-means聚类的神经网络分类器集成方法研究

针对差异性是集成学习的必要条件,研究了基于k-means聚类技术提高神经网络分类器集成差异性的方法。通过训练集并使用神经网络分类器学习算法训练许多分类器模型,在验证集中利用每个分类器的分类结果作为聚类的数据对象;然后应用k-means聚类方法对这些数据聚类,在聚类结果的每个簇中选择一个分类器代表模型,以此构成集成学习的成员;最后应用投票方法实验研究了这种提高集成学习差异性方法的性能,并与常用的集成学习方法bagging、adaboost进行了比较。     

基于集成神经网络技术的IDS入侵检测系统研究

网络入侵检测是近几年信息安全领域的研究热点。为了提高网络入侵检测系统中异常数据检测的精度、降低漏报率和误报率,维护网络系统安全,该文提出了一种基于Adaboost算法集成BP神经网络的网络入侵检测方法。该方法首先构造个体BP神经网络模型,个体BP神经网络为弱分类器即可,然后通过大量训练样本对模型进行训练,采用Adaboost算法对其弱分类器进行集成构造强分类器模型。最后在KDD 99数据集上,通过Matlab软件进行仿真实验,实验结果表明,该方法能有效的提高异常数据检测的精度。     

基于AP二次聚类的神经网络集成算法研究

为了提高个体神经网络精度及差异度进而提高神经网络集成(Neural Network Ensemble,NNE)的泛化性能,提出了一种基于二次聚类的神经网络集成方法。首先对所有样本进行聚类,得到第一次聚类样本子集;然后对每一类样本子集进行二次聚类,得到每一子类的样本子集,通过Affinity Propagation(AP)聚类使得"类内相似,类间相异"的准则最大化,类内样本能够反映真实的数据分布;最后按照排列组合的方式,从二次聚类的每个样本子集中选取一类样本构成训练集来构造一个个体神经网络。这样从不同类中选择样本集构造的个体神经网络差异性较大,既能使数据的规模较小,又能反映真实的数据分布,用这种方法产生的个体神经网络进行集成具有较高的性能。仿真实验表明,该方法能够取得较好的性能。     

基于改进聚类分析的神经网络集成方法应用研究

随着工业生产规模扩大、生产过程日趋复杂,人们对过程模拟提出了更高的要求。提出一种基于改进聚类分析的神经网络集成方法。首先,根据数据密度分布,改进传统K-均值聚类分析中初始中心点选取的不足,对样本进行分类,扩大样本间的差异性;第二,运用具有快速学习能力的广义回归神经网络算法对各类样本建立个体神经网络并进行训练;第三,对所有样本增加构造补偿神经网络,进行误差补偿,以消除由于选择错误造成的输出误差;最后,根据计算得到的聚类中心对输入样本进行数值分析,选择输出个体神经网络,并与构造的补偿网络输出进行比较,最终实现神经网络集成。通过人工数据Sinc验证模型,此方法有效提高了模型精度,对提高过程模拟准确性提供了新途径。     

基于聚类的BP网络在织物染色配色中的应用

针对织物染色配色过程中的复杂性和非线性问题,提出一种基于聚类的BP神经网络织物染色配色方法.通过模糊C均值聚类方法对初始样本集进行预处理,然后构建结构合理的BP神经网络对处理后的样本集进行训练和仿真.实验结果验证该方法与传统的BP神经网络相比能明显提高网络的收敛速度和泛化能力,能较准确地实现对织物染色配方的预测.     

一种基于改进k-means的RBF神经网络学习方法

针对传统RBF神经网络学习算法构造的网络分类精度不高,传统的k-means算法对初始聚类中心的敏感,聚类结果随不同的初始输入而波动。为了解决以上问题,提出一种基于改进k-means的RBF神经网络学习算法。先用减聚类算法优化k-means算法,消除聚类的敏感性,再用优化后的k-means算法构造RBF神经网络。仿真结果表明了该学习算法的实用性和有效性。     

基于联合卷积和递归神经网络的交通标志识别

提出了一种联合卷积和递归神经网络的深层网络结构,在卷积神经网络中引入了递归神经网络能学到的组合特征:原始图片先通过一级由k均值聚类学得滤波器的卷积神经网络,得到的结果再同时通过一级卷积和一级递归神经网络,最后得到的特征向量由Softmax分类器进行分类。实验结果表明:在第二级卷积和递归神经网络权重随机的情况下,该网络的识别率已经能够达到98.28%,跟其他网络结构相比,大大减少了训练时间,而且无需复杂的工程技巧。     

QPSO算法优化BP网络的网络流量预测

网络流量预测对于大规模网络的规划设计和网络资源管理等方面都具有积极的意义,是网络流量工程重要组成部分。结合QPSO算法和BP神经网络的优势,采用QPSO算法对BP神经网络的权值和阈值进行优化,并利用历史记录训练BP网络。仿真实验表明,与PSO训练的BP网络以及直接用BP网络进行预测的模型相比,基于QPSO训练的BP网络流量预测模型具有更好的预测能力。     

基于蚁群算法优化回声状态网络的研究

针对输出权值采用最小二乘法的回声状态网络(ESN),在随机选取输入权值和隐层神经元阈值时,存在收敛速度慢、预测精度不稳定等问题,提出了基于蚁群算法优化回声状态网络(ACO-ESN)的算法。该算法将优化回声状态网络的初始输入权值、隐层神经元阈值问题转化为蚁群算法中蚂蚁寻找最佳路径的问题,输出权值采用最小二乘法计算,通过蚁群算法的更新、变异、遗传等操作训练回声状态网络,选择出使回声状态网络预测误差最小的输入权值和阈值,从而提高其预测性能。将ACO-ESN与ELM、I-ELM、OS-ELM、B-ELM等神经网络的仿真结果进行对比,结果验证经过蚁群算法优化的回声状态网络加快了其收敛速度,改善了其预测性能,并增强了隐层神经元的敏感度。     

遗传算法优化BP神经网络的混沌时间序列预测

为提高BP神经网络预测模型对混沌时间序列的预测精度,将改进的遗传算法和BP神经网络结合,提出了一种基于改进遗传算法优化BP神经网络的混沌时间序列预测方法。利用改进的遗传算法优化BP神经网络的权值和阈值,训练BP神经网络预测模型求得最优解。将该模型应用到几个典型的非线性系统进行预测仿真,验证了该算法的有效性,与BP神经网络预测模型的预测结果进行了比较,仿真结果表明该方法对混沌时间序列具有更好的非线性拟合能力和更高的预测精度。     

基于广义回归网络的动态权重回归型神经网络集成方法研究*

神经网络集成技术能有效地提高神经网络的预测精度和泛化能力,已成为机器学习和神经计算领域的一个研究热点。针对回归分析问题提出了一种动态确定结果合成权重的神经网络集成构造方法,在训练出个体神经网络之后,根据各个体网络在输入空间上对训练样本的预测误差,应用广义回归网络来动态地确定各个体网络在特定输入空间上的权重。实验结果表明,与传统的简单平均和加权平均方法相比,本集成方法能取得更好的预测精度。     

基于广义回归网络的动态权重回归型神经网络集成方法研究

神经网络集成技术能有效地提高神经网络的预测精度和泛化能力，已成为机器学习和神经计算领域的一个研究热点。针对回归分析问题提出了一种动态确定结果合成权重的神经网络集成构造方法，在训练出个体神经网络之后，根据各个体网络在输入空间上对训练样本的预测误差，应用广义回归网络来动态地确定各个体网络在特定输入空间上的权重。实验结果表明，与传统的简单平均和加权平均方法相比，本集成方法能取得更好的预测精度。     

基于模糊聚类算法的神经网络集成

基于模糊聚类思想，提出了一种神经网络集成方法。利用隶属度函数，构造了一个分布函数，根据分布函数对训练数据进行抽样，用所抽得的数据作为个体神经网络的训练样本，多个个体神经网络构成神经网络集成，集成的输出采用相对多数投票法。理论分析和实验结果表明，该方法对模式分类能取得较好的效果。