基于多种群进化小生境遗传算法的神经网络进化设计方法研究

针对神经网络进化设计问题中棋型解基因编码与棋型解空间的特点，提出了多种群进化小生境遗传算法。该神经网络进化楚棋方法设计简单、通用，棋型性能评价全面合理，全局搜索效率高，电力负荷预测支持系统的实际应用效果表明此方法是有效的，具有一定的应用推广价值。     

基于进化算法的SFSN神经网络

提出一种基于进化算法的ＳＦＳＮｔＳａｍｐｌｉｎｇＦｒｅｑｕｃｈｅｙ０ｓｅｎｓｉｔｉｖｅ Ｎｅｔｗｏｒｋ）神经网络分类量化方法,该算法把并行全局寻代的进化算法ＥＰ（Ｅｖｏｌｕｔｉｏｎａｒｙ Ｐｒｕｇｒａｍｍｉｎｇ）融合进ＳＦＳＮ神经网络,使神经网络的结构优化与参数优化同时完成。即同时解决了最佳分类数与最佳矢量量化问题。实验结果证实了算法的有效性。     

一种基于聚类技术的选择性神经网络集成方法

神经网络集成是一种很流行的学习方法,通过组合每个神经网络的输出生成最后的预测.为 了提高集成方法的有效性,不仅要求集成中的个体神经网络具有很高的正确率,而且要求这 些网络在输入空间产生不相关的错误.然而,在现有的众多集成方法中,大都采用将训练的 所有神经网络直接进行组合以形成集成,实际上生成的这些神经网络可能具有一定的相关性 .为了进一步提高神经网络间的差异性,一种基于聚类技术的选择性神经网络集成方法CLU_E NN被提出.在获得个体神经网络后,并不直接对这些神经网络集成,而是先应用聚类算法对 这些神经网络模型聚类以获得差异较大的部分神经网络;然后由部分神经网络构成集成;最 后,通过实验研究了CLU_ENN集成方法,与传统的集成方法Bagging相比,该方法取得了更好 的效果.     

一种基于密度聚类的小生境差分进化算法

针对基本差分进化算法早熟收敛的缺陷,提出了一种基于密度聚类的小生境差分进化算法。该算法基于DE/rand/2/bin变异方式全局搜索能力强、鲁棒性好和DE/best/2/bin变异方式局部搜索能力强、收敛速度快的特点,首先初始化一个没有子种群的全局种群,再在全局种群中采用DE/rand/2/bin进行迭代搜索,并对其中的个体进行聚类,当聚类簇中的个体数目达到规定的最小规模时形成一个小生境子种群,然后在各子种群中采用改进的DE/best/2/bin进行迭代搜索并重新进行聚类,从而提高进化过程中种群的多样性,增强算法跳出局部最优的能力。仿真实验表明,该方法能显著提高算法的收敛速度和全局搜索能力,有效避免早熟收敛。     

基于模糊聚类的神经网络集成

针对差异性是集成学习的一个重要条件,研究基于模糊聚类技术提高神经网络集成差异性的方法。提取大量弱分类器的权值和阈值并作为模糊聚类的数据对象,然后将聚类结果作为集成网络中个体网络的权值和阈值,最后在标准数据集上进行仿真实验,证实方法的有效性。     

基于小生境的混沌变异差分进化算法

针对高维复杂函数的优化问题,提出了基于小生境的混沌变异差分进化算法（CNDE）。算法结合小生境策略,使子种群高效独立地进行搜索,并引入混沌变异进行精细的遍历搜索,在运行中根据迭代次数自动地调整交叉概率因子从而使搜索的初始阶段提高种群多样性,而在搜索后期加强局部搜索能力。对3种经典函数的测试表明,新算法不仅具有很强的全局搜索能力,而且能有效避免早熟收敛问题。     

基于模糊聚类算法的神经网络集成

基于模糊聚类思想,提出了一种神经网络集成方法。利用隶属度函数,构造了一个分布函数,根据分布函数对训练数据进行抽样,用所抽得的数据作为个体神经网络的训练样本,多个个体神经网络构成神经网络集成,集成的输出采用相对多数投票法。理论分析和实验结果表明,该方法对模式分类能取得较好的效果。     

基于三相连接的进化模糊神经网络及应用

介绍了一种新型的进化模糊神经网络,规则节点层融入了三相电路的连接方式,用于在线的监督学习或者无人监督学习。使用进化聚类方法,模糊规则在系统执行过程中进行创建和更新,并且采用遗传算法即时优化进化聚类的结果,通过T-S模型模糊推理系统计算输出。     

基于双种群的小生境差分进化算法

将非线性方程组的求解问题转化为函数优化问题,当方程组有多个解时,它的适应值函数就是具有多个最优解的多峰函数.为此,提出了基于双种群的小生境差分进化算法.在该算法中,进化在两个不同的子群间并行进行,通过使用不同的变异策略,实现种群在解空间具有尽可能分散的探索能力的同时在局部具有尽可能细致的搜索能力.通过子群重组实现子群间的信息交换,然后引入小生境淘汰机制.对典型测试函数的优化结果表明,该算法能找到全部解,而且精度好.     

基于小生境的多目标进化算法

进化算法求解多目标优化问题平衡收敛性和多样性面临的主要挑战在两个方面：增强对帕累托最优前沿的选择压力和获得多样性良好的解集。然而,随着目标维数的增加,基于帕累托支配关系的选择标准无法有效地解决以上问题。因此,设计了一种基于小生境的多目标进化算法。基于小生境,提出了一种新的支配关系,其中,设计了一个聚合函数和一种采用目标向量角的密度估计方法分别度量候选解的收敛度和分布性。为了保证解集的收敛性,在同一个小生境内,仅仅收敛度最好的解是非支配解。为了维护解集的多样性,在任何两个不同的小生境内,一个小生境内兼具收敛度和分布性良好的解支配另一个小生境内收敛性和分布性均差的解,将提出的支配关系嵌入VaEA取代帕累托支配关系,设计了一种多目标进化算法VaEA-SDN。VaEA-SDN与NSGA-Ⅲ、VaEA、MSEA、NSGAII-CSDR、RPS-NSGAII以及CDR-MOEA等先进的算法在DTLZ(Deb-Thiele-Laumanns-Zitzler)和MaF(manyobjective function)基准测试系列问题上进行了广泛的对比仿真实验。仿真结果表明,VaEA-SDN平衡收敛收敛性...     

一种k均值和神经网络集成的语音识别方法

提出了一种基于k均值聚类和BP神经网络集成的语音识别方法,该方法以神经网络集成模型为基础,利用k均值聚类算法选择部分有差异性的个体神经网络再进行集成学习,既克服了单个BP网络模型容易局部收敛和不稳定性的缺点,又解决了传统集成方法训练时间长和个体网络差异性不明显的问题。通过对非特定人孤立词的语音识别的实验,证实了该方法的有效性。     

基于改进聚类分析的神经网络集成方法应用研究

随着工业生产规模扩大、生产过程日趋复杂,人们对过程模拟提出了更高的要求。提出一种基于改进聚类分析的神经网络集成方法。首先,根据数据密度分布,改进传统K-均值聚类分析中初始中心点选取的不足,对样本进行分类,扩大样本间的差异性;第二,运用具有快速学习能力的广义回归神经网络算法对各类样本建立个体神经网络并进行训练;第三,对所有样本增加构造补偿神经网络,进行误差补偿,以消除由于选择错误造成的输出误差;最后,根据计算得到的聚类中心对输入样本进行数值分析,选择输出个体神经网络,并与构造的补偿网络输出进行比较,最终实现神经网络集成。通过人工数据Sinc验证模型,此方法有效提高了模型精度,对提高过程模拟准确性提供了新途径。     

基于神经网络集成的入侵检测研究

提出一种新的基于神经网络集成的入侵检测方法。首先通过有区别地对待不同的训练数据训练神经网络，提高对小类别入侵的检测能力并防止网络训练中的退化现象；然后利用一种新的改进遗传算法优化集成网络的权，提高系统整体性能。理论和实验表明该方法具有较好的检测能力。     

基于神经网络集成技术构建IDSS知识库的研究

神经网络集成通过训练多个神经网络并将其结果进行合成,可以显著地提高学习系统的泛化能力,有助于工程技术人员利用神经网络技术来解决真实世界中的问题。在分析智能决策支持系统（IDSS）目前面临问题基础上,论述了神经网络集成实现的方法,对神经网络集成技术在构建IDSS知识库中的应用进行了研究,并成功进行了实现。     

基于神经网络集成的蛋白质二级结构预测模型

为了提高蛋白质二级结构预测精度,本文尝试采用一种基于串联BP网络集成的二级结构预测模型。首先根据二级结构是由其一级序列决定以及神经网络输出之间具有相关性,采用串联BP作为集成的子网络分类器,在训练过程中采用“剪枝法”和“早停”来防止过拟合。其次为增加网络的差异度,利用bagging方法对样本重采样并加入随机噪声。把单独训练的具有一定差异度的5个子网络利用相对多数“投票规则”进行整合。以Rs126中的90个蛋白质共15 377个氨基酸进行10倍率交叉验证,仿真结果表明此网络集成可以较好地对二级结构进行分类。     

基于样本重构的神经网络集成学习方法

在回顾以往神经网络集成的研究成果基础上,提出一种新的负相关学习方法,该方法易于执行,计算量小,有效的消除了学习中的复合线性问题,减小了集成误差,最后用测试用例对该方法进行了考察,证明该方法可以有效的降低集成预测误差,得到较为理想的集成效果。     

基于集成神经网络的CSTR状态预测

针对连续搅拌反应釜(CSTR)具有的多重稳态性质,提出使用多个相同拓扑结构的神经网络模块组成的集成神经网络对CSTR的状态进行预测的方法。对集成神经网络的所有网络模块使用多目标粒子群优化算法进行同步训练,使训练结果收敛于参数空间内最优的Pareto面。避免了单一神经网络训练收敛到某一最优点可能产生的过拟和的问题;解决了使用传统训练方法对集成神经网络的子网络进行独立训练时增加学习算法复杂度的问题。对CSTR浓度预测的测试结果证明集成神经网络比同等规模的单一神经网络更适用于CSTR的状态参数预测。     

A new genetic feature selection with neural network ensemble

A neural network ensemble is a learning paradigm in which a finite collection of neural networks is trained for the same task. Ensembles generally show better classification and generalization performance than a single neural network does. In this paper, a new feature selection method for a neural network ensemble is proposed for pattern classification. The proposed method selects an adequate feature subset for each constituent neural network of the ensemble using a genetic algorithm. Unlike the conventional feature selection method, each neural network is only allowed to have some (not all) of the considered features. The proposed method can therefore be applied to huge-scale feature classification problems. Experiments are performed with four databases to illustrate the performance of the proposed method.     

在癌症分类中基于分层抽样的神经网络集成算法

在基因表达谱数据的分析中,针对有效合理地选择特征基因集的问题,本文将分层抽样技术引入特征基因选择,提高特征基因集的分类能力。以神经网络作为分量分类器,神经网络集成进行分类预测。并在结肠癌数据集上进行实验,实验结果表明该方法能有效地降低特征基因集选择的复杂性,提高对于未知样本的分类预测效果。     

卫星云图的遗传神经网络集合预测模型研究

针对目前缺乏卫星云图非线性预测技术理论方法问题,采用类似于数值预报模式的集合预报方法,构建了一种遗传神经网络的卫星云图非线性滚动预测模型。通过对每间隔3小时的红外卫星云图样本序列作自然正交展开,将提取出的时间系数作为云图预报建模的预报分量。考虑降水云系的发展变化,主要是受到云团环境物理量场的影响,利用数值预报模式的物理量预报产品作为各预报分量的预报因子,并采用系统降维计算处理方法,分别建立相应的时间系数遗传神经网络集合预报模型。将预报得出的各时间系数与空间向量合成,得出未来时刻的卫星云图预报图。预报试验结果表明,这种非线性预报模型可以较好地预报未来20~30小时的强降水云团发展、移动的主要特征和变化趋势。实况云图与预测云图的平均相关系数达到0.78。