神经网络集成的设计与应用

传统的神经网络一般采用个体网络,其应用效果很大程度上取决于使用者的经验,且网络的泛化能力不强.一种改进的神经网络集成方法,为传统神经网络存在的问题提供了一个简易的解决方案.由理论分析和实验结果可以得出结论,神经网络集成方法比传统的个体网络方法的效果更好.     

一种新型的神经网络集成模型

神经网络集成作为神经网络技术的延伸,被广泛的用于解决分类问题。很多实际应用表明:神经网络集成表现出比单个神经网络更好的性能。而传统的神经网络集成模型中网络的构建和集成是分两个阶段完成的。论文提出一种新的神经网络集成结构模型“层状集成”。该模型中网络的构建和集成同时完成,且每个成员网络的输出流入到下一个神经网络,作为下一个神经网络的输入,以这种方式生成一种层状神经网络集成。该模型用于解决分类问题,表现出比传统神经网络集成更好的性能。     

基于神经网络集成的专家系统模型

提出一种基于神经网络集成的专家系统模型,并给出神经网络集成的构造算法.在该模型中神经网络集成作为专家系统的一个内嵌模块,用于专家系统的知识获取,克服了传统专家系统在知识获取中的＂瓶颈＂问题.并将该模型用于图书剔旧系统中,初步建成基于神经网络集成的图书剔旧专家系统原型.     

粗集神经网络及其在智能信息处理领域的应用

通过对近10年发展起来的粗集神经网络集成技术的总结和归纳,可将粗集神经网络集成技术分为3种:粗集神经网络混合系统、粗边界神经网络和粗-颗粒神经网络.介绍了每种集成技术的研究现状,分析和阐述了其原理及特点.最后,总结了当前粗集神经网络集成技术中需关注的一些问题,并指出了进一步研究的方向.     

优化分类型神经网络线性集成

构造多神经网络集成系统,系统的输出由个体神经网络的输出线性加权产生.提出了一种度量个体神经网络在不同的权重下集成性能的判别函数,函数表示了由个体神经网络输出刻画的模式类内会聚性和类间散布性.应用遗传算法解决了求解最优个体网络集成权重问题.分析了该判别函数的合理性及其与Bayes决策规则的关系.用两个手写体汉字特征数据集和4个UCI数据库中的数据集比较了所提出的神经网络集成方法和其他几种神经网络集成方法的性能.     

基于人工免疫网络的神经网络集成方法

提出基于人工免疫网络的神经网络集成方法AINEN。在用Bagging生成神经网络集成之后,将人工免疫网络的原理应用到神经网络集成,组成了一个从微观上看是一个一个的神经网络,而从宏观上看是一个大的人工免疫网络的集成。通过在微观层次上提高神经网络集成的个体之间的异构度,在宏观层次上提高免疫网络的适应度,从而降低集成的泛化误差。AINEN与GASEN方法在标准数据集上进行的实验表明,AINEN能取得更小的泛化误差。     

基于负相关神经网络集成算法及其应用的研究

传统的神经网络集成中各子网络之间的相关性较大,从而影响集成的泛化能力.为此,提出用负相关学习算法来训练神经网络集成,以增加子网络间的差异度,从而提高集成的泛化能力.并将基于负相关学习法的神经网络集成应用于中医舌诊诊断,以肝病病证诊断进行仿真.实验结果表明:基于负相关学习法的神经网络集成比单个子网和传统神经网络集成更能有效地提高其泛化能力.因此,基于负相关神经网络集成算法的研究是可行的、有效的.     

一种蜂群 神经网络集成方法的应用研究

提出一种蜂群神经网络集成方法,与一般的神经网络集成方法不同的是:(1)集成个体的生成首先利用蜂群算法优化三层BP神经网络的结构和连接权,并以优化后的网络结构和连接权作为新的神经网络结构和初始连接权,再进行新一轮BP神经网络训练后生成;(2)为提高集成个体间的差异度,首先对个体进行分类,其次利用ABC算法对每一类个体进行最优组合搜索,选取相关系数最低的一个组合的均值作为该类的代表,最后对不同类别的代表作平均集成.在西太平洋热带气旋强度的预测试验中,所提出的蜂群神经网络集成方法的泛化能力不仅明显优于单个神经网络,也优于Bagging和AdaBoost这两种集成方法.是一种具有较高应用价值的神经网络集成预测方法.     

用广义选择性神经网络集成预测MHC-Ⅱ分子结合肽

MHC Ⅱ类分子结合肽的预测对于免疫研究和疫苗设计非常重要,然而其结合肽长度的可变性等原因使其预测变得极为困难,提出了一种基于广义选择性神经网络集成的MHC Ⅱ分子结合肽预测算法,该算法是一种双层集成模型.第一层是用微分进化算法去生成初始神经网络集成池,第二层是从初始神经网络集成池中选择部分组成最终的神经网络集成.实验结果表明广义选择性神经网络集成比传统的选择性神经网络有更好的泛化性能.     

并行学习神经网络集成方法

该文分析了神经网络集成中成员神经网络的泛化误差、成员神经网络之间的差异度对神经网络集成泛化误差的影响,提出了一种并行学习神经网络集成方法;对参与集成的成员神经网络,给出了一种并行训练方法,不仅满足了成员网络本身的精度要求,还满足了它与其余成员网络的差异性要求;另外,给出了一种并行确定集成成员神经网络权重方法．实验结果表明,使用该文的成员神经网络训练方法、成员神经网络集成方法能够构建有效的神经网络集成系统．     

基于广义回归网络的动态权重回归型神经网络集成方法研究*

神经网络集成技术能有效地提高神经网络的预测精度和泛化能力,已成为机器学习和神经计算领域的一个研究热点。针对回归分析问题提出了一种动态确定结果合成权重的神经网络集成构造方法,在训练出个体神经网络之后,根据各个体网络在输入空间上对训练样本的预测误差,应用广义回归网络来动态地确定各个体网络在特定输入空间上的权重。实验结果表明,与传统的简单平均和加权平均方法相比,本集成方法能取得更好的预测精度。     

基于广义回归网络的动态权重回归型神经网络集成方法研究

神经网络集成技术能有效地提高神经网络的预测精度和泛化能力,已成为机器学习和神经计算领域的一个研究热点。针对回归分析问题提出了一种动态确定结果合成权重的神经网络集成构造方法,在训练出个体神经网络之后,根据各个体网络在输入空间上对训练样本的预测误差,应用广义回归网络来动态地确定各个体网络在特定输入空间上的权重。实验结果表明,与传统的简单平均和加权平均方法相比,本集成方法能取得更好的预测精度。     

带偏置的选择性神经网络集成构造方法

训练多个神经网络并将其结果进行合成,能显著地提高神经网络系统的泛化能力。本文提出了一种带偏置的选择性神经网络集成构造方法。对个体网络引入偏置项,增加可选网络的数量。选择部分网络集成,改善网络集成的性能。把个体网络的偏置项统一为集成偏置项,在训练出个体神经网络后,使用遗传算法选择部分网络集成,同时确定集成偏置项。理论分析和实验结果表明,该方法能够取得很好的网络集成效果。     

基于遗传算法优化投影寻踪技术的神经网络集成模型及其应用

首先利用遗传算法优化的投影寻踪技术对神经网络学习矩阵降维,再利用Bagging技术和不同的神经网络学习算法生成集成个体,并再次用遗传算法进化的投影寻踪技术对神经网络个体集成.建立基于遗传算法优化的投影寻踪技术神经网络集成模型,通过上证指数开盘价、收盘价进行实例分析,计算结果表明该方法具有较好的学习能力和泛化能力,在股市预测中预测精度高、稳定性好.     

基于人工神经网络的负相关学习研究

人工神经网络集成技术是神经计算技术的一个研究热点,在许多领域中已经有了成熟的应用.神经网络集成是用有限个神经网络对同一个问题进行学习,集成在某输入示例下的输出由构成集成的各神经网络在该示例下的输出共同决定.负相关学习法是一种神经网络集成的训练方法,它鼓励集成中的不同个体网络学习训练集的不同部分,以使整个集成能更好地学习整个训练数据.改进的负相关学习法是在误差函数中使用一个带冲量的BP算法,给合了原始负相关学习法和带冲量的BP算法的优点,使改进的算法成为泛化能力强、学习速度快的批量学习算法.     

一种改进的选择神经网络集成方法

提出一种改进的选择神经网络集成方法,首先构造一批单个神经网络个体,分别利用Bootstrap算法产生若干个训练集并行进行训练;然后采用聚类算法计算训练好的个体网络之间的差异度和个体网络在验证集的预测精度;最后根据个体精度和个体差异度选择合适的个体网络加入集成.实验结果验证,该集成方法能较好地提高集成的预测精度和泛化能力.     

基于多视图集成的网络表示学习算法

现有的网络表示学习算法主要为基于浅层神经网络的网络表示学习和基于神经矩阵分解的网络表示学习。基于浅层神经网络的网络表示学习又被证实是分解网络结构的特征矩阵。另外,现有的大多数网络表示学习仅仅从网络的结构学习特征,即单视图的表示学习;然而,网络本身蕴含有多种视图。因此,文中提出了一种基于多视图集成的网络表示学习算法(MVENR)。该算法摈弃了神经网络的训练过程,将矩阵的信息融合和分解思想融入到网络表示学习中。另外,将网络的结构视图、连边权重视图和节点属性视图进行了有效的融合,弥补了现有网络表示学习中忽略了网络连边权重的不足,解决了基于单一视图训练时网络特征稀疏的问题。实验结果表明,所提MVENR算法的性能优于网络表示学习中部分常用的联合学习算法和基于结构的网络表示学习算法,是一种简单且高效的网络表示学习算法。     

一种主动学习神经网络集成方法

分析了神经网络集成泛化误差、个体神经网络泛化误差、个体神经网络差异度之间的关系,提出了一种个体神经网络主动学习方法．个体神经网络同时交互训练,既满足了个体神经网络的精度要求,又满足了个体神经网络的差异性要求．另外,给出了一种个体神经网络选择性集成方法,对个体神经网络加入偏置量,增加了个体神经网络的可选数量,降低了神经网络集成的泛化误差．理论分析和实验结果表明,使用这种个体神经网络训练方法、个体神经网络选择性集成方法能够构建有效的神经网络集成系统．     

基于电阻抗谱特性与集成神经网络的天然气水合物饱和度软测量模型

含天然气水合物饱和度的计算是储层优选和资源量评估的关键参数,针对目前数据解释模型计算精度低以及模型输入参数少等问题,提出了一种基于电阻抗特性参数和集成神经网络的软测量模型建立方法。在对电阻抗谱数据进行预处理、特征参数提取以及选择的基础上形成了样本集,针对四对传感器分别设计了BP神经网络,采用平均法作为集成策略将四个BP网络作为子网络进行集成得到集成网络模型。模型测试结果表明：通过集成网络模型计算得到的含水合物饱和度值平均相对误差3.33%、平均绝对误差0.0014、均方根误差为6.56%,三项误差指标均低于各个子网络的计算误差。在宽频范围内对含水合物沉积物进行电阻抗谱测试能够获得沉积物的频率响应特性以及特性描述参数,可为神经网络模型提供大量的输入参数;利用集成神经网络能够综合应用位于不同测量方位的多个传感器的测量数据,通过采用适合的集成策略能够克服水合物空间分布不均匀对饱和度计算准确度的不利影响。     

基于个体选择的动态权重神经网络集成方法研究

神经网络集成技术能有效地提高神经网络的预测精度和泛化能力,已成为机器学习和神经计算领域的一个研究热点。该文针对回归分析问题提出了一种结合应用遗传算法进行个体选择和动态确定结果合成权重的神经网络集成构造方法。在训练出个体神经网络之后,应用遗传算法对个体网络进行选择,然后根据被选择的各个体网络在输入空间上对训练样本的预测误差,应用广义回归网络来动态地确定各个体网络在特定输入空间上的合成权重。实验结果表明,与仅应用个体网络选择或动态确定权重的方法相比,该集成方法基本上能取得更好地预测精度和相近的稳定性。