基于广义回归网络的动态权重回归型神经网络集成方法研究

神经网络集成技术能有效地提高神经网络的预测精度和泛化能力,已成为机器学习和神经计算领域的一个研究热点。针对回归分析问题提出了一种动态确定结果合成权重的神经网络集成构造方法,在训练出个体神经网络之后,根据各个体网络在输入空间上对训练样本的预测误差,应用广义回归网络来动态地确定各个体网络在特定输入空间上的权重。实验结果表明,与传统的简单平均和加权平均方法相比,本集成方法能取得更好的预测精度。     

基于个体选择的动态权重神经网络集成方法研究

神经网络集成技术能有效地提高神经网络的预测精度和泛化能力,已成为机器学习和神经计算领域的一个研究热点。该文针对回归分析问题提出了一种结合应用遗传算法进行个体选择和动态确定结果合成权重的神经网络集成构造方法。在训练出个体神经网络之后,应用遗传算法对个体网络进行选择,然后根据被选择的各个体网络在输入空间上对训练样本的预测误差,应用广义回归网络来动态地确定各个体网络在特定输入空间上的合成权重。实验结果表明,与仅应用个体网络选择或动态确定权重的方法相比,该集成方法基本上能取得更好地预测精度和相近的稳定性。     

一种改进的选择神经网络集成方法

提出一种改进的选择神经网络集成方法,首先构造一批单个神经网络个体,分别利用Bootstrap算法产生若干个训练集并行进行训练;然后采用聚类算法计算训练好的个体网络之间的差异度和个体网络在验证集的预测精度;最后根据个体精度和个体差异度选择合适的个体网络加入集成.实验结果验证,该集成方法能较好地提高集成的预测精度和泛化能力.     

最小一乘回归神经网络集成方法股市建模研究

提出了一种新的神经网络集成股市建模方法,采用偏最小二乘方法构造神经网络输入矩阵,利用Bagging技术和不同的神经网络学习算法生成集成个体,再用遗传算法选择参与集成的个体,以"误差绝对值和最小"为最优准,建立最小一乘回归神经网络集成模型,通过上证指数开盘价、收盘价进行实例分析,计算结果表明该方法具有较好的学习能力和泛化能力,在股市预测中预测精度高、稳定性好.     

应用DRNN和ARIMA组合模型的时空集成预测方法

在评析目前时空预测研究现状的基础上,提出基于动态回归神经网络(DRNN)和自回归集成移动平均(ARIMA)组合模型的时空集成预测方法.该方法先用ARIMA模型对时空数据的时序进行预测,再用DRNN捕获时空数据间隐藏的空间关系,最后用线性回归将二者整合起来,得到集成预测结果.案例实验结果表明:该方法比不考虑空间影响的预测方法或单一的预测方法有更高的精度;该方法具有良好的动态处理和计算能力,对跨空间的动态过程的预测有效可行.     

基于特征提取的选择性神经网络集成方法

针对现有神经网络集成研究方法在输入属性、集成方式和集成形式上的不足,提出一种基于特征提取的选择性神经网络集成模型-NsNNEIPCABag.该模型通过Bagging算法产生若干训练子集;利用改进的主成分分析(IPCA)提取主成分作为输入来训练个体网络;采用IPCA从所有个体网络中选择出部分线性无关的个体网络;采用神经网络对选择出来的个体网络进行非线性集成.为检验该模型的有效性,将其用于时间序列预测,结果表明本文提出的方法的泛化能力优于流行的其它集成方法.     

基于敏感度分析的案例特征项权重算法的改进

研究案例库特征项权重的确定方法,通过集成BP神经网络和敏感度分析,改进案例库特征项的权重确定算法,将案例库中的各特征项和决策目标项构造一个BP神经网络,经训练和学习后,依次删除输入节点,分析网络的输出对输入的敏感程度,确定各特征项的权重。并以红籽西瓜仁重的案例库对其进行测试,结果表明该算法是有效的。     

基于PSO算法集成神经网络的多元有害气体检测系统

针对目前常见的多元有害气体检测问题,搭建了一套基于传感器阵列和集成神经网络相结合的多元有害气体检测系统。为了提高该系统的稳定性和预测精度,提出使用粒子群算法( PSO)优化集成神经网络的权重系数的方法,即利用PSO的全局搜索能力,对该系统的集成神经网络权重系数进行全局优化,再以优化后的权重系数实现多个神经网络的结论结合。该系统对传感器阵列的4种混合有害气体的响应信号进行回归分析。结果显示,该系统PSO算法的集成神经网络预测的平均相对误差小于1%,网络具有更强的稳定性和泛化能力。     

带偏置的选择性神经网络集成构造方法

训练多个神经网络并将其结果进行合成,能显著地提高神经网络系统的泛化能力。本文提出了一种带偏置的选择性神经网络集成构造方法。对个体网络引入偏置项,增加可选网络的数量。选择部分网络集成,改善网络集成的性能。把个体网络的偏置项统一为集成偏置项,在训练出个体神经网络后,使用遗传算法选择部分网络集成,同时确定集成偏置项。理论分析和实验结果表明,该方法能够取得很好的网络集成效果。     

伪逆BP神经网络在汽车尾气检测中的应用

为了准确、快速、高效地检测汽车尾气中各气体的质量分数,结合传感器阵列和神经网络技术,设计了一种汽车尾气检测系统.为了提高神经网络模型的拟合和预测能力,提出伪逆BP集成神经网络模型:利用伪逆法求得不同BP神经网络集成的最优权重系数,再通过加权平均法集成BP神经网络.利用伪逆BP集成神经网络模型对传感器阵列信号进行回归分析,结果表明:该模型的预测相对误差均小于5％,对比传统Adaboost-BP集成神经网络模型,该模型实现更简单,收敛更快,收敛精度和预测精度更高.     

基于神经网络集成的数据分析

神经网络集成通过训练多个神经网络并将其结论进行适当的合成,可以显著地提高学习系统的泛化能力.然而,设计一个好的神经网络集成必须在个体准确性与彼此差异性之间取得一个平衡.本文提出了一种改进的神经网络集成构造方法--基于噪声传播的神经网络集成算法(NSENN).     

An ensemble of neural networks for weather forecasting

This study presents the applicability of an ensemble of artificial neural networks (ANNs) and learning paradigms for weather forecasting in southern Saskatchewan, Canada. The proposed ensemble method for weather forecasting has advantages over other techniques like linear combination. Generally, the output of an ensemble is a weighted sum, which are weight-fixed, with the weights being determined from the training or validation data. In the proposed approach, weights are determined dynamically from the respective certainties of the network outputs. The more certain a network seems to be of its decision, the higher the weight. The proposed ensemble model performance is contrasted with multi-layered perceptron network (MLPN), Elman recurrent neural network (ERNN), radial basis function network (RBFN), Hopfield model (HFM) predictive models and regression techniques. The data of temperature, wind speed and relative humidity are used to train and test the different models. With each model, 24-h-ahead forecasts are made for the winter, spring, summer and fall seasons. Moreover, the performance and reliability of the seven models are then evaluated by a number of statistical measures. Among the direct approaches employed, empirical results indicate that HFM is relatively less accurate and RBFN is relatively more reliable for the weather forecasting problem. In comparison, the ensemble of neural networks produced the most accurate forecasts.     

基于聚类分析的综合神经网络集成算法

研究神经网络集成是一种有效实用的分类方法,权值是影响神经网络集成性能的重要因素。为了克服神经网络集成固定权值的缺陷,提出一种基于聚类分析的综合神经网络集成算法。算法首先将样本分类,每类样本中加入其他样本类一定数量的中心样本,不同的神经网络学习不同类的样本。根据输入数据与样本类别之间的相关程度自适应调整集成权值。算法不仅用于自适应调整集成权值,而且是一种产生个体神经网络的训练方法。四个数据集上的仿真试验证实了算法的有效性。     

神经网络和改进粒子群算法在地震预测中的应用

提出了一种基于神经网络与改进粒子群算法的地震预测方法,该方法采用前向神经网络作为地震震级的预测模型,引入改进的粒子群算法对前向网络的连接权值进行修正。为了设计在全局搜索和局部搜索之间取得最佳平衡的惯性权重,基于粒子动态变异思想对粒子群优化算法进行改进,提出了一种动态变异粒子群优化算法,并将其应用于地震震级预测神经网络模型优化。在仿真实验中,将所提出的方法与另外两个采用不同算法的前向网络预测方法进行了比较。结果表明所提出的优化算法收敛速度最快,所得模型的预测误差最小,泛化能力最强,对地震的中期预测有很好的参考作用。     

神经网络集成在图书剔旧分类中的应用

在分析图书剔旧工作的基础上，指出用智能的方法解决图书剔旧问题的必要性。提出了可以用神经网络集成技术来解决该问题，并给出一种动态构建神经网络集成的方法，该方法在训练神经网络集成成员网络时不仅调整网络的连接权值，而且动态地构建神经网络集成中各成员神经网络的结构，从而在提高单个网络精度的同时，增加了各网络成员之间的差异度，减小了集成的泛化误差。实验证明该方法可以有效地用于图书剔旧分类。     

基于免疫聚类的神经网络集成的研究

基于免疫聚类的思想,提出了一种神经网络集成方法。采用轮盘赌选择方法重复地从各免疫聚类中的抽取样本以构成神经网络集成中各个体神经网络的训练样本集,神经网络集成的输出采用相对多数投票法。将基于免疫聚类的神经网络集成应用于中医舌诊诊断,以肝病病证诊断进行仿真。实验结果表明:基于免疫聚类的神经网络集成比基于Bagging算法的神经网络集成能有效地提高其泛化能力。因此,基于免疫聚类的神经网络集成算法的研究是可行的、有效的。     

基于模糊聚类算法的神经网络集成

基于模糊聚类思想，提出了一种神经网络集成方法。利用隶属度函数，构造了一个分布函数，根据分布函数对训练数据进行抽样，用所抽得的数据作为个体神经网络的训练样本，多个个体神经网络构成神经网络集成，集成的输出采用相对多数投票法。理论分析和实验结果表明，该方法对模式分类能取得较好的效果。