基于广义回归网络的动态权重回归型神经网络集成方法研究*

神经网络集成技术能有效地提高神经网络的预测精度和泛化能力,已成为机器学习和神经计算领域的一个研究热点。针对回归分析问题提出了一种动态确定结果合成权重的神经网络集成构造方法,在训练出个体神经网络之后,根据各个体网络在输入空间上对训练样本的预测误差,应用广义回归网络来动态地确定各个体网络在特定输入空间上的权重。实验结果表明,与传统的简单平均和加权平均方法相比,本集成方法能取得更好的预测精度。     

基于个体选择的动态权重神经网络集成方法研究

神经网络集成技术能有效地提高神经网络的预测精度和泛化能力,已成为机器学习和神经计算领域的一个研究热点。该文针对回归分析问题提出了一种结合应用遗传算法进行个体选择和动态确定结果合成权重的神经网络集成构造方法。在训练出个体神经网络之后,应用遗传算法对个体网络进行选择,然后根据被选择的各个体网络在输入空间上对训练样本的预测误差,应用广义回归网络来动态地确定各个体网络在特定输入空间上的合成权重。实验结果表明,与仅应用个体网络选择或动态确定权重的方法相比,该集成方法基本上能取得更好地预测精度和相近的稳定性。     

一种改进的选择神经网络集成方法

提出一种改进的选择神经网络集成方法,首先构造一批单个神经网络个体,分别利用Bootstrap算法产生若干个训练集并行进行训练;然后采用聚类算法计算训练好的个体网络之间的差异度和个体网络在验证集的预测精度;最后根据个体精度和个体差异度选择合适的个体网络加入集成.实验结果验证,该集成方法能较好地提高集成的预测精度和泛化能力.     

最小一乘回归神经网络集成方法股市建模研究

提出了一种新的神经网络集成股市建模方法,采用偏最小二乘方法构造神经网络输入矩阵,利用Bagging技术和不同的神经网络学习算法生成集成个体,再用遗传算法选择参与集成的个体,以"误差绝对值和最小"为最优准,建立最小一乘回归神经网络集成模型,通过上证指数开盘价、收盘价进行实例分析,计算结果表明该方法具有较好的学习能力和泛化能力,在股市预测中预测精度高、稳定性好.     

一种基于聚类技术的选择性神经网络集成方法

神经网络集成是一种很流行的学习方法，通过组合每个神经网络的输出生成最后的预测、为了提高集成方法的有效性，不仅要求集成中的个体神经网络具有很高的正确率，而且要求这些网络在输入空间产生不相关的错误．然而，在现有的众多集成方法中，大都采用将训练的所有神经网络直接进行组合以形成集成，实际上生成的这些神经网络可能具有一定的相关性．为了进一步提高神经网络间的差异性，一种基于聚类技术的选择性神经网络集成方法CLU_ENN被提出．在获得个体神经网络后，并不直接对这些神经网络集成，而是先应用聚类算法对这些神经网络模型聚类以获得差异较大的部分神经网络；然后由部分神经网络构成集成；最后，通过实验研究了CLU_ENN集成方法，与传统的集成方法Bagging相比，该方法取得了更好的效果。     

应用DRNN和ARIMA组合模型的时空集成预测方法

在评析目前时空预测研究现状的基础上,提出基于动态回归神经网络(DRNN)和自回归集成移动平均(ARIMA)组合模型的时空集成预测方法.该方法先用ARIMA模型对时空数据的时序进行预测,再用DRNN捕获时空数据间隐藏的空间关系,最后用线性回归将二者整合起来,得到集成预测结果.案例实验结果表明:该方法比不考虑空间影响的预测方法或单一的预测方法有更高的精度;该方法具有良好的动态处理和计算能力,对跨空间的动态过程的预测有效可行.     

基于特征提取的选择性神经网络集成方法

针对现有神经网络集成研究方法在输入属性、集成方式和集成形式上的不足,提出一种基于特征提取的选择性神经网络集成模型-NsNNEIPCABag.该模型通过Bagging算法产生若干训练子集;利用改进的主成分分析(IPCA)提取主成分作为输入来训练个体网络;采用IPCA从所有个体网络中选择出部分线性无关的个体网络;采用神经网络对选择出来的个体网络进行非线性集成.为检验该模型的有效性,将其用于时间序列预测,结果表明本文提出的方法的泛化能力优于流行的其它集成方法.     

并行学习神经网络集成方法

该文分析了神经网络集成中成员神经网络的泛化误差、成员神经网络之间的差异度对神经网络集成泛化误差的影响，提出了一种并行学习神经网络集成方法；对参与集成的成员神经网络，给出了一种并行训练方法，不仅满足了成员网络本身的精度要求，还满足了它与其余成员网络的差异性要求；另外，给出了一种并行确定集成成员神经网络权重方法．实验结果表明，使用该文的成员神经网络训练方法、成员神经网络集成方法能够构建有效的神经网络集成系统．     

基于敏感度分析的案例特征项权重算法的改进

研究案例库特征项权重的确定方法,通过集成BP神经网络和敏感度分析,改进案例库特征项的权重确定算法,将案例库中的各特征项和决策目标项构造一个BP神经网络,经训练和学习后,依次删除输入节点,分析网络的输出对输入的敏感程度,确定各特征项的权重。并以红籽西瓜仁重的案例库对其进行测试,结果表明该算法是有效的。     

基于PSO算法集成神经网络的多元有害气体检测系统

针对目前常见的多元有害气体检测问题,搭建了一套基于传感器阵列和集成神经网络相结合的多元有害气体检测系统。为了提高该系统的稳定性和预测精度,提出使用粒子群算法( PSO)优化集成神经网络的权重系数的方法,即利用PSO的全局搜索能力,对该系统的集成神经网络权重系数进行全局优化,再以优化后的权重系数实现多个神经网络的结论结合。该系统对传感器阵列的4种混合有害气体的响应信号进行回归分析。结果显示,该系统PSO算法的集成神经网络预测的平均相对误差小于1%,网络具有更强的稳定性和泛化能力。     

基于神经网络集成的数据分析

神经网络集成通过训练多个神经网络并将其结论进行适当的合成,可以显著地提高学习系统的泛化能力.然而,设计一个好的神经网络集成必须在个体准确性与彼此差异性之间取得一个平衡.本文提出了一种改进的神经网络集成构造方法--基于噪声传播的神经网络集成算法(NSENN).     

基于聚类分析的综合神经网络集成算法

研究神经网络集成是一种有效实用的分类方法,权值是影响神经网络集成性能的重要因素。为了克服神经网络集成固定权值的缺陷,提出一种基于聚类分析的综合神经网络集成算法。算法首先将样本分类,每类样本中加入其他样本类一定数量的中心样本,不同的神经网络学习不同类的样本。根据输入数据与样本类别之间的相关程度自适应调整集成权值。算法不仅用于自适应调整集成权值,而且是一种产生个体神经网络的训练方法。四个数据集上的仿真试验证实了算法的有效性。     

An ensemble of neural networks for weather forecasting

This study presents the applicability of an ensemble of artificial neural networks (ANNs) and learning paradigms for weather forecasting in southern Saskatchewan, Canada. The proposed ensemble method for weather forecasting has advantages over other techniques like linear combination. Generally, the output of an ensemble is a weighted sum, which are weight-fixed, with the weights being determined from the training or validation data. In the proposed approach, weights are determined dynamically from the respective certainties of the network outputs. The more certain a network seems to be of its decision, the higher the weight. The proposed ensemble model performance is contrasted with multi-layered perceptron network (MLPN), Elman recurrent neural network (ERNN), radial basis function network (RBFN), Hopfield model (HFM) predictive models and regression techniques. The data of temperature, wind speed and relative humidity are used to train and test the different models. With each model, 24-h-ahead forecasts are made for the winter, spring, summer and fall seasons. Moreover, the performance and reliability of the seven models are then evaluated by a number of statistical measures. Among the direct approaches employed, empirical results indicate that HFM is relatively less accurate and RBFN is relatively more reliable for the weather forecasting problem. In comparison, the ensemble of neural networks produced the most accurate forecasts.     

神经网络集成在图书剔旧分类中的应用

在分析图书剔旧工作的基础上，指出用智能的方法解决图书剔旧问题的必要性。提出了可以用神经网络集成技术来解决该问题，并给出一种动态构建神经网络集成的方法，该方法在训练神经网络集成成员网络时不仅调整网络的连接权值，而且动态地构建神经网络集成中各成员神经网络的结构，从而在提高单个网络精度的同时，增加了各网络成员之间的差异度，减小了集成的泛化误差。实验证明该方法可以有效地用于图书剔旧分类。     

基于模糊聚类算法的神经网络集成

基于模糊聚类思想，提出了一种神经网络集成方法。利用隶属度函数，构造了一个分布函数，根据分布函数对训练数据进行抽样，用所抽得的数据作为个体神经网络的训练样本，多个个体神经网络构成神经网络集成，集成的输出采用相对多数投票法。理论分析和实验结果表明，该方法对模式分类能取得较好的效果。     

基于免疫聚类的神经网络集成的研究

基于免疫聚类的思想,提出了一种神经网络集成方法。采用轮盘赌选择方法重复地从各免疫聚类中的抽取样本以构成神经网络集成中各个体神经网络的训练样本集,神经网络集成的输出采用相对多数投票法。将基于免疫聚类的神经网络集成应用于中医舌诊诊断,以肝病病证诊断进行仿真。实验结果表明:基于免疫聚类的神经网络集成比基于Bagging算法的神经网络集成能有效地提高其泛化能力。因此,基于免疫聚类的神经网络集成算法的研究是可行的、有效的。     

基于电阻抗谱特性与集成神经网络的天然气水合物饱和度软测量模型

含天然气水合物饱和度的计算是储层优选和资源量评估的关键参数,针对目前数据解释模型计算精度低以及模型输入参数少等问题,提出了一种基于电阻抗特性参数和集成神经网络的软测量模型建立方法。在对电阻抗谱数据进行预处理、特征参数提取以及选择的基础上形成了样本集,针对四对传感器分别设计了BP神经网络,采用平均法作为集成策略将四个BP网络作为子网络进行集成得到集成网络模型。模型测试结果表明：通过集成网络模型计算得到的含水合物饱和度值平均相对误差3.33%、平均绝对误差0.0014、均方根误差为6.56%,三项误差指标均低于各个子网络的计算误差。在宽频范围内对含水合物沉积物进行电阻抗谱测试能够获得沉积物的频率响应特性以及特性描述参数,可为神经网络模型提供大量的输入参数;利用集成神经网络能够综合应用位于不同测量方位的多个传感器的测量数据,通过采用适合的集成策略能够克服水合物空间分布不均匀对饱和度计算准确度的不利影响。