基于免疫聚类的RBF神经网络研究

通过分析以往人工免疫聚类算法的不足之处,提出了一种改进的基于人工免疫聚类与RBF神经网络的混合算法.该算法由两个阶段组成:第一阶段采用人工免疫机制来确定RBF网络隐层的聚类中心的位置和数量;第二阶段建立RBF神经网络,对输入样本数据进行学习、训练,求输出层的权值矩阵W.最后以肝病病证诊断进行仿真,建立基于免疫聚类的RBF网络模型.实验结果表明:该算法用于中医病证诊断的研究是可行的和有效的.     

一种基于聚类技术的选择性神经网络集成方法

神经网络集成是一种很流行的学习方法,通过组合每个神经网络的输出生成最后的预测、为了提高集成方法的有效性,不仅要求集成中的个体神经网络具有很高的正确率,而且要求这些网络在输入空间产生不相关的错误．然而,在现有的众多集成方法中,大都采用将训练的所有神经网络直接进行组合以形成集成,实际上生成的这些神经网络可能具有一定的相关性．为了进一步提高神经网络间的差异性,一种基于聚类技术的选择性神经网络集成方法CLU_ENN被提出．在获得个体神经网络后,并不直接对这些神经网络集成,而是先应用聚类算法对这些神经网络模型聚类以获得差异较大的部分神经网络;然后由部分神经网络构成集成;最后,通过实验研究了CLU_ENN集成方法,与传统的集成方法Bagging相比,该方法取得了更好的效果。     

基于免疫聚类的RBF神经网络在中医舌诊诊断中的应用

研究基于人工免疫聚类的RBF(Radial-Basis Function)神经网络应用于中医舌诊诊断,构建一个中医舌诊智能诊断的神经网络模型,旨在提高模型的诊断能力和收敛速度.对输入样本集进行数据归一化处理,采用改进的基于免疫聚类的RBF算法进行学习、训练.以肝病病证诊断进行仿真,结果表明:该中医舌诊智能诊断系统具有诊断能力强、收敛速度快,泛化能力强等特点.因此,基于人工免疫聚类的RBF神经网络应用于中医舌诊诊断的研究是可行的,有效的.     

基于选择性神经网络集成的地基云状识别算法

针对传统地基云图云状识别模型精度较低的问题,提出一种基于K均值算法的选择性神经网络集成的方法。该方法以BP神经网络集成模型为基础,采用K均值聚类算法选择部分有差异性的个体神经网络进行集成,建立了云状分类模型。通过对云图样本进行仿真实验,结果表明所提出的算法相对于单个BP神经网络及传统的BP_AdaBoost集成算法用于云图的分类,能有效地提高云图识别分类的精度。     

基于Boosting RBF神经网络的入侵检测

提出一种新颖的基于boosting RBF神经网络的入侵检测方法。将模糊聚类和神经网络技术相结合,提出基于改进的FCM算法和OLS算法相结合的FORBF算法,为了提高RBF神经网络的泛化能力,采用Boosting方法,进行网络集成。以“KDD Cup 1999 Data”网络连接数据集训练神经网络并仿真实验,得到了较高的检测率和较低的误警率。     

基于集成RBF神经网络的入侵检测研究

本文提出了一种基于集成RBF神经网络的入侵检测研究,通过对初始化聚类子算法的改进,从而提高了RBF神经网络的训练速度,采用集成理论对RBF神经网络的集成以提高检测率。实验结果表明,集成神经网络比RBF神经网络的检测率提高了1%,且降低了误报率和漏报率。     

一种k均值和神经网络集成的语音识别方法

提出了一种基于k均值聚类和BP神经网络集成的语音识别方法,该方法以神经网络集成模型为基础,利用k均值聚类算法选择部分有差异性的个体神经网络再进行集成学习,既克服了单个BP网络模型容易局部收敛和不稳定性的缺点,又解决了传统集成方法训练时间长和个体网络差异性不明显的问题。通过对非特定人孤立词的语音识别的实验,证实了该方法的有效性。     

基于k-means聚类的神经网络分类器集成方法研究

针对差异性是集成学习的必要条件,研究了基于k-means聚类技术提高神经网络分类器集成差异性的方法。通过训练集并使用神经网络分类器学习算法训练许多分类器模型,在验证集中利用每个分类器的分类结果作为聚类的数据对象;然后应用k-means聚类方法对这些数据聚类,在聚类结果的每个簇中选择一个分类器代表模型,以此构成集成学习的成员;最后应用投票方法实验研究了这种提高集成学习差异性方法的性能,并与常用的集成学习方法bagging、adaboost进行了比较。     

模拟电路故障诊断的约束聚类集成BP网络算法

针对通用BP网络对于高纬度、大数据量训练收敛困难的问题,在使用动量因子、自适应调整学习速率等方法的基础,引入约束聚类,构造集成神经网络,以提高网络的训练速度及诊断效果;首先,采用约束聚类算法将训练样本集划分为若干个规模相当的子样本集,分别训练生成相应子网络;此外,在诊断过程中除各子网络的输出变量外,还加入了诊断数据相对各子训练样本集的隶属度因子;最后通过一个实际电路板25维采样数据、38类故障的BP网络诊断实例验证了算法的可行性。     

基于自组织特征映射的聚类集成算法

为改善单一聚类算法的聚类性能,提出一种基于自组织特征映射(SOM)的聚类集成算法.该算法利用多个具有差异性的聚类成员,将原始数据集转换成一个新的特征空间矩阵;然后计算各个聚类成员的聚类综合质量,并将其作为新特征空间矩阵的属性权重,最后利用SOM神经网络进行集成,产生最终的共识聚类结果.实验结果表明,与集成前的基聚类算法和其它聚类集成算法相比,该算法能够有效地提高聚类质量.     

基于模糊聚类算法的神经网络集成

基于模糊聚类思想，提出了一种神经网络集成方法。利用隶属度函数，构造了一个分布函数，根据分布函数对训练数据进行抽样，用所抽得的数据作为个体神经网络的训练样本，多个个体神经网络构成神经网络集成，集成的输出采用相对多数投票法。理论分析和实验结果表明，该方法对模式分类能取得较好的效果。     

Simultaneous training of negatively correlated neural networks inan ensemble

This paper presents a new cooperative ensemble learning system (CELS) for designing neural network ensembles. The idea behind CELS is to encourage different individual networks in an ensemble to learn different parts or aspects of a training data so that the ensemble can learn the whole training data better. In CELS, the individual networks are trained simultaneously rather than independently or sequentially. This provides an opportunity for the individual networks to interact with each other and to specialize. CELS can create negatively correlated neural networks using a correlation penalty term in the error function to encourage such specialization. This paper analyzes CELS in terms of bias-variance-covariance tradeoff. CELS has also been tested on the Mackey-Glass time series prediction problem and the Australian credit card assessment problem. The experimental results show that CELS can produce neural network ensembles with good generalization ability.     

神经网络集成在图书剔旧分类中的应用

在分析图书剔旧工作的基础上，指出用智能的方法解决图书剔旧问题的必要性。提出了可以用神经网络集成技术来解决该问题，并给出一种动态构建神经网络集成的方法，该方法在训练神经网络集成成员网络时不仅调整网络的连接权值，而且动态地构建神经网络集成中各成员神经网络的结构，从而在提高单个网络精度的同时，增加了各网络成员之间的差异度，减小了集成的泛化误差。实验证明该方法可以有效地用于图书剔旧分类。     

基于进化规划的神经网络群的设计方法

提出一种基于进化规划的神经网络群的自动设计方法．该方法不仅使得神经网络群中的个体网络倾向于完成不同的子任务，同时各神经网络个体在进化过程中不断寻找最好的协作关系，而且神经网络群的规模和结构不需预先设定．仿真试验表明，该算法是有效的。     

基于负相关神经网络集成算法及其应用的研究

传统的神经网络集成中各子网络之间的相关性较大,从而影响集成的泛化能力.为此,提出用负相关学习算法来训练神经网络集成,以增加子网络间的差异度,从而提高集成的泛化能力.并将基于负相关学习法的神经网络集成应用于中医舌诊诊断,以肝病病证诊断进行仿真.实验结果表明:基于负相关学习法的神经网络集成比单个子网和传统神经网络集成更能有效地提高其泛化能力.因此,基于负相关神经网络集成算法的研究是可行的、有效的.     

Negatively correlated neural networks for classification

This paper presents a new algorithm for designing neural network ensembles for classification problems with noise. The idea behind this new algorithm is to encourage different individual networks in an ensemble to learn different parts or aspects of the training data so that the whole ensemble can learn the whole training data better. Negatively correlated neural networks are trained with a novel correlation penalty term in the error function to encourage such specialization. In our algorithm, individual networks are trained simultaneously rather than independently or sequentially. This provides an opportunity for different networks to interact with each other and to specialize. Experiments on two real-world problems demonstrate that the new algorithm can produce neural network ensembles with good generalization ability. This work was presented, in part, at the Third International Symposium on Artificial Life and Robotics, Oita, Japan January 19–21, 1998     

The use of coevolution and the artificial immune system for ensemble learning

This paper presents two new approaches for constructing an ensemble of neural networks (NN) using coevolution and the artificial immune system (AIS). These approaches are extensions of the CLONal Selection Algorithm for building ENSembles (CLONENS) algorithm. An explicit diversity promotion technique was added to CLONENS and a novel coevolutionary approach to build neural ensembles is introduced, whereby two populations representing the gates and the individual NN are coevolved. The former population is responsible for defining the ensemble size and selecting the members of the ensemble. This population is evolved using the differential evolution algorithm. The latter population supplies the best individuals for building the ensemble, which is evolved by AIS. Results show that it is possible to automatically define the ensemble size being also possible to find smaller ensembles with good generalization performance on the tested benchmark regression problems. More interestingly, the use of the diversity measure during the evolutionary process did not necessarily improve generalization. In this case, diverse ensembles may be found using only implicit diversity promotion techniques.     

选择性聚类融合研究进展

传统的聚类融合方法通常是将所有产生的聚类成员融合以获得最终的聚类结果。在监督学习中,选择分类融合方法会获得更好的结果,从选择分类融合中得到启示,在聚类融合中应用这种方法被定义为选择性聚类融合。对选择性聚类融合关键技术进行了综述,讨论了未来的研究方向。     

聚类集成中的差异性度量研究

集体的差异性被认为是影响集成学习的一个关键因素.在分类器集成中有许多的差异性度量被提出,但是在聚类集成中如何测量聚类集体的差异性,目前研究得很少.作者研究了7种聚类集体差异性度量方法,并通过实验研究了这7种度量在不同的平均成员聚类准确度、不同的集体大小和不同的数据分布情况下与各种聚类集成算法性能之间的关系.实验表明:这些差异性度量与聚类集成性能间并没有单调关系,但是在平均成员准确度较高、聚类集体大小适中和数据中有均匀簇分布的情况下,它们与集成性能间的相关度还是比较高的.最后给出了一些差异性度量用于指导聚类集体生成的可行性建议.