基于人工神经网络的负相关学习研究

人工神经网络集成技术是神经计算技术的一个研究热点,在许多领域中已经有了成熟的应用.神经网络集成是用有限个神经网络对同一个问题进行学习,集成在某输入示例下的输出由构成集成的各神经网络在该示例下的输出共同决定.负相关学习法是一种神经网络集成的训练方法,它鼓励集成中的不同个体网络学习训练集的不同部分,以使整个集成能更好地学习整个训练数据.改进的负相关学习法是在误差函数中使用一个带冲量的BP算法,给合了原始负相关学习法和带冲量的BP算法的优点,使改进的算法成为泛化能力强、学习速度快的批量学习算法.     

一种新型的神经网络集成模型

神经网络集成作为神经网络技术的延伸,被广泛的用于解决分类问题。很多实际应用表明:神经网络集成表现出比单个神经网络更好的性能。而传统的神经网络集成模型中网络的构建和集成是分两个阶段完成的。论文提出一种新的神经网络集成结构模型“层状集成”。该模型中网络的构建和集成同时完成,且每个成员网络的输出流入到下一个神经网络,作为下一个神经网络的输入,以这种方式生成一种层状神经网络集成。该模型用于解决分类问题,表现出比传统神经网络集成更好的性能。     

A Rough RBF Neural Network Based on Weighted Regularized Extreme Learning Machine

Adjusting parameters iteratively is a traditional way of training neural networks, and the Rough RBF Neural Networks (R-RBF-NN) follows the same idea. However, this idea has many disadvantages, for instance, the training accuracy and generalization accuracy etc. So how to change this condition is a hot topic in Academics. On the basis of Extreme Learning Machine (ELM), this paper proposes a Weighted Regularized Extreme Learning Machine (WRELM), taking into account both minimizing structured risk and weighted least-squares principle, to train R-RBF-NN. The traditional iterative training method is replaced by the minimal norm least-squares solution of general linear system. The method proposed in this paper, increasing controllability of the entire learning process and considering the structured risk and empirical risk, can improve the performance of learning and generalization. Experiments show that it can reach a very superior performance in both time and accuracy when WRELM trains the Rough RBF Neural Networks in pattern classification and function regression, especially in pattern classification, which can improve the generalization accuracy more than 3.36 % compared with ELM. Obviously, the performance of the method proposed in this paper is better than the traditional methods.     

基于径向基神经网络和正则化极限学习机的多标签学习模型*

相比径向基(RBF)神经网络,极限学习机(ELM)训练速度更快,泛化能力更强.同时,近邻传播聚类算法(AP)可以自动确定聚类个数.因此,文中提出融合AP聚类、多标签RBF(ML-RBF)和正则化ELM(RELM)的多标签学习模型(ML-AP-RBF-RELM).首先,在该模型中输入层使用ML-RBF进行映射,且通过AP聚类算法自动确定每一类标签的聚类个数,计算隐层节点个数.然后,利用每类标签的聚类个数通过K均值聚类确定隐层节点RBF函数的中心.最后,通过RELM快速求解隐层到输出层的连接权值.实验表明,ML-AP-RBF-RELM效果较好.     

神经网络集成在图书剔旧分类中的应用

在分析图书剔旧工作的基础上，指出用智能的方法解决图书剔旧问题的必要性。提出了可以用神经网络集成技术来解决该问题，并给出一种动态构建神经网络集成的方法，该方法在训练神经网络集成成员网络时不仅调整网络的连接权值，而且动态地构建神经网络集成中各成员神经网络的结构，从而在提高单个网络精度的同时，增加了各网络成员之间的差异度，减小了集成的泛化误差。实验证明该方法可以有效地用于图书剔旧分类。     

对基于知识发现的神经元网络集成方法的研究

该文对应用知识发现技术训练神经元网络集成的方法进行了研究,提出了以并行操作的方式结合归纳学习所获取的知识和演绎学习所获取的知识的神经元网络集成模型KBNNE(Knowledge-basedNeuralNetworkEnsem-bles)。实验表明,通过调节所获取知识的权重因子,新模型可以有效提高网络集成的性能。     

基于神经网络集成的入侵检测系统

目前,较为成熟的入侵检测系统普遍存在检测率偏低、对新的入侵不够敏感等问题,影响了系统的整体性能。在深入研究的基础上,本文提出了一种基于神经网络集成的入侵检测方法。该方法采用神经网络集成分类技术,在去除冗余数据的基础上对成员网络进行训练,并通过动态的方法确定成员网络的个数,最终通过神经网络对成员网络结果进行融合,以提高系统的整体性能。理论和实验表明,该方法能在保证成员网络差异性的同时提高入侵的检测率,具有较好的应用前景。     

基于深度负相关学习的室内WiFi指纹定位技术

本文提出了一种新的基于深度负相关学习的WiFi室内定位模型.通过负相关学习约束,多个学习器能学习到不同的表征特性,从而有效降低模型的过拟合,并极大地提升其泛化能力.同时该模型将负相关学习方法应用到去噪自编码器和回归预测器上,并利用深度学习方法使其很好地适应随环境和时间变化的RSSI信号,提高了在长时间间隔内的定位性能.利用负相关学习方法使定位模型在初始时候的平均定位误差从1.57 m下降为0.77 m,60 d平均定位误差也仅为0.89 m,误差仅仅只增加0.12 m,验证了负相关学习能够削弱环境变化对定位的影响.     

一种用于函数学习的小波神经网络

在非线性系统辨识中,系统输入往往是多变量的.小波处理此类问题则比较复杂.结合 神经网络形式和小波特点建立一种新型的网络,可简单有效地解决网络多输入问题.同时给出 此网络可以逼近任意连续函数的数学证明.并通过实例验证了此方法的正确性.     

基于人工示例训练的神经网络集成入侵检测

提出一种基于人工示例训练的神经网络集成入侵检测方法。使用不同的训练数据集训练不同的成员网络,以此提高成员网络之间的差异度。在保证成员网络个数的基础上,选择差异度较大的成员网络构成集成,以提高系统的整体性能。实验结果表明,与当前流行的集成算法相比,该方法在保证较高入侵检测率的前提下,可保持较低的误检率,并对未知入侵也具有较高的检测率。     

一种基于皮层柱侧抑制机制的神经网络群

建立了一种基于皮层柱侧抑制机制的神经网络群,模拟大脑皮层柱的神经元点火现象,并利用 该神经网络群进行位置跟踪．采用Stein 神经元构建神经网络群;将皮层柱的侧抑制机制应用于神经网络群编 码、解码,实现神经网络群的负相关点火,并从理论上证明负相关点火的优越性．仿真实验结果表明,皮层柱 侧抑制机制的应用大大提高了位置跟踪精度以及系统稳定性．     

基于随机梯度法的选择性神经网络二次集成

针对使用贪心法、遗传算法等方法实现选择性神经网络集成时出现的“局部最小点”和“过拟合”问题,提出了一类基于随机梯度法的选择性神经网络二次集成方法。理论分析和实验表明,与上述选择性神经网络集成方法相比,该方法易于实现且效果明显。     

基于神经网络集成的Windows病毒检测方法研究

该文针对Win32PE病毒种类多,破坏力强的特点,提出一种基于神经网络集成的病毒检测方法。神经网络集成采用负相关学习方法进行训练,采用n-gram特征字统计方法得到病毒特征字,计算特征字信息条件熵,来选择作为训练样本的特征字。实验结果表明,神经网络集成改善了传统的特征字比对法不能识别新的病毒,容易被病毒制造者克服的缺点,在保证对Win32PE病毒较高的检测率的同时保持了较低的误检率。     

一种改进的RBF神经网络学习算法

提出一种基于减聚类、K-means算法及改进的粒子群优化(PSO)算法的径向基函数(RBF)神经网络混合学习算法. 该算法首先使用减聚类确定隐层节点数和K-means初始聚类中心; 然后通过K-means算法求取RBF网络所有参数, 作为PSO的初始粒子群; 为了提高PSO算法的收敛性和稳定性, 对基本PSO算法进行了优化改进, 最后使用改进的PSO算法训练RBF神经网络中的所有参数. 对IRIS数据集分类识别的仿真结果表明, 改进的混合算法具有更高的分类准确率和更好的稳定性.     

Partial Logistic Artificial Neural Network for Competing Risks Regularized With Automatic Relevance Determination

Time-to-event analysis is important in a wide range of applications from clinical prognosis to risk modeling for credit scoring and insurance. In risk modeling, it is sometimes required to make a simultaneous assessment of the hazard arising from two or more mutually exclusive factors. This paper applies to an existing neural network model for competing risks (PLANNCR), a Bayesian regularization with the standard approximation of the evidence to implement automatic relevance determination (PLANNCR-ARD). The theoretical framework for the model is described and its application is illustrated with reference to local and distal recurrence of breast cancer, using the data set of Veronesi (1995).     

正则化多任务学习的快速算法

正则化多任务学习(regularized multi-task learning,r MTL)方法及其扩展方法在理论研究及实际应用方面已经取得了较好的成果。然而以往方法仅关注于多个任务之间的关联,而未充分考虑算法的复杂度,较高的计算代价限制了其在大数据集上的实用性。针对此不足,结合核心向量机(core vector machine,CVM)理论,提出了适用于多任务大数据集的快速正则化多任务学习(fast regularized multi-task learning,Fr MTL)方法。Fr MTL方法有着与r MTL方法相当的分类性能,而基于CVM理论的Fr MTL-CVM算法的渐近线性时间复杂度又能使其在面对大数据集时仍然能够获得较快的决策速度。该方法的有效性在实验中得到了验证。     

Privacy-Preserving Backpropagation Neural Network Learning

With the development of distributed computing environment , many learning problems now have to deal with distributed input data. To enhance cooperations in learning, it is important to address the privacy concern of each data holder by extending the privacy preservation notion to original learning algorithms. In this paper, we focus on preserving the privacy in an important learning model, multilayer neural networks. We present a privacy-preserving two-party distributed algorithm of backpropagation which allows a neural network to be trained without requiring either party to reveal her data to the other. We provide complete correctness and security analysis of our algorithms. The effectiveness of our algorithms is verified by experiments on various real world data sets.     

Immunological Algorithm-based Neural Network Learning for Sales Forecasting

This study proposes a variation immunological system (VIS) algorithm with radial basis function neural network (RBFN) learning for function approximation and the exercise of industrial computer (IC) sales forecasting. The proposed VIS algorithm was applied to the RBFN to execute the learning process for adjusting the network parameters involved. To compare the performance of relevant algorithms, three benchmark problems were used to justify the results of the experiment. With better accuracy in forecasting, the trained RBFN can be practically utilized in the IC sales forecasting exercise to make predictions and could enhance business profit.     

并行学习神经网络集成方法

该文分析了神经网络集成中成员神经网络的泛化误差、成员神经网络之间的差异度对神经网络集成泛化误差的影响,提出了一种并行学习神经网络集成方法;对参与集成的成员神经网络,给出了一种并行训练方法,不仅满足了成员网络本身的精度要求,还满足了它与其余成员网络的差异性要求;另外,给出了一种并行确定集成成员神经网络权重方法．实验结果表明,使用该文的成员神经网络训练方法、成员神经网络集成方法能够构建有效的神经网络集成系统．     

Deep Learning Neural Network for Unconventional Images Classification

Neural Processing Letters - The pornographic materials including videos and images are easily in reach for everyone, including under-age youths, allover Internet. It is also an aim for popular...