基于决策树算法确定一个最小神经网络

神经网络隐层神经元的个数对于网络的性能有着重要的影响,通常情况下,对于一个特定问题来说,没有一个确定的方法来决定隐含层到底应该有多少个神经元,一般采用试探的方法通过多次实验来达到理想效果.在分类问题中,决策树和神经网络的结构有着一定的关联性,通过把决策树映射到神经网络结构中来确定隐层神经元的个数的方法能够有效地设计神经网络的结构,从而提高训练的效率并达到良好的分类效果.实验结果表明,该方法能够得到一个有着良好识别率的最小神经网络.方法简单有效,直观且易于操作.     

基于神经网络的分类决策树构造

目前基于符号处理的方法是解决分类规则提取问题的主要方法,而基于神经网络的连接主义方法则用的不多,其主要原因在于虽然神经网络的分类精度高,但难于提取其所隐含的分类规则与知识.针对这个问题,结合神经网络的具体特点,该文提出了一种基于神经网络的构造分类决策树的新方法.该方法通过神经网络训练建立各属性与分类结果之间的关系,进而通过提取各属性与分类结果之间的导数关系来建立分类决策树.给出了具体的决策树构造算法.同时为了提高神经网络所隐含关系的提取效果,提出了关系强化约束的概念并建立了具体的模型.实际应用结果证明了算法的有效性.     

基于可达概率区间的不确定决策树

针对不确定数据的概率分布难以获取的客观实际,讨论了缺失概率分布的值不确定离散对象的决策树。定义了(条件)概率区间,并证明了(条件)概率区间是可达概率区间;基于可达概率区间,定义了(条件)熵区间,并给出了求解(条件)熵区间的上/下界的方法;采用条件熵区间作为属性选择度量,提出了一种新的不确定决策树,将以0-1划分对象的决策树扩展到以概率区间分配对象的决策树,这样不仅可以处理缺失概率分布的值不确定离散对象,也可以处理确定离散对象。通过在基于UCI数据集的不确定数据集上的实验,证实了不确定决策树是有效的。     

基于DTBNN的双阈值图像分割方法

为了能够实现动态无灰度特征峰值的图像分割,提出一种基于决策树的神经网络(Decision Tree Based Neural Network,DTBNN)双阈值图像分割方法。该方法首先运用决策树与神经网络的对应关系,构建出稳定、训练高效的神经网络;然后通过实验采集的图像提取图像灰度均值,最大灰度偏差与阈值映射函数作为样本数据训练神经网络;最后采用训练好的神经网络对被测图像进行阈值映射函数筛选,并计算出被测图像的上下灰度阈值,完成对图像的双阈值分割。仿真实验表明,该方法不依赖于灰度直方图的峰值特征并能获取较好的上下限分割阈值,与最大类间方差双阈值法和最大熵双阈值法比较,能够在动态图像中实现双阈值分割。     

基于神经网络的模糊决策树改进算法

传统决策树通过对特征空间的递归划分寻找决策边界,给出特征空间的“硬”划分。但对于处理大数据和复杂模式问题时,这种精确决策边界降低了决策树的泛化能力。为了让决策树算法获得对不精确知识的自动获取,把模糊理论引进了决策树,并在建树过程中,引入神经网络作为决策树叶节点,提出了一种基于神经网络的模糊决策树改进算法。在神经网络模糊决策树中,分类器学习包含两个阶段：第一阶段采用不确定性降低的启发式算法对大数据进行划分,直到节点划分能力低于真实度阈值[ε]停止模糊决策树的增长;第二阶段对该模糊决策树叶节点利用神经网络做具有泛化能力的分类。实验结果表明,相较于传统的分类学习算法,该算法准确率高,对识别大数据和复杂模式的分类问题能够通过结构自适应确定决策树规模。     

一种基于改进DRNN网络的决策树构建方法

决策树是数据挖掘和归纳学习的重要方法。本文介绍了ID3算法,ID3算法存在着倾向于取值较多属性的缺点;神经网络也可以用来分类,但是神经网络不易于分类规则的提取。在遗传算法优化的DRNN网络的基础上,提出了使用差量法构建决策树的方法。该方法既具有神经网络分类的高精度,而且分类规则比较直观。实验数据分析表明,本文提出的方法更加接近实际情况,能够更好的进行预测和分类。     

一种基于信息熵的神经网络规则提取方法

从训练后的神经网络中提取规则已成为当前研究热点.已有的网络规则提取方法常需网络修剪和再训练过程,因而计算成本较高.本文提出一种基于信息熵的神经网络规则提取方法,它在网络无需重复训练的情况下能够从训练过的神经网络中快速提取规则.其算法主要有四个过程组成:网络训练、决策树构建和相关隐单元识别、相关输入连接的识别及规则产生.文章以异或问题和棉花病害诊断规则提取为例进行实验,结果表明,基于信息熵的神经网络规则提取方法是有效可行的.     

基于相对熵的决策树生成方法

决策树是一种重要的数据分类方法,在构造决策树的过程中,测试属性的选择直接影响到决策树中结点的个数和深度,基于相对熵的概念提出了一种新的决策树构造方法。实例分析的结果表明:在决策树的构造上,粗糙集理论中相对熵的方法计算量较小,构造的决策树比经典ID3,C4.5算法简洁,并且具有较高的分类精度。     

有序决策树的比较研究

有序分类是现实生活中广泛存在的一种分类问题。基于排序熵的有序决策树算法是处理有序分类问题的重要方法之一,这种方法是以排序互信息作为启发式来构建有序决策树。基于这项工作,通过引入模糊有序熵,并以模糊有序互信息作为启发式构建模糊有序决策树,对有序决策树进行了扩展。这两种算法在实际应用中各有自己的优劣之处,从四个方面对这两种算法进行了详细的比较,并指出了这两种算法的异同及优缺点。     

基于并行反向熵决策树算法的人工神经网络

针对数据分类挖掘问题,利用并行思想,提出一种基于并行反向熵决策树算法的人工神经网络.通过概率度量水平生成并行决策树对数据进行粗处理,以加快人工神经网络的分析速度.随后采用一组仿真数据对该方法进行测试和评估.实验结果表明,该并行分类方法比单个决策树具有更高的分类精度,并在保持分类结果良好可解释性的基础上优化了分类规则.     

基于知识的神经网络在出行方式选择中的应用研究*

针对神经网络和决策树方法在算法上的本质联系和互补优势,将C4.5决策树提取规则的基于知识的神经网络（knowledgebased neural network,KBNN）用于出行方式预测。对居民通勤出行方式选择数据的分析表明,KBNN相比于决策树方法、普通前馈神经网络和多项Logit模型（MNL）有更高的预测精度,方法不仅提高了网络的可解释性,且易于构造、收敛速度更快,实用性较强,为出行方式选择预测提供了新的思路。     

一种基于粗糙集神经网络的分类算法*

当输入维数高时神经网络结构复杂,体系庞大,导致其收敛速度慢,为克服这个缺点,提出了基于决策规则的神经网络(RDRN),利用粗糙集理论从数据样本中获取最简的决策规则,按决策规则语义构建一种不完全连接的神经网络。根据决策语义规则,计算并初始化网络的参数,减少网络训练的迭代次数,提高网络的收敛速度。同时利用蚁群算法对网络输入的连续属性的最优离散化值进行寻优,从而获得了最优的网络结构。最后通过实验结果将本文提出方法与传统神经网络方法以及支持向量机分类方法进行了比较。比较说明了该神经网络具有收敛速度较快,分类效率较高的优点。     

改进利益驱动神经网络在欺诈信息的应用研究

为了研究个体收益和代价实现总体净收益的最大化问题,提出了利益驱动的人工神经网络（ANN）分类方法。该方法引入了惩罚函数,根据实例不同的重要程度对不同实例的误分类给予可变惩罚,并在之后对净利益进行最大化处理。为了生成对个体的惩罚,参照每个实例的收益,通过改变函数值对误差平方和函数进行了修改,提出了七个不同版本的ANN模型。两个欺诈信息的实验结果表明,与原ANN、决策树和朴素贝叶斯分类器相比,所提模型的不同版本在净利润项上的性能优于其他方法,而且能够针对不同的数据集采用不同的权值生成方式。     

一个基于机器学习的神经网络初始化方法

本文针对ＢＰ前馈神经网络存在的训练时间长、容易陷入局部极小等问题，研究了一个基于机器学习的神经网络初始化方法。实验结果表明，用这种方法初始化神经网络，提高了神经网络的学习效率和泛化能力，并且可以有效地抑制陷入局部极小的可能性。     

基于数据挖掘技术的信用卡审批模型研究

针对分类预测建模数据的非对称性,提出一种基于神经网络和决策树技术结合的非对称性数据集合预测分类建模方法,建立了信用卡审批模型.结果表明:增加预测类标识决策属性后,在用不同比例的建模数据集建立的所有模型中,比例为33.33%:66.67%的数据集建立的神经网络模型最好,模型的准确率达到88.49%.     

基于深度学习的人脸跟踪自动初始化方法

针对机器学习领域的人脸跟踪研究,其人脸首帧初始化由人工手动标注的问题,提出了一种基于深度学习的人脸跟踪自动初始化首帧方法。通过建立栈式稀疏自编码神经网络,对大量未标注的样本采用近似恒等的方法计算各隐层节点并运用反向传播法进行权值微调。预训练网络之后,连接softmax分类器,再用少量已标注样本对softmax分类器进行有监督训练,从而形成一个能进行人脸跟踪首帧自动初始化的分类器。结果表明,该方法显著提高了人脸跟踪中首帧初始化的效率,识别准确率达到92%,基本满足了人脸首帧自动初始化的要求。     

A review on weight initialization strategies for neural networks

Over the past few years, neural networks have exhibited remarkable results for various applications in machine learning and computer vision. Weight initialization is a significant step employed before training any neural network. The weights of a network are initialized and then adjusted repeatedly while training the network. This is done till the loss converges to a minimum value and an ideal weight matrix is obtained. Thus weight initialization directly drives the convergence of a network. Therefore, the selection of an appropriate weight initialization scheme becomes necessary for end-to-end training. An appropriate technique initializes the weights such that the training of the network is accelerated and the performance is improved. This paper discusses various advances in weight initialization for neural networks. The weight initialization techniques in the literature adopted for feed-forward neural network, convolutional neural network, recurrent neural network and long short term memory network have been discussed in this paper. These techniques are classified as (1) initialization techniques without pre-training, which are further classified into random initialization and data-driven initialization, (2) initialization techniques with pre-training. The different weight initialization and weight optimization techniques which select optimal weights for non-iterative training mechanism have also been discussed. We provide a close overview of different initialization schemes in these categories. This paper concludes with discussions on existing schemes and the future scope for research.

     

BP网络与RS理论在浮选生产数据分析中的应用

该文在进行某选矿厂浮选生产数据分析的过程中,针对浮选过程常常为高度非线性多输入多输出问题的特点,在深入剖析BP网络与RS理论的基本原理和特点的基础上,提出了分别利用BP网络的高度非线性拟合特性对浮选生产数据进行训练以获得浮选生产过程知识的隐式表达,同时利用RS理论的数据浓缩功能对浮选生产数据进行约简而得到相应浮选生产过程知识的显式表达,然后对两种模型的分析结果进行交叉验证的应用模式。与基于人工神经网络的决策树构造等其它人工神经网络的白化方法相比,该方法具有在保证问题分析结果的精度的同时,分析过程相对简单,克服了由于BP网络结构的不确定性而导致最终得到的决策树不确定的缺点,并由此减小了对所分析数据产生误解的风险。     

基于降噪自编码神经网络的事件相关电位脑电信号分析方法

提出一种基于降噪自编码神经网络事件相关电位分析方法,首先建立3层神经网络结构,利用降噪自编码对神经网络进行初始化,实现了降噪自编码深度学习模型的无监督学习.从无标签数据中自动学习数据特征,通过优化模型训练得到的权值作为神经网络初始化参数.其次,经过有标签的样本进行网络参数的微调即可完成对神经网络的训练,该方法有效解决了神经网络训练中因随机选择初始化参数,而导致网络易陷入局部极小的缺陷.最后,利用上述神经网络对第3届脑机接口竞赛数据集Data set Ⅱ(事件相关电位脑电信号)进行分类分析.实验结果表明:利用降噪自编码迭代2500次训练神经网络模型,在受试者A和受试者B样本数据叠加5次、10次、15次3种情况下获得的分类准确率分别为73.4%, 87.4%和97.2%.该最高准确率优于其他分类方法,比竞赛第1名联合支持向量机(SVM)分类器(ESVM)提高了0.7%,为事件相关电位脑电信号提供了一种深度学习分析方法.     

基于决策树的神经网络预测水泥熟料强度

测定水泥熟料强度的传统方法是实测水泥预制品在第3天与第28天的强度.为了简化并加快熟料强度的预测,设计了基于决策树的神经网络系统.该系统由两部分组成,先利用决策树确定水泥品种,再利用该种水泥样品的数据对神经网络进行训练.实验证明,经过训练的神经网络可以快速、准确地预测熟料的抗压、抗折强度.