基于粗糙集约简的神经网络集成及其遥感图像分类应用

为降低集成特征选择方法的计算复杂性,提出了一种基于粗糙集约简的神经网络集成分类方法。该方法首先通过结合遗传算法求约简和重采样技术的动态约简技术,获得稳定的、泛化能力较强的属性约简集;然后,基于不同约简设计BP网络作为待集成的基分类器,并依据选择性集成思想,通过一定的搜索策略,找到具有最佳泛化性能的集成网络;最后通过多数投票法实现神经网络集成分类。该方法在某地区Landsat 7波段遥感图像的分类实验中得到了验证,由于通过粗糙集约简,过滤掉了大量分类性能欠佳的特征子集,和传统的集成特征选择方法相比,该方法时间开销少,计算复杂性低,具有满意的分类性能。     

基于粗糙集约简的神经网络集成及其遥感图像分类应用

为降低集成特征选择方法的计算复杂性,提出了一种基于粗糙集约简的神经网络集成分类方法。该方法首先通过结合遗传算法求约简和重采样技术的动态约简技术,获得稳定的、泛化能力较强的属性约简集;然后,基于不同约简设计BP网络作为待集成的基分类器,并依据选择性集成思想,通过一定的搜索策略,找到具有最佳泛化性能的集成网络;最后通过多数投票法实现神经网络集成分类。该方法在某地区Landsat 7波段遥感图像的分类实验中得到了验证,由于通过粗糙集约简,过滤掉了大量分类性能欠佳的特征子集,和传统的集成特征选择方法相比,该方法时     

A new ensemble feature selection and its application to pattern classification

Neural network ensemble based on rough sets reduct is proposed to decrease the computational complexity of conventional ensemble feature selection algorithm. First, a dynamic reduction technology combining genetic algorithm with resampling method is adopted to obtain reducts with good generalization ability. Second, Multiple BP neural networks based on different reducts are built as base classifiers. According to the idea of selective ensemble, the neural network ensemble with best generalization ability can be found by search strategies. Finally, classification based on neural network ensemble is implemented by combining the predictions of component networks with voting. The method has been verified in the experiment of remote sensing image and five UCI datasets classification. Compared with conventional ensemble feature selection algorithms, it costs less time and lower computing complexity, and the classification accuracy is satisfactory.     

在癌症分类中基于分层抽样的神经网络集成算法

在基因表达谱数据的分析中,针对有效合理地选择特征基因集的问题,本文将分层抽样技术引入特征基因选择,提高特征基因集的分类能力。以神经网络作为分量分类器,神经网络集成进行分类预测。并在结肠癌数据集上进行实验,实验结果表明该方法能有效地降低特征基因集选择的复杂性,提高对于未知样本的分类预测效果。     

动态自适应选择神经网络集成的方法研究

为了有效提高神经网络的集成性能，提出了基于局部分类精度估计的动态自适应选择集成的思想．根据贝叶斯理论．证明了在满足一定假设的条件下，动态自适应选择集成的分类性能可以逼近最优贝叶斯分类器．在此基础上，分别介绍了硬决策和软决策两种个体网络选择方法．选自UCI机器学习数据库的5个数据集的实验结果表明，动态自适应选择的分类性能明显优于常用的投票法和平均法，且集成分类性能对邻域的大小并不敏感；其中，软决策方法要优于硬决策方法．     

基于稀疏诱导特征选择神经网络的储层预测方法研究

常规储层预测方法对地震属性之间的隐含关系挖掘不充分、地震属性种类繁多难以选择.针对以上问题,为提高储层岩性的分类预测精度,提出一种结合特征选择与神经网络的储层预测方法.以DenseNet与SENet为基础,使用正则惩罚项进行网络输入层稀疏化,得到每个输入节点权重,进一步使用ReLU激活函数构建特征选择层,实现地震属性的...     

卷积神经网络特征重要性分析及增强特征选择模型

卷积神经网络等深度神经网络凭借着其强大的表达能力、突出的分类性能,已在不同领域内得到了广泛应用.当面对高维特征时,深度神经网络通常被认为具有较好的鲁棒性,能够隐含地对特征进行选择,但由于网络参数巨大,如果数据量达不到足够的规模,则会导致学习不充分,因而可能无法达到最优的特征选择.而神经网络的黑箱特性使得无法观测神经网络选择了哪些特征,也无法评估其特征选择的能力.为此,以卷积神经网络为例,首先研究如何显式地表达神经网络中的特征重要性,提出了基于感受野的特征贡献度分析方法;其次,将神经网络特征选择与传统特征评价方法进行对比分析发现,在非海量样本的情况下,传统特征评价方法对高重要性特征和噪声特征的识别能力反而能够超过神经网络.因此,进一步地提出了卷积神经网络增强特征选择模型,将传统特征评价方法对特征重要性的理解结合到神经网络的学习过程中,以辅助深度神经网络进行特征选择.在基于文本的社交媒体用户属性建模任务下进行了对比实验,结果验证了该模型的有效性.     

基于特征和结构信息增强的图神经网络集成学习框架

近年来,图神经网络由于其丰富的表征和推理能力受到广泛的关注,然而,目前的研究聚焦于卷积策略和网络结构的调整以获得更高的性能,不可避免地面临单一模型局限性的约束。受到集成学习思想的启发,面向图神经网络创新性地提出一套集成学习框架(EL-GNN)。不同于常规的文本和图像数据,图数据除了特征信息外还包括了丰富的拓扑结构信息。因此,EL-GNN不仅将不同基分类器的预测结果进行融合,还在集成阶段额外补充了结构信息。此外,基于特征相似或结构邻居节点通常具有相似标签的先验假设,借助特征图重构,进一步优化集成策略,充分平衡了节点的特征和结构信息。大量实验表明,提出的集成策略取得了良好的成效,并EL-GNN在节点分类任务上显著优于现有模型。     

基于判别式分析和神经网络的特征选择方法

为了获得重要的特征集合,提出了一种基于判别式分析算法和神经网络的特征选择方法。通过最小化扩展互熵误差函数来训练神经网络,这一误差函数的使用减小了神经网络传输函数的导数,降低了输出敏感度。该方法首先利用判别式分析算法得到一个有序的特征队列,然后通过正则化神经网络进行特征的选择,特征选择过程是基于单个特征的移除带来验证数据集上分类误差变化这一原理。与其他基于不同原理的四种方法进行了比较,实验结果表明,利用该算法训练的网络能够获得较高分类准确率。     

基于迭代训练和集成学习的图像分类方法

针对卷积神经网络提取特征信息不完整导致图像分类方法分类精度不高等问题,利用深度学习的方法搭建卷积神经网络模型框架,提出一种基于迭代训练和集成学习的图像分类方法。利用数据增强对图像数据集进行预处理操作,在提取图像特征时,采用一种迭代训练卷积神经网络的方式,得到充分有效的图像特征,在训练分类器时,采用机器学习中集成学习的思想。分别在特征提取后训练分类器,根据各分类器贡献的大小,赋予它们不同的权重值,取得比单个分类器更好的性能,提高图像分类的精度。该方法在Stanford Dogs、UEC FOOD-100和CIFAR-100数据集上的实验结果表明了其较好的分类性能。     

结合概率型神经网络(PNN)和学习矢量量化(LVQ)算法的文本分类方法

针对文本自动分类问题,提出一种基于概率型神经网络(PNN)和学习矢量量化(LVQ)相结合的文本分类算法,该方法借助TFIDF方法提取文本特征及特征值,形成文本分类特征向量,利用概率型神经网络构建分类模型,并利用LVQ学习算法对神经网络模型竞争层网络进行学习,使相应模式向量相互靠拢,远离其他模式,从而实现文本分类.实验结果表明,提出的该方法在文本分类中表现了很好的效果,不仅具有很好的分类准确率,还表现出很好的学习效率.     

基于粒子群神经网络集成的肿瘤分型研究

针对肿瘤基表达谱样本少、维数高的特点,提出一种用于肿瘤分型的粒子群神经网络集成算法。根据相似性度量函数滤出分类无关基因,形成候选特征子集。采用基于灵敏度分析的BP神经网络模型作为基分类器,进一步剔除冗余基因。改进的粒子群优化算法全局搜索BP神经网络的权值和阈值。实验结果表明,该算法对肿瘤分型具有良好的识别率,且特征集合中仅包含54个特征基因。     

一种新型的神经网络集成模型

神经网络集成作为神经网络技术的延伸,被广泛的用于解决分类问题。很多实际应用表明:神经网络集成表现出比单个神经网络更好的性能。而传统的神经网络集成模型中网络的构建和集成是分两个阶段完成的。论文提出一种新的神经网络集成结构模型“层状集成”。该模型中网络的构建和集成同时完成,且每个成员网络的输出流入到下一个神经网络,作为下一个神经网络的输入,以这种方式生成一种层状神经网络集成。该模型用于解决分类问题,表现出比传统神经网络集成更好的性能。     

几种机器学习方法在人脸识别中的性能比较

BP神经网络、RBF神经网络、支持向量机（SVM）和集成学习是目前应用最为广泛的四种机器学习方法。将这四种常用的机器学习方法分别应用于人脸识别,并利用ORL人脸图像库对各学习方法性能进行了测试和评估。测试结果表明SVM和集成学习在实验中取得了较好的性能,最适合用于人脸识别中特征分类器。     

模糊粗糙神经网络特征选择方法研究

实际采集的数据中往往存在模糊不确定性和粗糙不确定性,为全面度量数据的不确定性,引入了模糊粗糙集中的模糊粗糙隶属函数概念,并结合容错能力较强的神经网络设计了一种新的模糊粗糙神经网络.该网络不仅训练速度快,且具有较好的分类效果.利用该网络设计了一种新的特征选择算法,根据精度下降指标对输入节点进行结构修剪,实现最优特征子集的搜索.通过UCI数据集实验,并与RBF网络选择结果进行比较,表明该算法具有精度高、速度快、泛化性能好等优点,是有效的.     

卷积神经网络在乐器板材优劣识别中的应用研究

目前民族乐器板材振动信号识别算法具有特征提取复杂且耗时长等缺点,针对此问题,提出了一种基于卷积神经网络的木材振动信号分类识别算法,实现了乐器板材优劣的判别。卷积神经网络将特征提取和分类过程结合来进行神经网络的训练,具有识别度高、鲁棒性好等优点。首先重点分析和讨论了提取木材振动信号的语谱图特征,然后应用卷积神经网络结合网格搜索的方法进行参数调优。为了防止过拟合,还应用了ReLU和Dropout等新技术,得到最终分类结果。实验证明,测试样本准确率达到96%,明显优于传统方法。该方法可减小人工测量的误差,加快板材的选取时间,为民族乐器制造领域的选材提供了一种更加实用的方法。     

基于改进聚类分析的神经网络集成方法应用研究

随着工业生产规模扩大、生产过程日趋复杂,人们对过程模拟提出了更高的要求。提出一种基于改进聚类分析的神经网络集成方法。首先,根据数据密度分布,改进传统K-均值聚类分析中初始中心点选取的不足,对样本进行分类,扩大样本间的差异性;第二,运用具有快速学习能力的广义回归神经网络算法对各类样本建立个体神经网络并进行训练;第三,对所有样本增加构造补偿神经网络,进行误差补偿,以消除由于选择错误造成的输出误差;最后,根据计算得到的聚类中心对输入样本进行数值分析,选择输出个体神经网络,并与构造的补偿网络输出进行比较,最终实现神经网络集成。通过人工数据Sinc验证模型,此方法有效提高了模型精度,对提高过程模拟准确性提供了新途径。     

混合卷积神经网络的人脸验证

人脸验证对于个人身份认证很重要, 它在系统安全和犯罪识别中具有重要意义. 人脸验证的任务是给定一对人脸图像判断是否为相同的身份(即二进制分类). 传统的验证方法包括两个步骤: 特征提取和人脸验证. 本文提出了一个混合卷积神经网络, 用于进行人脸验证, 主要过程分为三个步骤: 特征提取, 特征选择和人脸验证. 这个模型关键点是直接使用混合卷积神经网络从原始像素直接学习相关的视觉特征, 并通过单变量特征选择和主成分分析(PCA)进一步处理特征. 这样可以实现从原始像素提取到具有较好鲁棒性和表达性的特征. 在顶层使用支持向量机(SVM)判读是否为同一个人. 通过实验可以发现混合卷积神经网络模型与传统方法相比在人脸验证得准确率上有着较好的表现.     

基于神经网络集成的汽车牌照识别

对基于神经网络集成的汽车牌照识别的原理和方法进行了研究,并着重分析了现有技术的积极因素和潜在问题,提出了一种基于神经网络集成进行车牌文字识别的方法.在特征提取时采用了多种特征提取的方法,对提取的每种特征构建一个BP神经网络分别进行训练.最终待识别的字符将被神经网络集成进行识别.实践证明,利用该方法比单个神经网络识别有更高的识别率,具有较高的使用价值.