基于云模型的决策表规则约简

通过对决策表的转换,将规则映射成为云向量,用云向量数字特征间的相似度来度量决策表规则间的等价关系.基于此,提出了基于云模型的决策表规则约简算法,不仅解决了粗集基于严格属性匹配的等价关系不能区分相似关系,也克服了基于模糊集等价关系依赖专家先验知识、对属性值随机性分布考虑不足的缺点.实验说明了该算法的高效性.     

基于规则信息量的规则提取及规则约简

在提出规则信息量的基础上,分析了可能性规则的定义,并利用规则信息量对条件属性类和决策属性类间的概率因果关系进行了描述,重新定义了可能性规则.同时,进一步提出了能充分利用决策表信息系统中统计信息的规则提取算法LRE.本文还基于规则信息量得到了一种新的规则约简算法,这种算法是在对原有的粗集规则约简定义进行合理推广的基础上建立起来的,能很好地抵抗数据中的噪声.     

面向三维模型多样化分类的深度集成学习

基于深度学习的三维模型分类方法大都面向特定的具体任务,在面向三维模型多样化分类任务时表现不佳,泛用性不足。为此,提出了一种通用的端到端的深度集成学习模型E2E-DEL(end-to-end deep ensemble learning),由多个初级学习器和一个集成学习器组成,可以自动学习复杂三维模型的复合特征信息;并使用层次迭代式学习策略,综合考量不同层次网络的特征学习能力,合理平衡各个初级学习器的子特征学习和集成学习器的集成特征学习效果,自适应于三维模型多样化分类任务。基于此,设计了一种面向多视图的深度集成学习网络MV-DEL(multi-view deep ensemble learning),应用于一般性、细粒度、零样本三种不同类型的三维模型分类任务中。在多个公开数据集上的实验验证了该方法具有良好的泛化性与普适性。     

基于粗糙集的决策规则约简

粗糙集理论是一个新的数据挖掘方法，正越来越被人们所重视。其主要思想是保持分类能力不变的情况下，利用等价类，通过属性约简和决策规则约简，达到发掘知识并简化知识的目的。但是属性约简是一个NP问题，对属性的约简和决策规则的约简只能通过启发式算法实现。该文针对属性约简和决策规则约简，各提出了一个启发式算法。     

基于粗糙集理论的规则提取及约简

给出了一种基于粗糙集理论的规则提取和约简方法.采用模糊C均值方法对实际数据进行聚类分析,提取初始决策表,然后用粗糙集理论方法对该决策表进行约简,得到极小决策表.采用了一个实际决策对象,对算法进行演示和验证.     

一种基于粗糙集属性约简的多分类器集成方法

为提高多分类器系统的分类精度,提出了一种基于粗糙集属性约简的分类器集成方法 MCS_ARS。该方法利用粗糙集属性约简和数据子集划分方法获得若干个特征约简子集和数据子集,并据此训练基分类器;然后利用分类结果相似性得到验证集的若干个预测类别;最后利用多数投票法得到验证集的最终类别。利用UCI标准数据集对方法 MCS_ARS的性能进行测试。实验结果表明,相较于经典的集成方法,方法 MCS_ARS可以获得更高的分类准确率和稳定性。     

基于约简数据集的关联规则挖掘策略

原始数据集中含有大量噪声数据,且数据的规模很大,直接进行关联规则挖掘会影响准确度和效率。文章提出了一种对原始数据先进行聚类,再提取关联规则的挖掘策略,可以在一定程度内减少噪声数据的干扰,消除数据对象中的冗余属性,提高规则挖掘的有效性。     

故障诊断专家系统的集成学习方法

本文提出了一种基于解释与实例学习的集成学习方法。     

基于关联规则的约简算法

该文研究了症状间的关联规则,并由它提出了一种约简算法。这种约简算法可以用于处理病案数据库中的数据,从而简化了数据库中的病案数据。     

规则分层约简算法

针对传统粗糙集方法处理问题时所遇到的离散化以及属性约简的NP难题,将粗糙集中下近似概念与分层思想相结合,提出一种新的粗糙集数据处理方法——规则分层约简算法HRR．该算法直接从决策表中提取规则,利用对规则进行约简来代替属性约简,以避开NP难题,同时针对传统离散化算法对不同离散化区间采取不同编码的局限,实现了不同区间的聚类编码,并在此基础上提出等价决策表的概念．实例表明,HRR算法在计算量以及性能上具有非常明显的优势．     

A survey on ensemble learning

Despite significant successes achieved in knowledge discovery,traditional machine learning methods may fail to obtain satisfactory performances when dealing with complex data,such as imbalanced,high-dimensional,noisy data,etc.The reason behind is that it is difficult for these methods to capture multiple characteristics and underlying structure of data.In this context,it becomes an important topic in the data mining field that how to effectively construct an efficient knowledge discovery and mining model.Ensemble learning,as one research hot spot,aims to integrate data fusion,data modeling,and data mining into a unified framework.Specifically,ensemble learning firstly extracts a set of features with a variety of transformations.Based on these learned features,multiple learning algorithms are utilized to produce weak predictive results.Finally,ensemble learning fuses the informative knowledge from the above results obtained to achieve knowledge discovery and better predictive performance via voting schemes in an adaptive way.In this paper,we review the research progress of the mainstream approaches of ensemble learning and classify them based on different characteristics.In addition,we present challenges and possible research directions for each mainstream approach of ensemble learning,and we also give an extra introduction for the combination of ensemble learning with other machine learning hot spots such as deep learning,reinforcement learning,etc.     

基于子图策略的选择性分类器集成算法

为了去除集成学习中的冗余个体,提出了一种基于子图选择个体的分类器集成算法。训练出一批分类器,利用个体以及个体间的差异性构造出一个带权的完全无向图;利用子图方法选择部分差异性大的个体参与集成。通过使用支持向量机作为基学习器,在多个分类数据集上进行了实验研究,并且与常用的集成方法Bagging和Adaboost进行了比较,结果该方法获得了较好的集成效果。     

基于集成学习的口令强度评估模型

针对现有的口令评估模型通用性差,没有一个可以对从简单口令到非常复杂口令都适用的评估模型的问题,设计了一种基于多模型的集成学习的口令评估模型。首先,使用真实的口令训练集训练多个现有的口令评估模型作为子模型;其次,将多个经过训练的子模型作为基学习器进行集成学习,采用偏弱项投票法的结合策略实现各个子模型的优势集成;最后,实现一个以高准确性为前提的通用口令评估模型。实验中使用网络泄露的真实用户口令数据集作为实验数据,实验结果表明,基于多模型集成学习模型针对不同复杂程度的口令进行口令强度评估,其评估结果准确率高、通用性强,所提模型在口令评估方面具有较好的适用性。     

一种基于自适应证据推理规则的集成学习方法

当前集成学习中的结合策略难以兼顾各个基学习器之间的信息和模型的可解释性。使用证据推理（evidential reasoning,ER）规则作为结合策略,将各个基学习器结果作为证据参与融合,可以较好地解决以上问题。但传统ER规则的证据参数是单一的,对不同的基学习器模型使用相同的证据参数显然是不合理的。为此,提出一种基于自适应证据推理（adaptive-evidential reasoning,A-ER）规则的集成学习方法,该方法在每次证据融合前对证据的类别进行判断,针对不同的证据类别自适应分配不同的证据参数。通过不同的分类案例表明,该方法与案例中其他方法相比具有更高的分类精度,证明了该方法使证据参数设置更加合理且具有更好的可解释性和泛化能力。     

一种新的决策树选择性集成学习方法

个体学习器的差异度是集成学习中的关键因素。流行的集成学习算法如Bagging通过重取样技术产生个体学习器的差异度。选择性集成从集成学习算法产生的个体学习器中选择一部分来集成,结果表明比原集成更好。但如何选择学习器是个难题。使用Q统计量度量两个学习器的差异度,提出一种新的决策树选择性集成学习方法。与C4.5,Bagging方法相比,表现出很好的效果。     

基于灰色Markov模型动态关联规则的元规则挖掘

介绍了增加了支持度向量和置信度向量两种规则评价指标的动态关联规则,给出了一种基于灰色Markov模型的预测和分析动态关联规则的元规则的方法。此方法在建立灰色模型的基础上应用Markov链理论,实验证明利用此方法挖掘的元规则要优于灰色模型等其他方法。     

流数据环境下基于分歧策略的高效能集成学习

流数据环境下如何利用大量非标记样本进行高效学习是一个非常重要的问题,基于分歧策略的主动学习是一种有效的解决方法,但通常该类算法只考虑具有最大分歧的边界样本,没有考虑训练前期对分歧度小的样本误判后的样本矫正问题,为此,提出一种基于分歧度评价的融合主动学习和集成学习的高效能学习方法。该方法基于样本分歧度和不同的训练阶段,采取不同的非标记样本选取方式。为评价方法性能,在人工流数据和HEp-2细胞图像数据上进行了实验,结果表明该方法相对于目前的Qboost方法,需要的训练样本数少且具有更高的分类精度。     

基于多机器学习竞争策略的短时雷电预报

传统的雷电数据预测方法往往采用单一最优机器学习算法,较少考虑气象数据的时空变化等现象。针对该现象,提出一种基于集成策略的多机器学习短时雷电预报算法。首先,对气象数据进行属性约简,降低数据维度;其次,在数据集上训练多种异构机器学习分类器,并基于预测质量筛选最优基分类器;最后,通过对最优基分类器训练权重,并结合集成策略产生最终分类器。实验表明,该方法优于传统单最优方法,其平均预测准确率提高了9.5%。     

自适应嵌套级联的在线集成学习方法研究

针对视频目标检测问题,提出一种新的在线集成学习方法。该方法把目标检测看成两类分类问题,首先用少量已标注样本离线训练一个初始集成分类器,然后在检测目标的同时通过跟踪过滤虚警目标,并通过样本置信度作进一步验证自动标注样本,最后通过在线集成学习方法更新级联分类器。该方法通过在线调整级联分类器,提高分类器对目标环境变化的适应能力,在大量视频序列上进行实验验证,并与现有在线集成学习方法进行比较,结果表明,通过该方法训练得到的检测器不但能够很好地应对目标特征的变化,也能在出现目标遮挡及背景干扰下稳定地检测出目标,具有较好的适应性及鲁棒性。