基于FP-Tree的模式分解算法

提出了基于FP-Tree的PD算法。该算法将模式分解焦点从原始数据集转移到数据相对集中的FP-Tree上,从而进一步提高了PD算法挖掘频繁模式集的效率。文中以实例说明了该算法的工作过程。     

选择性集成极限学习机分类器建模研究

极限学习机ELM(Extreme Learning Machine)具有训练过程极为快速的优点,但在实际分类应用中ELM分类器的分类精度和稳定性有时并不能满足要求。针对这一问题,在ELM用于分类时引入一种训练结果信息量评价指标来改进输出权值矩阵的求解方法,并增加隐层输出矩阵竞争机制来提高ELM的稳定性。为了进一步提高ELM的分类正确率,借鉴神经网络集成的理论,提出一种选择性集成ELM分类器。在集成方法中采用改进Bagging法并提出一种基于网络参数向量的相似度评价方法和选择性集成策略。最后通过UCI数据测试表明,同Bagging法和传统的全集成法相比,该方法拥有更为优秀的分类性能。     

基于回归问题的选择性集成算法

提出一种应用于回归问题,以分类回归树为基学习器,并综合Boosting和Bagging算法的特点,利用变相似度聚类技术和贪婪算法来进行选择性集成学习的算法——SER-BagBoosting Trees算法。将其与几种常用的机器学习算法进行比较研究,得出该算法往往比其他集成学习算法具有更好的泛化性能和更高的运行效率。     

基于特征提取的选择性神经网络集成方法

针对现有神经网络集成研究方法在输入属性、集成方式和集成形式上的不足,提出一种基于特征提取的选择性神经网络集成模型-NsNNEIPCABag.该模型通过Bagging算法产生若干训练子集;利用改进的主成分分析(IPCA)提取主成分作为输入来训练个体网络;采用IPCA从所有个体网络中选择出部分线性无关的个体网络;采用神经网络对选择出来的个体网络进行非线性集成.为检验该模型的有效性,将其用于时间序列预测,结果表明本文提出的方法的泛化能力优于流行的其它集成方法.     

选择性集成学习算法的研究

通过选择性集成可以获得比单个学习器和全部集成学习更好的学习效果,可以显著地提高学习系统的泛化性能。文中提出一种多层次选择性集成学习算法,即在基分类器中通过多次按权重进行部分选择,形成多个集成分类器,对形成的集成分类器进行再集成,最后通过对个集成分类器多数投票的方式决定算法的输出。针对决策树与神经网络模型在20个标准数据集对集成学习算法Ada—ens进行了实验研究,试验证明基于数据的集成学习算法的性能优于基于特征集的集成学习算法的性能,有更好的分类准确率和泛化性能。     

选择性集成学习算法的研究

通过选择性集成可以获得比单个学习器和全部集成学习更好的学习效果,可以显著地提高学习系统的泛化性能。文中提出一种多层次选择性集成学习算法,即在基分类器中通过多次按权重进行部分选择,形成多个集成分类器,对形成的集成分类器进行再集成,最后通过对个集成分类器多数投票的方式决定算法的输出。针对决策树与神经网络模型在20个标准数据集对集成学习算法Ada—ens进行了实验研究,试验证明基于数据的集成学习算法的性能优于基于特征集的集成学习算法的性能,有更好的分类准确率和泛化性能。     

基于Bagging的概率神经网络集成分类算法

目前的神经网络较多集中在以BP算法为基础的BP神经网络上。针对BP神经网络的不足,在分析研究概率神经网络和机器学习的基础上,结合集成学习的思想,提出了基于Bagging的概率神经网络集成分类算法。理论分析和实验结果都表明,提出的算法能够有效地降低分类误差,提高分类准确率,具有较好的泛化能力以及较快的执行速度,能够取得比传统的BP神经网络分类方法更好和更稳定的分类结果。     

基于半监督回归的选择性集成算法

为了提高小数据量的有标记样本问题中学习器的性能,结合半监督学习和选择性集成学习,提出了基于半监督回归的选择性集成算法SSRES。算法基于半监督学习的基本思想,同时使用有标记样本和未标记样本训练学习器从而减少对有标记样本的需求,使用选择性集成算法GRES对不同学习器进行适当的选择,并将选择的结果结合提高学习器的泛化能力。实验结果表明,在小数据量的有标记样本问题中,该算法能够有效地提高学习器的性能。     

基于FP-Tree含正负项目的频繁项集挖掘算法

借鉴FP_growth算法中频繁模式树的思想,提出包含正负项目的频繁模式树的构造方法.通过对该频繁模式树进行模式扩展,可以挖掘出包含正负项目的频繁项集.该算法与直接使用FP_growth算法挖掘含负项目的频繁项集相比,无需对原始数据库进行负项目的扩展,也不用再构造并销毁额外的数据结构,只需在原始的频繁模式树上修改,在时间和空间的开销上都具有一定优势.实验表明,本文算法比现有的同类挖掘算法和直接FP_growth算法具有更好的效率.     

基于群体智能的选择性决策树分类器集成

尽管选择性集成方法的研究和应用已取得了不少重要成果,然而其实现方法计算复杂度高、效率低仍是应用该方法的一个瓶颈。为此,提出了一种新的高速收敛的选择性集成方法。该方法使用C4.5决策树分类器作为基学习器,利用高速收敛的群体智能算法来寻找最优集成模型,并在UCI数据库的多值分类数据集上进行了实验。实验结果表明,该方法计算效率高,其精度和稳定性比Bagging方法都要高,可以成为一种高效的选择性集成的实现方法。     

快速更新全局频繁项目集

数据挖掘中的频繁项目集更新算法研究是重要的研究课题之一.目前已有的频繁项目集更新算法主要针对单机环境,有关分布式环境下的全局频繁项目集的更新算法的研究尚不多见.为此,提出了快速更新全局频繁项目集算法(fast updating algorithm for globally frequent itemsets,简称FUAGFI).该算法主要考虑数据库记录增加时全局频繁项目集的更新情况.FUAGFI利用已建立的各局部频繁模式树(frequent pattern tree,简称FP-tree)及已挖掘的全局频繁项目集,可有效地降低网络通信量,提高全局频繁项目集的更新效率.实验结果表明,所提出的更新算法是行之有效的.     

A fast ensemble pruning algorithm based on pattern mining process

Ensemble pruning deals with the reduction of base classifiers prior to combination in order to improve generalization and prediction efficiency. Existing ensemble pruning algorithms require much pruning time. This paper presents a fast pruning approach: pattern mining based ensemble pruning (PMEP). In this algorithm, the prediction results of all base classifiers are organized as a transaction database, and FP-Tree structure is used to compact the prediction results. Then a greedy pattern mining method is explored to find the ensemble of size k. After obtaining the ensembles of all possible sizes, the one with the best accuracy is outputted. Compared with Bagging, GASEN, and Forward Selection, experimental results show that PMEP achieves the best prediction accuracy and keeps the size of the final ensemble small, more importantly, its pruning time is much less than other ensemble pruning algorithms.     

Bagging ensemble models for bank profitability: An emprical research on Turkish development and investment banks

The purpose of this study is to find the determinants of the profits for the Development and Investment Banks (IaDB) in Turkey. In Turkish Banking System, the main financial source of the banks is the deposits, which constitute almost%60 of the balance sheet. As being a sub-group of the banking system, IaDB are not allowed to accept deposits in Turkey, which changes the total structure of the profitability compared to other banks. Till today, none of the relevant research was concentrated on the profit structure of the IaDB neither in Turkey nor in any other countries. Such research would fill that unexpectedly disregarded yet highly important gap.Therefore, to address this gap, quarterly financial data (10 balance sheet ratios) of 13 banks in the period of 2002Q4-2014Q3 were utilized. As a profit measurement among all other available measures, Return on Equity was chosen as dependent variable as it was the most used one as well as many other researcher have preferred as well. This study investigates the potential usage of bagging (Bag), which is one of the most popular ensemble learning methods, in building ensemble models, is used to predict the determinants of Turkish IaDB profitability. Three well-known tree-based machine learning (ML) models (i.e., Decision Stump (DStump), Random Tree (RTree), Reduced Error Pruning Tree (REPTree)) are deployed as base learner. This empirical study indicates that bagging ensemble models (i.e., Bag-DStump, Bag-RTree, Bag-MLP and Bag-REPTree) are superior to their base learners and could improve the prediction accuracy of individual ML models (i.e., DStump, RTree, REPTree).     

基于FP-tree的多层关联规则快速挖掘算法

研究了多层关联规则挖掘的理论和方法,提出了一种基于FP-tree的快速挖掘算法FAMML_FPT。该算法不仅实现了同层次关联规则的挖掘,也能实现跨层次关联规则的挖掘,其中引入了修补项、跨层修补项的概念,以便从低到高逐层建立FP-tree,有效减少了扫描数据库的次数,且不用产生大量的候选项集,提高了数据挖掘的效率。     

基于FP-tree和约束概念格的关联规则挖掘算法及应用研究

现有的基于频繁模式树FP-tree和概念格的规则挖掘算法在构造概念格时存在重复遍历FP-tree问题,在挖掘后件约束的规则时算法构造的概念格包含冗余结点。针对这两个问题,提出了通过遍历FP-tree生成候选概念格节点的策略,并根据候选概念格节点进一步构造规则约束条件下无冗余概念格。通过实际项目中大气腐蚀数据进行算法的应用,结果表明该算法比现有算法具有更高的挖掘效率且腐蚀规则结果对材料腐蚀现状研究具有重要指导价值。     

一种基于前缀广义表的关联规则增量式更新算法

关联规则挖掘是数据挖掘研究的一个重要方面,关联规则的高效维护算法研究是当前研究的热点．传统更新算法与Apriori算法框架一致,要多遍扫描数据库并产生大量的候选项目集．为此,该文对FP-tree进行了改进,引入了前缀广义表——PG-List,并提出了基于PG-List的关联规则挖掘(MARBPGL)与增量式更新算法(IUABPGL)．算法MARBPGL仅须扫描数据库两遍,算法IUABPGL在最坏的情况下仅须扫描原数据库一遍,扫描新增数据库两遍,且两个算法均无须生成候选项目集,避免了产生“知识的组合爆炸”,提高了挖掘和维护的效率．理论分析和实验结果表明该文提出的算法是有效可行的．     

快速统一挖掘超团模式和极大超团模式

超团模式是一种新型的关联模式,这种模式所包含的项目相互间具有很高的亲密度.超团模式中某个项目在事务中的出现很强地暗示了模式中其他项目也会相应地出现.极大超团模式是一组超团模式更加紧凑的表示,可被用于多种应用.挖掘这两种模式的标准算法是完全不同的.提出一种基于FP-tree(frequent pattern tree)的快速挖掘算法——混合超团模式增长(hybrid hyperclique pattern growth,简称HHCP-growth),统一了两种模式的挖掘.算法采用递归挖掘方法,并应用多种有效的剪枝策略.提出并证明几个相关命题来说明剪枝策略的有效性和算法的正确性.实验结果表明,HHCP-growth算法相对于标准的超团模式挖掘算法和极大超团模式挖掘算法都具有更高的效率,尤其对于大数据集或在低支持度条件下更为显著.     

分布式数据库多层关联规则挖掘算法研究

对分布式数据库多层关联规则挖掘的理论和方法进行了研究,提出了一种基于频繁模式树FP-tree(Freguent Pattern tree)的快速挖掘算法DMAML_FPT(Distributed Mining Algorithm of Multiple Level based on FP-tree)。与类Apriori算法相比较,该算法最多只需扫描数据库三遍,不需产生和传输大量的候选项集,减少了数据通信量,从而提高了数据挖掘的效率。 实验结果表明算法DMAML_FPT是可行和有效的。     

一种基于多关联规则的全局快速分类算法

提出了一种分布多库环境下的全局库分类规则发现算法——FGCMAR。FGCMAR在各个站点采用CMAR算法分别生成频繁模式树,并在各个站点间传送条件模式基来形成全局条件频繁模式树,最终通过挖掘条件频繁模式树来得到全局分类规则。该算法能够有效的减小网络通信量,提高挖掘效率。理论分析和实验结果表明该算法是有效可行的。     

基于贝叶斯网络的频繁模式兴趣度计算及剪枝

采用贝叶斯网络表示领域知识,提出一种基于领域知识的频繁项集和频繁属性集的兴趣度计算和剪枝方法 BN-EJTR,其目的在于发现与当前领域知识不一致的知识,以解决频繁模式挖掘所面临的有趣性和冗余问题.针对兴趣度计算过程中批量推理的需求,BN-EJTR提供了一种基于扩展邻接树消元的贝叶斯网络推理算法,用于计算大量项集在贝叶斯网络中的支持度;同时,BN-EJTR提供了一种基于兴趣度阈值和拓扑有趣性的剪枝算法.实验结果表明,与同类方法相比,方法 BN-EJTR具有良好的时间性能,而且剪枝效果明显;分析发现,经过剪枝后的频繁属性集和频繁项集相对于领域知识符合有趣性要求.