一种多层次选择性集成学习算法

选择性集成学习是为解决同一个问题而训练多个基分类器,并依据某种规则选取部分基分类器的结果进行整合的学习算法。通过选择性集成可以获得比单个学习器和全部集成学习更好的学习效果,可以显著地提高学习系统的泛化性能。提出了一种多层次选择性集成学习算法Ada_ens。试验结果表明,Ada_ens具有更好的学习效果和泛化性能。     

基于集成学习的疾病预测模型研究

多种慢性疾病若不能得到有效诊断和治疗会引发综合征,因此疾病的早期识别和诊断在临床实践中发挥着重要作用.目前提出的模型都假设用于训练模型的数据是完美的,而现实的医学数据中通常存在大量的缺失值和类别不平衡,这两个问题严重阻碍了模型的预测能力.为此,以糖尿病为例提出了一种基于集成学习的疾病预测模型,并且在评价模型的过程中采用...     

基于概率校准的集成学习

针对原有集成学习多样性不足而导致的集成效果不够显著的问题,提出一种基于概率校准的集成学习方法以及两种降低多重共线性影响的方法。首先,通过使用不同的概率校准方法对原始分类器给出的概率进行校准;然后使用前一步生成的若干校准后的概率进行学习,从而预测最终结果。第一步中使用的不同概率校准方法为第二步的集成学习提供了更强的多样性。接下来,针对校准概率与原始概率之间的多重共线性问题,提出了选择最优(choose-best)和有放回抽样(bootstrap)的方法。选择最优方法对每个基分类器,从原始分类器和若干校准分类器之间选择最优的进行集成;有放回抽样方法则从整个基分类器集合中进行有放回的抽样,然后对抽样出来的分类器进行集成。实验表明,简单的概率校准集成学习对学习效果的提高有限,而使用了选择最优和有放回抽样方法后,学习效果得到了较大的提高。此结果说明,概率校准为集成学习提供了更强的多样性,其伴随的多重共线性问题可以通过抽样等方法有效地解决。     

基于集成的流形学习可视化

流形学习有助于发现数据的内在分布和几何结构.目前已有的流形学习算法对噪音和算法参数都比较敏感,噪音使得输入参数更加难以选择,参数较小的变化会导致差异显著的学习结果.针对Isomap这一流形学习算法,提出了一种新方法,通过引入集成学习技术,扩大了可以产生有效可视化结果的输入参数范围,并且降低了对噪音的敏感性.     

AILM：一个基于联想的集成学习模型

不同的学习方法体现人的思维的不同侧面,对复杂的任务可用多种方法协同完成。本文提出一种基于联想的集成学习系统结构和一种统一知识表示方式,既考虑了单个学习模块的独立性,又考虑整个系统的一致性,具有一定的应用前景。     

选择性集成学习算法的研究

通过选择性集成可以获得比单个学习器和全部集成学习更好的学习效果,可以显著地提高学习系统的泛化性能。文中提出一种多层次选择性集成学习算法,即在基分类器中通过多次按权重进行部分选择,形成多个集成分类器,对形成的集成分类器进行再集成,最后通过对个集成分类器多数投票的方式决定算法的输出。针对决策树与神经网络模型在20个标准数据集对集成学习算法Ada—ens进行了实验研究,试验证明基于数据的集成学习算法的性能优于基于特征集的集成学习算法的性能,有更好的分类准确率和泛化性能。     

选择性集成学习算法的研究

通过选择性集成可以获得比单个学习器和全部集成学习更好的学习效果,可以显著地提高学习系统的泛化性能。文中提出一种多层次选择性集成学习算法,即在基分类器中通过多次按权重进行部分选择,形成多个集成分类器,对形成的集成分类器进行再集成,最后通过对个集成分类器多数投票的方式决定算法的输出。针对决策树与神经网络模型在20个标准数据集对集成学习算法Ada—ens进行了实验研究,试验证明基于数据的集成学习算法的性能优于基于特征集的集成学习算法的性能,有更好的分类准确率和泛化性能。     

一种基于神经网络集成的规则学习算法

将神经网络集成与规则学习相结合，提出了一种基于神经网络集成的规则学习算法．该算法以神经网络集成作为规则学习的前端，利用其产生出规则学习所用的数据集，在此基础上进行规则学习．在UCl机器学习数据库上的实验结果表明，该算法可以产生泛化能力非常强的规则．     

行人属性识别:基于元学习的概率集成方法

行人属性识别(pedestrian attribute recognition,PAR)的目的是从输入图像中挖掘行人的属性信息.近年来,卷积神经网络(convolution neural network,CNN)的兴起在行人属性识别中获得了广泛的应用.现有的方法多采用属性不可知的视觉注意或启发式的身体部位定位机制来增强...     

基于Bagging的概率神经网络集成分类算法

目前的神经网络较多集中在以BP算法为基础的BP神经网络上。针对BP神经网络的不足,在分析研究概率神经网络和机器学习的基础上,结合集成学习的思想,提出了基于Bagging的概率神经网络集成分类算法。理论分析和实验结果都表明,提出的算法能够有效地降低分类误差,提高分类准确率,具有较好的泛化能力以及较快的执行速度,能够取得比传统的BP神经网络分类方法更好和更稳定的分类结果。     

结合粗糙集与集成学习的中文文本分类方法研究

介绍中文文本分类的流程及相关技术。在分析传统的文本特征选择不足的基础上,提出了基于粗糙集与集成学习结合的文本分类方法,通过粗糙集进行文本的特征选择,采用一种集成学习算法AdaBoost.M1来提高弱分类器的分类性能,对中文文本进行分类。实验证明,这种算法分类结果的F1值比C4.5、kNN分类器都高,具有更加优良的分类性能。     

基于DCIO-DNN和迁移学习的基因表达回归预测模型

传统预测基因表达的线性模型无法解决基因表达谱数据高维度、少样本和非线性的现实问题。对此提出一种基于直连输入输出深度神经网络(DCIO-DNN)和迁移学习的基因表达回归预测模型(DCIO-DNN_GM)。提出一种可以建模landmark和target基因的线性和非线性映射关系的新型网络结构;引入迁移学习策略和正则化技术在小数据集上训练了模型。实验结果表明,该模型各项指标都更高。     

基于动态分类器集成系统的卷烟感官质量预测方法

集成学习是一种可以有效改善分类系统性能的数据挖掘方法。采用动态分类器集成选择算法对卷烟感官质量进行智能评估。产生包含多个基分类器的分类器池;根据基分类器在被测样本邻域内的表现选择满足要求的分类器;采用被选择的分类器产生最终的预测结果。为了验证该方法的有效性,采用国内某烟草公司提供的卷烟感官评估历史数据集进行了实验比较分析。实验结果表明,与其他方法相比,该方法获得的效果明显改善。     

基于模型逼近度和接受概率的一个变步长快速BP学习算法

本文给出模型逼近度的概念。在此基础上并利用模拟退火法的思想，提出了一个改进的变步长快速ＢＰ学习算法。数据结果表明该算法不仅明显地提高ＢＰ网络的学习收敛速度，而且在一定程度上还能避免陷和局部极小。     

一种基于Bayesian学习的彩色肺癌图像语义描述模型

通过对Bayesian理论框架引入肺癌分类识别问题，提出一种基于Bayesian学习理论的彩色肺癌图像语义描述模型，该模型由原始图像层（raw image Layer,RIL)，图像特征层（image feature layer,IFL)，语义知识层（Semantic knowledge layer,SKL)以及语义描述算法SDA构成，基于此模型提出一种肺癌分类识别算法，并实现了一个肺癌分类识别系统，实验表明，该模型具较高的肺癌分类准确率，是行之有效的。     

基于自适应学习的Rootkit检测模型

针对目前基于异常行为的Rootkit检测方法依赖于行为的选取和行为模式库的完备性,提出了一种基于自适应学习的Rootkit检测系统模型。该模型对通过模糊行为识别检测出的Rootkit的行为进行分析,利用学习机制提取新的行为特征,不断完善行为模式库,并动态计算各行为特征对Rootkit的支持度自适应地更新各行为特征的检测权重,实现对未知Rootkit的检测。实验结果表明,该模型能较好地检测Rootkit,且不会明显影响系统性能。     

超文本学习状态空间模型与学习控制

超文本教学材料的路径控制是超文本教育应用中存在的一个重要问题。文中以知识空间理论和一般的关系型超文本数学模型为基础,相入超文本学习状态空间的概念;通过定义学习状态空间的数学模型和学习状态跃迁阈值,实现对状态空间学习路径的控制,避免学生“走弯路”,提高了超文本的教学效果。在这种控制方式下,学生在学习状态内部有充分的自由浏览各个知识点;在学习状态之间学生的浏览则受到合理的控制,从而达到了自由与控制的统     

一种基于Agent团队的强化学习模型与应用研究

多Ａｇｅｎｔ学习是近年来受到较多关注的研究方向,以单Ａｇｅｎｔ强化Ｑ－ｌｅａｒｎｉｎｇ算法为基础,提出了一种基于Ａｇｅｎｔ团队的强化学习模,这个模型的最大特点是引入主导Ａｇｅｎｔ作为团队学习的主角,并通过主导Ａｇｅｎｔ的角色变换实现整个团队的学习。结合仿真机器人足球领域,设计了具体的应用模型,在几个方面对Ｑ－ｌｅａｒｎｉｎｇ进行扩充,并进行了实验,在仿真机器人足球领域的成功应用表明了这个模型的有效     

LEARNING STRUCTURED BAYESIAN NETWORKS: COMBINING ABSTRACTION HIERARCHIES AND TREE-STRUCTURED CONDITIONAL PROBABILITY TABLES

Context-specific independence representations, such as tree-structured conditional probability distributions, capture local independence relationships among the random variables in a Bayesian network (BN). Local independence relationships among the random variables can also be captured by using attribute-value hierarchies to find an appropriate abstraction level for the values used to describe the conditional probability distributions. Capturing this local structure is important because it reduces the number of parameters required to represent the distribution. This can lead to more robust parameter estimation and structure selection, more efficient inference algorithms, and more interpretable models. In this paper, we introduce Tree-Abstraction-Based Search (TABS), an approach for learning a data distribution by inducing the graph structure and parameters of a BN from training data. TABS combines tree structure and attribute-value hierarchies to compactly represent conditional probability tables. To construct the attribute-value hierarchies, we investigate two data-driven techniques: a global clustering method, which uses all of the training data to build the attribute-value hierarchies, and can be performed as a preprocessing step; and a local clustering method, which uses only the local network structure to learn attribute-value hierarchies. We present empirical results for three real-world domains, finding that (1) combining tree structure and attribute-value hierarchies improves the accuracy of generalization, while providing a significant reduction in the number of parameters in the learned networks, and (2) data-derived hierarchies perform as well or better than expert-provided hierarchies.