基于精简随机子空间的多生成树集成一类分类算法

由于高维数据通常存在冗余和噪声,在其上直接构造覆盖模型不能充分反映数据的分布信息,导致分类器性能下降.为此提出一种基于精简随机子空间多树集成分类方法.该方法首先生成多个随机子空间,并在每个子空间上构造独立的最小生成树覆盖模型.其次对每个子空间上构造的分类模型进行精简处理,通过一个评估准则(AUC值),对生成的一类分类器进行精简.最后均值合并融合这些分类器为一个集成分类器.实验结果表明,与其它直接覆盖分类模型和bagging算法相比,多树集成覆盖分类器具有更高的分类正确率.     

集成随机森林的分类模型

与集成学习相比,针对单个分类器不能获得相对较高而稳定的准确率的问题,提出一种分类模型.该模型可集成多个随机森林,并以带阈值的多数投票法作为结合方法;模型实现主要分为建立集成分类模型、实例初步预测和结合分析三个层次.MapReduce编程方式实现的分类模型以P2P流量识别为例,分别与单个随机森林和集成其他算法进行对比,实验表明提出模型能获得更好的P2P流量识别综合分类性能,该模型也为二类型分类提供了一种可行的参考方法.     

基于树型依赖结构的多标记分类算法

在多标记学习中,发现与利用各标记之间的依赖关系能提高学习算法的性能。文中基于分类器链模型提出一种针对性的多标记分类算法。该算法首先量化标记间的依赖程度,并构建标记之间明确的树型依赖结构,从而可减弱分类器链算法中依赖关系的随机性,并将线性依赖关系泛化成树型依赖关系。为充分利用标记间的相互依赖关系,文中采用集成学习技术进一步学习并集成多个不同的标记树型依赖结构。实验结果表明,同分类器链等算法相比,该算法经过集成学习后有更好的分类性能,其能更有效地学习标记间的依赖关系。     

差分隐私保护约束下集成分类算法的研究

机器学习中的隐私保护问题是目前信息安全领域的研究热点之一。针对隐私保护下的分类问题,该文提出一种基于差分隐私保护的AdaBoost集成分类算法：CART-DPsAdaBoost （CART-Differential Privacy structure of AdaBoost）。算法在Boosting过程中结合Bagging的基本思想以增加采样本的多样性,在基于随机子空间算法的特征扰动中利用指数机制选择连续特征分裂点,利用Gini指数选择最佳离散特征,构造CART提升树作为集成学习的基分类器,并根据Laplace机制添加噪声。在整个算法过程中合理分配隐私预算以满足差分隐私保护需求。在实验中分析不同树深度下隐私水平对集成分类模型的影响并得出最优树深值和隐私预算域。相比同类算法,该方法无需对数据进行离散化预处理,用Adult、Census Income两个数据集实验结果表明,模型在兼顾隐私性和可用性的同时具有较好的分类准确率。此外,样本扰动和特征扰动两类随机性方案的引入能有效处理大规模、高维度数据分类问题。     

多标签代价敏感分类集成学习算法

尽管多标签分类问题可以转换成一般多分类问题解决,但多标签代价敏感分类问题却很难转换成多类代价敏感分类问题.通过对多分类代价敏感学习算法扩展为多标签代价敏感学习算法时遇到的一些问题进行分析,提出了一种多标签代价敏感分类集成学习算法.算法的平均错分代价为误检标签代价和漏检标签代价之和,算法的流程类似于自适应提升（Adaptive boosting,AdaBoost）算法,其可以自动学习多个弱分类器来组合成强分类器,强分类器的平均错分代价将随着弱分类器增加而逐渐降低.详细分析了多标签代价敏感分类集成学习算法和多类代价敏感AdaBoost算法的区别,包括输出标签的依据和错分代价的含义.不同于通常的多类代价敏感分类问题,多标签代价敏感分类问题的错分代价要受到一定的限制,详细分析并给出了具体的限制条件.简化该算法得到了一种多标签AdaBoost算法和一种多类代价敏感AdaBoost算法.理论分析和实验结果均表明提出的多标签代价敏感分类集成学习算法是有效的,该算法能实现平均错分代价的最小化.特别地,对于不同类错分代价相差较大的多分类问题,该算法的效果明显好于已有的多类代价敏感AdaBoost算法.     

一个自生成的神经树网络模式分类器

本文研究一种神经树网络（ＮＴＮ，ＮｅｕｒａｌＴｒｅｅＮｅｔｗｏｒｋ）模型，提出一种能自动生成其体系结构的有监督的竞争学习算法，指出该模型能解决复杂的多类模式分类问题．模拟数字例子——手写体数码识别的结果也表明该分类器是有效的．     

基于属性选择和采样策略的不平衡数据动态分类方法

不平衡数据分类是机器学习领域的重要研究方向之一,现有不平衡学习算法大多针对二分类而无法满足多分类需求。本文面向多类不平衡数据分类问题,通过结合粗糙集、重采样方法以及动态集成分类策略设计了一种新的多分类模型。该模型运用综合采样方式和粗糙集属性约简技术获得多个平衡数据子集,在此基础上实现动态集成分类模型的构建。真实数据集上的22组实验验证了该模型与两种经典算法相比对少数类样本具有更好的预测性能,可成为多类不平衡数据分类的可选策略。     

基于Adaboost算法的推荐系统评分预测框架

在机器学习领域,Adaboost算法的实用性和有效性早已被证明.然而该算法原本是为分类问题设计,因而在推荐系统领域研究问题中无法直接应用,对其应用研究相对较少.本文对Adaboost算法进行改进,通过引入阈值,将评分预测问题转化为分类问题,并利用其权重更新的思想训练模型,提出了一个针对评分预测问题的框架,可以将训练出的多个模型集成起来得到最终的评分预测,提高了预测精度.我们选取矩阵分解模型作为基本模型,实验结果表明,使用该框架可以有效提高预测精度.     

基于知识线记忆的多分类器集成算法

多分类器系统作为混合智能系统的分支,集成了具有多样性的分类器集合,使整体得到更优的分类性能.结果融合是该领域中的一个重要问题,在相同分类器成员下,好的融合策略可以有效提升系统整体的分类正确率.随着模型安全性得到重视,传统融合策略可解释性差的问题凸显.本文基于心理学中的知识线记忆理论进行建模,参考人类决策过程,提出了一种拥有较好可解释性的启发式多分类器集成算法,称为知识线集成算法.该算法模拟人类学习与推断的行为,组织多分类器结果的融合.在训练中,模型收集给定分类器集合的不同子集,构建不同特征空间到解空间的映射,构成知识线.在推断时,模型启发式地激活知识线,进行选择性结果集成,得到推断结果.知识线集成使用样本驱动的模式,易于进行中间过程与最终结果的分析.以决策树作为分类器的实验表明,在相同的决策树集合下,知识线集成算法分类正确率与随机森林相仿.在此基础之上,知识线集成算法可量化问题不同粒度下的难易程度,且在推断时能提供相关训练样本作为依据.     

噪声可容忍的标记组合半监督学习算法

针对传统机器学习方法在完成分类任务时多数存在人工标记成本较高、泛化能力较弱的问题,提出一种标记组合半监督学习算法。基于集成学习的思想,利用有标记数据训练多个弱模型并进行组合,增强模型的泛化能力。对无标记数据进行预测,生成有噪声的标记并组合建模。在风险最小化的框架下,使模型收敛达到最优。实验结果表明,在2种有监督场景下与现有的支持向量机、分类与回归树、神经网络等算法相比,该算法具有较优的泛化能力。     

基于高斯微粒群优化的动态神经网络延迟系统辨识

为提高神经网络对未知非线性大滞后动态系统的泛化能力,提出一种基于高斯微粒群优化的自适应动态前馈神经网络.在输入层与隐含层之间、隐含层与输出层之间分别加入动态延迟算子,可以高效地辨识出系统纯滞后时间,建立精确系统模型.此外,采用高斯函数和混沌映射方法平衡微粒群算法全局寻优能力,以克服提前收敛的缺陷,从而快速有效地自适应优化网络中的参数.仿真实验表明了该方法在非线性人滞后系统辨识中的有效性.     

非线性离散系统的贝叶斯-高斯神经网络逆模型设计

针对非线性系统逆模型的学习问题,提出一种基于贝叶斯-高斯神经网络(BGNN)的设计方法.BGNN模型的训练分为两个步骤,首先利用群智能优化算法进行BGNN的离线结构训练:然后用训练好的BGNN模型在线整合历史数据,进行非线性系统逆模型的获取.对水轮发电机组非线性系统进行了BGNN逆模型的仿真,结果表明了BGNN逆模型设计方法具有结构简单、在线辨识效果好等优点,适于非线性离散系统的逆模型设计.     

一种基于拟态物理学优化的多目标优化算法

提出一种使用拟态物理学优化(APO)解决多目标优化问题的算法(MOAPO).根据多目标优化问题的特点,借鉴聚集函数法的思想,利用APO算法实现了对多目标优化问题中Pareto最优解集的搜索,并且在搜索过程中动态调整惯性权重与引力因子,以增强非劣解的多样性.实验结果表明了将APO应用于多目标优化问题的有效性.通过与基于微粒群优化(PSO)的多目标优化算法及NSGA-Ⅱ算法的比较,表明了MOAPO算法具有较好的分布性.     

基于Lotka-Volterra 模型的双群协同竞争粒子群优化算法

针对粒子群优化算法易出现早熟收敛的问题,提出了基于Lotka-Volterra模型的双群协同竞争粒子群优化算法(LVPSO).LVPSO算法借鉴种群生态学中著名的Lotka-Volterra双群协同竞争模型,讨论了两种种群协同竞争方案,通过群内和群间竞争增加粒子的多样性,提高了种群摆脱局部极值的能力.对5个典型基准测试函数进行优化实验表明,LVPSO在收敛速度和优化精度方面均有良好的表现.     

代价敏感概率神经网络及其在故障诊断中的应用

针对传统的分类算法人多以误分率最小化为目标,忽略了误分类型之间的差别和数据集的非平衡性的问题,提出代价敏感概率神经网络算法.该算法将代价敏感机制引入概率神经网络,用期望代价取代误分率,以期望代价最小化为目标,基于期望代价最小的贝叶斯决策规则预测新样本类别.采用工业现场数据和数据集German Credit验证了该算法的有效性.实验结果表明,该算法具有故障识别率高、泛化能力强、建模时间短等特点.     

一类区间粗糙数型多属性决策方法研究

研究属性值为区间粗糙数,具有属性优先序信息的多属性决策问题.首先给出粗糙属性值的规范化公式;然后基于区间粗糙数的相离度定义,建立以极大化属性值的离差为目标的最优化模型来确定各属性权重;进而基于粗糙算术运算以及期望值算子,计算出各方案的期望效用值,从而获得各方案的排序;最后通过数值例子表明了所提出方法的有效性.     

一种用于多故障诊断的改进二元决策图算法

在将故障树转化为二元决策图(BDD)的构件连接法规则中,加入了两项新的规则以保证最终的合成BDD具有唯一的结构.通过比较具有相同结构重要度的割集概率,从而确定需要检测故障源的排序.该方法可用于对具有独立底事件的数字系统进行多故障诊断.由于无需确定底事件顺序和最小割集,该方法比传统故障树诊断方法具有更高的效率,并且更适合于在计算机上实现.     

从数据中提取生料浆配料过程运行控制的模糊规则

将减法聚类、神经网络、最相邻原则、对提取后的规则进行调整等方法相结合,从过程数据中自动提取出模糊规则,从而实现在氧化铝生料浆配料过程中将生料浆的各项质量指标控制在目标值范围内.某氧化铝厂的应用结果表明,所提取的模糊规则不仅具有良好的完备性和可解释性,同时可根据工况的变化自动调整各个控制回路的设定值,实现了该过程的优化运行.     

基于改进粒子群算法的离子膜车间调度问题研究

针对某电化厂离子膜车间的调度问题,以产值最大化为目标函数,建立具有中间存储的连续和批处理过程相结合的多产品多批次调度模型.提出一种改进的粒子群算法(IPSO),加入自适应混沌变异操作,在加强算法局部搜索能力的同时保证搜索过程中种群的多样性,并利用IPSO对建立的模型进行求解.仿真结果表明了模型和算法的有效性,在满足计划的前提下,获得了满意的日生产总值.     

基于人工免疫算法的精铜板带加工配料优化

为循环利用铜资源、降低成本、减少烧损,且满足不同牌号旧料可代用性等实际配料要求,建立了多目标实时配料模型,并进行模型转换,设计了精铜板带加工配料优化的人工免疫算法.重点研究了抗体表示、抗体与抗原及抗体与抗体亲和力的计算、初始种群产生等关键环节,给出了免疫算法的具体实现步骤.实验结果表明,与传统遗传算法相比,人工免疫算法可获得具有代表性的多个满意解,具有较强的多样性,便于在实际投料操作中选择.