基于准确性和多样性的在线动态选择集成建模方法

为了解决复杂工业过程中的概念漂移问题,提高集成学习模型的泛化性能,在保证集成学习模型精度的基础上,提出了一种用于优化多样性的基学习器在线动态选择集成建模方法.该方法以在线极限学习机作为基学习器,按照基学习器在滑动窗口上的分类精度对其进行逆序排序,将基学习器在滑动窗口上的其他性能指标作为特征属性,依次利用近似线性依靠条件挑选出准确且多样的基学习器用于集成输出,提高了集成学习模型在处理概念漂移数据流时的分类精度.最后,使用合成数据集和公开数据集验证了所提算法的合理性与有效性.     

基于近似约简的集成学习算法及其在入侵检测中的应用

为了获得较大差异性的基学习器来构建集成学习器,从属性空间划分的角度来考虑集成学习问题,通过粗糙集理论定义了近似约简的概念,进一步提出了基于近似约简的集成学习算法;本方法将数据集的属性空间划分为多个子空间,基于不同子空间对应的数据集训练得到的基学习器具有较大的差异性,从而保证了集成学习器具有较强的泛化性能。为了验证本算法的有效性,本算法被应用于网络入侵检测中。在KDD CUP 99数据集上的实验表明,与传统的集成学习算法相比,本文所提出的算法具有更高的检测率和更低的计算开销,更适合于从海量高维的网络数据中检测入侵。     

基于博弈论准确性和差异性兼优的选择性集成建模方法及其应用

集成学习相较于单模型具有更好的预测精度和泛化能力,被广泛应用于工业过程的质量预测.基学习器之间的多样性和基学习器的准确性对集成的泛化能力影响极大.为了进一步提高集成模型的泛化能力,提出一种同时考虑准确性和差异性的选择性集成建模方法.以在线极限学习机作为基学习器,将基学习器的准确性和基学习器对集成模型多样性的贡献率作为博弈双方,利用博弈论原理求解得出使集成模型准确性和多样性都达到最优的选择方案,使集成模型的准确性和多样性兼优;模型预测完成后,综合当前误差和历史记录误差对基学习器的权重进行在线更新,实现在线测量阶段对建模对象特性的动态自适应.最后,使用公开数据集和实际工业数据验证了所提算法的合理性和有效性.     

动态集成选择的不平衡漂移数据流Boosting分类算法

鉴于在数据流中无法一次性收集完整的训练集,同时数据可能会处于不平衡状态并夹杂概念漂移而影响分类性能,提出一种在线动态集成选择的不平衡漂移数据流Boosting分类算法。该算法采用多种平衡措施,使用泊松分布对数据流进行重采样,如果数据处于高度不平衡状态则采用存储少数类的窗口进行二次采样以达到当前数据平衡。为了提高算法的处理效率,提出分类器选择集成策略动态调整分类器数目,算法运行过程使用自适应窗口检测器检测概念漂移。试验结果表明,该算法在一定程度上提高了少数类的真阳性率和运行效率,可以对带有概念漂移的不平衡数据流有较好的分类性能。     

基于GA的负相关剪切集成不平衡行为分类研究

基于传感器的人类活动识别(HAR)在健康医疗领域具有重要的研究价值及研究意义。以往的关于传感器人类活动分类识别算法的研究,并没有考虑不同类别行为数据间的不平衡性。为了解决不同行为类别数据间的不平衡性影响算法精确度的问题,此算法采用下采样方法从大类和小类数据集中随机抽取选出若干组数量上相等的两种数据的集合,将多个不平衡数据变成平衡数据。其次,多个平衡数据集上训练多个弱分类器。然后,此算法以弱分类器的负相关和预测精度为代价函数,使用遗传算法挑选出能够使代价函数值最高的弱分类器来构成集成分类器。使集成算法内的弱学习器具有较高预测精度和多样性。最后,此算法使用挑选出的弱学习器构成集成学习器对人的行为进行集成分类。此算法在已有的行为数据集上进行了仿真实验研究,实验结果证明本文提出的基于遗传的负相关剪切集成不平衡行为识别算法相对于传统算法能够有效提高不平衡行为识别的正确率。     

基于选择性集成学习的焊接缺陷识别研究

针对射线检测焊缝图像中缺陷识别正确率低的问题,提出一种选择性集成学习的焊接缺陷识别算法.算法中的个体学习器由稳定分类器和非稳定分类器组成,使用SVM-RFE算法移除集成学习器中的冗余个体学习器,保留子学习器预测输出加权作为集成学习器的输出,有效地增强了个体之间的差异性,进而提高了集成的泛化性能.结果表明：该算法充分利用更多的缺陷特征和样本数据集信息,继承了强集成学习的优点,有效地提高分类正确率.使用一对多的方法把二分类选择性集成学习器推广到多分类问题中,所提出的算法在训练精度为92.4%时;焊缝缺陷识别率提高到85.5%.     

基于双层混合集成的自动驾驶汽车故障检测

针对单一故障检测算法难以学习到数据样本全部特征的问题,提出基于双层混合集成的无监督自动驾驶汽车故障检测方法。使用非全连接的自动编码器作为基学习器构建第1层同质集成框架——集成自动编码器,分析和选择包含集成自动编码器、一类支持向量机、孤立森林和局部离群因子的基学习器构建第2层异质多模型集成框架,学习自动驾驶汽车正常传感器数据特征;提出基于自动编码器的投票集成方法,实现基学习器特征的降维和编码融合;通过sigmoid函数映射计算故障概率并对数据是否故障进行判断。试验结果表明,提出的双层混合集成故障检测方法性能优于基学习器算法,F1指标提高了9%~40%,G指标提高了2%~28%,该故障检测方法可有效实现自动驾驶汽车故障检测。     

一种基于抽样与约简的集成学习算法

集成学习的一个重要目标是获得一组差异性大的基分类器来构建集成分类器。为实现这一目标,提出一种基于抽样与约简的集成学习算法ELSR。该算法采用多模态扰动策略来训练基分类器。首先,采用多次抽样策略从训练集中抽样产生k个抽样集;其次,使用粗糙集的属性约简技术对每个抽样集进行约简;第三,在每一个约简之后的抽样集上分别训练一个基分类器;最后,利用一个验证集对每个基分类器进行性能测试,并根据测试结果选择一组合适的基分类器来构建集成分类器。在UCI数据集上的实验表明:当采用KNN算法或者C4.5算法来训练基分类器时,ELSR的分类性能总是要优于现有的集成学习算法。     

基于选择性深度神经网络集成的涡扇发动机剩余寿命预测

大样本高维度状态监测数据对剩余使用寿命（RUL）精准预测有着技术性挑战,为了提高以航空涡轮风扇发动机为代表的复杂装备的预测精度和收敛效率,提出一种两阶段的选择性深度神经网络集成方法. 第1阶段为多方法联合扰动下的候选集生成方案,通过采用异质神经网络结构、多时间尺度设计和算法参数随机化消除模型内部耦合关系,强化候选深度神经网络集多样性;第2阶段利用遗传算法集成修剪冗余模型,有效剔除性能不佳的冗余学习器,以获取多样化最优候选子集,并按平均集成输出预测结果. 与个体模型的数据实验对比表明,所提方法通过同步增强集成模型准确性和多样性,提升了近20%的RUL预测精度,可为运维决策提供有力支撑.     

基于C4．5算法的集成方法研究

对于一些数据量有限的数据集而言,如何提高分类精度是机器学习研究者们的主要任务之一.集成学习方法通过同时构造多个学习器,然后对各学习器的分类结果使用投票法得到分类结果.提出了基于Bagging的C4.5集成算法,实验结果表明:采用这种方法会有效提升分类能力.