基于Hellinger距离的不平衡漂移数据流Boosting分类算法

数据流中的不平衡问题会严重影响算法的分类性能,其中概念漂移更是流数据挖掘研究领域的一个难点问题。为了提高此类问题下的分类性能,提出了一种新的基于Hellinger距离的不平衡漂移数据流Boosting分类BCA-HD算法。该算法创新性地采用实例级和分类器级的权重组合方式来动态更新分类器,以适应概念漂移的发生,在底层采用集成算法SMOTEBoost作为基分类器,该分类器内部使用重采样技术处理数据的不平衡。在16个突变型和渐变型的数据集上将所提算法与9种不同算法进行比较,实验结果表明,所提算法的G-mean和AUC的平均值和平均排名均为第1名。因此,该算法能更好地适应概念漂移和不平衡现象的同时发生,有助于提高分类性能。     

动态集成选择的不平衡漂移数据流Boosting分类算法

鉴于在数据流中无法一次性收集完整的训练集,同时数据可能会处于不平衡状态并夹杂概念漂移而影响分类性能,提出一种在线动态集成选择的不平衡漂移数据流Boosting分类算法。该算法采用多种平衡措施,使用泊松分布对数据流进行重采样,如果数据处于高度不平衡状态则采用存储少数类的窗口进行二次采样以达到当前数据平衡。为了提高算法的处理效率,提出分类器选择集成策略动态调整分类器数目,算法运行过程使用自适应窗口检测器检测概念漂移。试验结果表明,该算法在一定程度上提高了少数类的真阳性率和运行效率,可以对带有概念漂移的不平衡数据流有较好的分类性能。     

分段加权的概念漂移检测方法

针对现有漂移检测方法无法平衡检测延迟、误报与漏报以及时空效率等问题，提出一个新的阶段转换阈值参数，在概念漂移检测中引入包含“稳定阶段-警告阶段-漂移阶段”的分段加权机制，对实例分阶段地赋予权重，并将该机制应用在双层滑动窗口中；然后基于Hoeffding不等式提出一种分段加权的概念漂移检测方法（MSDDM）。在人工数据集上，相较于FHDDM、HDDM等漂移检测方法，MSDDM能够更快地检测出突变与渐变概念漂移，同时又能保持较低的误检率与漏检率；在真实数据集上，MSDDM相较于其他方法在大部分情况下都具有最高的分类准确率。实验结果表明，MSDDM能够以较高的漂移检测性能和较优的时空效率检测出数据流中的概念漂移。