基于密度的改进BIRCH聚类算法

针对传统的BIRCH算法用直径来控制聚类的边界,对非球形聚类效果不佳,甚至会把非球状的簇分割为不同簇这一缺点,对BIRCH算法进行改进,改进算法首先建立多棵CF树,每棵CF树代表一个簇,并结合DBSCAN算法的密度可达的思想。该算法能对任意形状的簇进行准确的聚类。实验表明,算法能通过一次扫描进行有效聚类,时间复杂度与BIRCH算法相同,对大规模数据集具有较高的处理速度,实现了动态聚类,并可以准确地对任意形状的簇进行聚类并发现噪声点。     

基于连通距离和连通强度的BIRCH改进算法

为解决利用层次方法的平衡迭代规约和聚类（BIRCH）算法聚类结果依赖于数据对象的添加顺序，且对非球状的簇聚类效果不好以及受簇直径阈值的限制每个簇只能包含数量相近的数据对象的问题，提出一种改进的BIRCH算法。该算法用描述数据对象个体间连通性的连通距离和连通强度阈值替代簇直径阈值，还将簇合并的步骤加入到聚类特征树的生成过程中。在自定义及iris、wine、pendigits数据集上的实验结果表明，该算法比多阈值BIRCH、密度改进BIRCH等现有改进算法的聚类准确率更高，尤其在大数据集上比密度改进BIRCH准确率提高6个百分点，耗时降低61%。说明该算法能够适用于在线实时增量数据，可以识别非球形簇和体积不均匀簇，具有去噪功能，且时间和空间复杂度明显降低。     

一种基于CF树的k-medoids聚类算法*

当存在噪声和离群点时,k-medoids算法具有较好的鲁棒性,但是对于大数据集,算法的计算代价比较高。CF树是Birch算法中常用的一种结构,对于大数据集的聚类有较好的可伸缩性,但是对于非球形的数据,聚类结果较差。因此,在两种算法的基础上,提出一种基于CF树的k-medoids算法,先用数据集构建CF树,形成微簇,改进了欧式距离计算式,最后使用k-medoids算法对微簇进行聚类。当数据点较多时,改进算法比k-medoids算法运行速度快了近2倍。实验表明,改进算法具有较高的性能和可伸缩性。     

食品HACCP分类的BIRCH算法

食品卫生的HACCP自动分类要处理的数据集形状呈现多样性,对分类结果的准确性和专业性要求很高,已有的算法难以满足。该文基于经典BIRCH算法,结合多阈值思想和多代表点特征树思想,提出多阈值多代表点的BIRCH算法,增加了专业分类知识的指导,并对每一个代表点设立单独的阈值,使得该算法能适应各种形状的数据集,减少了聚类特征树重建次数,提高了算法的效率。     

多阈值BIRCH聚类算法及其应用

BIRCH算法是针对大规模数据集的聚类算法。文章针对该算法在聚类精度和效率方面存在的不足,在原有算法的基础上进行了改进,提出了可变多阈值聚类特征树方法,实现了基于该方法的聚类分析器,最后将该算法应用于图像分割技术当中,验证算法的有效性。     

基于Web日志挖掘的用户模式识别研究

为提高聚类算法的准确性,通过先对数据集抽样,再对样本数据进行K-means聚类,选出聚类中心,然后为整个数据集中的每个簇单独设置一个阈值的方法对传统的BIRCH算法进行改进。实验表明,在同等条件下,改进后的算法相比传统的BIRCH算法精确度更高,耗时更少。     

基于XML的可继承BIRCH研究

针对BIRCH算法过分依赖内存且无法高效处理新增数据的问题,提出一种BIRCH算法的可继承性处理模型。该模型利用XML技术存储聚类特征树,并通过解析XML文档来还原聚类特征树,增强了BIRCH算法的灵活性,解决了BIRCH算法中处理新增数据的效率问题。实验结果表明,该模型是有效的。     

改进的共享最近邻聚类算法

聚类是一种无监督的机器学习方法,其任务是发现数据中的自然簇。共享最近邻聚类算法（SNN）在处理大小不同、形状不同以及密度不同的数据集上具有很好的聚类效果,但该算法还存在以下不足：（1）时间复杂度为O（n2）,不适合处理大规模数据集;（2）没有明确给出参数阈值的简单指导性操作方法;（3）只能处理数值型属性数据集。对共享最近邻算法进行改进,使其能够处理混合属性数据集,并给出参数阈值的简单选择方法,改进后算法运行时间与数据集大小成近似线性关系,适用于大规模高维数据集。在真实数据集和人造数据集上的实验结果表明,提出的改进算法是有效可行的。     

基于改进K-means算法的研究与分析

K-means算法是通过计算数据与聚类中心的距离来更新聚类中心的一种无监督的机器学习算法,在距离已知的情况下,BIRCH算法是一种典型的基于距离特征数的类别判断对数据信息进行汇总的方法,是一种平衡迭代规约和聚类的方法。论文结合K-means算法和BIRCH算法优缺点,在数据处理中用K-means处理对离群点干扰较大的数据,BIRCH处理时间复杂度较低的数据的原则构建核心树;以子类的初始中点为叶节点,以欧式距离为依据判断节点间的相似性,并对判别类别进行划分得到核心数据,BIRCH以K类的中点为核心树的叶节点,以叶节点为基础构造核心树,并对核心树的各种特征数据进行完善。实验证明改进K-means算法比原始K-means算法在养老服务护理推荐时用时更短。     

一种CF树结合KNN图划分的文本聚类算法

为了提升文本聚类效果,改善传统聚类算法在参数设定,稳定性等方面存在的不足,提出新的文本聚类算法TCBIBK（a Text Clustering algorithm Based on Improved BIRCH and K-nearest neighbor）。该算法以BIRCH聚类算法为原型,聚类过程中除判断文本对象与簇的距离外,增加判断簇与簇之间的距离,采取主动的簇合并或分裂,设置动态的阈值。同时结合KNN分类算法,在保证良好聚类效率前提下提升聚类稳定性,将TCBIBK算法应用于文本聚类,能够提高文本聚类效果。对比实验结果表明,该算法聚类有效性与稳定性都得到较大提高。     

BIRCH聚类算法优化及并行化研究

为了提高聚类质量,针对BIRCH算法中在聚类精度方面所存在的不足,提出了聚类特征树中的不同簇应使用不同阀值的思想,较好地改善了对体积相差悬殊的簇不能很好聚类的问题.并且深入地研究和分析了如何在集群系统中进行快速聚类,提出了自定义数据类型、采用数据并行思想和非均匀数据划分策略等几点改进意见.最后实验结果表明,通过改进能够获得比较理想的运行时间和加速比性能.     

BIRCH: A New Data Clustering Algorithm and Its Applications

Data clustering is an important technique for exploratory data analysis, and has been studied for several years. It has been shown to be useful in many practical domains such as data classification and image processing. Recently, there has been a growing emphasis on exploratory analysis of very large datasets to discover useful patterns and/or correlations among attributes. This is called data mining, and data clustering is regarded as a particular branch. However existing data clustering methods do not adequately address the problem of processing large datasets with a limited amount of resources (e.g., memory and cpu cycles). So as the dataset size increases, they do not scale up well in terms of memory requirement, running time, and result quality.In this paper, an efficient and scalable data clustering method is proposed, based on a new in-memory data structure called CF-tree, which serves as an in-memory summary of the data distribution. We have implemented it in a system called BIRCH (Balanced Iterative Reducing and Clustering using Hierarchies), and studied its performance extensively in terms of memory requirements, running time, clustering quality, stability and scalability; we also compare it with other available methods. Finally, BIRCH is applied to solve two real-life problems: one is building an iterative and interactive pixel classification tool, and the other is generating the initial codebook for image compression.     

基于Spark的BIRCH算法并行化的设计与实现

在分布式计算和内存为王的时代,Spark作为基于内存计算的分布式框架技术得到了前所未有的关注与应用。着重研究BIRCH算法在Spark上并行化的设计和实现,经过理论性能分析得到并行化过程中时间消耗较多的Spark转化操作,同时根据并行化BIRCH算法的有向无环图DAG,减少shuffle和磁盘读写频率,以期达到性能优化。最后,将并行化后的BIRCH算法分别与单机的BIRCH算法和MLlib中的K-Means聚类算法做了性能对比实验。实验结果表明,通过Spark对BIRCH算法并行化,其聚类质量没有明显的损失,并且获得了比较理想的运行时间和加速比。     

Agglomerative Fuzzy K-Means Clustering Algorithm with Selection of Number of Clusters

In this paper, we present an agglomerative fuzzy $k$-means clustering algorithm for numerical data, an extension to the standard fuzzy $k$-means algorithm by introducing a penalty term to the objective function to make the clustering process not sensitive to the initial cluster centers. The new algorithm can produce more consistent clustering results from different sets of initial clusters centers. Combined with cluster validation techniques, the new algorithm can determine the number of clusters in a data set, which is a well known problem in $k$-means clustering. Experimental results on synthetic data sets (2 to 5 dimensions, 500 to 5000 objects and 3 to 7 clusters), the BIRCH two-dimensional data set of 20000 objects and 100 clusters, and the WINE data set of 178 objects, 17 dimensions and 3 clusters from UCI, have demonstrated the effectiveness of the new algorithm in producing consistent clustering results and determining the correct number of clusters in different data sets, some with overlapping inherent clusters.     

Semi-Supervised Classification of Data Streams by BIRCH Ensemble and Local Structure Mapping

Many researchers have applied clustering to handle semi-supervised classification of data streams with concept drifts.However,the generalization ability for each specific concept cannot be steadily improved,and the concept drift detection method without considering the local structural information of data cannot accurately detect concept drifts.This paper proposes to solve these problems by BIRCH(Balanced Iterative Reducing and Clustering Using Hierarchies)ensemble and local structure mapping.The local structure mapping strategy is utilized to compute local similarity around each sample and combined with semi-supervised Bayesian method to perform concept detection.If a recurrent concept is detected,a historical BIRCH ensemble classifier is selected to be incrementally updated;otherwise a new BIRCH ensemble classifier is constructed and added into the classifier pool.The extensive experiments on several synthetic and real datasets demonstrate the advantage of the proposed algorithm.     

基于混合蛙跳与阴影集优化的粗糙模糊聚类算法

针对粗糙模糊聚类算法对初值敏感、易陷入局部最优和聚类性能依赖阈值选择等问题, 提出一种混合蛙跳与阴影集优化的粗糙模糊聚类算法(SFLA-SRFCM). 通过设置自适应调节因子, 以增加混合蛙跳算法的局部搜索能力; 利用类簇上、下近似集的模糊类内紧密度和模糊类间分离度构造新的适应度函数; 采用阴影集自适应获取类簇阈值. 实验结果表明, SFLA-SRFCM 算法是有效的, 并且具有更好的聚类精度和有效性指标.