基于MapReduce的并行遮盖文本聚类算法

通过研究Hadoop平台和MapReduce编程框架,提出了一个基于MapReduce的并行遮盖文本聚类算法.遮盖算法提出了两个距离阈值T1,T2用来构建重叠子集,避免了传统聚类算法对噪声敏感的缺点.同时采用适当的快速近似距离度量,大大加快了聚类速度.实验表明该算法在MapReduce框架下有良好的集群加速性能,适合处理大规模的数据集.     

面向实时海量数据流的数据聚类

针对海量实时数据流,提出了一种基于密度和网格划分相结合的聚类算法.首先对数据空间进行划分,判断每个单元格中数据点的属性.如果单元格内数据点密度高于阈值,则判定这些点为核心点;否则,根据单元格邻居内数据点的数量对数据点进行再次判断,以确定单元格内的数据点是边界点还是噪声点.算法克服了基于密度的算法运行效率低的缺点,又弥补了基于网格的算法精度较低的不足.通过实验验证了算法的效率和性能,并与经典的DBSCAN和CLIQUE算法进行了对比分析.最后分析了算法在面向海量实时数据流方面所具有的优势,并提出了进一步的研究方向.     

一种混合聚类算法及其应用

通过分析基于网格与基于密度的聚类算法特征,提出了一种基于网格和密度的混合聚类算法,通过分阶段聚类并选取代表单元中的种子对象来扩展类, 从而减少区域查询次数,实现快速聚类。该算法保持了基于密度的聚类算法可以发现任意形状的聚类和对噪声数据不敏感的优点,同时保持了基于网格的聚类算法的高效性,适合对大规模数据的挖掘。实验数据分析验证了算法的有效性,对数据挖掘应用于设备状态监测和故障诊断具有指导意义。     

基于网格结构的数据流在线快速聚类算法

针对现有的数据流聚类算法不能在线实时生成用户需要的聚类结果问题,提出一种基于滑动窗口的数据流在线聚类算法.该算法采用密度网格存储结构,实现了数据流的在线聚类过程,能实时地向用户提供聚类结果,动态地检测数据流的进化情况.实验结果表明,该方法具有快速在线聚类能力,并能保证良好的聚类质量.     

一种面向大规模二维点集数据的密度聚类算法

针对密度聚类算法无法应用于大规模数据集的问题,提出一种基于划分网格的密度聚类算法(GDSCAN)。将大规模二维点阵图划分为若干网格,网格最短边不小于给定邻域半径,目标点所在网格中任意点的邻域范围不会超过与该网格直接连接的网格,只需在保留网格内寻找邻域点,从而减少计算量;聚类从任意无类别核心点开始,将该点的所有密度可达组成一个簇,以此类推直至所有核心点都有类别;采用提出的GDSCAN算法对不同数量级的二维路网节点进行聚类验证。结果表明,GDSCAN算法可有效解决大规模二维点阵数据集中密度聚类的效率问题,数据量越大,效果越明显,且时间复杂度明显降低。     

基于网格的二次K-means聚类算法

传统的K-means算法是一种常用的聚类算法,但它对于初始聚类中心敏感,容易受到"噪声"和孤立点的影响,由此提出了一种基于网格的二次K-means聚类算法.此算法先将空间划分为多个大小相等的网格,然后根据给定的密度阈值来计算出密集网格,对密集网格中的点进行初次聚类,将初次聚类结果的均值点作为第二次聚类的初始均值点,从而消除了"噪声"和孤立点的影响,并且保证了信息的完整,实验证明此算法是有效的.     

数据流的不规则网格增量聚类算法

分析了数据流的特点,针对数据流聚类算法CluStream对数据流中非球形聚类效果不好的情况,提出了基于数据流的不规则网格增量聚类算法IIGStream.IIGStream算法具备了传统网格聚类算法处理速度快的优点.同时能够动态增量地调整网格结构.对新到来的数据点,通过判断网格是否相连,保证了对于不同形状聚类的聚类效果.IIGStream在聚类时无需预先指定聚类数目.且对孤立点不敏感.在真实数据集与仿真数据集上的实验结果表明,IIGStream算法具有良好的适用性和有效性,在聚类精度以及速度上均优于CluStream算法.     

基于进化思想的聚类算法及其类簇融合算法

针对K均值聚类算法对类簇数目预先不可知及无法处理非凸形分布数据集的缺陷, 提出基于进化思想的聚类算法及其类簇融合算法, 该算法将K均值聚类算法嵌入进化聚类算法框架中, 通过调整距离倍参, 将数据逐渐划分, 在此过程中自动确定类簇数目, 提出基于最近距离的中间圆密度簇融合算法和基于代表类的中间圆密度簇融合算法, 将相似度大的类簇进行融合, 使得k值逐渐趋向真实值. 实验表明, 该方法具有良好的实用性.     

基于电信位置数据的人群活动热点区域识别

提出一种人群活动热点区域的识别方法。利用实际电信用户位置数据,使用网格作为地理空间数据的索引结构,对用户移动轨迹数据进行网格划分,进而利用网格密度和种子网格聚类算法给出热点区域的判定方法,并利用Top-k查询方法选出密度阈值限定热点区域的覆盖范围。仿真表明,该算法能识别出人群活动热点区域,与具有噪声的基于密度的聚类方法算法相比,能够减少热点区域识别时间,增强处理的实时性。     

基于网格的参数自动化聚类算法

提出了一种基于网格的参数自动化聚类算法PAG，主要目的是解决传统的网格聚类算法对参数敏感的问题．算法采用参数自动化技术来处理参数，即算法开始运行时所需的参数直接由参数自动化技术中的公式计算得出，不需要用户输入任何参数．通过对大量数据集的实验表明，该算法可扩展性好，能处理任意形状和大小的聚类，能够很好地识别出孤立点或噪声，并且有很好的精度．     

基于网格密度距离的K-means 优化算法

针对传统K-means 算法初始中心选取的随机性导致算法聚类效果不佳的问题, 提出一种基于网格密度距离的K-means 算法, 即GDD-K-means。该算法先把数据点放入网格空间内, 以网格为单元进行数据处理, 遍历网格得到网格密度, 根据密度阈值筛选出高密度网格并进行降序排序; 再在高密度网格中引入K-means++思想, 选取k 个距离较远的网格点; 最后进行K-means 算法聚类的k 个初始中心点将确定在上述网格点中。仿真实验结果表明, GDD-K-means 算法减少了聚类中心选取的随机性, 改善了聚类的效果。     

一种新的聚类算法:等密度线算法

提出了一种新的聚类算法:等密度线聚类算法。该算法从样本分布等密度线图的思想出发,从图中找出样本分布比较集中的区域,从而发现隐含在样本集中的类。等密度线聚类算法不需要输入任何参数,是一种无监督式聚类。它能够自动发现任意形状的类,并且能有效地排除噪声干扰。实验结果表明,等密度线聚类算法具有较快的聚类速度和较好的聚类效果。     

基于网格和密度的k-means聚类算法

k-means聚类算法中,初始聚类中心的选取与数据中的离群点都对算法的结果有着非常大的影响。针对这一问题,提出一种基于网格和密度的k-means聚类算法GD-k-means,该算法首先将数据集映射到网格上形成网格簇进行初步聚类,利用密度阈值将网格分为低密度网格簇和高密度网格簇,在高密度网格簇中选取初始聚类中心,并利用传统的k-means算法进行迭代,通过评价条件判定是否需要进行网格簇的合并。聚类完成之后按照距离最近的原则对低密度网格簇中的数据进行相应的分配。实验结果表明:GD-k-means算法聚类结果更稳定,并且能够抵抗噪音数据的干扰。     

一种基于网格的障碍约束下空间聚类算法

障碍约束下的空间聚类问题具有很强的实用价值，是近几年来空间数据挖掘研究领域的一个热点，研究和分析了现有的障碍约束空间聚类算法，针对其中存在的问题，提出了一种新的基于密度和网格的障碍约束下空间聚类算法，该算法在CLICQU算法的基础上，引入障碍网格的概念和障碍物的网格化表达，使其能够处理任意形状的障碍约束聚类，通过理论分析和实验验证，该算法具有较好的时间复杂度和聚类效果。     

数据挖掘技术中聚类算法的改进研究

针对K-means算法所存在的问题进行了深入的研究,提出了基于密度和聚类对象方向的改进算法(KADD算法).该算法采取聚类对象分布密度方法来确定初始聚类中心,然后根据对象的聚类方向来发现任意形状的簇.理论分析与实验结果表明,改进算法在不改变时间、空间复杂度的情况下能取得更好的聚类结果.     

一种高维数据集的子空间聚类算法

提出了一个基于密度和网格的子空间聚类算法.该算法运用启发式的密度连通思想来确定一维空间初始簇的生成,使用自底向上的搜索策略来发现存在子空间中的簇.实验结果表明,在处理高维数据时,在不牺牲算法的其他性能的同时提高了聚类的有效性,降低了对输入数据顺序及噪音数据的敏感性.     

一种K-means改进算法的并行化实现与应用

随着数据的爆炸式增长,聚类研究作为大数据的核心问题之一,正面临计算复杂度高和计算能力不足等诸多问题。提出了一种基于Hadoop的分布式改进K-means算法,该算法通过引入Canopy算法初始化K-means算法的聚类中心,克服传统K-means算法因初始中心点的不确定性,易陷入局部最优解的问题。本算法在Canopy（罩盖）中完成K-means聚类,并在Canopy间完成簇的合并,聚类效果稳定,迭代次数少。同时,结合MapReduce分布式计算模型,给出改进后算法的并行化设计方法和策略,进一步通过改进相似度度量方法,将该方法用于文本聚类中。实验结果证明该算法具有良好的准确率和扩展性。     

基于最近邻优先的高效聚类算法

针对高维空间中任意形状的多层次聚类问题，基于“同类相近”的思想，提出并实现了最近邻优先吸收聚类算法NNAF算法。证明了最近邻点搜索定理，基于这一定理又提出了SNN(Searching Nearest Neighbors)算法和GSNN(Grid-based Searching Nearest Neighbors)算法，其时间复杂度为O(n*log(n))，当用扫描图像所得数据时，时间复杂度会降为O(n)；而使用传统的搜索算法，时间复杂度为O(n^2)；提出了实现任意形状高维空间聚类的NNAF算法，时间复杂度为O(n)；提出了MLCA(Multi-layer Cluster Algorithm)算法并证明了两个相关的定理，在改变阈值后重新聚类时，使用MLCA算法可以节省90％以上的时间。实验结果显示，以上算法适应于任意形状的高维空间数据的聚类，可以有效过滤噪声数据，且用户需要的先验知识少、可快速获得各种层次的聚类结果。     

大数据挖掘算法在刷卡中的研究与应用

面对海量的刷卡交易数据,普通的聚类算法和自然语言处理无法完成数据挖掘任务。本研究将MapReduce与K-means、FCM及HanLP算法相结合,不仅提高了海量数据聚类和语句分析的效率,而且可以挖掘出海量用户的刷卡行为特点,丰富和完善了客户画像。经过实验测试,基于MapReduce的聚类和自然语言分析算法运行在Hadoop集群下,不仅快速地实现了客户画像,帮助企业实现精准推销,而且为大数据环境下实现数据挖掘及自然语言分析算法的分布式并行运算提供了重要的参考和应用价值。     

基于共享邻域的密度峰值聚类算法

针对密度峰值聚类算法在处理分布不均匀数据集时聚类性能不佳且不能自动确定聚类中心的问题，提出基于共享邻域的密度峰值聚类算法(DPC-SN)。首先，考虑数据点的局部邻域信息和数据点间的相关性，根据共享邻域重新定义局部密度；其次，给出了新的决策阈值作为区分聚类中心和非聚类中心的临界值，自动获取聚类中心；最后，在不同分布特征的合成数据集和UCI数据集进行实验验证。结果表明，该算法聚类精度和总体性能优于基于K近邻的密度峰值聚类(DPC-KNN)、原始密度峰值聚类(DPC)、K均值聚类(K-means)和基于密度的聚类(DBSCAN)4种算法。