一种改进K-means聚类的近邻传播最大最小距离算法

针对初始聚类中心不合理的选择会导致K-means算法的聚类结果局部最优,且降低聚类算法收敛速度的问题,提出一种基于近邻传播算法和最大最小距离算法联合计算初始聚类中心的算法(APMMD).该算法通过近邻传播算法从整个样本集中获得Kap(Kap>k)个具有代表性的候选中心点,再利用最大最小距离算法从Kap个候选中心点中选择k个初始聚类中心.在多个UCI数据集上实验,结果表明APMMD算法获得初始聚类中心应用于K-means聚类,迭代次数明显降低,聚类结果稳定且具有较高准确率.     

基于MapReduce并行化计算的大数据聚类算法

面对大数据规模庞大且计算复杂等问题,基于MapReduce框架采用两阶段渐进式的聚类思想,提出了改进的K-means并行化计算的大数据聚类方法。第一阶段,该算法通过Canopy算法初始化划分聚类中心,从而迅速获取粗精度的聚类中心点;第二阶段,基于MapReduce框架提出了并行化计算方案,使每个数据点围绕其邻近的Canopy中心进行细化的聚类或合并,从而对大数据实现快速、准确地聚类分析。在MapReduce并行框架上进行算法验证,实验结果表明,所提算法能够有效地提升并行计算效率,减少计算时间,并提升大数据的聚类精度。     

基于MapReduce的K-means聚类算法的优化

针对传统的聚类算法K-means对初始中心点的选择非常依赖,容易产生局部最优而非全局最优的聚类结果,同时难以满足人们对海量数据进行处理的需求等缺陷,提出了一种基于MapReduce的改进K-means聚类算法。该算法结合系统抽样方法得到具有代表性的样本集来代替海量数据集;采用密度法和最大最小距离法得到优化的初始聚类中心点;再利用Canopy算法得到粗略的聚类以降低运算的规模;最后用顺序组合MapReduce编程模型的思想实现了算法的并行化扩展,使之能够充分利用集群的计算和存储能力,从而适应海量数据的应用场景;文中对该改进算法和传统聚类算法进行了比较,比较结果证明其性能优于后者;这表明该改进算法降低了对初始聚类中心的依赖,提高了聚类的准确性,减少了聚类的迭代次数,降低了聚类的时间,而且在处理海量数据时表现出较大的性能优势。     

自动确定聚类中心的数据竞争算法

针对数据竞争算法采用欧式距离计算相似度、人为指定聚类簇数以及聚类中心无法准确自动确定等问题,提出了一种自动确定聚类中心的数据竞争聚类算法。引入了数据场的概念,使得计算出的势值更加符合数据集的真实分布;同时,结合数据点的势能与局部最小距离形成决策图完成聚类中心点的自动确定;根据近邻原则完成聚类。在人工以及真实数据集上的实验效果表明,提出的算法较原数据竞争算法具有更好的聚类性能。     

基于大数据的煤矿安全风险智能评价和预警研究

文章提出基于大数据的煤矿安全风险智能评价和预警方法,用来提升企业风险判识能力,评价煤矿安全风险等级,为后续开发打下基础。使用空间重构方法离散性映射处理大数据,选择最佳时延和最小嵌入维数构建大数据时间序列的信息流模型,通过模糊C聚类算法求解初始聚类中心搜索目标函数,最终获得大数据最优聚类中心。通过聚类大数据得到煤矿安全风险评估指标,使用可拓理论构建风险预警评估模型,运用熵权法确定指标权重,定量计算关联函数,根据关联度最大原则判断预警对象的风险等级。经实验分析,该方法在数据聚类方面具有较高准确性和计算效率,并且能够准确评估出煤矿存在的风险和预警等级。     

基于改进粒计算的K-medoids聚类算法

针对传统K-medoids聚类算法对初始聚类中心敏感、收敛速度缓慢以及聚类精度不够高等缺点,提出一种基于改进粒计算、粒度迭代搜索策略和优化适应度函数的新算法。该算法利用粒计算思想在有效粒子中选择K个密度大且距离较远的粒子,选择其中心点作为K个聚类初始中心点;并在对应的K个有效粒子中进行中心点更新,来减少迭代次数;采用类间距离和类内距离优化适应度函数来提高聚类的精度。实验结果表明：该算法在UCI多个标准数据集中测试,在有效缩短迭代次数的同时提高了算法聚类准确率。     

具有自校核功能的配电网调度方法

为了提高配电网运行效率，及时发现配电网中异常数据信息，设计一种新型的配电网调度方案。该方案硬件包括调度控制中心、监控中心、调度计算等模块，能够向不同的区域提供配电网电力资源，并保证电力设备安全。该方法还采用ARM系列的LPC2214微处理器和DSP数据处理器，实现配电网不同区域信息的校核与调度；在进行调度数据信息时，通过聚类算法对不同异常信息类型进行分类，提高校核能力；又通过算法模型对不同调度数据信息进行评估，提高数据评估能力。通过试验，该方法大大提高了配电网调度能力，数据分析准确度高。     

自然邻居密度极值聚类算法

针对密度峰值聚类算法存在数据集密度差异较大时,低密度区域聚类中心难以检测和参数敏感的问题,提出了一种新型密度极值算法。引入自然邻居概念寻找数据对象自然近邻,定义椭圆模型计算自然稳定状态下数据局部密度;计算数据对象余弦相似性值,用余弦相似性值来更新数据对象连通值,采用连通值划分高低密度区域和离群点;构造密度极值函数找到高低密度不同区域聚类中心点;将不同区域非聚类中心点归并到离其最近的聚类中心所在簇中。通过在合成数据集和UCI公共数据集实验分析：该算法比其他对比算法在处理密度分布差异较大数据集上取得了更好的结果。     

改进的快速模糊C-均值聚类算法

为解决模糊C-均值(FCM)聚类算法在大数据量中存在的计算量大、运行时间过长的问题,提出了一种改进方法：先用多次随机取样聚类得到的类中心作为FCM算法的初始类中心,以减少FCM算法收敛所需的迭代次数;接着通过数据约减,压缩参与迭代运算的数据集,减少每次迭代过程的运算时间。该方法使FCM算法运算速度大大提高,且不影响算法的聚类效果。     

聚类的逻辑文件复制服务机制研究

网格环境下资源的管理和调度是一个非常复杂且具有挑战性的问题。在数据密集型应用中,数据文件的读取延迟时间是至关重要的。提出了一种基于聚类预处理的数据文件复制算法（CBR）,将传输带宽满足一定条件的网格结点通过聚类方法构成一个“逻辑区域”;并介绍了一种改进的LRU算法,考虑了其他计算任务需要的数据文件请求,避免删除未来将使用的数据文件。通过实验证明,该算法得到的计算任务完成时间优于其他两种算法。     

基于K-Means算法的Web日志用户聚类研究

Web日志作为服务器的记录文件,记录了网站最重要的信息,随着大数据时代数据量的骤然增加,提出一种应对大数据量的数据挖掘算法,更有效地分析日志文件迫在眉睫。用户聚类是在对日志文件进行数据预处理的基础上,建立用户会话序列矩阵,进而对其进行聚类分析,论文针对K-Means算法在选取初始中心点上存在的问题,以及在构建用户会话矩阵后存在的孤立点的问题,提出了一种密度参数和KCR算法的优化算法-ICKM算法,该算法利用密度参数最大的对象作为第一中心点,随后从数据集中将此对象删除,利用KCR算法寻找下一个中心点,算法借助MapReduce计算框架,提高大数据环境下的数据处理速度,通过实验表明,ICKM算法在寻找初始中心点以及用户聚类上具有较高的准确度,在处理大数据量的数据集时,有较好的的运算速度。     

基于密度峰值的加权犹豫模糊聚类算法

由于人们对事物认知的局限性和信息的不确定性,在对决策问题进行聚类分析时,传统的模糊聚类不能有效解决实际场景中的决策问题,因此有学者提出了有关犹豫模糊集的聚类算法.现有的层次犹豫模糊K均值聚类算法没有利用数据集本身的信息来确定距离函数的权值,且簇中心的计算复杂度和空间复杂度都是指数级的,不适用于大数据环境.针对上述问题,...     

A novel cluster center fast determination clustering algorithm

As one of the most important techniques in data mining, cluster analysis has attracted more and more attentions in this big data era. Most clustering algorithms have encountered with challenges including cluster centers determination difficulty, low clustering accuracy, uneven clustering efficiency of different data sets and sensible parameter dependence. Aiming at clustering center determination difficulty and parameter dependence, a novel cluster center fast determination clustering algorithm was proposed in this paper. It is supposed that clustering centers are those data points with higher density and larger distance from other data points of higher density. Normal distribution curves are designed to fit the density distribution curve of density distance product. And the singular points outside the confidence interval by setting the confidence interval are proved to be clustering centers by theory analysis and simulations. Finally, according to these clustering centers, a time scan clustering is designed for the rest of the points by density to complete the clustering. Density radius is a sensible parameter in calculating density for each data point, mountain climbing algorithm is thus used to realize self-adaptive density radius. Abundant typical benchmark data sets are testified to evaluate the performance of the brought up algorithms compared with other clustering algorithms in both aspects of clustering quality and time complexity.     

基于密度的聚类中心自动确定的混合属性数据聚类算法研究

面对广泛存在的混合属性数据,现有大部分混合属性聚类算法普遍存在聚类 质量低、聚类算法参数依赖性大、聚类类别个数和聚类中心无法准确自动确定等问题,针对 这些问题本文提出了一种基于密度的聚类中心自动确定的混合属性数据 聚类算法.该算法通过分析混合属性数据特征,将混合属性数据分为数 值占优、分类占优和均衡型混合属性数据三类,分析不同情况的特征选取 相应的距离度量方式.在计算数据集各个点的密度和距离分布图基础 上,深入分析获得规律: 高密度且与比它更高密度的数据点有较大距离的数 据点最可能成为聚类中心,通过线性回归模型和残差分析确定奇异 点,理论论证这些奇异点即为聚类中心,从而实现了自动确定聚类中心.采 用粒子群算法(Particle swarm optimization, PSO)寻找最优dc值,通过参数dc能够计算得到 任意数据对象的密度和到比它密度更高的点的最小距离,根据聚类 中心自动确定方法确定每个簇中心,并将其他点按到最近邻的更高 密度对象的最小距离划分到相应的簇中,从而实现聚类.最终将本文 提出算法与其他现有的多种混合属性聚类算法在多个数据集上进行 算法性能比较,验证本文提出算法具有较高的聚类质量.     

复杂负载下数据缓冲区自适应调度方法仿真

传统数据缓冲区调度方法调度时间长、调度结果误差大且不能够完全应对复杂负载问题。因此提出了复杂负载下数据缓冲区自适应调度方法,通过构建模拟数据缓冲区来定义调整的方向,在缓冲数据中,利用操控行为和代替方法之间进行相互不变性推测,获取数据缓冲错失函数;通过引用能力制约条件,将时间分成一些零碎的小片段,利用数据缓冲错失,获取时间约束模型;引入时间约束模型,需要依据时间顺序对事件进行调顺序,结合根据模拟自适应算法所得到的数据,使用雷达资源约束条件能够精准快速地衡量各种数据波束所要求的指令,获取自适应调度模型,为某一个调度间隔选取出最完善的自适应调度方法。通过仿真结果表明:上述方法能够完全应对复杂负载情况的问题,且数据缓冲区自适应调度时间短、调度结果误差小。     

基于非参数核密度估计的密度峰值聚类算法*

针对密度峰值聚类算法CFSFDP(Clustering by fast search and find of density peaks)计算密度时人为判断截断距离和人工截取簇类中心的缺陷,提出了一种基于非参数核密度估计的密度峰值的聚类算法。首先,应用非参数核密度估计方法计算数据点的局部密度;其次,根据排序图采用簇中心点自动选择策略确定潜在簇类中心点,将其余数据点归并到相应的簇类中心;最后,依据簇类间的合并准则,对邻近相似子簇进行合并,并根据边界密度识别噪声点,得到聚类结果。在人工测试数据集和UCI真实数据集上的实验表明,新算法较之原CFSFDP算法,不仅有效避免了人为判断截断距离和截取簇类中心的主观因素,而且可以取得更高的准确度。     

基于MapReduce和改进密度峰值的划分聚类算法

对于基于划分的聚类算法随机选取初始聚类中心导致初始中心敏感,聚类结果不稳定、集群效率低等问题,提出一种基于MapReduce框架和改进的密度峰值的划分聚类算法(based on MapReduce framework and im-proved density peak partition clustering algorithm,MR-IDPACA).首先,通过自然最近邻定义新的局部密度计算方式,将搜索样本密度峰值点作为划分聚类算法的初始聚类中心;其次针对算法在大规模数据下运行时间复杂,提出基于E2LSH(exact Euclidean locality sensitive hashing)的一种分区方法,即KLSH(K of locality sensitive hashing).通过该方法对数据分区后结合MapReduce框架并行搜寻初始聚类中心,有效减少了算法在搜索初始聚类中心时的运行时间;对于MapReduce框架中的数据倾斜问题,提出ME(multistage equilibrium)策略对中间数据进行多段均衡分区,以提升算法运行效率;在MapReduce框架下并行聚类,得到最终聚类结果.实验得出MR-IDPACA算法在单机环境下有着较高的准确率和较强的稳定性,集群性能上也有着较好的加速比和运行时间,聚类效果有所提升.     

一种云存储环境下的资源调度改进算法

如何将用户的海量数据以最小的耗时存储到数据中心,是提高云存储效益,解决其发展瓶颈所需考虑的关键问题本文首先证明了云存储环境下资源调度方案的存储最小耗时问题属于一个NPC问题,再针对现有算法对存储调度因素考虑不全面、调度结果易陷入局部最优等问题,提出了一种全新的资源调度算法,该算法首先利用三角模糊数层次分析法全面分析调度影响因素,得到存储节点的判断矩阵,用于构造后续的遗传算法目标函数,再将简单遗传算法从解的编码、交叉变异操作及致死染色体自我改善等角度进行创新,使其适用于云存储环境下的大规模资源调度,最后与OpenStack中的Cinder块存储算法及现有改进算法进行了分析比对,实验结果验证了本文所提算法的有效性,实现了更加高效的资源调度。     

自动确定聚类中心的密度峰值算法

密度峰值聚类算法（Density Peaks Clustering,DPC）,是一种基于密度的聚类算法,该算法具有不需要指定聚类参数,能够发现非球状簇等优点。针对密度峰值算法凭借经验计算截断距离[dc]无法有效应对各个场景并且密度峰值算法人工选取聚类中心的方式难以准确获取实际聚类中心的缺陷,提出了一种基于基尼指数的自适应截断距离和自动获取聚类中心的方法,可以有效解决传统的DPC算法无法处理复杂数据集的缺点。该算法首先通过基尼指数自适应截断距离[dc],然后计算各点的簇中心权值,再用斜率的变化找出临界点,这一策略有效避免了通过决策图人工选取聚类中心所带来的误差。实验表明,新算法不仅能够自动确定聚类中心,而且比原算法准确率更高。