云环境下基于群智能算法的大数据聚类挖掘技术

云计算从分布式存储和分布式计算两个方面为大数据处理提供了强力的支持,并逐渐成为大数据挖掘的主流平台。但是在处理云平台中的大规模数据集时典型聚类挖掘算法存在一定不足,因此,提出一种基于群智能算法的大数据K-means聚类挖掘算法。首先对云计算Hadoop框架的存储数据能力和采用的Map Reduce计算模型进行分析,然后采用群智能算法对传统数据挖掘K-means聚类算法进行改进,解决其容易陷入局部最优问题。实验结果表明,相比加权K-means聚类算法,提出的改进算法表现出更好的聚类精度和运行速度,可以适用于大规模数据的聚类挖掘。     

一种用于基站休眠的改进粒子群算法

基站休眠技术被认为是提高无线通信网络能效的最有效方法之一,可以通过动态地关闭部分低负载基站来减少整体网络的能耗。在基站休眠算法中,集中式算法的性能往往比分布式算法更好。与此同时,随着无线接入网架构向集中式演进,集中式休眠算法将得到更广泛的应用。因此,针对基站休眠的集中式算法问题,文章提出了一种能用于基站休眠的改进的粒子群集中式算法。该算法对传统的粒子群算法在初始化方面进行了改进,通过每个基站的相邻基站数目和负载进行多目标优化,得到每个基站的初始化阈值,然后每个基站与阈值进行比较来进行初始化。仿真结果表明,文章提出的算法在性能上比传统分布式算法更好,并且与最优解情况相差很小,性能比较好。     

集中与分布:协同虚拟网络映射

结合传统集中式和分布式两类算法各自的特性,提出了协同虚拟网络映射算法。该算法保留了集中式算法中拥有全局视野的中心控制实体,负责总体控制和关键决策,同时将具体映射方案的计算过程交给有限的底层网络子集实现;唯一的中心控制实体与多个底层节点相互配合协作,共同完成虚拟网络映射的整个过程。该算法继承了集中式和分布式算法各自的优势,有效弥补了二者的缺陷,初步的仿真试验也证明了其可行性和有效性。     

聚类分析的并行化实现技术研究

文中基于使传统聚类算法能够满足当前大数据分析的对计算效率的需求,采用将传统聚类算法分布式化的方法提高传统聚类算法效率。结合近年来广泛使用的Map Reduce分布式处理模型,对K-means、PAM、CLARA 3种算法进行了分布式化实验,并从数据规模和节点数量两个方面考察、讨论了一些影响并行算法性能的因素。实验分析表明,该方法能够有效地将聚类方法并行化,并可以应用在分布式系统当中。     

基于 K-means 的云化分布式 BPEL 引擎放置机制

针对分布式BPEL引擎在云中的放置问题开展研究,提出了一种基于K-means的分布式BPEL引擎放置机制,该机制将BPEL引擎放置问题模型化为相关最优化数学模型,并且将该模型映射到K-means算法进行求解。该机制还讨论了算法在不同网络拓扑随机图、树形网络拓扑的应用。最后利用统计软件R进行了相关实验仿真,仿真结果显示该放置机制可优化服务调用所占用的带宽资源。     

分级分布式无人机协作频谱感知方法

无人机认知网络(Cognitive UAV Network,CUAVN)可以通过高精度的频谱感知提高频谱效率,但传统的集中式协作频谱感知不适用于无人机(Unmanned Aerial Vehicle,UAV)网络。UAV网络拓扑结构动态变化,使得全局信息很难快速收集至一个融合中心。针对上述问题,提出了一种基于K-means聚类算法的分级分布式协作频谱感知方法。首先,利用K-means聚类算法基于位置信息对UAV进行分簇;然后,采用两级分布式融合方案进行分层融合,在每个簇内先进行一致性信息融合得到獽个融合结果,再进行第二次融合得到最终全局收敛结果;最后将最终收敛结果与检测阈值对比,得到最终决策。仿真结果表明,所提出的分级分布式融合方案具有较好的收敛性,且信息融合迭代次数比未分级融合方案更少。在不同权重因子的加权情况下,所提方案较未分级融合方案更好,且平均接收信噪比越大时检测性能越好。与未分级分布式融合方案相比,在UAV节点较多的情况下,该方案使CUAVN的频谱检测性能得到了提升。     

基于二分法的K-means算法的实现

在图像处理大领域内,对特征值的处理尤为重要,而K-means算法是被运用于特征值聚类的重要方法之一,该方法简单快捷,聚类效果较佳,因而被学术界广泛使用。针对传统的K-means算法在进行数据集划分过程中的不足之处,提出了一种基于二分法的K-means聚类算法,该算法对数据集进行划分来选择出下次划分的数据集,以此来形成迭代,实验表明该算法相比于传统算法在划分方面有了明显的改进。     

一种基于异步传感器网络的空间目标分布式跟踪方法

为解决传感器网络在空间目标分布式跟踪过程中的异步采样及通信延迟问题,该文提出一种异步分布式信息滤波算法(ADIF)。首先,局部传感器与相邻节点之间以一定的拓扑结构传递带采样时标的局部状态信息和量测信息,然后将收到的异步信息按时间排序,使用ADIF算法进行计算,分别对目标状态进行估计。该方法实现简单,传感器间通信的次数少,支持网络拓扑的实时变化,适用于空间目标监测中的多目标跟踪问题。该文分别对空间单目标、多目标跟踪进行了仿真,结果表明算法可以有效解决异步传感器滤波问题,分布式滤波精度一致逼近于集中式结果。     

面向物联网隐私数据分析的分布式弹性网络回归学习算法

为了解决基于集中式算法的传统物联网数据分析处理方式易引发网络带宽压力过大、延迟过高以及数据隐私安全等问题,该文针对弹性网络回归这一典型的线性回归模型,提出一种面向物联网(IoT)的分布式学习算法。该算法基于交替方向乘子法(ADMM),将弹性网络回归目标优化问题分解为多个能够由物联网节点利用本地数据进行独立求解的子问题。不同于传统的集中式算法,该算法并不要求物联网节点将隐私数据上传至服务器进行训练,而仅仅传递本地训练的中间参数,再由服务器进行简单整合,以这样的协作方式经过多轮迭代获得最终结果。基于两个典型数据集的实验结果表明:该算法能够在几十轮迭代内快速收敛到最优解。相比于由单个节点独立训练模型的本地化算法,该算法提高了模型结果的有效性和准确性;相比于集中式算法,该算法在确保计算准确性和可扩展性的同时,可有效地保护个体隐私数据的安全性。     

一种基于分步式滤波的数据融合算法

本文提出了一种基于分步式滤波的多传感器动态系统数据融合算法.在由多传感器组成的分布式动态系统中,当对目标状态的所有观测值到来时,首先基于系统先前信息对该时刻目标状态进行预测估计,利用Kalman滤波器和各局部观测值依次对该时刻目标状态的估计值进行更新,从而得到该时刻目标状态基于全局信息的融合估计值.文中详细推证了融合算法的具体形式,并与传统的集中式数据融合算法在计算复杂度上进行了比较,计算机仿真表明该算法与传统的集中式算法对目标状态具有相同的估计精确度.     

K-means聚类算法研究综述

总结评述了K-means聚类算法的研究现状,指出K-means聚类算法是一个NP难优化问题,无法获得全局最优。介绍了K-means聚类算法的目标函数、算法流程,并列举了一个实例,指出了数据子集的数目K、初始聚类中心选取、相似性度量和距离矩阵为K-means聚类算法的3个基本参数。总结了K-means聚类算法存在的问题及其改进算法,指出了K-means聚类的进一步研究方向。     

基于随机数三角阵映射的高维大数据二分聚类初始中心高效鲁棒生成算法

Bisecting K-means算法通过使用一组初始中心对分割簇,得到多个二分聚类结果,然后从中选优以减轻局部最优收敛问题对算法性能的不良影响。然而,现有的随机采样初始中心对生成方法存在效率低、稳定性差、缺失值等不同问题,难以胜任大数据聚类场景。针对这些问题,该文首先创建出了初始中心对组合三角阵和初始中心对编号三角阵,然后通过建立两矩阵中元素及元素位置间的若干映射,从而实现了一种从随机整数集合中生成二分聚类初始中心对的线性复杂度算法。理论分析与实验结果均表明,该方法的时间效率及效率稳定性均明显优于常用的随机采样方法,特别适用于高维大数据聚类场景。     

应用K-means聚类的分布式多传感器航迹关联算法

针对分布式多传感器航迹关联的特点,考虑采用K-means聚类的航迹关联算法。将来自各传感器的局部航迹与系统航迹进行关联,并将系统航迹作为初始聚类中心,避免了K-means算法本身依赖初始值的缺陷;提出将系统航迹与局部航迹的欧式距离以及其状态向量在1范数下的距离之和作为相似度测度;设定距离门限值,减少了极端数据对聚类结果的影响,并增加多义性处理。蒙特卡洛仿真实验表明,该算法在目标密集并且目标有交叉的情况下能以较小的代价得到较高的平均正确关联率。同时,该算法克服了最近邻域法的局部最优特性和关联正确率高度依赖特征阈值等局限性。     

基于随机数三角阵映射的高维大数据二分聚类初始中心高效鲁棒生成算法

Bisecting K-means算法通过使用一组初始中心对分割簇,得到多个二分聚类结果,然后从中选优以减轻局部最优收敛问题对算法性能的不良影响.然而,现有的随机采样初始中心对生成方法存在效率低、稳定性差、缺失值等不同问题,难以胜任大数据聚类场景.针对这些问题,该文首先创建出了初始中心对组合三角阵和初始中心对编号三角阵...     

SOM＋K-means两阶段聚类算法及其应用

在众多聚类算法中,K-means和自组织神经网络（SOM）是较为经典的2个。在分析2种算法优缺点的基础上,提出基于SOM的K-means两阶段聚类算法,该算法根据SOM算法自动聚类的优点得到初步聚类数目和各类中心点,以此作为K-means算法的初始输入进一步聚类,从而得到精确的聚类信息。最后,应用该算法对某地区电信家庭客户数据进行分析,结果表明该算法有较好的聚类效果。     

基于改进K-均值算法的未知雷达信号分选

针对K-均值算法需要事先确定聚类的数目,无法适用于未知雷达信号分选的问题,通过引入脉冲间欧几里德距离和距离阈值TMS2812,完成聚类数目和聚类中心的自动选取,给出一个K-均值的改进算法,改进后的算法既收敛速度快,易于工程化实现,又可自动确定聚类数目和聚类中心。仿真实验表明,该改进算法提高了K-均值算法的适用范围,能够有效适应于未知雷达信号的分选。     

基于微正则退火算法对K-means聚类算法的优化

K-means算法是经典的基于划分的聚类算法,但该算法存在依赖于初始聚类中心、容易陷入局部最优解等缺点,针对这些缺点,本文提出了基于微正则退火K-means聚类算法,通过继承微正则退火算法的高效全局寻优特性,可以避免陷入局部最优解。实验结果表明,改进的算法能够有效的减少原算法对初始聚类中心点的依赖,提高算法的稳定性,摆脱原算法容易陷入局部最优解的缺点。     

一种改进的粒子群和K均值混合聚类算法

该文针对K均值聚类算法存在的缺点,提出一种改进的粒子群优化(PSO)和K均值混合聚类算法。该算法在运行过程中通过引入小概率随机变异操作增强种群的多样性,提高了混合聚类算法全局搜索能力,并根据群体适应度方差来确定K均值算法操作时机,增强算法局部精确搜索能力的同时缩短了收敛时间。将此算法与K均值聚类算法、基于PSO聚类算法和基于传统的粒子群K均值聚类算法进行比较,数据实验证明,该算法有较好的全局收敛性,不仅能有效地克服其他算法易陷入局部极小值的缺点,而且全局收敛能力和收敛速度都有显著提高。     

粒子群优化的聚类方法在图像分割中的应用

图像分割和对象提取是从图像处理到图像分析的关键步骤.K-均值聚类算法和粒子群优化方法结合,即将K-均值方法的结果作为一个粒子并采用粒子群优化的方法,通过适应度函数,利用新的分类中心调整粒子位置,产生新的聚类中心.并将此方法应用于图像的分割.最后,将两种方法的处理结果进行了比较,结果表示基于PSO聚类方法对图像的分割效果比原算法有所改进.