K-均值聚类算法的MapReduce模型实现

针对日益严峻的大数据处理时间长、执行速率低等问题,通过深入分析,提出了一种提高大规模数据聚类效率的方法。以K-均值聚类算法为原型,利用Map Reduce模型在大规模数据处理方面的优势,对原有算法进行并行化改进,设计出一种基于Hadoop分布式云平台的K-均值聚类Map Reduce模型。应用此模型,对淘宝用户仿真数据进行聚类试验,试验结果表明,对K-均值聚类算法的Map Reduce模型实现后,性能优于原算法性能,缩短了聚类时间,提高了聚类效率,特别适于对海量数据进行聚类处理。     

基于K-均值聚类算法RBF神经网络交通流预测

针对目前道路拥堵等交通问题,本文采用K-均值聚类算法对径向基函数(radial basis function,RBF)网络进行优化,通过K-均值聚类算法把所有的输入样本进行统一聚类,求得所有隐含层节点的RBF中心值Ci,并用最小二乘法(LMS)进行RBF网络的权值调整,同时在一定的时间和路段内对车流量进行数据采集,通过建立RBF神经网络模型,运用Matlab软件把采集的数据、图像进行计算机仿真,仿真结果表明,未加入K-均值聚类的RBF神经网络,其预测输出曲线大致可以和实际输出曲线拟合,但在数据波动较大的时刻,预测曲线的收敛速度偏慢且效率偏低;而采用K-均值聚类算法的RBF神经网络,在实际输出波动较大时,预测输出的曲线收敛速度和准确度都较高,因此,本研究相对于普通的BP神经网络,有更高的预测精度和较好的收敛性。该研究适用于市区内的交通流预测。     

基于处罚的K-均值优化算法

判断聚类结果中是否存在误分类的簇,即簇中包含的样本不属于同一类。若存在,则在已有聚类结果上使用加权方案,处罚误分类的簇,输出新的聚类结果。若不存在,则输出已有聚类结果。限制簇集中存在误分类的簇,消除初始聚类中心对K-均值算法的影响,提高聚类准确率。实验结果表明,该算法与K-均值算法、优化初始聚类中心的K-均值算法相比,在坏的初始化条件下,表现出更好的鲁棒性;在含有噪音的数据集中,表现出更好的抗噪性能;聚类效果更好。     

一种高效的全局K-均值算法

针对全局K-均值算法时间复杂度大的问题,提出一种增量选择初始聚类中心的新方法。选择数据集中周围分布最密集的样本作为第一个初始聚类中心,选择最小化目标函数贡献大,并且和已有聚类中心距离远的样本作为下一个初始聚类中心。改进算法减少了增量选取初始聚类中心时的计算量,降低了时间复杂度。实验证明,改进算法与全局K-均值算法、快速全局K-均值算法相比,在不影响聚类效果的基础上,减少了聚类时间,与优化初始聚类中心的算法相比,聚类效果更优。     

改进的K-均值聚类邮件过滤算法

分析了基于内容过滤的反垃圾邮件技术存在的不足,如概念漂移和偏斜类分布会导致召回率降低．在Minoru Sasaki和Hiroyuki Shinnou提出的邮件检测方法的基础上,对特征选择算法做了改进,并增加了自动学习机制,提出了一种基于改进K-均值聚类的垃圾邮件过滤算法．实验表明此方法能较好地适应概念漂移和偏斜类分布现象．     

一种基于K-均值聚类优化的快速分形图像压缩算法

对搜索窗中的父块和子块，根据其方差的不同，利用K-均值聚类优化方法分别对子块和父块进行聚类，子块只对同一类中的父块进行匹配，从而大大缩短了编码时间。仿真实验结果表明，在不影响信噪比和压缩比的前提下，与经典分形压缩算法相比，该算法编码速度可提高大约5倍；同近期文献报道的基于方差的快速分形压缩算法相比，该算法的结果也有明显的改善。     

初始聚类中心优化的K-均值项目聚类推荐算法

针对协同过滤推荐系统存在的数据稀疏性和扩展性差问题,提出了初始聚类中心优化的K-均值项目聚类推荐算法。该算法首先采用SlopeOne方法对评分矩阵预测填充来缓解数据稀疏性,然后采用初始聚类中心优化的K-均值算法对项目进行聚类,将相似度高的项目聚到同一个类中,最后根据目标项目所在的聚类搜索其最近邻并产生推荐。实验结果表明,该算法有效改善了数据的稀疏性和扩展性,提高了推荐质量。     

基于加权处罚的K-均值优化算法

在各种聚类算法中,基于目标函数的K-均值聚类算法应用最为广泛,然而,K-均值算法对初始聚类中心特别敏感,聚类结果易收敛于局部最优。为此,提出基于加权处罚的K-均值优化算法。每次迭代过程中,根据簇的平均误差的大小为簇分配权值,构造加权准则函数,把样本分给加权距离最小的簇中。限制簇集中出现平均误差较大的簇,提高聚类准确率。实验结果表明,该算法与K-均值算法、优化初始聚类中心的K-均值算法相比,在含有噪音的数据集中,表现出更好的抗噪性能,聚类效果更好。     

K-均值聚类算法在关系数据库中的应用

为实现K-均值聚类算法在关系数据库中的应用,对K-均值通用算法进行了改进,通过介绍把K-均值聚类算法和关系数据库管理系统(RDBMS)相结合的一种思想,目标是允许K-均值方法对关系DBMS内部的大数据集进行聚集.分析证明,改进后的K-均值聚类算法能够获得更好的聚类结果.     

K-均值聚类模糊逻辑数据融合改进算法研究

针对无线传感网(WSN)数据融合中基于模糊逻辑的加权融合算法融合结果误差偏大的问题,提出了一种基于K-均值聚类的改进的模糊逻辑加权融合算法.首先运用K-均值聚类的思想分析收集到的原始误差数据,去除算法认为不可靠的数据,用余下的有效数据对修正模糊逻辑算法求得加权因子,并与节点测量数据加权平均求值,得到最终融合值.实验证明:通过与其它同类的加权融合算法比较,该改进算法的融合精度更高,效果更好.     

改进差分进化算法及其在模糊聚类分析中的应用

针对差分进化算法早熟与搜索效率不理想的问题,提出一种改进的差分进化算法。算法在变异阶段采用多策略与多参数并行的方法一次产生多个变异个体,有效地保持了种群中个体的多样性,抑制了早熟现象的发生。根据竞争机制选择适应度最好的变异个体进行选择操作,提高了搜索效率。与差分进化及其改进算法的对比实验表明了算法的有效性,并把提出的算法应用到模糊聚类分析中,较好的解决了原始聚类模型求解容易陷入局部极值的问题。     

基于混合策略的差分进化算法

针对传统差分进化算法在求解问题中种群易收敛、易早熟的问题,提出了一种基于混合策略的差分进化算法.该算法根据粒子适应度、适应度标准差和粒子间距离标准差,将种群分为3个不同大小、不同功能的子种群,每个子种群采用不同策略和控制参数来实现自己被指定的功能.算法在搜索过程中既增强了种群的全局搜索能力,又增加了收敛精度.通过对4个标准函数的测试,仿真结果表明该算法比其他算法具有更好的寻优能力.     

动态种群差分进化算法研究

针对标准差分进化算法易早熟的缺点,模拟人类社会民族融合的进化历程,提出了动态种群差分进化算法(DPDE)。算法中将种群分为多个独立的子种群,子种群之间采用相互移民来进行信息交换,设置种群分裂和融合的条件来动态控制子种群个数。通过数值实验用几种典型的测试函数对DPDE的搜索性能进行了测试,实验结果表明,该算法能有效地避免早熟,具有良好的全局收敛性。     

一种基于混合差分策略的改进差分进化算法

对启发式优化算法中的差分进化算法进行改进．在进化过程中并行交叉采用DE／rand／1／exp和DE／best／1／exp差分策略，应用聚集度因子进行种群重构，缩小了种群重构后的搜索范围，有效避免了种群重构的随机性．仿真结果表明，改进算法与使用单一差分策略的差分进化算法及PSO算法相比．寻优能力得到了显著提高．     

基于微分演化算法的系统识别

微分演化算法（DE）是一种启发式算法,它对于解决复杂的优化问题有很好效果。它构成简单,使用方便,收敛速度快,求解有效,并且有很好的鲁棒性。本文把DE算法运用到了结构体系的参数估计中,可以描述为一个多维优化问题。本文在无噪声干扰和有噪声干扰的情况下,用所提出的方法来识别非线性结构体系,结果表明了此方法的有效性。     

基于共享学习策略的微分进化算法

针对传统微分进化算法易发生早熟收敛问题,提出基于共享学习策略的微分进化算法（SLDE）,引入共享个体和共享学习因子。共享个体覆盖整个种群,较优个体可引导算法朝希望方向进化,较差个体则能维持种群的多样性,向共享个体学习可避免丢失个体信息,实现整个种群间的信息交换,有助于算法跳出局部最优解,提高算法的局部开采和全局勘探能力。同时,算法充分利用个体的进化信息,根据个体适应值到最优适应值的距离自适应地调整共享学习因子,以弥补随机个体对进化带来的随机性和盲目性,增强算法的搜索能力。采用22个不同特性的Benchmark测试函数对算法进行性能测试,与7种改进DE算法进行性能对比,实验结果表明,SLDE具有较强的跳出局部最优解能力,能显著减少进化代数,大幅地提高算法的收敛精度、收敛速度和稳定性,SLDE的全局优化性能整体上远优于其他改进DE算法。     

基于差分算法的预测控制

针对参数可变的非线性模型,提出了一种基于差分算法的预测控制。利用神经网络依据系统的输入 输出数据建立预测模型,并利用差分算法对其进行滚动优化,从而提高控制系统的性能。最后,分别运用遗传算法 和差分算法实现滚动优化进行预测控制仿真,并对两种方法的仿真结果进行比较。仿真结果表明,采用差分进化算 法进行滚动优化的预测控制总体效果相对较好。     

基于进化思想的聚类算法及其类簇融合算法

针对K均值聚类算法对类簇数目预先不可知及无法处理非凸形分布数据集的缺陷,提出基于进化思想的聚类算法及其类簇融合算法．该算法将K均值聚类算法嵌入进化聚类算法框架中,通过调整距离倍参,将数据逐渐划分,在此过程中自动确定类簇数目,提出基于最近距离的中间圆密度簇融合算法和基于代表类的中间圆密度簇融合算法,将相似度大的类簇进行融合,使得k值逐渐趋向真实值．实验表明,该方法具有良好的实用性．     

随机选择变异及自适应差分进化算法的研究

为兼顾搜索速度和精度,提高搜索效率,克服不易跳出局部最优的缺点,提出了随机选择变异策略、自适应调整变异率和自适应调整交叉率3种改进设想.利用3种改进设想改进DE算法,得到了7种改进算法,将7种改进算法应用到双容水箱液位模型闭环辨识案例中.结果表明,7种改进算法都提高了跳出局部最优的能力,综合比较可知,3种改进设想同时应用的改进算法性能最优.     

改进的K—Means聚类算法在保险客户信用分析中的算法实现

针对保险业对客户信息的分析中缺乏考虑客户信用分析的问题,根据聚类分析算法理论和保险公司客户数据库特点,进一步对K-means聚类算法在大样本环境下初始聚类中心的选取提出有效改进,同时选取一家财产保险公司的客户信用数据,来探讨聚类算法在保险客户信用分析中的应用．