基于改进人工蜂群算法与MapReduce的大数据聚类算法

针对大数据聚类算法计算效率与聚类性能较低的问题,提出了一种基于改进人工蜂群算法与MapReduce的大数据聚类算法。将灰狼优化算法与人工蜂群算法结合,同时提高人工蜂群算法的搜索能力与开发能力,该策略能够有效地提高聚类处理的性能;采用混沌映射与反向学习作为ABC种群的初始化策略,提高搜索的解质量;将聚类算法基于Hadoop的MapReduce编程模型实现,通过最小化类内距离的平方和实现对大数据的聚类处理。实验结果表明,该算法有效地提高了大数据集的聚类质量,同时加快了聚类速度。     

基于人工蜂群的三支k-means聚类算法

聚类在数据挖掘技术中起着至关重要的作用。传统的聚类算法都是硬聚类算法,即对象要么属于一个类,要么不属于一个类,在处理不确定数据时,强制划分会带来决策错误。三支k-means聚类算法可以对边界不确定数据进行更加合理的分类,但仍然存在对初始聚类中心敏感的问题。为解决这一问题,将人工蜂群算法与三支k-means聚类算法相结合,提出了一种基于人工蜂群的三支k-means聚类算法。通过定义类内聚集度函数和类间离散度函数来构造蜜源的适应度函数,引导蜂群向高质量的蜜源进行全局搜索。利用蜂群之间不同角色的相互协作与互换,对数据集进行多次迭代聚类,找到最优的蜜源位置,作为初始聚类中心,并在此基础上交替迭代聚类。实验证明,该方法对聚类结果的性能指标有所提高。在UCI数据集上的实验验证了该算法的有效性。     

数据划分优化的并行k-means算法

针对大规模文本聚类中对聚类算法执行效率的要求,提出了一个内容相关的纵向数据划分策略FTDV,并基于该策略提出了数据划分优化的并行DVP k-means算法,提高了常规并行k-means算法的并行化程度,达到了优化算法执行效率的目的。在实验中,与常规并行k-means算法和基于关键方向分解的PDDP k-means算法进行比较,DVP k-means具有更好的并行性和对数据规模的适应性,且可以生成更高质量的聚簇。     

基于逻辑运算的离散人工蜂群优化双聚类算法

基因表达数据是由DNA微阵列实验产生的大规模数据矩阵,双聚类算法是挖掘数据矩阵中具有较高相关性的子矩阵,能有效地提取生物学信息。针对当前多目标双聚类优化算法易于陷入早熟和局部最优解等问题,论文提出了基于逻辑运算的离散人工蜂群优化双聚类算法(LOABCB算法),一方面引入人工蜂群算法增强双聚类的全局寻优能力,另一方面通过逻辑运算邻域搜索策略寻找最优双聚类,提高搜索效率。采用基因表达数据的酵母细胞数据集进行实验,结果表明论文算法能够获得实验效果优的具有生物意义的双聚类。     

一种基于Nutch的网页聚类系统的设计与实现

设计了一种在中英文环境下、能够对Nutch的搜索结果进行聚类处理的搜索结果聚类系统,该系统基于k-means算法和后缀树聚类算法,是一个由Nutch搜索引擎、文本分词、TF-IDF权重计算以及文本聚类等模块构成的搜索引擎结果文档聚类系统,并通过实验对k-means算法和后缀树算法进行了对比。     

基于改进粒子群优化的文本聚类算法研究

针对k-means算法的聚类结果高度依赖初始聚类中心选取的问题,提出一种基于改进粒子群优化的文本聚类算法。分析粒子群算法和k-means算法的特点,针对粒子群算法搜索精度不高、易陷入局部最优且早熟收敛的缺点,设计自调节惯性权重机制及云变异算子以改进粒子群算法。自调节惯性权重机制根据种群进化程度,动态地调节惯性权重,云变异算子基于云模型的随机性和稳定性,采用全局最优值实现粒子的变异。该算法结合了粒子群算法较强的全局搜索能力与k-means算法较强的局部搜索能力。每个粒子是一组聚类中心,类内离散度之和的倒数是适应度函数。实验结果表明,该算法是一种精确而又稳定的文本聚类算法。     

基于改进人工蜂群的模糊C-均值聚类算法

模糊C-均值聚类算法在数据挖掘领域有着广泛的使用背景,而对初始点的敏感和较差的搜索能力,限制了算法的进一步推广应用。人工蜂群算法具有对初始点不敏感、适应能力强和搜索能力强等优点,并且针对人工蜂群算法对单峰问题收敛速度慢、多峰问题容易陷入局部最优等问题,通过引入差分进化算法中变异和交叉思想,改善蜂群算法的收敛速度,平衡局部搜索和全局搜索能力。然后将改进的人工蜂群算法和模糊C-均值聚类算法结合得到基于改进人工蜂群的模糊C-均值聚类算法,并在多个国际标准数据集上进行验证,实验结果表明此算法在多个衡量指标上取得了明显的改进。     

一种基于免疫聚类竞争的关联规则挖掘算法

通过引入聚类竞争机制,提出了一种基于免疫聚类竞争的关联规则挖掘算法。将数据原始记录和候选模式分别作为抗原和识别抗体,通过聚类竞争加速克隆扩增,提高抗体成熟力及亲和性,增强候选模式支持度。实验及应用表明,该算法加快了关联规则挖掘的收敛速度,具有更强的全局与局部搜索能力,提高了所得关联规则的准确率。     

基于增强蜂群优化算法的特征选择算法

针对传统蜂群优化(BCO)算法探测能力强但搜索能力较弱的问题,提出一种搜索能力增强的BCO算法,并将其应用于数据特征选择问题以提高特征选择的性能。首先,为食物源引入全局权重的概念,用以评估各食物源对种群的重要性,降低蜂群搜索的随机性;然后,设计了两步筛选的招募方法提高蜂群搜索能力并保持多样性;最终,为食物源引入局部权重的概念,用于评估某个食物源与类标签的相关性,从而优化解特征选择问题。仿真实验结果表明,所提方法可以明显提高BCO的优化效果,同时获得了较好的特征选择效果,并且优于基于差异的人工蜂群算法(DisABC)和蜂群优化特征选择算法(BCOFS)。     

基于改进蜂群算法的K-means算法

针对标准人工蜂群算法搜索效率低、收敛速度慢等缺点提出一种改进的人工蜂群算法.通过引入算术交叉操作以及利用最优解指导搜索方向,增加算法收敛的速度.在7个基准函数上的测试结果表明了算法的有效性.在此基础上,针对K-means算法的缺点提出基于改进蜂群算法的K-means算法,并加入自动获得最佳聚类数的功能.在人工数据集和UCI真实数据集上的测试验证了所提出算法的性能.     

结合遗传k均值改进的密度峰值聚类算法

针对密度峰值聚类(CFSFDP)算法处理多密度峰值数据集时,人工选择聚类中心易造成簇的误划分问题,提出一种结合遗传k均值改进的密度峰值聚类算法。在CFSFDP求得的可能簇中心中,利用基于可变染色体长度编码的遗传k均值的全局搜索能力自动搜索出最优聚类中心,同时自适应确定遗传k均值的交叉概率,避免早熟问题的出现。在UCI数据集上的实验结果表明,改进算法具有较好的聚类质量和较少的迭代次数,验证了所提算法的可行性和有效性。     

基于蜂群K-means聚类模型的协同过滤推荐算法

针对目前协同过滤推荐算法的推荐质量和推荐效率低的问题,提出了一种基于改进蜂群K-means聚类模型的协同过滤推荐算法。首先,根据用户属性信息,采用改进蜂群K-means算法对用户进行聚类,建立用户聚类模型;然后,计算目标用户与用户聚类模型中各聚类中心的距离,其中距离最近的类为目标用户的检索空间;最后,从检索空间中依据用户-项目评分矩阵通过相似度计算搜索目标用户的最近邻居,由最近邻居的信息产生推荐列表。实验结果表明,该算法降低了平均绝对误差值,缩短了运行时间,提高了推荐质量和推荐效率。     

基于支持向量机的海量电力数据智能分类方法

针对电力公司海量数据分类问题,提出一种改进的k-means数据分类方法。在k-means算法的基础上,应用PCA对k-means算法进行降维处理,用canopy算法优化最佳簇集数、初始聚类中心。然后,应用改进的k-means算法对居民用户用电进行聚类;最后以该聚类结果为基础,建立LSTM预测模型。通过LSTM预测模型对某小区90户居民用电数据进行仿真实验,并对比分析了传统聚类、改进聚类和不适用聚类下LSTM三种模型的预测结果。结果表明,未使用任何聚类算法构建的LSTM模型在进行电力负荷预测时,预测结果的精度最低;应用改进的k-means算法构建的LSTM模型预测结果精度最佳。     

保证公平的最大化OFDMA系统容量策略

针对正交频分多址系统中容量与公平之间的矛盾,提出在子载波分配中兼顾公平、在功率分配中保证公平度门限的最大化系统容量策略.该策略首先将现有子载波方法与匈牙利算法结合,在优先最大化系统容量的基础上兼顾公平;然后利用基于公平度门限的人工蜂群功率分配算法,在优先保证公平度门限的基础上最大化系统容量.实验结果表明:该策略的子载波分配方法能够最大化系统容量并兼顾用户的公平,可实现系统容量和用户公平度的同时提升;该策略的人工蜂群功率分配方法具有较好的稳健性和全局寻优能力,即使在用户数较大时也能够实现所要求的公平度门限并最大化系统容量.研究结果验证了所提出策略的有效性.     

一种改进的基于特征赋权的K均值聚类算法

聚类分析是数据挖掘及机器学习领域内的重点问题之一。近年来,为了提高聚类质量,借鉴和引入了分类领域特征选择及特征赋权思想,提出了一些基于特征赋权的聚类算法。在这些研究基础上,本文提出了一种基于密度的初始中心点选择算法,并借鉴文[1]所提出的特征赋权方法,给出了一种改进的基于特征赋权的K均值算法。实验表明该算法能较为稳定地得到较高质量的聚类结果。     

基于改进流形距离和人工蜂群的二阶段聚类算法

以改进的流形距离为相似度测度, 结合人工蜂群算法, 提出一种二阶段聚类算法. 首先根据局部密度、最大最小距离和近邻选择对数据集初步归类并得到簇代表点; 然后将聚类归属为优化问题, 通过改进的蜂群算法对簇代表点及没归类的样本点较快地搜索到最优聚类中心, 同时根据流形距离的全局一致性特征, 对样本进行精确的类别划分; 最后将两阶段算法综合归类. 实验结果表明, 所提出的算法可以获得良好的聚类效果.

     

基于改进布谷鸟搜索的k-means算法的离群点检测

为了解决k-means算法的离群点检测容易受到初始聚类中心的影响陷入局部最优的问题,本文提出一种基于改进布谷鸟搜索的k-means算法的离群点检测方法。首先,对原始布谷鸟搜索算法中的发现概率和莱维飞行步长做自适应策略改进并进行实验仿真;其次讨论改进后的布谷鸟搜索算法的收敛性问题;最后将改进后的布谷鸟搜索算法与k-means的离群点检测算法融合成一种新的离群点检测算法——基于改进布谷鸟搜索的k-means算法的离群点检测。通过对UCI数据集进行仿真实验,结果表明,本文算法不仅精确度方面有着明显优势,而且在3个数据集上收敛速度均有改善,可有效地抑制k-means算法的离群点检测容易陷入局部最优的问题,缩短运行时间。