一种面向大数据的快速自动聚类算法

针对大数据环境下高维数据聚类速度慢、准确率低的问题,提出了一种面向大数据的快速自动聚类算法(FACABD)。FACABD聚类算法利用谱聚类算法对大数据集进行归一化和列降维,提出了一种新的快速区域进化的粒子群算法(FRE-PSO),并利用该算法进行行降维;然后在降维处理后的数据基础上,引入聚类模糊隶属度基数,自动发现簇的数目,根据类簇数目,采用FRE-PSO算法结合模糊聚类算法快速完成自动聚类。在人工生成数据集和UCI机器学习数据集上的实验结果表明,该算法能够在数据驱动下快速自动聚类,有效地提高了运行速度和精度。     

基于数据聚类的网络安全防护态势优化方法

针对传统模糊特征检测方法存在的效率低、精度不高等问题,设计了一种新的网络安全防护态势优化模型;对网络安全状态分布进行建模,并利用数据挖掘技术对网络信息进行挖掘;利用新型入侵识别检测方法对所设计的网络安全估计状态进行自适应特征提取,提取网络安全状况的特征数据集和处理单元;采用模糊C平均数据聚类方法(FCM)提取综合信息;对入侵特征信息流进行分类,根据属性分类结果进行网络安全态势预测,实现安全态势评估;基于不同场景下进行实验,结果表明,所提算法适用于网络安全的场景,准确性和鲁棒性都得到了验证。     

基于融合模糊聚类算法的云信息存储加密仿真

为了提高云信息存储的安全性,需要进行信息加密设计,提出基于融合模糊聚类算法的云信息存储加密算法。在同态公钥加密体系下构建云信息存储加密的数据分布式结构模型,提取云存储信息加密统计特征量,采用同态数据融合方法进行云信息的模糊聚类处理,结合模糊C均值聚类方法进行云信息的分段融合调度;在分段区间内采用随机线性编码方案进行云信息存储加密的编码设计,基于融合模糊聚类算法构建加密密钥,实现云信息存储加密优化设计。仿真结果表明,采用该方法进行云信息存储加密的信息融合性较好,抗破译能力较强,提高了云存储数据的安全性。     

改进的快速模糊C-均值聚类算法

为解决模糊C-均值(FCM)聚类算法在大数据量中存在的计算量大、运行时间过长的问题,提出了一种改进方法：先用多次随机取样聚类得到的类中心作为FCM算法的初始类中心,以减少FCM算法收敛所需的迭代次数;接着通过数据约减,压缩参与迭代运算的数据集,减少每次迭代过程的运算时间。该方法使FCM算法运算速度大大提高,且不影响算法的聚类效果。     

基于密度峰值的加权犹豫模糊聚类算法

由于人们对事物认知的局限性和信息的不确定性,在对决策问题进行聚类分析时,传统的模糊聚类不能有效解决实际场景中的决策问题,因此有学者提出了有关犹豫模糊集的聚类算法.现有的层次犹豫模糊K均值聚类算法没有利用数据集本身的信息来确定距离函数的权值,且簇中心的计算复杂度和空间复杂度都是指数级的,不适用于大数据环境.针对上述问题,...     

混合属性数据流的两阶段入侵检测算法

以KDDCUP99-10%网络入侵数据集作为数据流,提出一种混合属性数据流的两阶段入侵检测算法。通过增量聚类提取数据流的代表信息,根据提出的加权模糊簇特征对增量聚类结果做模糊聚类,簇数可动态改变。理论分析和实验结果表明,该算法可以有效检测数据流入侵。     

改进的粒子群模糊聚类方法

针对基于粒子群的模糊聚类算法以隶属度编码时对噪音敏感,以及处理样本数小于样本维数的数据集效果较差等问题,通过改进其中的模糊聚类约束方法,提出一种改进的基于粒子群的模糊聚类方法.当样本对各类的隶属度之和不为1时,新方法在粒子群优化得出的隶属度基础上,根据样本与各类之间的距离对隶属度进一步分配,以使隶属度满足模糊聚类约束条件.新方法显著地改善了在隶属度编码下使用粒子群进行模糊聚类的效果,并通过典型的数据集进行了验证.     

引入时频聚集交叉项干扰抑制的大数据聚类算法

面向大数据集管理的数据聚类方法研究在模式识别、故障诊断和数据挖掘等领域具有重要的研究意义。传统的大数据聚类算法采用混合差分进化的粒子群算法,因数据信息流分量之间的交叉作用而出现的类间交叉项干扰影响了聚类分量的正确判断,聚类效果不好。提出了一种基于时频聚集交叉项干扰抑制的大数据聚类算法。在面向传播学视域下物联网大数据库中生成大数据聚类的信息特征向量,对任意两个分簇矢量进行近邻样本的隶属度训练,在时间滑动窗口模型中进行信息调度,采用高频分量抑制方法实现对时频聚集交叉项的干扰抑制,通过频域卷积相似度融合处理,采用粒子群优化算法进行聚类适应度计算,以实现数据聚类算法改进。仿真结果表明,采用该算法进行大数据聚类,具有较好的抗干扰性和自适应性,聚类准确度较高。     

基于粒子群优化算法的数据流聚类算法

针对当前基于滑动窗口的聚类算法中对原始数据信息的损失问题和提高聚类质量和准确性,在现有基于滑动窗口模型数据流聚类算法的基础上,提出了一种基于群体协作的粒子群优化算法（PSO）的新数据流聚类算法。这种优化的新数据流聚类算法利用改进的时间聚类特征指数直方图作为数据流的概要结构以及应用PSO在聚类过程中对聚类质量的局部迭代优化。实验结果表明,此方法有效减少了内存的开销,解决了对原始数据信息损失的问题。与传统的数据流聚类算法相比,基于粒子群优化算法的数据流聚类算法在聚类质量和准确性上明显优于传统的数据流聚类算法。     

凝聚中心犹豫度恒定的模糊层次聚类算法

传统的模糊方法已无法解决数据本身不确定性的问题,犹豫模糊集方法却行之有效.原有的犹豫模糊层次聚类算法没有考虑犹豫模糊集对权值的影响,缺乏合理的权重计算方法,并且算法的时间复杂度和空间复杂度都为指数级.为了更有效地解决聚类分析问题,本文提出一种凝聚中心犹豫度恒定的模糊层次聚类算法(FHCA),首先设计了一种基于数据集本身...     

面向实体识别的聚类算法

实体识别是数据质量的一个重要方面,对于大数据处理不可或缺.已有的实体识别研究工作聚焦于数据对象相似度算法、分块技术和监督的实体识别技术,而非监督的实体识别中匹配决定的问题很少被涉及.提出一种面向实体识别的聚类算法来弥补这个缺失.利用数据对象及其相似度构建带权重的数据对象相似图.聚类过程中,利用相似图上重启式随机游走来动态地计算类簇与结点的相似度.聚类的基本逻辑是,类簇迭代地吸收离它最近的结点.提出数据对象排序方法来优化聚类的顺序,提高聚类精确性;提出了优化的随机游走平稳概率分布计算方法,降低聚类算法开销.通过在真实数据集和生成数据集上的对比实验,验证了该算法的有效性.     

基于改进粒子群优化的移动界面模式聚类算法

聚类是一种非常有效的信息分析方法。针对现有基于粒子群优化的模糊C均值(Fuzzy C-means,FCM)聚类算法的聚类效果不佳的问题,提出一种基于改进粒子群优化的模糊C均值聚类算法,并将该聚类算法应用到移动界面模式的聚类中。首先,利用直觉模糊熵的几何解释和约束构造合理的直觉模糊熵;然后,在粒子群优化中使用直觉模糊熵判断种群的多样性程度,并引入混沌反向学习策略来提高全局搜索能力;最后,为了增强聚类算法的非线性处理能力,在聚类算法中加入高斯核函数,并将该聚类算法应用到移动界面模式的聚类中。移动界面模式聚类的实验表明,与现有聚类算法相比,文中所提聚类算法具有更好的聚类效果。     

一种基于竞争型群体优化的数据聚类方法

数据聚类在智能信息处理中具有非常重要的作用。传统的数据聚类方法，如K-means算法，存在对初始聚类中心敏感等问题。随着智能优化算法的发展，人们用智能优化算法进行数据聚类取得了一定的效果，但存在容易陷入局部最优等问题。为此，本文将在高维优化问题中取得良好效果的竞争型群体优化算法中引入数据聚类，利用竞争型群体优化算法强大的全局探索能力搜索聚类中心进行数据聚类，在UCI的5个数据集上的实验结果表明竞争型群体优化算法比遗传算法、粒子群算法不仅能得到更好的聚类效果，而且收敛性能更好。     

一种改进的密度偏差抽样算法

随机抽样技术已经广泛应用于数据挖掘的各类算法中，它在处理分布均匀的数据集时非常有效，但在处理分布比较倾斜的数据集时容易丢失小的聚类。为此提出基于网格的密度偏差抽样算法，仅需要扫描一遍数据集就可以得到近似的密度偏差抽样。经实验测试分析表明，该算法不仅提高了聚类的正确性，而且抗噪声能力强、效率高，是解决海量数据挖掘的一种有效途径。     

一种快速的模糊局部C-均值聚类分割算法

针对模糊局部C-均值聚类算法计算复杂度高且对大数据样本集进行聚类时极为耗时的特点,提出了快速的模糊局部C-均值聚类分割算法。该算法将目标像素点与其邻域像素点构成的共生矩阵引入模糊局部C-均值算法,得到新的聚类隶属度和聚类中心表达式。对像素分类时,利用邻域像素隶属度进行滤波处理,进一步改善了算法的抗噪性。实验结果表明,该算法满足了图像分割有效性的需求,相较于模糊局部C-均值聚类算法,该算法具有更好的分割性能和实时性,能更好地满足实际场合图像分割的需要。     

基于量子粒子群优化的网络入侵检测算法

提出了一种将量子粒子群优化算法和半监督模糊核聚类算法相结合的混合算法,用以解决入侵检测算法中模糊聚类算法对初始值敏感,容易陷入局部最优的问题。该算法对少量标记数据进行监督聚类得到正确模型,运用这个模型指导大量未标记数据进行聚类,扩充标记数据集合,对仍没有确定标记的数据利用量子粒子群优化的模糊核聚类算法进行聚类,确定其标记类型。通过KDD CUP99实验数据的仿真,实验结果表明,该算法在入侵检测中能获得理想的检测率和误检率。     

Non-dominated sorting genetic algorithm using fuzzy membership chromosome for categorical data clustering

In this research, a data clustering algorithm named as non-dominated sorting genetic algorithm-fuzzy membership chromosome (NSGA-FMC) based on K-modes method which combines fuzzy genetic algorithm and multi-objective optimization was proposed to improve the clustering quality on categorical data. The proposed method uses fuzzy membership value as chromosome. In addition, due to this innovative chromosome setting, a more efficient solution selection technique which selects a solution from non-dominated Pareto front based on the largest fuzzy membership is integrated in the proposed algorithm. The multiple objective functions: fuzzy compactness within a cluster (π) and separation among clusters (sep) are used to optimize the clustering quality. A series of experiments by using three UCI categorical datasets were conducted to compare the clustering results of the proposed NSGA-FMC with two existing methods: genetic algorithm fuzzy K-modes (GA-FKM) and multi-objective genetic algorithm-based fuzzy clustering of categorical attributes (MOGA (π, sep)). Adjusted Rand index (ARI), π, sep, and computation time were used as performance indexes for comparison. The experimental result showed that the proposed method can obtain better clustering quality in terms of ARI, π, and sep simultaneously with shorter computation time.     

基于Canopy聚类的噪声自适应模糊C-均值算法

针对局部空间信息的模糊C-均值算法（WFLICM）中空间影响因子容易受到噪声影响出现错误标识的问题,提出一种融合局部和非局部空间信息的模糊C-均值聚类图像分割算法(NLWFLICM),在WFLICM算法的模糊影响因子中引入非局部空间信息,根据噪声程度自适应地设置局部和非局部信息权重,并重新标记中心点的模糊影响因子。实验结果表明,NLWFLICM算法具有比WFLICM算法更强的鲁棒性和自适应性,并在一定程度上提高了WFLICM算法对含有大量噪声图像进行分割的鲁棒性,同时保留了图像的纹理。为了提高算法的聚类性能和收敛速度,结合Canopy算法能够快速对数据进行粗聚类的优点,提出基于Canopy聚类与非局部空间信息的FCM图像分割改进算法（Canopy-NLWFLICM）,可以在NLWFLICM算法聚类前,对聚类中心进行预处理,从而提高收敛速度和图像分割精度。     

基于改进混沌分区算法的模糊信息抽取

在大数据环境下进行模糊信息挖掘抽取中受到数据之间的小扰动类间干扰的影响,导致信息抽取的特征聚类性不好。为此提出一种基于改进混沌分区算法的模糊信息抽取方法,对高维数据信息流进行分布式结构重组,以Lorenz混沌吸引子作为训练测试集进行大数据模糊信息抽取的自适应学习训练,采用相空间重构技术对大数据的混沌吸引子负载特征量进行自相关特征匹配处理,提取模糊信息的平均互信息特征量,结合关联规则模糊配对方法进行大数据混沌分区,实现模糊信息的优化聚类,根据数据聚类结果实现模糊信息准确抽取,对抽取的高维模糊信息进行特征压缩,降低计算开销。仿真结果表明,采用该方法进行大数据样本序列的模糊信息抽取的聚类性较好,抗类间扰动能力较强,模糊信息抽取的准确概率较高,在数据挖掘和特征提取中具有很好的应用价值。     

基于聚类与决策树的综合入侵检测算法研究

入侵检测是一种通过实时监测目标系统来发现入侵攻击行为的安全技术,传统的入侵检测系统在有效性、适应性和可扩展性方面都存在着不足。为了使模糊聚类算法获得的聚类结果为全局最优解,改进了传统的模糊C-均值算法,并且在每个聚类的数据集上建立一棵属于该聚类的C4.5决策树,构造了一种新的综合检测算法来确定是否存在入侵。通过实验结果分析,该检测算法降低了误报率,提高了入侵检测的检测性能以及可靠性。