基于I-Miner的聚类分析研究

数据挖掘是当今数据库系统研究和应用领域中的热点问题.聚类是数据挖掘中的核心问题.I-Miner是一个企业级的数据挖掘工具,利用I-Miner软件进行聚类分析,将聚类结果呈现丰富的可视化效果,通过S语言拓展软件功能,解决应用的特殊需求.     

I-Miner环境下聚类分析算法研究与实现

聚类分析是一种非监督型知识发现的方法,能有效地处理大量的、繁杂的、属性众多的且没有类标志的数据.DBSCAN算法能实现任意形状的数据集的聚类,模糊C均值适合于那些在簇中心周围呈均匀分布的数据集,CABOSFV算法对于高维稀疏数据集(例如Web数据)能很好地聚类.在I-Miner中嵌入DBSCAN、CABOSFV和模糊C均值三种聚类分析算法,能够较好地满足用户的需要,建立数据挖掘模型,支持生产决策.     

在数据挖掘中基于SOM网络的数据分析可视化设计

阐述了SOM（Self-Organizing Map)自组织神经网络和Davies-Bouldin聚类判定法，采用SOM网络构建了数据挖掘中数据模型，设计了SOM网络数据分析可视化软件，并进行了详细的可视化数据分析，同时，设计的软件已经初步应用到数据挖掘当中，取得了良好的效果。     

两种聚类算法的比较与实现

基于统计的系统聚类分析是一种重要的数据挖掘算法。研究了一种多重系统聚类模型及其算法实现,把变量聚类和样本聚类相结合,并使用了两种方法赋值样本数据阵,使聚类结果更加直观。     

核自组织映射竞争聚类

基于核方法可在高维特征空间中完成数据聚类,但缺乏对原输入空间聚类中心及结果的直观刻画.提出一种核自组织映射竞争聚类算法.该算法是利用核的特征,导出SOM算法的获胜神经元及权重更新规则,而竞争学习机制依然保持在原输入空间中,这样既解决了当输入样本分布结构呈高度非线性时,其分类能力下降的问题,而且解决了Donald[1]算法导致的特征空间中的获胜神经元在原始输入空间中的原像不存在,而无法对聚类结果利用可视化技术进行解释的问题.实验结果表明,提出的核自组织映射竞争聚类算法在某些数据集中可以获得比SOM算法更好的结果.     

数据挖掘中聚类算法研究

聚类分析是数据挖掘领域中一个非常热门的研究课题,应用于各个领域的聚类算法非常多。本文介绍了衡量聚类算法性能的几个指标,对聚类分析进行了分类,列举了每类中典型的聚类算法,重点分析了神经网络中的自组织特征映射(SOM)算法。最后提及了聚类分析方法的应用范围以及今后需要解决的问题和发展方向。     

一种离群数据挖掘新方法的研究与应用

离群数据挖掘是数据挖掘的重要内容.利用蚁群算法鲁棒性强的优点,改进了聚类方法.在此基础上,将聚类分析和蚁群算法某些参数相结合,提出一种基于聚类的离群指数新定义,成功地实现了离群数据挖掘过程并编程实现.采用此方法对流程企业的大量历史数据进行分析,从而起到了对设备运行优化和故障预警的作用.     

利用自组织特征映射神经网络进行可视化聚类

自组织特征映射作为一种神经网络方法,在数据挖掘、机器学习和模式分类中得到了广泛的应用。它将高维输人空间的数据映射到一个低维、规则的栅格上,从而可以利用可视化技术探测数据的固有特性。该文说明了自组织特征映射神经网络的工作原理和具体实现算法,同时利用一个算例展示了利用自组织特征映射进行聚类时的可视化特性,包括聚类过程的可视化和聚类结果的可视化,这也是自组织特征映射得到广泛应用的原因之一。     

基于GIS的空间邻接关系的聚类算法及其实现

随着空间数据挖掘技术和GIS的发展与结合,人们逐渐将空间数据挖掘技术应用于GIS的很多相关领域.聚类分析是空间数据挖掘的一种方法,聚类分析能从空间数据库中直接发现一些有用的聚类结构.为了实现空间复杂地理对象的聚类分析,本文引入了一种空间聚类算法,并将其应用于土地规划.在具体的模拟试验中,利用该算法将相邻的并且符合选取条件的空间目标聚类成一类,实现了能够发现任意形状、并满足特定约束条件的聚类.     

基于SOM网络的语音训练可视化方法研究

提出了一种利用SOM网络输出层可视化的特点进行语音训练的方法。SOM网络能够将输入向量映射到二维平面或曲面上,受试者通过视觉反馈的位置信息,指导其发音行为。为了提高SOM聚类效果,SOM还进行加强训练;讨论了SOM输出层神经元个数对聚类的影响。实验结果表明,提出的利用SOM语音训练方法,直观简单,能够有效地实现“看图说话”。     

基于自组织映射模型的数据挖掘算法在对二甲苯吸附分离过程中的应用

以PX吸附分离过程为研究对象，运用基于SOM模型的数据挖掘算法对其进行分析研究．SOM模型在整个挖掘过程中起了关键性的作用．一方面，SOM模型作为探索性数据分析的有效工具，为进一步的挖掘提供了依据．另一方面，SOM模型为聚类算法提供参数指导和数据支持．最终，通过数据挖掘实现了两个目标，得到了在不同负荷情况下操作参数的稳态优化区域；建立了可用于指导操作员改进操作的可视化实时评估模型．     

基于SOM的模糊聚类在Web日志挖掘中的应用

将自组织映射神经网络（SOM）与FCM结合,利用SOM的并行计算能够减少模糊C均值算法在处理海量数据时的聚类时间,可以提高聚类算法的速度和效果,同时使用该算法对校园网Web日志进行数据挖掘,能够对用户行为进行分析,从而提出相应的方法,更好地提高服务效率和管理质量。     

VISMiner：一个交互式可视化数据挖掘原型系统

交互式可视化数据挖掘是利用可视化技术进行联机数据挖掘的技术。基于SOM的交互式可视化数据挖掘原型系统VISMiner的主要目的是将数据挖掘与数据可视化及OLAP进行集成,允许用户以交互的方式从SOM的标记图或距离图中选定感兴趣区域加以深入分析。     

增量式K-Medoids聚类算法

聚类是一种非常有用的数据挖掘方法,可用于发现隐藏在数据背后的分组和数据分布信息。目前已经提出了许多聚类算法及其变种,但在增量式聚类算法研究方面所做的工作较少。当数据集因更新而发生变化时,数据挖掘的结果也应该进行相应的更新。由于数据量大,在更新后的数据集上重新执行聚类算法以更新挖掘结果显然比较低效,因此亟待研究增量式聚类算法。该文通过对K-Medoids聚类算法的改进,提出一种增量式K-Medoids聚类算法。它能够很好地解决传统聚类算法在伸缩性、数据定期更新时所面临的问题。     

Research on the clustering algorithm of ocean big data based on self-organizing neural network

In the construction of a smart marine, marine big data mining has a significant impact on the growing maritime industry in the Beibu Gulf. Clustering is the key technology of marine big data mining, but the conventional clustering algorithm cannot achieve the efficient clustering of marine data. According to the characteristics of marine big data, a marine big data clustering scheme based on self-organizing neural network (SOM) algorithm is proposed. First, the working principle of SOM algorithm is analyzed, and the algorithm's two-dimensional network model, similarity model and competitive learning model are focused. Secondly, combining with the working principle of algorithm, the marine big data clustering process and algorithm achievement based on SOM algorithm are developed; finally, experiments show that all vectors in marine big data clustering are stable, and the neurons in the output layer of clustering result have obvious consistency with the data itself, which shows the effectiveness of SOM algorithm in marine big data clustering.     

Clustering of the self-organizing map

The self-organizing map (SOM) is an excellent tool in exploratory phase of data mining. It projects input space on prototypes of a low-dimensional regular grid that can be effectively utilized to visualize and explore properties of the data. When the number of SOM units is large, to facilitate quantitative analysis of the map and the data, similar units need to be grouped, i.e., clustered. In this paper, different approaches to clustering of the SOM are considered. In particular, the use of hierarchical agglomerative clustering and partitive clustering using K-means are investigated. The two-stage procedure-first using SOM to produce the prototypes that are then clustered in the second stage-is found to perform well when compared with direct clustering of the data and to reduce the computation time.     

一种MapReduce架构下基于遗传算法的K-Medoids聚类

由互联网时代快速发展而产生的海量数据给传统聚类方法带来了巨大挑战,如何改进聚类算法从而获取有效信息成为当前的研究热点。K-Medoids是一种常见的基于划分的聚类算法,其优点是可以有效处理孤立、噪声点,但面临着初始中心敏感、容易陷入局部最优值、处理大数据时的CPU和内存瓶颈等问题。为解决上述问题,提出了一种MapReduce架构下基于遗传算法的K-Medoids聚类。利用遗传算法的种群进化特点改进K-Medoids算法的初始中心敏感的问题,在此基础上,利用MapReduce并行遗传K-Medoids算法提高算法效率。通过带标签的数据集进行实验的结果表明,运行在Hadoop集群上的基于MapReduce和遗传算法的K-Medoids算法能有效提高聚类的质量和效率。     

TCSOM: Clustering Transactions Using Self-Organizing Map

Self-Organizing Map (SOM) networks have been successfully applied as a clustering method to numeric datasets. However, it is not feasible to directly apply SOM for clustering transactional data. This paper proposes the Transactions Clustering using SOM (TCSOM) algorithm for clustering binary transactional data. In the TCSOM algorithm, a normalized Dot Product norm based dissimilarity measure is utilized for measuring the distance between input vector and output neuron. And a modified weight adaptation function is employed for adjusting weights of the winner and its neighbors. More importantly, TCSOM is a one-pass algorithm, which is extremely suitable for data mining applications. Experimental results on real datasets show that TCSOM algorithm is superior to those state-of-the-art transactional data clustering algorithms with respect to clustering accuracy.     

A cross-national market segmentation of online game industry using SOM

To compete successfully in today's global online game markets, a cross-national analysis for market segmentation is becoming a more important issue, by which companies are able to understand their domestic and foreign loyal customers and concentrate their limited resources into the target customers. However, previous research methodologies for market segmentation were difficult to be conducted on a cross-national analysis because they were performed within a nation. Additionally, the traditional clustering methodologies have not provided a unique clustering nor determined the precise number of clusters.

The purpose of our research is to develop a new methodology for cross-national market segmentation. We propose a two-phase approach (TPA) integrating statistical and data mining methods. The first phase is conducted by a statistical method (MCFA: multi-group confirmatory factor analysis) to test the difference between national clustering factors. The second phase is conducted by a data mining method (a two-level SOM) to develop the actual clusters within each nation. A two-level SOM is useful to effectively reduce the complexity of the reconstruction task and noise. Especially, our research tested the model with Korean and Japanese online game users because they are the frontier of global online game industries.     

基于MapReduce的K-Medoids并行算法

为了解决传统K-Medoids聚类算法在处理海量数据信息时所面临的内存容量和CPU处理速度的瓶颈问题,在深入研究K-Medoids算法的基础之上,提出了基于MapReduce编程模型的K-Medoids并行化算法思想。Map函数部分的主要任务是计算每个数据对象到簇类中心点的距离并（重新）分配其所属的聚类簇;Reduce函数部分的主要任务是根据Map部分得到的中间结果,计算出新簇类的中心点,然后作为中心点集给下一次MapReduce过程使用。实验结果表明：运行在Hadoop集群上的基于MapReduce的K-Medoids并行化算法具有较好的聚类结果和可扩展性,对于较大的数据集,该算法得到的加速比更接近于线性。